À la recherche d’un système informatique “abordable” pour faire fonctionner un grand modèle de langage (LLM) avec plus de paramètres que les matériels grand public, le développeur en intelligence artificielle David Noel Ng est tombé sur une offre d’occasion sur Reddit qui semblait trop belle pour être vraie. Proposé par un revendeur de matériel de serveur, un système Grace-Hopper de Nvidia était mis en vente pour seulement 10 000 euros, alors que cette configuration est habituellement estimée autour de 80 000 dollars (environ 68 240 euros), comme il l’a souligné dans son blog sur GitHub.
Le développeur note que rien que les deux puces H100 du système coûtent généralement entre 30 000 et 40 000 euros chacune, et que des systèmes similaires se chiffrent souvent à plus de 100 000 dollars, réservés aux centres de données et aux établissements de recherche. Malgré ses doutes initiaux, il a finalement réussi à négocier le prix à 7 500 euros. L’explosion récente des prix de la mémoire témoigne de la bonne affaire réalisée, car la mémoire LPDDR5X de 960 Go intégrée au système vaut désormais plus que le coût total du système au début de l’année, comme l’explique le développeur dans un article récent. Voici un aperçu de la configuration :
- 2 × Supercalculateur Nvidia Grace-Hopper
- 2 × CPU Nvidia Grace de 72 cœurs
- 2 × GPU Nvidia Hopper H100
- 2 × 480 Go LPDDR5X avec ECC
- 2 × 96 Go de mémoire HBM3
- 1 152 Go de mémoire à accès rapide
- NVLink-C2C avec 900 Go/s
- TDP programmable de 1 000 à 2 000 W (CPU + GPU + mémoire)
- 1 × Alimentation à haute efficacité de 3 000 W, 230 à 48 V
- 2 × Ports PCI-E Gen4 M.2-22110/2280 sur la carte mère
- 4 × PCI-E Gen5 x16 FHFL
La vente à ce prix très compétitif est attribuée à quelques imperfections du système, le rendant moins attrayant sur le marché de l’occasion. Notamment, il s’agit d’un “Frankensystème”, ayant subi une transformation de refroidissement liquide à refroidissement par air. De plus, tout cela était un peu désordonné, le système n’étant pas adapté pour un rack de serveur et fonctionnant avec une alimentation de 48 volts.
Dans un long article de blog, le développeur et bricoleur a partagé comment il a adapté le système à ses besoins. Avec des coûts supplémentaires pour des SSD d’occasion, un refroidisseur liquide et divers matériaux, le total s’est élevé à 8 930 euros. Au regard de la valeur matérielle, il s’agit assurément d’une affaire. Le système ainsi modifié devrait offrir des performances nettement supérieures à celles de sa précédente configuration, composée de quatre GeForce RTX 4090.
Points à retenir
- David Noel Ng a déniché une offre exceptionnelle pour un système de calcul haut de gamme.
- Les composants clés, tels que les puces H100, sont habituellement très chers, augmentant la valeur de l’offre.
- Des modifications ont été apportées au système, affectant son esthétique et sa compatibilité.
- Le coût total de l’opération, incluant des ajustements nécessaires, reste compétitif pour le matériel acquis.
À mon sens, cette histoire révèle à quel point le monde de la technologie regorge d’opportunités inattendues. En tant que passionné, je m’interroge : que pourrait-on encore découvrir dans le secteur des équipements d’occasion ? Existe-t-il d’autres pépites cachées à dénicher ? La curiosité peut parfois mener à des découvertes précieuses qui redéfinissent notre compréhension de la valeur et de l’innovation.