Meta présente un superordinateur dédié à l’IA
AI Research SuperCluster. © Meta.
La société Meta (anciennement connue sous le nom de Facebook) indique avoir construit un “superordinateur d’IA” spécifiquement dédié aux systèmes d’apprentissage automatique. D’ici le milieu de l’année, lorsqu’une extension du système sera achevée, il sera le plus rapide au monde dans son genre selon les chercheurs de Meta. Denommé RSC (AI Research SuperCluster), il pourra un jour travailler avec des réseaux neuronaux comportant des billions de paramètres. Il faut savoir que le nombre de paramètres des modèles de réseaux neuronaux récents augmente sans cesse. Le processeur de langage naturel GPT-3, par exemple, compte 175 milliards de paramètres.
Dans son état actuel, le système est un impressionnant cluster de 760 ordinateurs Nvidia DGX A100, avec un total de 6 080 GPU. Le cluster d’ordinateurs est relié par un réseau Infiniband Nvidia de 200 gigabits par seconde. Le stockage comprend 46 pétaoctets (46 millions de milliards d’octets) de mémoire cache et 175 pétaoctets de mémoire flash. Lorsque le système sera terminé au milieu de cette année, il comportera 16 000 GPU. “RSC aidera les chercheurs en IA de Meta à construire de nouveaux modèles d’IA plus performants, capables d’apprendre à partir de billions d’exemples, de travailler dans des centaines de langues différentes, d’analyser de manière transparente des textes, des images et des vidéos, de développer de nouveaux outils de réalité augmentée, et bien plus encore”, écrivent les chercheurs Kevin Lee et Shubho Sengupta dans un billet de blogue de Meta AI présentant la nouvelle.
⇨ YouTube, “Introducing the AI Research SuperCluster — Meta’s cutting-edge supercomputer for AI research”
⇨ The Verge, James Vincent, “Meta has built an AI supercomputer it says will be world’s fastest by end of 2022.”
⇨ IEEE Spectrum, Samuel K. Moore, “Meta aims to build the world’s fastest AI supercomputer.”
2022-01-24
