En termes de comparaison avec Nvidia, Cerebras Systems a développé une approche unique du matériel d’apprentissage profond. Alors que les GPU de Nvidia sont conçus autour du parallélisme des données, le WSE de Cerebras est conçu autour du parallélisme des modèles. Il s’agit d’un processeur unique, intégré à l’échelle d’une tranche de silicium, qui comprend le calcul, la mémoire et le tissu d’interconnexion. Ainsi, alors que les GPU de Nvidia sont conçus pour traiter simultanément de nombreux points de données, le WSE de Cerebras est conçu pour traiter de grands modèles qui ne peuvent pas être traités par un seul GPU. Cela a permis à Cerebras d’atteindre des performances impressionnantes sur certaines charges de travail. En avril 2021, Cerebras a annoncé le CS-2 basé sur le Wafer Scale Engine Two (WSE-2) de l’entreprise, qui possède 850 000 noyaux. Toujours en août 2021, l’entreprise a annoncé sa technologie à l’échelle du cerveau qui peut faire fonctionner un réseau neuronal avec plus de 120 trillions de connexions.

Enfin, la puce WSE-3, présentée en 2024, compte 4 000 milliards de transistors et est conçue selon un processus de 5 nanomètres. Il s’agit d’une augmentation significative par rapport aux 2,6 trillions de transistors de la puce WSE-2, ce qui n’aurait pas été possible en raison de la loi de Moore. La loi de Moore qui est l’observation selon laquelle le nombre de transistors dans un circuit intégré (CI) double environ tous les deux ans.

Cela montre que Cerebras Systems ne se contente pas de suivre le rythme de la loi de Moore, mais qu’elle repousse également les limites de ce qui est possible dans la technologie des semi-conducteurs…