Meta dévoile son deuxième processeur personnalisé

Tir de matrice Meta "MTIA" V1 (Meta Training and Inference Accelerator)

Lorsque la plupart des gens pensent à Meta, ils pensent à ses applications, notamment Facebook, Instagram, WhatsApp ou le prochain métaverse. Beaucoup ignorent que l'entreprise a conçu et construit certains des centres de données les plus grands et les plus sophistiqués au monde pour exploiter ces services.

Contrairement aux fournisseurs de services cloud comme AWS, GCP ou Azure, Meta n'a pas besoin de divulguer de détails sur ses choix de silicium, son infrastructure ou la conception de son centre de données, en dehors de ses conceptions OCP, pour impressionner les acheteurs. Les méta-utilisateurs veulent des expériences meilleures et plus cohérentes, sans se soucier de la façon dont cela se produit.

Des révélations sans précédent

Le manque de détails a changé aujourd'hui avec ce que je considère comme une divulgation sans précédent du dernier accélérateur d'inférence d'IA de la société, d'un transcodeur vidéo en production, de son architecture de centre de données de nouvelle génération conçue pour l'IA et de détails sur la deuxième phase de sa recherche sur l'IA de 16 000 GPU. supercalculateur, la première phase qui alimente le modèle d’IA générative LLaMA.

Cette divulgation devrait intéresser les parties prenantes de Meta, y compris les investisseurs, car elle a un impact sur les délais de commercialisation, la différenciation et les coûts.

Plus tôt cette semaine, j'ai rencontré Alexis Björlin, vice-président de l'infrastructure chez Meta, à propos de l'approche full-stack de l'entreprise en matière de silicium et pour obtenir plus de détails sur son nouvel accélérateur d'inférence et vidéo d'IA.

Je suis impressionné par les progrès de Meta jusqu'à présent, mais ce n'est que le début.

L'approche full-stack de Meta

Avant de me lancer dans "MTIA" ou "Meta Training and Inference Accelerator", je voulais revoir l'approche de Meta en matière de silicium. Je suis heureux de dire que la stratégie du silicium n'a pas changé depuis que j'ai discuté avec l'entreprise il y a un an et demi. Vous pouvez lire cet article ici. Meta continuera d'acheter des tonnes de silicium marchand auprès d'AMD, Broadcom, Intel, Marvell et NVIDIA. Cependant, il sera conçu pour des charges de travail uniques pour lesquelles le silicium marchand n'est pas optimal pour offrir les meilleures performances par watt et TCO.

Cette approche est parfaitement logique d'un point de vue stratégique, car Meta a une approche d'infrastructure "full-stack", possédant presque tous les niveaux de la pile, de l'infrastructure à l'application et tout le reste. Lorsque les normes industrielles sont optimisées pour sa pile complète, il les utilise, et dans le cas contraire, il contribue à créer des normes industrielles comme OCP et PyTorch.

Les applications et services de Meta sont uniques et fonctionnent à une échelle incroyable, ce qui, à mon avis, amplifie le besoin et les avantages du silicium personnalisé. Les utilisateurs de Facebook et d'Instagram regardent d'énormes quantités de vidéos et reçoivent constamment des recommandations de personnes avec lesquelles se connecter, des publications avec lesquelles interagir et, bien sûr, des publicités sur lesquelles cliquer. Vous pouvez imaginer comment le métaverse et l’IA générative infusés par l’IA pousseront le besoin de solutions à moindre consommation et plus optimisées.

MSVP : processeur vidéo méta-évolutif

MTIA n'est pas le premier silicium personnalisé de Meta. Le MSVP, ou « Meta Scalable Video Processor », est en production. Quelques détails sur le transcodeur vidéo sont apparus l'année dernière, mais la société a décidé d'en divulguer encore plus aujourd'hui.

Selon Meta, les utilisateurs de Facebook passent 50 % de leur temps à regarder 4 milliards de vidéos par jour. Chaque vidéo est compressée après avoir été téléchargée, stockée, puis décompressée dans un format approprié lorsque l'utilisateur souhaite la visionner. Ces vidéos sont transcodées (compressées/décompressées) à l'aide de formats standards comme H.264 et VP9. L'astuce consiste à réduire rapidement le fichier, à le stocker rapidement et à le diffuser avec la plus haute qualité possible pour l'appareil approprié (c'est-à-dire un téléphone, une tablette, un PC) avec la meilleure qualité possible.

Puce packagée MSVP V1 (Meta Training and Inference Accelerator) de Meta.

Ce type de caractéristique de charge de travail est parfait pour un ASIC (Application Specific Integrated Circuit), une charge de travail qui nécessite la plus grande efficacité sur une norme fixe. Les ASIC sont les plus efficaces mais pas aussi programmables qu'un CPU ou un GPU. Lorsque la norme vidéo passera de H.264 et VP9 à AV1, ce qui est probable dans le futur, Meta devra créer un nouvel ASIC, une nouvelle version de MSVP.