Nouvelles

Aug 10, 2023

Mission Apollo : Derrière la révolution de la commutation de circuits optiques de Google

Comment Google a vu le jour et a remanié ses centres de données Au cours des dernières

Comment Google a vu le jour et a remanié ses centres de données

Au cours des dernières années, Google a discrètement remanié ses centres de données, remplaçant son infrastructure réseau par une approche interne radicale qui a longtemps été le rêve de la communauté des réseaux.

Cela s'appelle Mission Apollo, et il s'agit d'utiliser la lumière au lieu d'électrons et de remplacer les commutateurs de réseau traditionnels par des commutateurs de circuits optiques (OCS). Amin Vahdat, responsable de l'équipe d'infrastructure des systèmes et des services de Google, nous a expliqué pourquoi c'est si important.

Cette fonctionnalité est apparue dans le dernier numéro de DCD Magazine. Abonnez-vous gratuitement aujourd'hui

Il y a un défi fondamental avec la communication du centre de données, une inefficacité liée au fait qu'il chevauche deux mondes. Le traitement est effectué sur l'électronique, de sorte que les informations au niveau du serveur sont conservées dans le domaine électrique. Mais déplacer l'information est plus rapide et plus facile dans le monde de la lumière, avec l'optique.

Dans les topologies de réseau traditionnelles, les signaux oscillent entre l'électrique et l'optique. "Tout s'est fait étape par étape, vous reconvertissez à l'électronique, vous la repoussez à l'optique, etc., laissant la majeure partie du travail dans le domaine électronique", a déclaré Vahdat. "Cela coûte cher, à la fois en termes de coût et d'énergie."

Avec OCS, la société "laisse les données dans le domaine optique aussi longtemps que possible", en utilisant de minuscules miroirs pour rediriger les faisceaux de lumière à partir d'un point source et les envoyer directement au port de destination en tant qu'interconnexion optique.

"Faire en sorte que cela fonctionne réduit la latence de la communication, car vous n'avez désormais plus besoin de vous déplacer autant dans le centre de données", a déclaré Vahdat. "Cela élimine les étapes de commutation électrique - ce serait la colonne vertébrale des centres de données de la plupart des gens, y compris le nôtre auparavant."

L'architecture « Clos » traditionnelle que l'on trouve dans d'autres centres de données repose sur une colonne vertébrale constituée de commutateurs de paquets électroniques (EPS), construits autour du silicium de sociétés telles que Broadcom et Marvell, qui est connecté à des « feuilles » ou des commutateurs en haut de rack.

Les systèmes EPS sont coûteux et consomment pas mal d'énergie, et nécessitent un traitement par paquet à forte latence lorsque les signaux sont sous forme électronique, avant de les reconvertir sous forme légère pour une transmission ultérieure.

OCS a besoin de moins d'énergie, dit Vahdal : "Avec ces systèmes, la seule énergie consommée par ces appareils est essentiellement l'énergie nécessaire pour maintenir les miroirs en place. Ce qui est une quantité infime, car ce sont de minuscules miroirs."

La lumière pénètre dans le commutateur Project Apollo à travers un faisceau de fibres et est réfléchie par plusieurs plaquettes de silicium, chacune contenant un minuscule réseau de miroirs. Ces miroirs sont des systèmes micro-électro-mécaniques (MEMS) 3D qui peuvent être rapidement réalignés individuellement afin que chaque signal lumineux puisse être immédiatement redirigé vers une fibre différente dans le faisceau de sortie.

Chaque tableau contient 176 miroirs minuscules, bien que seulement 136 soient utilisés pour des raisons de rendement. "Ces miroirs, ils sont tous personnalisés, ils sont tous un peu différents. Et donc ce que cela signifie, c'est pour toutes les entrées-sorties possibles, la combinaison est de 136 au carré", a-t-il déclaré.

Cela signifie 18 496 combinaisons possibles entre deux packages de miroirs.

La consommation électrique maximale de l'ensemble du système est de 108 W (et il en utilise généralement beaucoup moins), ce qui est bien en deçà de ce qu'un EPS similaire peut atteindre, à environ 3 000 watts.

Au cours des dernières années, Google a déployé des milliers de ces systèmes OCS. La génération actuelle, Palomar, "est largement déployée sur l'ensemble de nos infrastructures", a déclaré Vahdat.

Google pense qu'il s'agit de la plus grande utilisation d'OCS au monde, avec une marge confortable. "Nous y travaillons depuis un certain temps", déclare Vahdat.

Le développement du système global a nécessité un certain nombre de composants personnalisés, ainsi que des équipements de fabrication personnalisés.

La production du Palomar OCS signifiait développer des testeurs personnalisés, des stations d'alignement et d'assemblage pour les miroirs MEMS, les collimateurs de fibre, le cœur optique et ses composants constitutifs, ainsi que le produit OCS complet. Un outil d'alignement automatisé personnalisé a été développé pour placer chaque matrice de lentilles 2D avec une précision inférieure au micron.

"Nous avons également construit les émetteurs-récepteurs et les circulateurs", a déclaré Vahdat, ce dernier permettant à la lumière de voyager dans une direction à travers différents ports. "Avons-nous inventé des circulateurs ? Non, mais s'agit-il d'un composant personnalisé que nous avons conçu, construit et déployé à grande échelle ? Oui."

Il a ajouté: "Il existe une technologie vraiment cool autour de ces circulateurs optiques qui nous permet de réduire notre nombre de fibres d'un facteur deux par rapport à toutes les techniques précédentes."

En ce qui concerne les émetteurs-récepteurs, utilisés pour transmettre et recevoir les signaux optiques dans le centre de données, Google a co-conçu des émetteurs-récepteurs à multiplexage par répartition en longueur d'onde à faible coût sur quatre générations de vitesses d'interconnexion optique (40, 100, 200, 400 GbE) avec une combinaison de développement de technologies optiques, électroniques et de traitement du signal à grande vitesse.

"Nous avons inventé les émetteurs-récepteurs avec les bonnes caractéristiques de puissance et de perte, car l'un des défis de cette technologie est que nous introduisons désormais une perte d'insertion sur le chemin entre deux interrupteurs électriques."

Au lieu d'un chemin de fibre, il existe maintenant des commutateurs de circuit optique qui font perdre à la lumière une partie de son intensité lorsqu'elle rebondit à travers l'installation. "Nous avons dû concevoir des émetteurs-récepteurs capables d'équilibrer les coûts, la puissance et les exigences de format pour nous assurer qu'ils pouvaient gérer une perte d'insertion modeste", a déclaré Vahdat.

"Nous pensons que nous disposons de certains des émetteurs-récepteurs les plus économes en énergie. Et cela nous a vraiment poussés à nous assurer que nous pouvions concevoir des choses de bout en bout pour tirer parti de cette technologie."

Une partie de cette vision cohérente est une couche de réseau défini par logiciel (SDN), appelée Orion. Il est antérieur à la mission Apollo, "nous étions donc déjà passés à un avion de contrôle logiquement centralisé", a déclaré Vahdat.

"Le delta allant du routage logiquement centralisé sur une topologie basée sur la colonne vertébrale à celui qui gère cette topologie de connexion directe avec une certaine quantité d'ingénierie de trafic - je ne dis pas que c'était facile, cela a pris beaucoup de temps et beaucoup d'ingénieurs, mais ce n'était pas un saut de géant comme il l'aurait été si nous n'avions pas eu l'ingénierie du trafic SDN auparavant."

La société "a essentiellement étendu Orion et son plan de contrôle de routage pour gérer ces topologies de connexion directe et effectuer l'ingénierie du trafic et la reconfiguration des miroirs au final, mais une topologie logique en temps réel basée sur les signaux de trafic.

"Et donc c'était une entreprise substantielle, mais c'était imaginable, plutôt qu'inimaginable."

L'un des défis d'Apollo est le temps de reconfiguration. Alors que les réseaux Clos utilisent EPS pour connecter tous les ports entre eux via des systèmes EPS, OCS n'est pas aussi flexible. Si vous souhaitez modifier votre architecture de connexion directe pour connecter deux points différents, les miroirs prennent quelques secondes pour se reconfigurer, ce qui est nettement plus lent que si vous étiez resté avec EPS.

L'astuce pour surmonter cela, selon Google, est de reconfigurer moins souvent. L'entreprise a déployé son infrastructure de centre de données avec l'OCS, en le construisant en pensant au système.

"Si vous regroupez suffisamment de données, vous pouvez tirer parti de modèles de communication à long terme", a déclaré Vahdat. "J'utiliserai la terminologie de Google" Superblock ", qui est une agrégation de 1 à 2000 serveurs. Il y a une quantité stable de données qui va à un autre Superblock.

"Si j'ai 20, 30, 40 superblocs, dans un centre de données - cela pourrait être plus - la quantité de données qui va du Superblock X au Superblock Y par rapport aux autres n'est pas parfaitement fixe, mais il y a une certaine stabilité là-bas.

"Et ainsi nous pouvons laisser les choses dans le domaine optique et transférer ces données vers le Superblock de destination, en laissant tout optique. S'il y a des changements dans les modèles de communication, certainement radicaux, nous pouvons alors reconfigurer la topologie."

Cela crée également des opportunités de reconfiguration des réseaux au sein d'un centre de données. "Si nous avons besoin de plus de commutateurs de paquets électriques, nous pouvons essentiellement recruter dynamiquement un Superblock pour agir comme une colonne vertébrale", a déclaré Vahdat.

"Imaginez que nous ayons un Superblock sans serveurs connectés, vous pouvez maintenant recruter ce Superblock pour qu'il agisse essentiellement comme une colonne vertébrale dédiée", a-t-il déclaré, le système prenant en charge un bloc qui n'a pas encore de serveurs ou qui n'en a pas. utilisé.

"Il n'a pas besoin de synchroniser les données, il peut faire transiter les données. Un superbloc qui n'est pas une source de trafic peut essentiellement devenir une mini-colonne vertébrale. Si vous aimez la théorie des graphes et que vous aimez le routage, c'est juste un résultat vraiment cool . Et il se trouve que j'adore la théorie des graphes."

Toujours en ligne

Une autre chose que Vahdat, et Google dans son ensemble, aime, c'est ce que cela signifie pour le temps de fonctionnement.

"Les commutateurs de circuits optiques peuvent désormais faire partie de l'infrastructure du bâtiment", a-t-il déclaré. "Les photons ne se soucient pas de la façon dont les données sont encodées, ils peuvent donc passer de 10 gigabits par seconde à 40, à 200, à 400 à 800 et au-delà, sans nécessairement avoir besoin d'être mis à niveau."

Différentes générations d'émetteurs-récepteurs peuvent fonctionner sur le même réseau, tandis que Google évolue à son propre rythme, "plutôt que l'état de l'art externe, qui disait essentiellement qu'une fois que vous passez d'une génération de vitesses à une autre, vous devez supprimer votre tout le centre de données et recommencer », a déclaré Vahdat.

Notre plus grande fonctionnalité jamais consacrée à la prochaine vague d'informatique

"La partie la plus douloureuse du point de vue de nos clients est que vous êtes absent pendant six mois et qu'ils doivent migrer leur service pendant une période prolongée", a-t-il déclaré.

"À notre échelle, cela signifierait que nous poussions toujours les gens à l'intérieur et à l'extérieur, car nous devons mettre à niveau quelque chose quelque part à tout moment, et nos services sont déployés à travers la planète, avec plusieurs instances, cela signifie qu'encore une fois, notre les services seraient soumis à ces mouvements tout le temps. »

De même, il a réduit les coûts d'investissement car le même OCS peut être utilisé sur chaque génération, alors que les systèmes EPS doivent être remplacés avec les émetteurs-récepteurs. La société estime que les coûts ont chuté de 70 %. "Les économies d'énergie ont également été substantielles", a déclaré Vahdat.

Garder cette communication sous une forme légère devrait permettre à Google d'économiser des milliards, de réduire sa consommation d'énergie et de réduire la latence.

"Nous le faisons au niveau du Superblock", a déclaré Vahdat. "Pouvons-nous comprendre comment nous allons procéder à une reconfiguration optique plus fréquente afin de pouvoir la pousser encore plus loin au niveau haut de gamme, car cela aurait également des avantages substantiels ? C'est un problème difficile que nous n'avons pas entièrement fissuré."

La société cherche maintenant à développer des systèmes OCS avec un nombre de ports plus élevé, une perte d'insertion plus faible et des temps de reconfiguration plus rapides. "Je pense que les opportunités d'efficacité et de fiabilité augmentent à partir de là", a déclaré Vahdat.

L'impact peut être énorme, a-t-il noté. "La bande passante de bissection des centres de données modernes est aujourd'hui comparable à Internet dans son ensemble", a-t-il déclaré.

"Donc, en d'autres termes, si vous prenez un centre de données - je ne parle pas seulement du nôtre, ce serait la même chose dans votre centre de données [hyperscale] préféré - et vous le coupez en deux et mesurez la quantité de bande passante qui traverse les deux moitiés, c'est autant de bande passante que vous verriez si vous réduisiez Internet de moitié. C'est donc juste une énorme quantité de communication.