Un data center, construit sous des habitations, revalorise 100% de son énergie : visite guidée d'une installation hors norme

Installée en Suisse, Infomaniak teste intensivement un nouveau data center construit sous terre et sous des habitations. Son point fort ? Récupérer l'intégralité de l'énergie consommée pour chauffer les bâtiments alentours.

Aujourd’hui, je vous emmène en Suisse, à Genève, où Infomaniak a décidé d’ouvrir les portes de son tout nouveau data center, le « D4 », bâti à quelques hectomètres de son siège à vol d’oiseau. Si vous espérez l’apercevoir de vos yeux, il vous faudra alors descendre sous terre, sous des immeubles résidentiels qui achèvent leur construction. Durant la visite, j’ai pu découvrir un centre de données comme on aimerait en voir fleurir un peu partout dans le monde : sans climatisation, qui récupère la chaleur pour la diffuser à des milliers d’habitations, en circuit fermé et qui, pour résumer, valorise 100% de sa consommation électrique.

L’installation est impressionnante, pionnière, même disruptive je peux vous dire. Je vous la fais découvrir, pour que vous compreniez tout le fonctionnement du data center, et notamment comment de l’eau à 45°C permet de produire de l’air à 28°C qui va ensuite refroidir les 10 000 serveurs du centre, comment cet air circule et comment l'énergie est revalorisée et redistribuée sous forme d'eau chaude aux habitants.

De l’arrivée électrique aux onduleurs et batteries du data center d’Infomaniak

La visite démarre avec la salle d’arrivée électrique du data center de 1 800 m². Si le courant initial est de 18 000 volts, trois transformateurs d’1 MW se chargent de convertir les 18 000 V en 230 V dans la salle électrique. Si l’arrivée électrique a un souci, il suffit que deux des trois groupes électrogènes se synchronisent pour que le data center reçoive un courant d’une qualité équivalente à l’arrivée électrique. L’énergie part ensuite dans la seconde salle, celle des onduleurs.

Ici, on retrouve deux blocs de six onduleurs chacun, indispensables pour assurer le courant électrique des serveurs en cas de coupure du réseau, le temps que les groupes électrogènes démarrent. Les onduleurs peuvent servir à temporiser, le temps que les groupes électrogènes prennent le relais, généralement en une dizaine de secondes. Lors de la visite, deux modules seulement étaient fonctionnels. Ils sont fabriqués en Suisse, et il est à noter qu’à de rares exceptions, la plupart des technologies du data center sont Européennes, à l’exception de certains serveurs, qui sont Américains, et du contrôle d’accès qui, lui, est Chinois.

Concernant les onduleurs, ils offrent un rendement de 99%. Le petit pourcent de perte est récupéré et revalorisé, à l'image de tous les autres composants du data center qui consomment de l'électricité. De l’air à environ 28°C provenant de la pompe à chaleur est d’ailleurs injecté dans la pièce en circuit fermé, pour refroidir les onduleurs. À quelques mètres de là, dans une pièce bien hermétique au feu, on retrouve les batteries. Si un incendie venait à se déclencher, suivez mon regard, le local est totalement protégé, et la pièce peut être sacrifiée, sans menacer le reste du data center. C’est d’ailleurs la même chose pour les onduleurs. Mais changeons de « pièce ».

Les serveurs du data center : entre air chaud et air froid

Nous voici dans la grande salle des serveurs. On débute par la découverte de ce que l’on appelle une « allée froide », qui correspond à la face avant des serveurs. Ici, on reçoit le retour du déchet de la pompe à chaleur, qui rend de l’air à environ 28°C, par le sol, qui refroidit bien les machines. La température doit être ambiante. C’est l’ironie du sort : les températures négatives posent plus de problème aux serveurs que les canicules dans les data centers d’Infomaniak qui sont équipés de serveurs pouvant supporter momentanément des températures allant jusqu’à plus de 60°C. Boris Siegenthaler, le cofondateur d’Infomaniak qui nous fait la visite, me fait comprendre qu’il ne faut pas qu’un seul millimètre d’air provenant de l’allée chaude puisse passer de l’autre côté des serveurs de l’allée froide pour des raisons d'efficacité énergétique. Du ruban en aluminium sert à s’assurer de l’étanchéité.

Dans la salle, on croise du matériel plutôt sympa, avec des GPU H100 Nvidia, une ancienne génération de type GPU Nvidia A100, entre autres. Les serveurs que l’on retrouve dans le centre de données servent au stockage et au calcul. On y stocke par exemple du Cloud public, pour des e-mails, des photos, des vidéos (notre Drive, en somme), mais aussi des applications mobiles. Imaginez qu’un demi-rack équipé coûte autour de 600 000 euros. Les disques SSD sont fabriqués par SwissBut en Allemagne et pour les disques durs traditionnels encore utilisés pour certains services, ils sont souvent de 18 To, mais on retrouve aussi du calibre 22, voire 24 To.

On se retrouve de l’autre côté désormais, dans l’allée chaude, donc à l’arrière des serveurs, où la température grimpe cette fois à 45°C. Le principe est le suivant : chaque watt consommé par un serveur est transformé en watt chaleur. La chaleur part ensuite en hauteur, au-dessus d’une espèce d’aile d’avion, un faux plafond, directement dans l’échangeur, pour alimenter la pompe à chaleur. De l’autre côté de la pièce, on part vers le mode secours, qui permettra au data center de fonctionner également en cas d’arrêt des pompes à chaleur, par exemple en cas de maintenance du réseau de chauffage à distance.

Dans ce data center, les rangées de rack sont alimentées par une distribution réseau en fibre. Chaque rack est équipée de deux switch « leaf » pour la redondance avec au total 6x100 Gbit/s de capacité vers des switchs de distribution aussi appelés « spine ». Ces derniers assurent la connectivité à Nx100 Gbit/s entre toutes les allées et à 400 Gbit/s vers le cœur de réseau. Les serveurs sont quant à eux raccordés en 2x25 Gbit/s sur les deux switchs Leaf pour le trafic de production ainsi qu'à 2x1 Gbit/s sur deux réseaux dédiés à la gestion du matériel et au déploiement des machines.

L’échangeur air/eau, déterminant pour refroidir les serveurs

Rendez-nous maintenant dans une sorte de gaine technique, où on reçoit l’air à 45°C des 10 000 serveurs, qui passe à travers un échangeur air/eau. À pleine capacité, le data center consommera 1,25 MWh d'électricité, qui sera transformée en 1,25 MWh d'aid chaud à 45°C, et qui passera à travers l’échangeur. Ensuite, l'air chaud transformé en eau chaude est récupérée à 45°C par les pompes à chaleur qui, elles, rendent un flux d'eau tiède à 28°C qui va passer dans l'échangeur de l'autre côté, pour refroidir les serveurs avec de l'air tiède. C’est dans cette pièce qu’Infomaniak récupère toutes les calories du data center pour les envoyer dans la pompe à chaleur. Cet échangeur, on peut le voir comme un radiateur de voiture, mais en plus grand.

Passons à l’arrière de l’échangeur air/eau. D’un côté, on récupère les calories d’air à 45°C, et la pompe à chaleur renvoie du 28°C à travers les grilles, l’échangeur. Dans cette même pièce, on retrouve de gros ventilateurs de dernière génération, qui forment un mur. Ce sont des modèles dits « brushless », sans balais, à courant continu, pour générer de meilleurs rendements. « On peut perdre un ventilateur, ça continue à fonctionner », nous explique Boris. « On multiplie les ventilateurs pour faire en sorte que si l’un ou plusieurs ont un problème, le refroidissement fonctionne toujours en mode normal. » Si le réseau de chaleur, les pompes à chaleur ou le mécanisme de revalorisation énergétique rencontre un problème, le mode secours du data center prend automatiquement le relais.

Les pompes à chaleur, le cœur du data center

L’échangeur de chaleur apporte de l’eau chaude à 45°C. Mais ce n’est pas suffisant pour chauffer les bâtiments du quartier. De l’eau à 60°C est nécessaire. Deux pompes à chaleur équipent donc le data center, chacune de 1,7 MWh. Et cocorico, puisqu’elles sont Françaises, de marque Trane, qui s’occupe d'ailleurs de leur maintenance. En revanche, Infomaniak a la main sur le fonctionnement (mode normal, mode secours).

Les pompes à chaleur remontent la température : un gaz, dans les pompes, se comprime et fabrique à 67°C, avec un phénomène comparable à une roue de vélo qu’on gonfle. On peut même monter jusqu’à 86°C. D’un côté, le gaz se comprime et va chauffer l’eau, qui va être envoyée à 67°C dans le réseau de chauffage à distance, hors du centre de données. De l’autre côté, le gaz se décomprime, comme lorsque vous appuyez sur un spray et que vous avez la sensation du froid au bout du doigt. La pompe à chaleur renvoie alors du 28°C.

« On fonctionne en circuit fermé », explique le cofondateur d’Infomaniak. « On utilise deux fois l’énergie électrique : une fois pour le stockage et le calcul ; et une seconde fois pour servir à chauffer 6 000 logements l’hiver, ou offrir de l’eau pendant 5 minutes chaque jour, à 20 000 personnes ». Le surplus de chaleur est injecté dans le sol pour stocker cette énergie et la réutiliser l’hiver pour chauffer des quartiers.

Sur le côté de la salle où se trouvent les pompes à chaleur, on voit les deux départs et les deux arrivées de l’échangeur air/eau dont nous parlions tout à l’heure, qui arrivent dans des ballons tampons pour ensuite partir dans la pompe à chaleur. Au moment où je tournais le reportage, les tuyaux étaient en cours d’isolement. Infomaniak affirme tout mettre en oeuvre pour réduire la perte de chaleur au maximum.

Le tuyau rouge part dans la pompe à chaleur avec de l’eau à 45°C, mais on perd 2°C dans le processus, pour atteindre une température de l’eau à 43°C. On perd aussi 2°C, pour l’anecdote, pour l’air venant de l’échangeur, qui tombe de 30 à 28°C. Côté technique, les pompes à chaleur ont deux moteurs de 400 KW, de l’énergie électrique transformée en chaleur. Les moteurs baignent dans le même liquide, qui fait que le watt électrique est aussi transformé en watt thermique. Le data center va produire 1,25 MW de chaleur et 400 KW d’énergie électrique, aussi valorisés. « Au final, on injecte 1,7 MW de chaleur dans le réseau de chauffage à distance ».

En ce qui concerne l’eau chaude renvoyée dans le chauffage à distance, sa température atteint 67°C, mais en été, il est impératif de monter à 82°C. « Les pompes à chaleur vont fonctionner avec moins de rendement, car elles vont avoir besoin de plus d’énergie pour fonctionner à 82°C ». Et tout est doublé, comme les citernes en cours d’isolation elles aussi, qui permettent de garantir une température constante à 67°C, qui vont prendre le relais si une pompe à chaleur cesse de fonctionner. Les citernes ont ainsi une fonction de batterie, de ballon de stockage pour éviter les écarts de température. La température ne doit pas bouger, c'est primordial et Infomaniak le garantit par contrat à l'opérateur du réseau de chauffage à distance et à l'écoquartier qui se trouve juste au-dessus.

En cas de pépin, le mode secours « à l’ancienne » prend le relais

Au moindre problème d’importance dans le data center, Infomaniak bascule le refroidissement de ses serveurs en mode secours. Car le principe, c’est qu’un centre ne peut jamais s’arrêter. Ici, on fonctionne en free-cooling, comme les autres data centers depuis 2013. Et pour cela, il y a une prise d’air de trois mètres sur trois, qui servira à rediriger de l’air vers les pièges à son du centre, et inversement, pour ne pas créer de nuisances sonores pour le voisinage. Même si la température extérieure est à 36°C, le data center sera refroidi avec de l’air à 36°C.

Dans la pièce juste derrière, on voit le mur de ventilateurs du mode secours, pour le moment actif pour refroidir les quelque 800 serveurs du centre en test, le temps qu’il devienne pleinement opérationnel. En face, des filtres à poche, prévus pour tenir plusieurs années, permettent de filtrer l’air extérieur en mode secours. Et dans une pièce juste derrière encore, à l’arrière du mur de ventilateurs du mode secours, on fait face à un mur de clapets qui, en mode normal, sont fermés. En mode secours, les ventilateurs vont pousser ces clapets pour envoyer de l’air filtré directement dans les faces avant des serveurs.

Plus loin, on trouve une autre « pièce » que je surnomme la « pièce paquebot ». C’est ici que l'on décide comment refroidir le data center. En mode secours, on va chercher l’air en extérieur, qui est alors poussé vers le bas, pour alimenter les allées froides. Les clapets sont fermés, l’air est poussé par le bas. En fonctionnement normal, l’air va passer par les clapets poussés par les ventilateurs. La forme du mur, particulièrement aérodynamique, a été travaillée par ordinateur. Ce qu’il faut retenir, c’est que les clapets du mode secours sont ouverts en mode secours, quand les autres seront fermés ; et en mode normal, les clapets du mode secours seront fermés, et ceux du mode normal seront ouverts.

À l’autre extrémité du data center, on découvre cette fois l’arrivée d’air chaud du mode secours. Forcément, la température est douce en hiver (23°C), et un autre mur de ventilateurs se charge de pousser l’air dans l’autre prise d’air, qui va évacuer l’air chaud du data center vers l’extérieur.

Une étonnante connectivité internet pour le data center

Une fois qu’on a réglé le problème de l’arrivée électrique et de l’évacuation de la chaleur, le troisième point critique, ce sont les données. On a besoin d’être connecté à Internet, et pour cela, il ne faut en fait pas grand-chose. La data center est connecté grâce à deux introductions qui arrivent chez lui : deux paires de fibre. L’une arrive d’un côté du centre, l’autre à l'opposé. Ces deux seules paires vont relier ces 10 000 serveurs au reste du monde.

L'hébergeur Infomaniak s’est donc doté d’un troisième data center, le plus gros qui restera en activité, puisque l’un des trois, obsolète d’un point de vue écologique, est en cours de décommissionnement. Le D4 va permettre à Infomaniak de doubler sa capacité, alors même qu’un nouveau projet de data center est déjà étudié chez l’entreprise suisse.

L’industrie du Cloud affiche une croissance annuelle de 20% et génère une énergie folle. Les infrastructures se trouvent jusqu’à maintenant dans des terrains gigantesques qui ont un gros impact au sol, qui sont refroidis avec de la climatisation, le tout gaspillé dans l’atmosphère. Infomaniak, de son côté, s’est passé de climatisation depuis 2013 et va encore plus loin avec son nouveau data center, situé dans un éco quartier. Le modèle est qui plus réplicable, dès lors qu’on est connecté à un réseau de chauffage à distance. Il n’y a plus qu’à, comme on dit…