Immersionskühlung vs. Direkt-zu-Chip-Kühlung: Was es für Ihre Rohrleitungsspezifikationen bedeutet

Einleitung: Die Entscheidung, die zu spät fällt

Die meisten Rechenzentrumsingenieure entscheiden sich für die Kühlungstechnologie -immersioniert oder direkt-auf-Chip - basierend auf den Rack-Dichtezielen und dem Kapitalbudget. Die Rohrleitungsspezifikation kommt später und wird oft eher als Ausführungsdetail denn als Designtreiber betrachtet. Diese Reihenfolge ist ein Fehler.

Das Flüssigkeitssystem, das Sie rund um die von Ihnen gewählte Kühlarchitektur aufbauen, ist nicht austauschbar. Eine Rohrleitungsspezifikation, die für die direkte -zu-Chip (D2C)-Kaltplattenkühlung- geschrieben wurde, wird - wörtlich und betrieblich - scheitern, wenn sie auf ein-Phasenimmersion umgerüstet wird, und umgekehrt. Da die GPU-Rack-Dichte mittlerweile routinemäßig 50 kW übersteigt und die KI-Workloads in Richtung 100 kW pro Rack tendieren, ist es nicht mehr optional, die Rohrspezifikation direkt in der Schaltplanentwurfsphase zu ermitteln. Ein einziges Leck in einem D2C-System kann innerhalb von Sekunden ein ganzes Rack mit GPU-Hardware im Wert von 400.000 US-Dollar lahmlegen.

Dieser Leitfaden richtet sich an Maschinenbau- und Sanitäringenieure, die bereits eine Entscheidung für die Kühlarchitektur getroffen haben (oder gerade treffen) und diese Entscheidung in eine vertretbare, ASHRAE-konforme Rohrleitungsspezifikation umsetzen müssen.

 

 

Direct-to-Chip-Flüssigkeitskühlung für Rechenzentrums-GPU-Rack-CDU

 

1. Zwei Architekturen, zwei völlig unterschiedliche Fluid-Loop-Logiken

Bevor Sie sich mit einem Rohrleitungsplan befassen, sollten Sie sich darüber im Klaren sein, dass Tauchkühlung und D2C auf grundlegend unterschiedlichen hydraulischen Prinzipien basieren.

Direkt-zu-Chip (D2C)zirkuliert Flüssigkeit -, typischerweise entionisiertes Wasser oder eine Wasser-Glykolmischung - durch Kühlplatten, die direkt auf CPUs, GPUs und ASICs montiert sind. Die Wärme wird an der Chipoberfläche absorbiert und zu einer Kühlmittelverteilungseinheit (CDU) transportiert, die sie mit dem Wassersystem der Anlage austauscht. Das Ergebnis ist ein dichtes, unter Druck stehendes Netzwerk aus Rohren mit kleinem Durchmesser, Verteilern, Schnellkupplungen und Kühlplatten, die alle gleichzeitig im hydraulischen Gleichgewicht arbeiten müssen.

Einphasige Tauchkühlungtaucht ganze Serverplatinen in eine dielektrische Flüssigkeit -, typischerweise einen synthetischen Kohlenwasserstoff oder eine technische Flüssigkeit - in einem Tank. Die Wärme wird von allen Komponenten auf die Flüssigkeit übertragen, die dann durch einen externen Wärmetauscher gepumpt wird. Das externe Rohrnetz ist minimal: im Wesentlichen zwei Anschlüsse pro Tank (Vor- und Rücklauf), die zu einer CDU oder einem Anlagenkühlkreislauf führen.

Der architektonische Unterschied ist deutlich: D2C verteilt die hydraulische Herausforderung auf Dutzende Verbindungspunkte pro Rack; Durch das Eintauchen wird es zu einem einfachen externen Kreislauf mit niedrigem -Druck konsolidiert. Alles, was in Ihrer Rohrleitungsspezifikation nachgeschaltet ist, ergibt sich aus dieser Unterscheidung.

 

2. Auswahl des Rohrmaterials: Wo ASHRAE die Grenzen festlegt

ASHRAE TC 9.9 und TC 9.6 gehen explizit auf die Materialkompatibilität ein. Für D2C-Kühlkreisläufe auf Wasserbasis- verbietet die Richtlinie Zink, Aluminium und Messing mit mehr als 15 % Zink -, die alle die galvanische Korrosion in Gegenwart von aufbereitetem Wasser beschleunigen. In der Praxis sind dadurch standardmäßige Gelbmessing-Fittings und verzinkte Stahlrohre ausgeschlossen, die in HVAC-Hydroniksystemen weiterhin üblich sind.

Für den Technology Cooling System (TCS)-Kreislauf - der sekundäre Kreislauf, der Kühlplatten direkt versorgt -Edelstahl 304 oder 316ist die Standardspezifikation. Im TCS-Kreislauf wird typischerweise entionisiertes oder hochaufbereitetes Wasser betrieben, das tatsächlich aggressiver gegenüber Korrosion ist als kommunales Wasser, da es fast keine Pufferkapazität hat. Ein Absperrventil an jedem Rack, das für den Betriebsdruck des Systems ausgelegt und aus Edelstahl 316 gefertigt ist, ist sowohl für die routinemäßige Wartung als auch für die Leckabdichtung im Notfall erforderlich.

Bei der Tauchkühlung verlagert sich die Materialherausforderung völlig. Die dielektrische Flüssigkeit ist gegenüber den meisten Metallen chemisch inert, greift jedoch Elastomere aggressiv an -Standard-EPDM- und Buna-N-Dichtungen, die in HVAC-Anwendungen verwendet werden, quellen und zersetzen sich innerhalb von Monaten nach Kontakt mit dielektrischen Flüssigkeiten auf Kohlenwasserstoffbasis-. Das Rohrleitungsmaterial selbst (Edelstahl, Kohlenstoffstahl) ist im Allgemeinen kompatibel, aber alle Dichtungen, O--Ringe und flexiblen Verbindungen im externen Kreislauf müssen als PTFE oder ein Fluorpolymermaterial spezifiziert sein, das für die jeweilige verwendete Flüssigkeit ausgelegt ist.

 

3. Rohrdimensionierung, Strömungsgeschwindigkeit und Druckabfall

ASHRAE TC 9.6 legt eine maximale Flüssigkeitsgeschwindigkeit von fest2,1 m/s für Rohrdurchmesser größer als 3 Zollum Erosion an Armaturen und Bögen zu verhindern. Unterhalb von 3 Zoll liegt der praktische Grenzwert eher bei 1,5–1,8 m/s, bevor Lärm und Erosionsrisiko unannehmbar ansteigen. Diese Grenzwerte gelten für beide Kühlarchitekturen, führen jedoch zu sehr unterschiedlichen Größenergebnissen.

In D2C-Systemen wird die Durchflussrate durch die thermische Belastung jeder einzelnen Kühlplatte bestimmt. Mit zunehmender Chip-TDP (Thermal Design Power) - arbeiten moderne H100-GPUs mit 700 W TDP, wobei Beschleuniger der nächsten{5}}Generation voraussichtlich 1.000 W erreichen+ -, steigt der Durchflussbedarf pro Kühlplatte proportional. Ein 50-kW-Rack mit D2C-Kühlung benötigt möglicherweise 8–12 Liter Kühlmittel pro Minute am Rackverteiler, verteilt auf 8 bis 16 einzelne Kühlplatten. Dies macht einen sorgfältigen hydraulischen Ausgleich erforderlich: Parallel geschaltete Kühlplatten müssen den Fluss gleichmäßig aufteilen, sonst wird den heißesten Spänen -, typischerweise am Ende des Verteilerzweigs -, die Kühlkapazität entzogen.

Bei Tauchsystemen trägt die äußere Rohrschleife die gesamte Wärmelast des Tanks, jedoch mit viel geringerer Geschwindigkeit und geringerem Druck, da der Antriebsmechanismus im Inneren des Tanks Konvektion und Pumpen mit niedriger {0}Geschwindigkeit und kein erzwungener Hochdruckfluss ist. Ein 250-kW-Tauchbecken benötigt typischerweise nur 20–30 Liter pro Minute durch den externen Wärmetauscherkreislauf, wobei der Systemdruck selten 2–3 bar übersteigt.

Auch die Entscheidung über die oberirdische oder unterflurige Verlegung wirkt sich auf die Dimensionierung aus. In den ASHRAE-Leitlinien wird darauf hingewiesen, dass bei Rohrverläufen unter dem Boden die Dicke der Isolierung und der Abstand zwischen den Rohrkreuzungen berücksichtigt werden müssen. - Das Hinzufügen von 50 mm zum Rohrdurchmesser bei der Berücksichtigung der Isolierungsumhüllung ist ein häufiger Planungsfehler, der zu Koordinationskonflikten bei der Anordnung erhöhter Bodenfliesen führt.-

 

4. Absperrventile, Siebe und Leckkontrolle: Das Spezifikationsdetail, das die Betriebszeit schützt

Hier bestimmen Rohrleitungsspezifikationen direkt die betriebliche Belastbarkeit und die meisten Spezifikationsdokumente werden unterzeichnet.

Für D2C-SystemeJedes Rack muss sowohl am Vor- als auch am Rücklauf über ein Absperrventil verfügen, sodass ein einzelnes Rack für Wartungszwecke isoliert und entleert werden kann, ohne dass benachbarte Racks abgeschaltet werden müssen. Der bevorzugte Ventiltyp für diese Anwendung ist a3-teiliger Kugelhahn mit Gewindeaus Edelstahl 304 oder 316. Die Konstruktion des drei-teiligen Gehäuses ist hier von entscheidender Bedeutung: Im Gegensatz zu ein-teiligen oder zwei-teiligen Ventilen kann es vor Ort zerlegt werden -, ohne das Rohr aufzuschneiden oder den Ventilkörper aus der Leitung zu entfernen -, um Dichtungen auszutauschen oder den Sitz zu reinigen. In einer Live-Rechenzentrumsumgebung, in der die Minimierung von Rack-Ausfallzeiten von größter Bedeutung ist, ist diese Inline-Wartungsfähigkeit ein bedeutender Betriebsvorteil und kein Spezifikationsluxus.

Vor jedem Rack-Verteiler ist ein Edelstahl-Y-Sieb erforderlich, um die Mikrokanäle der Kühlplatte vor Partikelverunreinigungen zu schützen. Kühlplattengeometrien für Hochleistungs-GPUs verwenden Kanalbreiten von nur 0,5–1,0 mm; Ein 200-Mikrometer-Partikel kann einen Kanal teilweise blockieren und einen lokalen Hotspot erzeugen, den die thermische Überwachung möglicherweise erst erkennt, wenn die Chip-Drosselung beginnt. Geben Sie gemäß den Wasserqualitätsrichtlinien ASHRAE TC 9.9 Siebe mit einer Maschenweite von 50 Mikrometern oder feiner im TCS-Kreislauf an.

Am Rücklaufstrang verhindert ein Rückschlagventil aus Edelstahl den Rückfluss durch den CDU-Wärmetauscher, wenn ein Rack isoliert ist oder eine Pumpe - einen Rückfluss auslöst, der warme Flüssigkeit in den Versorgungsverteiler einleiten und die Kühlmitteltemperaturen in der gesamten Reihe erhöhen kann, bevor die Steuerung reagiert.

Geben Sie für Server-{0}}zu--Verteilerverbindungen trockene -schnell trennbare-Verbindungsstücke mit einer maximal zulässigen Leckage von 1 Kubikzentimeter pro Trennzyklus gemäß den OCP-Verbindungsstandards (Open Compute Project) an. Flexible Schlauchsegmente an diesen Anschlüssen müssen mit zusätzlichen Klemmen in Abständen von 150 mm gesichert werden, um einen durchhängenden Druckabfall und eine Belastung der Anschlussgewinde zu verhindern.

Für Tauchsysteme, ist die Isolationsspezifikation einfacher, aber nicht trivial. Jeder Tank benötigt Vor- und Rücklauf-Absperrventile, die für den gesamten Tankdurchfluss ausgelegt sind, sowie einen Probenanschluss zur Überwachung der Flüssigkeitsqualität. Geben Sie die externen Schleifenverbindungen in einem Material an, das mit der spezifischen dielektrischen Flüssigkeit kompatibel ist. - Bestätigen Sie die Kompatibilität schriftlich mit dem Flüssigkeitslieferanten, bevor Sie die Spezifikation abschließen, da proprietäre Flüssigkeitsformulierungen variieren.

Das Leckerkennungskabel sollte entlang der gesamten Länge aller D2C-Versorgungsleitungen verlegt werden und am tiefsten zugänglichen Punkt jeder Rohr- oder Kabelrinne positioniert werden. Für Tauchsysteme sind Punktsensor-Leckdetektoren an jedem Tankboden und an der CDU ausreichend, da es nur wenige externe Rohrverbindungen und eine gute Sicht gibt.

 

 

Leadtek 3-teiliger Kugelhahn mit Gewinde

 

5. Eine praktische Checkliste für die Spezifikation, bevor Sie für den Bau ausstellen

Bevor Ihre Rohrleitungsspezifikation das Engineering-Team verlässt, überprüfen Sie Folgendes anhand Ihrer gewählten Kühlarchitektur:

Materialkonformität: Alle benetzten Metalle sind nachweislich frei von Zink- und Aluminiumlegierungen (D2C); Alle Elastomere sind mit der dielektrischen Flüssigkeitschemie kompatibel (Eintauchen).

Geschwindigkeitsprüfung: Maximal 2,1 m/s bei Rohren mit einem Durchmesser von mindestens 3 Zoll gemäß ASHRAE TC 9.6

Absperrventile: Ein dreiteiliger Kugelhahn mit Gewinde pro Rack, Vor- und Rücklauf, mit Inline-Wartungsfähigkeit (D2C)

Siebbewertung: Weniger als oder gleich 50 Mikrometer Maschenweite an der TCS-Versorgung, vor jedem Rack-Verteiler (D2C)

Überprüfen Sie die Platzierung des Ventils: CDU-Rücklaufzweig, jeder Rack-Rücklaufzweig (D2C)

Schnell-Trennungsspezifikation: Trockenbruch, weniger als oder gleich 1 ml Verschüttung, OCP-konform (D2C)

Leckerkennung: Durchgehendes Kabel auf allen Versorgungsleitungen (D2C); Punktsensoren am Tankboden und CDU (Eintauchen)

Bodenfreiheit: Rohr-Außendurchmesser plus Isolierung plus 50 mm Kreuzungsabstand im Bodenhohlraummodell bestätigt

Wasseraufbereitungsplan: Standortspezifisches Chemieprogramm vor der Systembefüllung aktiviert, mit festgelegtem laufenden Überwachungsprotokoll

 

Fazit: Legen Sie das Rohrsystem so fest, dass es zur Kühlarchitektur passt, nicht umgekehrt

Die Entscheidung über die Kühltechnologie und die Rohrleitungsspezifikation sind keine aufeinanderfolgenden Schritte -, sondern eine einzige integrierte technische Entscheidung. Die Wahl zwischen Immersions- und D2C-Kühlung legt die hydraulische Logik, die Materialbeschränkungen, die Isolationsstrategie und das Leckrisikoprofil Ihres gesamten Flüssigkeitssystems fest. Der Versuch, eine generische HVAC-Wasserleitungsspezifikation an eine der beiden Architekturen anzupassen, führt zu einem System, das betrieblich unzureichend ist und unnötigen Wartungsaufwand verursacht.

Berücksichtigen Sie bei der schematischen Gestaltung neben der Auswahl der Kühlarchitektur auch Ihre Rohrleitungsspezifikation. Verwenden Sie ASHRAE TC 9.6 und TC 9.9 als Basis-Compliance-Framework und überprüfen Sie jede Materialauswahl anhand der tatsächlichen Flüssigkeitschemie in Ihrem System -, keine generische „Wasser“-Annahme. Die 30 Minuten, die Sie in der Spezifikationsphase damit verbringen, den Typ des Absperrventils und die Siebmaschenweite richtig festzulegen, werden bei künftigen Ausfallzeiten deutlich mehr als 30 Minuten einsparen.

 

FAQ

F: Kann ich Standard-HLK-Kohlenstoffstahlrohre für einen direkten -zum-Chip-Kühlkreislauf verwenden?

Kohlenstoffstahl wird in Kaltwasserkreisläufen auf der Anlagenseite (FWS) verwendet, ist jedoch nicht für den TCS-Kreislauf (Technology Cooling System) geeignet, der Kühlplatten direkt versorgt. Im TCS-Kreislauf wird hochreines Wasser mit niedrigem Ionengehalt betrieben, das für Kohlenstoffstahl korrosiver ist als aufbereitetes HVAC-Wasser. Geben Sie für alle TCS-Rohrleitungen und -Fittings Edelstahl 304 oder 316 an.

F: Warum gibt mein CDU-Hersteller eine andere Rohranschlussgröße an als mein Kühlplattenlieferant?

CDUs und Kühlplatten werden häufig von verschiedenen Herstellern bezogen und sind auf unterschiedliche Annahmen zum internen Strömungswiderstand ausgelegt. Die Nichtübereinstimmung der Verbindungsgröße ist ein hydraulisches Ausgleichsproblem: Wenn die CDU 10 l/min bei 2 bar erwartet und die Kühlplatten insgesamt 14 l/min benötigen, um die Chip-Verbindungstemperaturen aufrechtzuerhalten, ist die Spezifikation keines der Anbieter falsch - das Systemdesign hat sie nicht in Einklang gebracht. Vor der Festlegung der Anschlussdimensionierung sollte ein hydraulisches Modell des gesamten TCS-Kreislaufs vom CDU-Auslass zu jeder Kühlplatte und zurück erstellt werden.

F: Wie oft sollten Y-Siebe in einem D2C-Kühlkreislauf gereinigt werden?

Überprüfen Sie während der ersten 90 Betriebstage monatlich die Siebkörbe. - Neue Rohrleitungssysteme geben Partikel ab, wenn Rohrbeschichtungen aushärten und sich Armaturen absetzen. Nach der Einlaufzeit-ist bei geschlossenen-Kreislaufsystemen mit laufender Überwachung der Wasserqualität in der Regel eine vierteljährliche Inspektion ausreichend. Wenn Ihre CDU über einen Differenzdrucksensor im Sieb verfügt, stellen Sie einen Alarm auf 0,3 bar Delta-P als Basislinie für den sauberen-Korb ein.

F: Ist die Verrohrung für die Tauchkühlung einfacher zu spezifizieren als für D2C?

Das externe Rohrnetz für die Tauchkühlung ist wesentlich einfacher - weniger Verbindungspunkte, niedrigerer Druck und keine Verteilerverteilung auf Rackebene-. Die Materialspezifikation ist jedoch komplexer, da die Kompatibilität der dielektrischen Flüssigkeit für jedes Elastomer, jede Dichtung und jeden flexiblen Anschluss im System überprüft werden muss. Der Fehlermodus einer falschen Materialkompatibilität in einem Tauchsystem ist langsam und schwer zu erkennen: Dichtungsverschlechterung über 12–18 Monate, gefolgt von allmählichem Flüssigkeitsverlust und Kontamination, statt des unmittelbaren und sichtbaren Leckereignisses, das D2C-Systeme hervorrufen.

F: Wie hoch ist die Mindesthöhe des Bodenhohlraums, die für die Verlegung von D2C-Kühlrohren unter einem Doppelboden erforderlich ist?

Die ASHRAE-Richtlinien legen keinen universellen Mindestwert fest, da dieser vom Rohrdurchmesser, den Isolierungsspezifikationen und davon abhängt, ob sich Rohre kreuzen. Eine praktische Planungsregel besteht darin, den größten Rohraußendurchmesser im Verlauf zu berücksichtigen, plus 75 mm Isolierung auf allen Seiten, plus 50 mm Abstand oben für Kreuzungsrohre und plus 25 mm unten für Stützen. Bei einer 4{8}-Zoll-Versorgungsleitung mit 25-mm-Isolierung ergibt sich ein minimaler Bodenhohlraum von etwa 300 mm -, der größer ist als der 250-mm-Hohlraum, der in älteren Rechenzentren mit erhöhtem Boden üblich ist, was eine Nachrüstungsbeschränkung darstellt, die es wert ist, frühzeitig erkannt zu werden.