Raffreddamento per immersione vs. Raffreddamento diretto-a-chip: cosa significa per le specifiche delle tubazioni

Introduzione: La decisione che arriva troppo tardi

La maggior parte dei tecnici dei data center sceglie la tecnologia di raffreddamento - immersione o diretta-to-chip - in base agli obiettivi di densità del rack e al budget di capitale. Le specifiche delle tubazioni vengono successivamente, spesso trattate come un dettaglio esecutivo piuttosto che come un driver di progettazione. Quella sequenza è un errore.

Il sistema di fluidi che costruisci attorno all'architettura di raffreddamento scelta non è intercambiabile. Una specifica di tubazione scritta per il raffreddamento a piastra fredda-diretto a-chip (D2C)-non funzionerà - letteralmente e operativamente - se adattata all'immersione monofase-e viceversa. Con le densità dei rack GPU che ora superano abitualmente i 50 kW e i carichi di lavoro AI che si spingono verso i 100 kW per rack, ottenere le specifiche del tubo nella fase di progettazione schematica non è più un optional. Una singola perdita in un sistema D2C può far crollare in pochi secondi un intero rack di hardware GPU da 400.000 dollari.

Questa guida è scritta per gli ingegneri meccanici e idraulici che hanno già preso (o stanno prendendo) la decisione sull'architettura di raffreddamento e devono tradurre tale scelta in una specifica di tubazione difendibile e conforme a ASHRAE-.

 

 

CDU rack per GPU del data center con raffreddamento a liquido diretto al chip

 

1. Due architetture, due logiche del circuito del fluido completamente diverse

Prima di toccare la pianificazione di una tubazione, è necessario comprendere che il raffreddamento ad immersione e il D2C funzionano secondo principi idraulici fondamentalmente diversi.

Diretto-a-Chip (D2C)fa circolare il liquido - tipicamente acqua deionizzata o una miscela di acqua-glicole - attraverso piastre fredde montate direttamente su CPU, GPU e ASIC. Il calore viene assorbito dalla superficie del truciolo e trasportato a un'unità di distribuzione del refrigerante (CDU), che lo scambia con il sistema dell'acqua dell'impianto. Il risultato è una rete densa e pressurizzata di tubi di piccolo-diametro, collettori, raccordi a disconnessione rapida-e piastre fredde, che devono tutti funzionare simultaneamente in equilibrio idraulico.

Raffreddamento a immersione monofase-immerge intere schede server in un fluido dielettrico - in genere un idrocarburo sintetico o un fluido ingegnerizzato - all'interno di un serbatoio. Il calore viene trasferito da tutti i componenti al fluido, che viene poi pompato attraverso uno scambiatore di calore esterno. La rete di tubazioni esterne è minima: essenzialmente due collegamenti per serbatoio (mandata e ritorno) verso una CDU o un circuito di raffreddamento dell'impianto.

La differenza architettonica è netta: D2C distribuisce la sfida idraulica su dozzine di punti di connessione per rack; l'immersione lo consolida in un semplice circuito esterno a bassa-pressione. Tutto a valle nelle specifiche delle tubazioni deriva da questa distinzione.

 

2. Selezione del materiale dei tubi: dove ASHRAE stabilisce i confini

ASHRAE TC 9.9 e TC 9.6 sono espliciti sulla compatibilità dei materiali. Per i circuiti di raffreddamento a base di acqua D2C-, la guida vieta zinco, alluminio e ottone contenenti più del 15% di zinco - che accelerano la corrosione galvanica in presenza di acqua trattata. In termini pratici, questo esclude i raccordi standard in ottone giallo e i tubi in acciaio zincato che rimangono comuni nei sistemi idronici HVAC.

Per il circuito TCS (Technology Cooling System) - il circuito secondario serve direttamente i piatti freddi -Acciaio inossidabile 304 o 316è la specifica standard. Il circuito TCS generalmente utilizza acqua deionizzata o altamente trattata, che in realtà è più aggressiva nei confronti della corrosione rispetto all'acqua municipale poiché non ha quasi alcuna capacità tampone. Una valvola di isolamento su ciascun rack, classificata per la pressione operativa del sistema e realizzata in acciaio inossidabile 316, è necessaria sia per la manutenzione ordinaria che per l'isolamento di emergenza delle perdite.

Per il raffreddamento ad immersione, la sfida relativa ai materiali cambia completamente. Il fluido dielettrico è chimicamente inerte verso la maggior parte dei metalli, ma attacca in modo aggressivo gli elastomeri. - Le guarnizioni EPDM standard e Buna-N utilizzate nelle applicazioni HVAC si gonfieranno e si degraderanno entro mesi dal contatto con fluidi dielettrici-a base di idrocarburi. Il materiale delle tubazioni stesso (acciaio inossidabile, acciaio al carbonio) è generalmente compatibile, ma ogni guarnizione, O{5}}ring e connessione flessibile nel circuito esterno deve essere specificato come PTFE o materiale fluoropolimerico classificato per il fluido specifico in uso.

 

3. Dimensionamento dei tubi, velocità del flusso e caduta di pressione

ASHRAE TC 9.6 imposta una velocità massima del fluido di2,1 m/s per tubi di diametro superiore a 3 polliciper prevenire l'erosione in corrispondenza di raccordi e curve. Al di sotto di 3 pollici, il limite pratico è più vicino a 1,5–1,8 m/s prima che il rumore e il rischio di erosione aumentino in modo inaccettabile. Questi limiti si applicano a entrambe le architetture di raffreddamento ma creano risultati di dimensionamento molto diversi.

Nei sistemi D2C, la portata è determinata dal carico termico di ciascuna piastra fredda. Man mano che il TDP (Thermal Design Power) del chip aumenta, le - moderne GPU H100 funzionano a 700 W TDP, con gli acceleratori di prossima-generazione previsti a 1.000 W+ -, la richiesta di flusso per piastra fredda aumenta proporzionalmente. Un rack da 50 kW con raffreddamento D2C può richiedere 8-12 litri al minuto di refrigerante nel collettore del rack, distribuiti su 8-16 piastre fredde individuali. Ciò determina la necessità di un attento bilanciamento idraulico: le piastre fredde in parallelo devono condividere equamente il flusso, altrimenti i trucioli più caldi - in genere quelli all'estremità del ramo del collettore - saranno privati ​​della capacità di raffreddamento.

Nei sistemi a immersione, il circuito del tubo esterno trasporta il carico termico dell'intero serbatoio, ma a velocità e pressione molto inferiori poiché il meccanismo di azionamento all'interno del serbatoio è la convezione e il pompaggio a bassa-velocità, non il flusso forzato ad alta-pressione. Un serbatoio ad immersione da 250 kW richiede tipicamente solo 20–30 litri al minuto attraverso il circuito dello scambiatore di calore esterno, a pressioni del sistema che raramente superano i 2–3 bar.

Anche la scelta del percorso sopraelevato rispetto a quello sottopavimento influisce sul dimensionamento. Le linee guida ASHRAE rilevano che i percorsi dei tubi sotto il pavimento devono tenere conto dello spessore dell'isolamento e della distanza di incrocio dei tubi - aggiungere 50 mm al diametro del tubo quando si tiene conto dell'involucro isolante è un errore di pianificazione comune che crea conflitti di coordinamento con i layout delle piastrelle del pavimento rialzato-.

 

4. Valvole di isolamento, filtri e controllo delle perdite: i dettagli delle specifiche che proteggono i tempi di attività

È qui che le specifiche delle tubazioni determinano direttamente la resilienza operativa e dove viene sottoscritta la maggior parte dei documenti relativi alle specifiche.

Per sistemi D2C, ogni rack deve essere dotato di una valvola di isolamento sia sul ramo di alimentazione che su quello di ritorno, che consenta di isolare e drenare un singolo rack per la manutenzione senza spegnere i rack adiacenti. Il tipo di valvola preferito per questa applicazione è aValvola a sfera filettata a 3 pezziin acciaio inox 304 o 316. Il design del corpo in tre-pezzi è fondamentale in questo caso: a differenza delle valvole in un-pezzo o in due-pezzi, può essere smontata sul posto - senza tagliare il tubo o rimuovere il corpo della valvola dalla linea - per sostituire le guarnizioni o pulire la sede. In un ambiente di data center attivo in cui ridurre al minimo i tempi di inattività del rack è fondamentale, questa-manutenibilità in linea rappresenta un vantaggio operativo significativo, non un lusso delle specifiche.

A monte di ciascun collettore a rack, è necessario un filtro a Y in acciaio inossidabile per proteggere i micro-canali della piastra fredda dalla contaminazione da particolato. Le geometrie delle piastre fredde per GPU ad alte-prestazioni utilizzano larghezze di canale strette fino a 0,5–1,0 mm; una particella da 200 micron può bloccare parzialmente un canale e creare un punto caldo localizzato che il monitoraggio termico potrebbe non rilevare finché non inizia la limitazione del chip. Specificare filtri con una maglia di 50 micron o più fine sul circuito TCS, secondo le linee guida ASHRAE TC 9.9 sulla qualità dell'acqua.

Sul tratto di ritorno, una valvola di ritegno in acciaio inossidabile impedisce il flusso inverso attraverso lo scambiatore di calore della CDU quando un rack è isolato o una pompa fa scattare - un evento di riflusso che può introdurre fluido caldo nel collettore di alimentazione e aumentare la temperatura del refrigerante nell'intera fila prima che i controlli rispondano.

Per le connessioni da server-a-collettore, specificare i raccordi a disconnessione-a rottura rapida-a secco con una fuoriuscita massima consentita di 1 centimetro cubo per ciclo di disconnessione, in linea con gli standard di connessione OCP (Open Compute Project). I segmenti di tubo flessibile in corrispondenza di questi collegamenti devono essere fissati con fascette aggiuntive a intervalli di 150 mm per evitare cadute di pressione indotte da abbassamenti-e sollecitazioni sulle filettature dei raccordi.

Per sistemi ad immersione, la specifica dell'isolamento è più semplice ma non banale. Ogni serbatoio necessita di valvole di isolamento di alimentazione e ritorno dimensionate per il flusso completo del serbatoio, oltre a una porta di campionamento per il monitoraggio della qualità del fluido. Specificare le connessioni del circuito esterno in un materiale compatibile con il fluido dielettrico specifico - confermare per iscritto la compatibilità con il fornitore del fluido prima di finalizzare le specifiche, poiché le formulazioni dei fluidi proprietari variano.

Il cavo di rilevamento delle perdite deve essere instradato lungo l'intera lunghezza di tutte le tubazioni di alimentazione D2C, posizionato nel punto accessibile più basso di ciascuna passerella per tubi o passerella per cavi. Per i sistemi ad immersione, i rilevatori di perdite con sensore puntiforme-alla base di ciascun serbatoio e sulla CDU sono sufficienti, dato che i collegamenti dei tubi esterni sono pochi e altamente-visibili.

 

 

Valvola a sfera filettata Leadtek a 3 pezzi

 

5. Una lista di controllo pratica delle specifiche prima del rilascio per la costruzione

Prima che le specifiche delle tubazioni lascino il team di tecnici, verifica quanto segue rispetto all'architettura di raffreddamento scelta:

Conformità dei materiali: Tutti i metalli bagnati sono confermati esenti da leghe di zinco e alluminio (D2C); tutti gli elastomeri confermati sono compatibili con la chimica dei fluidi dielettrici (immersione)

Controllo della velocità: Massimo 2,1 m/s su tubi con diametro maggiore o uguale a 3", secondo ASHRAE TC 9.6

Valvole di isolamento: Una valvola a sfera filettata a 3 pezzi per rack, mandata e ritorno, con-manutenzione in linea (D2C)

Valutazione del filtro: Inferiore o uguale a 50 micron di maglia sull'alimentazione del TCS, a monte di ciascun collettore a rack (D2C)

Controllare il posizionamento della valvola: Tratta di ritorno CDU, ciascun ramo di ritorno del rack (D2C)

Specifiche-di disconnessione rapida: Dry-break, fuoriuscita inferiore o uguale a 1 cc, conforme a OCP- (D2C)

Rilevamento perdite: Cavo continuo su tutti i tratti di alimentazione (D2C); sensori puntuali alla base del serbatoio e CDU (immersione)

Spazio sotto il pavimento: Diametro esterno del tubo più isolamento più spazio di incrocio di 50 mm confermato nel modello con pavimento vuoto

Piano di trattamento delle acque: programma chimico specifico per il sito- avviato prima del riempimento del sistema, con protocollo di monitoraggio continuo specificato

 

Conclusione: specificare il sistema di tubazioni adatto all'architettura di raffreddamento e non il contrario

La decisione sulla tecnologia di raffreddamento e le specifiche delle tubazioni non sono passaggi sequenziali - ma sono un'unica decisione ingegneristica integrata. La scelta tra raffreddamento ad immersione e D2C definisce la logica idraulica, i vincoli dei materiali, la strategia di isolamento e il profilo di rischio di perdite dell'intero sistema di fluidi. Il tentativo di adattare una specifica generica di tubazione idronica HVAC a entrambe le architetture produrrà un sistema con prestazioni inferiori dal punto di vista operativo e crea inutili rischi di manutenzione.

Coinvolgi le specifiche delle tubazioni nella progettazione schematica, insieme alla selezione dell'architettura di raffreddamento. Utilizza ASHRAE TC 9.6 e TC 9.9 come quadro di conformità di base e verifica ogni selezione di materiale rispetto alla chimica effettiva del fluido nel tuo sistema - non un presupposto generico di "acqua". I 30 minuti spesi per ottenere il tipo di valvola di isolamento e il grado di maglia del filtro direttamente in fase di specifica faranno risparmiare molto più di 30 minuti nei futuri tempi di inattività.

 

Domande frequenti

D: Posso utilizzare tubi HVAC standard in acciaio al carbonio per un circuito di raffreddamento diretto-a-truciolo?

L'acciaio al carbonio viene utilizzato nei circuiti dell'acqua refrigerata-lato impianto (FWS), ma non è appropriato per il circuito TCS (Technology Cooling System) che serve direttamente le piastre fredde. Il circuito TCS fa funzionare acqua altamente purificata con un basso contenuto ionico, che è più corrosiva per l'acciaio al carbonio rispetto all'acqua HVAC trattata. Specificare l'acciaio inossidabile 304 o 316 per tutte le tubazioni e i raccordi del circuito TCS.

D: Perché il produttore della CDU specifica una dimensione di connessione del tubo diversa da quella del fornitore della piastra fredda?

Le CDU e le piastre fredde provengono spesso da produttori diversi e progettate in base a diversi presupposti di resistenza al flusso interno. La mancata corrispondenza delle dimensioni della connessione è un problema di bilanciamento idraulico: se la CDU prevede 10 l/min a 2 bar e le piastre fredde richiedono collettivamente 14 l/min per mantenere le temperature di giunzione del chip, nessuna delle specifiche del fornitore è sbagliata - la progettazione del sistema non le ha riconciliate. Prima di finalizzare qualsiasi dimensionamento della connessione, è necessario completare un modello idraulico dell'intero circuito TCS, dall'uscita della CDU a ciascuna piastra fredda e ritorno.

D: Con quale frequenza è necessario pulire i filtri a Y su un circuito di raffreddamento D2C?

Durante i primi 90 giorni di funzionamento, ispezionare mensilmente i cestelli del filtro - i nuovi sistemi di tubazioni rilasciano particolato man mano che i rivestimenti dei tubi si induriscono e i raccordi si depositano. Dopo il periodo di rodaggio, l'ispezione trimestrale è in genere sufficiente per i sistemi a circuito chiuso con monitoraggio continuo della qualità dell'acqua. Se la tua CDU incorpora un sensore di pressione differenziale sul filtro, imposta un allarme su 0,3 bar delta-P come linea di base del-cestello pulito.

D: Le tubazioni di raffreddamento a immersione sono più semplici da specificare rispetto a D2C?

La rete di tubazioni esterne per il raffreddamento a immersione è significativamente più semplice - meno punti di connessione, pressione inferiore e nessuna distribuzione tramite collettori a livello di rack. Tuttavia, la specifica del materiale è più complessa perché la compatibilità del fluido dielettrico deve essere verificata per ogni elastomero, guarnizione e connettore flessibile del sistema. La modalità di guasto per ottenere un'errata compatibilità dei materiali in un sistema a immersione è lenta e difficile da rilevare: degrado della tenuta nell'arco di 12-18 mesi, seguito da una graduale perdita di fluido e contaminazione, piuttosto che dall'evento di perdita immediato e visibile prodotto dai sistemi D2C.

D: Qual è l'altezza minima del vuoto nel pavimento richiesta per i tubi di raffreddamento D2C sotto un pavimento sopraelevato?

Le linee guida ASHRAE non stabiliscono un minimo universale, poiché dipende dal diametro del tubo, dalle specifiche di isolamento e dal fatto che i tubi si incrocino tra loro. Una regola pratica di pianificazione è quella di consentire il diametro esterno maggiore del tubo nel tratto, più 75 mm di isolamento su tutti i lati, più 50 mm di spazio sopra per i tubi incrociati, più 25 mm sotto per i supporti. Per una rete di alimentazione da 4- pollici con isolamento da 25 mm, ciò produce un vuoto minimo nel pavimento di circa 300 mm - più grande del vuoto di 250 mm comune nei data center con pavimento rialzato preesistenti, che è un vincolo di retrofit che vale la pena identificare in anticipo.