HetCCL face ca acceleratorii AI Nvidia și AMD să colaboreze prin RDMA — o bibliotecă de comunicații colective independentă de furnizor elimină un obstacol pentru centrele de date AI eterogene

Conform Tom’s Hardware, în orice centru de date, fie că este pentru AI sau nu, comunicarea rapidă între noduri este la fel de importantă ca viteza nodurilor în sine. În lucrările de AI, dezvoltatorii sunt îndemnați să folosească biblioteci de rețea specifice furnizorului, precum Nvidia’s NCCL sau AMD’s RCCL. Acum, într-o nouă lucrare, un grup de oameni de știință sud-coreeni a propus o nouă bibliotecă numită HetCCL, o abordare independentă de furnizor care permite clusterelor compuse din GPU-uri de la ambii furnizori să funcționeze ca unul singur.

Deși poate fi folosită simplu pentru comunicarea între mai multe GPU-uri într-o singură configurație, o comunicație colectivă într-un centru de date ajunge adesea să folosească Remote Direct Memory Access (RDMA) pentru a permite aplicațiilor să transmită date către un GPU aflat altundeva în rețea. Gândiți-vă la trimiterea pachetelor de rețea direct în memoria unui dispozitiv (în acest caz VRAM-ul GPU-ului), în loc să treacă prin driver, stiva TCP/IP, stratul de rețea al sistemului de operare, consumând astfel un număr mare de cicluri CPU în proces.

Autorii lucrării susțin că HetCCL este prima soluție din lume care poate înlocui CCL-urile specifice furnizorului, realizând mai multe performanțe simultan, prin permiterea comunicării cross-platform și echilibrării sarcinii. Cea mai mare realizare a HetCCL este că poate face viabile implementările multi-furnizor, permițând dezvoltatorilor să folosească capacitatea de calcul agregată a rack-urilor de servere Nvidia și AMD pentru o anumită sarcină.

• Cloudul GPU al Chinei se consolidează în jurul Baidu și Huawei pe măsură ce cipurile AI interne se extind
• HPE adoptă arhitectura de rack Helios a AMD pentru sistemele AI din 2026 — noul factor de formă al rack-ului își găsește primul partener major înainte de disponibilitatea din 2026
• Microsoft a creat un cadru de infrastructură AI „Community-First” pentru proiectele sale de centru de date

În al doilea rând, HetCCL se pretinde a fi o înlocuire directă a bibliotecii, aparent fiind necesar doar ca dezvoltatorii să lege aplicația lor la codul HetCCL în loc de CCL-ul furnizorului lor. Cea mai bună analogie aici este schimbarea unui DLL într-un joc pentru a injecta filtre post-procesare sofisticate. În acest fel, nu ar trebui să fie necesare schimbări de cod sursă oriunde, de la aplicație până la drivere, un fapt pe care echipa HetCCL îl subliniază cu mândrie.

În al treilea rând, adaugă implicit suport pentru orice noi furnizori de GPU viitori, deoarece odată ce este legat de HetCCL, codul aplicației nu trebuie să se preocupe dacă apelurile lor de transfer de date către, de exemplu, NCCL, vor ajunge de fapt la GPU-urile Nvidia. Și, nu în ultimul rând, HetCCL realizează toate acestea cu un overhead minim, uneori chiar depășind CCL-ul original datorită parametrilor de tuning mai buni implicit.

Pentru a ilustra acest lucru, oamenii de știință au efectuat teste pe un cluster de patru noduri, cu 2×4 GPU-uri Nvidia și 2×4 GPU-uri AMD. Rețineți că rezultatele nu sunt menite să fie benchmark-uri cross-furnizor, ci mai degrabă o ilustrare a potențialului HetCCL cu resurse de testare modeste. Până la urmă, sistemul Nvidia avea GPU-uri PCI 3.0, în timp ce sistemele AMD aveau unități PCIe 4.0; toate hardware-uri vechi acum

În multe cazuri, rezultatele ating maximele lor teoretice prin adăugarea oarbă a puterii de calcul Nvidia și AMD, o realizare impresionantă, deși, în mod natural, aceasta va varia foarte mult între configurații și sarcini de lucru. În condițiile potrivite, HetCCL ar putea duce la costuri mai mici pentru antrenarea modelelor, deoarece utilizarea eficientă a ambelor GPU-uri Nvidia și AMD simultan înseamnă că sarcinile nu mai trebuie să fie împărțite între clustere și, în cele din urmă, să aștepte unele pe altele. Ar putea exista și economii de ore de muncă în gestionarea acestor sarcini.

Principalele dezavantaje de luat în considerare sunt probabil că este pur și simplu greu de imaginat o implementare cross-furnizor într-un centru de date AI, având în vedere că alegerea unui furnizor de GPU implică și alegerea unui ecosistem software, iar pentru moment ofertele Nvidia sunt standardul. În plus, administratorii de sistem sunt prin natura lor conservatori, optând să rămână la un singur furnizor pentru ușurința întreținerii și suportului.

Cealaltă observație este că abstractizarea stratului de rețea este doar un pas. Antrenarea modelelor și aproape orice sarcină legată de AI la nivel de centru de date include tone de cod specific GPU și optimizări de configurare. Această limitare va exista în continuare, indiferent cât de frumos este stratul de rețea cross-platform.

Cu toate acestea, scopul întreg al HetCCL este să demonstreze că eliminarea unui obstacol major pentru adoptarea configurațiilor eterogene este posibilă și alții ar putea să-i urmeze exemplu