Panmnesia, una startup del KAIST, ha presentato un IP all’avanguardia che consente di aggiungere memoria esterna alle GPU AI utilizzando il protocollo CXL su PCIe, rompendo le barriere delle capacità di memoria. Gli attuali acceleratori di intelligenza artificiale sono limitati alla memoria interna, poiché i produttori possono inserire solo una quantità limitata di HBM. Con l’aumento dei dataset e la necessità di potenza, il settore si sta concentrando sull’accumulo di GPU AI, ma questo approccio non è sostenibile a lungo termine se si considerano le risorse finanziarie e produttive che richiede. Alla luce di ciò, Panmnesia, un’azienda sostenuta dall’istituto sudcoreano KAIST, ha presentato un IP CXL che può consentire alle GPU di sfruttare la memoria da DRAM o persino da SSD, espandendosi dalla HBM incorporata.
Per colmare la connettività, CXL utilizza collegamenti PCIe, assicurando un’adozione di massa da parte dei consumatori. Tuttavia, c’è un problema. Gli acceleratori AI tradizionali non dispongono dei sottosistemi necessari per connettersi e utilizzare direttamente il CXL per l’espansione della memoria e le soluzioni come UVM (Unified Virtual Memory) sono piuttosto lente, il che vanifica l’obiettivo iniziale. Tuttavia, come soluzione, Panmnesia ha sviluppato il proprio chip Root Complex conforme a CXL 3.1, che dispone di più porte che collegano la GPU alla memoria esterna attraverso un bus PCIe e il decoder HDM (Host-Managed Device Memory) funge da ponte tra le connessioni, gestendo l’allocazione e la traduzione della memoria.
È interessante notare che Panmnesia ha deciso di confrontare la propria soluzione (CXL-Opt) con i prototipi sviluppati da Samsung e Meta, etichettati come “CXL-Proto”. Con nostra sorpresa, CXL-Opt ha ottenuto una latenza di andata e ritorno significativamente inferiore, ovvero il tempo impiegato dai dati per spostarsi dalla GPU alla memoria e viceversa. CXL-Opt ha mostrato una latenza a due cifre di nanosecondi, mentre CXL-Proto aveva una latenza di 250ns. A parte questo, il tempo di esecuzione di CXL-Opt è di gran lunga inferiore a quello della soluzione UVM, in quanto raggiunge velocità di prestazioni IPC 3,22 volte superiori a UVM.
