Colibrì Lightelligence Basso

Aug 13, 2023

All'Hot Chips 2023, Lightelligence ha mostrato il suo motore di connessione ottica a bassa latenza Hummingbird. Siamo riusciti a trovarne uno fuori dall'auditorium a cui scattare una foto per la copertina.

Tuttavia, questo è stato scritto in tempo reale, quindi scusate gli errori di battitura.

Questa è l’ennesima tabella che afferma che la domanda di calcolo dell’intelligenza artificiale sta superando di gran lunga il ridimensionamento dei transistor.

Lightelligence si concentra sull'aumento dell'ottica nel calcolo. Oggi l'azienda parla dell'Optical NOC. Si tratta dell'utilizzo di un chip e di una scheda di prova che abbiamo visto all'esterno, ma che è solo una parte del portafoglio dell'azienda.

L'azienda afferma che la creazione di architetture specifiche del dominio per affrontare specifici formati numerici, matematica e parallelismo è un'area di miglioramento delle prestazioni.

Un'altra area in cui è possibile aumentare le prestazioni è l'aggiunta di più silicio ai package.

Le interconnessioni che utilizzano segnali elettrici sono considerate inefficienti.

Qui Lightelligence parla di un Network-on-Chip ottico o oNOC. L'idea è quella di utilizzare la luce al posto della segnalazione elettrica su un pacco per aumentarne l'efficienza.

Consente inoltre diversi tipi di topologie poiché le guide d'onda ottiche possono coprire distanze maggiori.

Consente un migliore ridimensionamento all'aumentare della distanza tra i chiplet. Questo è importante poiché i chiplet possono essere meno costosi da produrre, ma poi devono essere collegati sui pacchetti.

Hummingbird è un esempio di utilizzo di oNOC. Ha un FPGA, un laser esterno e un SiP di terze parti racchiuso su una scheda. L'oNOC consente cose come la trasmissione all-to-all.

Hummingbird si concentra sull'inserimento della connettività ottica in un pacchetto utilizzando un circuito integrato fotonico o PIC insieme a chip elettronici di silicio.

L'interpositore fornisce energia ai chip. Il PIC inferiore è il componente ottico. L'EIC è di nuovo in vetta. Quel SiP è un'architettura SIMD con un ISA personalizzato con cluster di otto core.

La grande differenza è la rete di trasmissione ottica con la struttura a forma di U. Utilizzando ciò, ogni core può aggiornare ogni altro core e non avere alcun incrocio di guida d'onda nel PIC.

Ecco la microarchitettura del core. Questo è un core di inferenza AI DSA. Ogni altro core può inviare i propri dati tramite la ricezione oNOC e anche ogni core può ricevere dati tramite la quantizzazione e la trasmissione oNOC.

Ecco le metriche sul Hummingbird.

Ecco un sistema con Hummingbird in uno chassis GPU PCIe.

Ecco i parametri di prestazione.

Lightelligence afferma di poter cucire chip di diverse dimensioni. Sembra che si concentri sulla costruzione di qualcosa che vada oltre un chip limitato e rettile come NVIDIA H100.

Ecco nuovamente le soluzioni:

L’utilizzo del packaging 3D renderà questa tecnologia più interessante. La domanda successiva, ovviamente, è se altre aziende cercheranno questo strumento per la comunicazione tra chip o se altri tipi di tecnologie prenderanno il sopravvento. Si tratta di una tecnologia interessante, ma molti dei grandi fornitori stanno guardando anche alle tecnologie ottiche.

Speriamo di ricevere un aggiornamento in un futuro Hot Chips.