Il 29 Giugno, Inflection AI, con sede a Palo Alto, ha annunciato di aver completato una raccolta fondi da 1,3 miliardi di dollari promossa da Microsoft, Reid Hoffman, Bill Gates, Eric Schmidt e Nvidia. Il nuovo capitale sarà in parte destinato alla costruzione di un cluster di GPU Tensor Nvidia H100 da 22.000 unità, che l'azienda dichiara essere il più grande al mondo. Le GPU saranno utilizzate per sviluppare modelli di intelligenza artificiale su larga scala. Gli sviluppatori hanno scritto:

"Stimiamo che se inserissimo il nostro cluster nella recente classifica TOP500 dei supercomputer, sarebbe il secondo e vicino al primo posto, nonostante sia ottimizzato per applicazioni AI — piuttosto che scientifiche".

Inflection AI sta anche sviluppando un proprio assistente personale, il sistema AI denominato "Pi". L'azienda ha spiegato che Pi è "un insegnante, un allenatore, un confidente, un partner creativo e una cassa di risonanza" a cui si può accedere direttamente tramite i social media o WhatsApp. Il finanziamento totale dell'azienda ha raggiunto 1,525 miliardi di dollari dalla sua nascita all'inizio del 2022.

Nonostante i crescenti investimenti in modelli AI di grandi dimensioni, gli esperti hanno avvertito che l'effettiva efficienza nel training può essere fortemente condizionata dalle attuali limitazioni tecnologiche. In un esempio sollevato da Foresight, un fondo di venture fund con sede a Singapore, i ricercatori hanno scritto, citando l'esempio di un modello AI di grandi dimensioni con 175 miliardi di parametri che immagazzina 700 GB di dati:

"Supponendo di avere 100 nodi di calcolo e che ogni nodo debba aggiornare ogni volta tutti i parametri, ogni fase richiederebbe la trasmissione di circa 70TB di dati (700GB*100). Se ipotizziamo ottimisticamente che ogni fase richieda 1s, è necessario trasmettere 70TB di dati al secondo. Questa richiesta di larghezza di banda supera di gran lunga la capacità della maggior parte delle reti".

Continuando con l'esempio precedente, Foresight ha avvisato che "a causa della latenza di comunicazione e della congestione della rete, il tempo di trasmissione dei dati potrebbe superare di gran lunga 1s", il che significa che i nodi di calcolo potrebbero trascorrere la maggior parte del tempo in attesa della trasmissione dei dati invece di eseguire calcoli effettivi. Gli analisti di Foresight hanno concluso che, date le attuali limitazioni, la soluzione risiede in modelli AI di piccole dimensioni, che sono "più facili da implementare e gestire".

"In molti scenari pratici, gli utenti o le aziende non hanno bisogno della capacità di ragionamento più universale dei modelli linguistici di grandi dimensioni, ma si concentrano solo su un target di predizione molto definito".