Svolta:l’intelligenza artificiale sfida le leggi di scaling con nuove tecniche

Negli ultimi anni, l’industria dell’intelligenza artificiale ha vissuto un periodo di crescita esponenziale, guidato dalla convinzione che l’aumento della potenza di calcolo e dei dati potesse migliorare indefinitamente le capacità dei modelli di AI. Tuttavia, recenti sviluppi suggeriscono che queste aspettative potrebbero essere state troppo ottimistiche. Secondo Ilya Sutskever, co-fondatore di Safe Superintelligence (SSI) e OpenAI, i risultati ottenuti dall’espansione della fase di pre-addestramento, che utilizza grandi quantità di dati non etichettati per comprendere modelli e strutture linguistiche, hanno raggiunto un plateau. Questo cambiamento segna una svolta significativa rispetto alle visioni ottimistiche di un anno fa, evidenziando l’evoluzione del panorama dello sviluppo dell’AI.

Test-Time Compute: Una Nuova Frontiera

In risposta alle limitazioni delle leggi di scaling tradizionali, i ricercatori stanno esplorando nuove tecniche per migliorare le capacità dei modelli di AI. Una di queste è il “test-time compute”, che si concentra sull’ottimizzazione dei modelli esistenti durante la fase di inferenza, quando il modello viene effettivamente utilizzato. Questo approccio consente ai modelli di dedicare più risorse di calcolo ai compiti complessi, simili al ragionamento umano. Ad esempio, il modello o1 di OpenAI è in grado di “pensare” attraverso i problemi in modo multi-step, imitando il processo decisionale umano. Questo metodo ha già dimostrato di migliorare significativamente le prestazioni del modello, come evidenziato da esperimenti che mostrano come un bot possa ottenere prestazioni migliori semplicemente “pensando” per 20 secondi su una mano di poker.

Implicazioni per l’Industria dell’AI

Questa transizione verso nuove tecniche di sviluppo dell’AI potrebbe avere implicazioni significative per l’industria, alterando il panorama competitivo per l’hardware dell’AI. Finora, la domanda insaziabile di chip AI di Nvidia ha dominato il mercato, ma con l’emergere di nuove esigenze di calcolo per l’inferenza, potrebbero sorgere nuove opportunità per altri fornitori di chip. Sonya Huang, partner di Sequoia Capital, ha osservato che questo cambiamento ci porterà da un mondo di cluster di pre-addestramento massicci verso “cloud di inferenza”, server distribuiti basati su cloud per l’inferenza. Questo potrebbe influenzare le strategie di investimento e la domanda di risorse energetiche e di chip, elementi cruciali per lo sviluppo continuo dell’AI.

Verso una Nuova Era dell’Intelligenza Artificiale

Mentre l’industria dell’AI continua a evolversi, le aziende e i ricercatori si trovano a dover bilanciare l’avanzamento tecnologico con considerazioni etiche e vincoli di risorse. Nonostante le sfide, c’è ottimismo riguardo al potenziale di progresso rapido. Kevin Weil, Chief Product Officer di OpenAI, ha espresso fiducia nel fatto che ci siano molte opportunità per migliorare rapidamente questi modelli. Il testo è già leggibile e non necessita di correzioni.