GPT-4o mini e Mistral NeMo: nuovi, veloci ed efficienti

Nell'ultima settimana sono stati annunciati due nuovi modelli di AI: GPT-4o mini di OpenAI e Mistral NeMo di Mistral e NVIDIA. Si tratta di due modelli di dimensioni ridotte che promettono un nuovo equilibrio tra prestazioni, efficienza e velocità dell'AI, offrendo output di qualità in un formato più accessibile e conveniente.

Cosa sono i modelli AI di piccole dimensioni?

I modelli AI di piccole dimensioni sono versioni ridotte dei loro "fratelli maggiori", progettati per offrire un equilibrio tra prestazioni ed efficienza. Tra i più noti troviamo Llama 3 8b, GPT-3.5 Turbo, Claude Haiku di Anthropic e Gemini 1.5 Flash di Google. Questi modelli si distinguono per dimensioni più contenute, solitamente tra i 7 e i 13 miliardi di parametri (il vecchio GPT-3, del 2020, ha 175 miliardi, e i modelli recenti sono ancora più grandi) e costi operativi inferiori, rendendoli ideali per applicazioni che richiedono risposte rapide o risorse computazionali limitate.

GPT-4o mini: il nuovo arrivato di OpenAI

OpenAI ha recentemente lanciato GPT-4o mini, un modello che promette di rendere l'intelligenza artificiale più accessibile a tutti. Con un costo di soli 15 centesimi per milione di token di input e 60 centesimi per milione di token di output, GPT-4o mini è il 60% più economico di GPT-3.5 Turbo (il quale verrà sostituito dal nuovo arrivato in qualità di modello disponibile gratuitamente).

Nonostante le dimensioni ridotte, GPT-4o mini vanta prestazioni impressionanti. Supera GPT-3.5 Turbo in numerosi test e offre una finestra di contesto di 128.000 token, equivalente alla lunghezza di un libro. Il modello eccelle in compiti di ragionamento, conoscenza del mondo e programmazione, con punteggi notevoli in benchmark tra cui MMLU (82%) e HumanEval (87,2%).

Tuttavia, non mancano le critiche. Ethan Mollick, opinion leader nel campo dell'AI (di cui abbiamo parlato in questo articolo) ha notato che GPT-4o mini, pur essendo impressionante per le sue dimensioni, non può sostituire i modelli di punta. Secondo Mollick, il modello fatica a seguire istruzioni complesse e manca di sfumature che GPT-4o è in grado di cogliere.

Mistral NeMo di Mistral AI e NVIDIA

Quasi in contemporanea, Mistral AI, in collaborazione con NVIDIA, ha presentato Mistral NeMo, un modello open-source da 12 miliardi di parametri che si propone come soluzione all'avanguardia per le applicazioni aziendali. Mistral NeMo si distingue per le sue capacità multilingue: supporta efficacemente lingue come inglese, francese, tedesco, italiano e molte altre.

Il modello utilizza un tokenizzatore chiamato Tekken, addestrato su oltre 100 lingue, che migliora l'efficienza nella compressione del testo e nella programmazione. Con una finestra di contesto di 128k token, Mistral NeMo offre dunque prestazioni notevoli in compiti di ragionamento, conoscenza e programmazione.

Un aspetto interessante di Mistral NeMo è la sua ottimizzazione per l'inferenza FP8, che consente di ridurre la memoria necessaria e accelerare l'implementazione senza compromettere l'accuratezza.

Quando e come utilizzare i modelli mini?

I modelli di piccole dimensioni come GPT-4o mini e Mistral NeMo sono particolarmente adatti per:

-Lavori che richiedono risposte rapide, come chatbot in tempo reale

-Progetti con budget limitati o che esigono scalabilità

-Dispositivi con risorse computazionali limitate

-Compiti di elaborazione del linguaggio naturale di base, come traduzioni o riassunti

Questi modelli possono essere integrati in vari settori, dalla customer service all'assistenza nella scrittura di codice, passando per l'analisi dei dati e la generazione di contenuti.

L'introduzione di GPT-4o mini e Mistral NeMo segna un passo avanti nella democratizzazione dell'intelligenza artificiale, dal momento che i due modelli rendono le tecnologie AI avanzate accessibili ad un pubblico più ampio, aprendo nuove possibilità per l'innovazione e l'applicazione pratica.

Tuttavia, è importante ricordare che, nonostante i progressi, i modelli mini hanno ancora limitazioni rispetto alle loro controparti più grandi. Non sono adatti per compiti che richiedono ragionamento complesso o una comprensione profonda del contesto.