È difficile sottostimare quanto siano impattanti le rivelazioni del paper Alpaca (leggi di più qui).
Trasferire l’intelligenza tra i vari modelli è molto più facile, economico ed efficace di quanto si pensasse. Questa è una grande notizia per l’intera industria, perché significa che se si permette alle persone di utilizzare il proprio modello di AI, esse saranno in grado di “rubare” parte dell’intelligenza del modello.
Ciò ha diverse implicazioni:
- Innanzitutto dimostra come OpenAI può benissimo perdere il controllo sul primato dell’industria AI.
- Ci saranno sempre molti modelli disponibili con capacità molto simili, il che crea competizione nell’industria.
- Abbiamo assistito ad una delle prime grandi istanze di modelli di AI che si addestrano reciprocamente e questo è un trend che è destinato a continuare.
Architetture cognitive vs Prompt-Chaining
Molti grandi e piccoli attori si stanno spostando verso Architetture cognitive/Prompt chaining: OpenAI con GPT4, Langchain e BingSearch.
Tuttavia, ci sono ancora approcci diversi per questo: uno massimalista e uno minimalista. Per capire la differenza:
Minimalista: Catene di prompt ridotte (inferiori a 5), senza memoria esterna (la memoria è contenuta nella finestra del contesto). Possiamo chiamare questo approccio “prompt-chaining” o aproccio “minimalista”. I suoi vantaggi sono di consentire la possibilità di risposta in tempo reale, essere meno costoso e scalabile.
Massimalista: Grandi catene di prompt (fino a 100 attualmente, ma eventualmente fino a 1000), memoria esterna attraverso gli embedding del database/ KG. Elaborazione parallela e regioni cerebrali. Auto-tuning del cervello. Dati e codice sintetici.
Svantaggi: non può essere in tempo reale ed è anche molto più costoso (un cervello completo costerebbe forse 20.000 dollari al mese con la tecnologia disponibile oggi). Tuttavia, l’architettura cerebrale consente la volontà e l’auto-tuning. Quest’ultimo avviene attraverso la creazione di memoria, il tuning del cervello e la modifica del proprio codice. Questa è probabilmente la strada per l’AGI (Artificial General Intelligence) di cui parleremo più volte su Ecumenopoli.
Al momento siamo destinati ad essere sommersi da approcci minimalisti.
Alcuni di essi saranno estremamente convincenti e la maggior parte sembrerà eccezionale. Non fatevi ingannare però: questi si trattano solo di Large Language Models con un volto e una voce.