Dalle reti ricorrenti a GPT-4: misurazione del progresso algoritmico nei modelli linguistici

Nel 2012, il migliore i modelli linguistici erano piccole reti ricorrenti che faticavano a formare frasi coerenti. Avanti veloce fino ad oggi e modelli linguistici di grandi dimensioni come GPT-4 superano la maggior parte degli studenti del SAT. Come è stato possibile questo rapido progresso?

Credito immagine: MIT CSAIL

In un nuova carta, i ricercatori di Epoch, MIT FutureTech e Northeastern University hanno deciso di far luce su questa domanda. La loro ricerca suddivide i fattori…