Aiutare la visione artificiale e i modelli linguistici a comprendere ciò che vedono

I ricercatori utilizzano dati sintetici per migliorare la capacità dei modelli di cogliere informazioni concettuali, il che potrebbe migliorare i sistemi di didascalia automatica e di risposta alle domande.

Potente algoritmi di apprendimento automatico noti come modelli di visione e linguaggio, che imparano ad abbinare il testo alle immagini, hanno mostrato risultati notevoli quando è stato chiesto loro di generare didascalie o riassumere video.

I ricercatori del MIT hanno creato un…