DAAAM: La intel·ligència artificial que recorda

On vas deixar les claus ahir? Per a una persona reconstruir l'escena sol ser fàcil; per a un robot, unir un objecte amb un lloc i un moment concrets continua sent complicat. Un equip del MIT ha desenvolupat DAAAM, sistema d'intel·ligència artificial que converteix les observacions d'una màquina en una memòria a llarg termini consultable amb llenguatge corrent.

No són records humans ficats en un robot. És més aviat un mapa viu que registra què va aparèixer, on era i quan va ser vist. A les proves, DAAAM va superar altres mètodes, encara que les seves descripcions detallades encara poden arribar amb diversos segons de retard.

Una memòria amb lloc i data

La memòria espaciotemporal reuneix informació sobre lespai i el pas del temps. Si el robot veu una bicicleta vermella al costat d'un edifici, no només guarda que existeix, sinó també la posició i el moment de l'observació. El nom DAAAM resumeix la idea i significa en anglès «descriure qualsevol cosa, a qualsevol lloc i en qualsevol moment».

El treball està signat per Nicolas Gorlo, investigador de postgrau del MIT, Lukas Schmid, professor de la Universitat Tecnològica de Nuremberg, i Luca Carlone, professor associat del MIT i director del laboratori SPARK. "El robot ha de poder raonar sobre el temps i l'espai com ho fem els humans", va explicar Carlone.

Com construeix el mapa

DAAAM rep imatges duna càmera que capta color i profunditat. La profunditat indica la distància de cada punt, per la qual cosa la màquina pot reconèixer un objecte i calcular on és.

Amb aquestes dades, crea un graf d'escena en quatre dimensions, una xarxa de fitxes que connecta objectes, zones i descripcions. Tres dimensions situen cada element i la quarta conserva la història al llarg del temps. ciència ficció.

Els objectes propers s'agrupen per regions, com ara un aparcabicicletes fora d'un edifici. Després, un agent de llenguatge pot cercar per una paraula com a «escultura» o pel lloc on va ser vista i recuperar l'observació adequada.

El truc per anar més ràpid

Els sistemes anteriors solien triar entre mapes ràpids amb poca informació o descripcions riques que arribaven massa tard. DAAAM selecciona els fotogrames més clars, reuneix diversos objectes i els processa en un mateix lot.

Aquesta estratègia va accelerar la descripció al voltant de deu vegades. El mapa va seguir un flux de deu imatges per segon i va generar descripcions per a una mitjana de 5,2 elements nous cada segon, però un lot detallat va trigar prop de deu segons a quedar llest. «Temps real», per tant, no vol dir que cada frase aparegui a l'instant.

Què diuen les proves

Els investigadors van avaluar DAAAM amb OC-NaVQA, un banc de preguntes sobre objectes, llocs i moments. En aquest banc, el llarg termini va arribar a 35,8 minuts i al voltant d'1,6 quilòmetres de recorregut.

Davant l'alternativa més competitiva, la precisió de les respostes va millorar un 53,6%. Els errors de posició van baixar un 21,9% i els temporals un 21,6%. En una altra prova d'instruccions encadenades, la precisió de les tasques completes va pujar un 27,8% respecte al segon millor mètode.

Això no equival a una memòria universal ni infal·lible. Un dels conjunts usats era semisintètic i el model va perdre una mica de precisió en passar d'imatges reals a recreacions digitals. A més, els sistemes van rebre la posició real del robot durant l'avaluació, una condició més controlada que no pas un ús quotidià.

Usos més enllà del laboratori

En una fàbrica, una persona podria demanar «veu a buscar el component que vam començar a muntar ahir a la nit». El MIT també planteja aplicacions de realitat augmentada per ajudar tècnics a detectar anomalies o guiar persones per espais complexos.

DAAAM aprofita el seguiment de canvis de Khronos i les descripcions del Descriu Anything Model. El primer manté mapes d'escenes dinàmiques i el segon explica què apareix en una zona concreta d'una imatge.

L'equip ha publicat les dades i el codi de manera oberta. A la pràctica, l'agent consulta eines de cerca dins de la memòria en lloc d'improvisar tota la resposta, una decisió pensada per reduir errors inventats.

Els límits que queden

El model que redacta les descripcions es va entrenar amb 1,5 milions d‟exemples, una quantitat modesta per als sistemes visuals actuals. Pot fallar davant d'objectes poc comuns o afegir-hi falsos detalls, com imaginar tiradors a les portes d'ascensor que no en tenen.

El ritme d'unes cinc anotacions noves per segon és suficient per a un robot terrestre, segons els autors. Pot quedar curt per a un dron ràpid o unes ulleres de realitat virtual, i el seguiment es complica quan un objecte canvia físicament i deixa de semblar el mateix.

DAAAM també conserva l'historial de descripcions, de manera que el fitxer podria créixer sense límit durant missions molt llargues. Els investigadors proposen resumir records antics i afegir nivells de confiança per assenyalar quan una resposta és dubtosa.

L'estudi principal s'ha publicat a les actes de la Conferència IEEE/CVF.