Investigadores crean agente autónomo en Minecraft para desarrollar robots de hogar avanzados

Investigadores de IA desarrollan un agente autónomo para Minecraft que aprende y mejora sus habilidades en el juego de manera autónoma. Este agente, llamado Voyager, utiliza GPT-4 para escribir su propio código a través de prueba y error mientras juega. A diferencia de otros bots, Voyager es un ejemplo de "agente encarnado", un tipo de IA que puede moverse y actuar libremente en un entorno simulado o real. La idea detrás de este proyecto es desarrollar un robot de hogar que pueda realizar tareas complejas, como navegar por un mundo complejo para realizar tareas.

Un juego ideal para probar la IA

Minecraft es el lugar ideal para probar estas ideas porque es una representación aproximada del mundo real, con reglas y físicas simples y directas, pero también lo suficientemente complejo y abierto como para que haya mucho por hacer. Los simuladores creados específicamente para la IA son muy útiles, pero también tienen sus limitaciones. Por eso, los creadores de Voyager utilizaron MineDojo, un marco de simulación construido alrededor de Minecraft, que les permitió crear videos de YouTube, transcripciones, artículos de wiki y una gran cantidad de publicaciones de Reddit de r/minecraft para que los usuarios pudieran crear o afinar un modelo de IA.

El aprendizaje autónomo de Voyager

Voyager comienza siendo relativamente ingenuo, y a medida que encuentra cosas en el juego, tiene una pequeña conversación interna con GPT-4 sobre qué debería hacer y cómo. Por ejemplo, si llega la noche y aparecen esqueletos, el agente tiene una idea general de lo que debe hacer, pero se pregunta qué haría un buen jugador en esta situación. GPT-4 le dice que para explorar el mundo de manera segura, deberá fabricar y equipar una espada y luego golpear al esqueleto mientras evita ser golpeado. Ese sentido general de lo que hay que hacer se traduce en objetivos concretos: recolectar piedra y madera, construir una espada en la mesa de trabajo, equiparla y luchar contra un esqueleto.

Una vez que Voyager ha logrado estos objetivos, los agrega a su biblioteca de habilidades generales para que, más adelante, cuando la tarea sea "ir más profundamente en una cueva para encontrar mineral de hierro", no tenga que aprender a luchar nuevamente desde cero. Aunque Voyager utiliza GPT, utiliza GPT-3.5, que es más barato y rápido que GPT-4, para determinar las habilidades más relevantes para una situación específica.

GPT-4 vs GPT-3.5

GPT-4 supera a GPT-3.5 (es decir, ChatGPT) en la generación de código útil. Una prueba en la que se reemplazó a GPT-4 por GPT-3.5 tuvo como resultado que el agente fallara al no poder mejorar. La codificación es mucho más difícil y GPT-4 fue una gran actualización en ese sentido. El objetivo de esta investigación es encontrar métodos por los cuales los modelos de IA relativamente simples puedan mejorar por sí mismos basándose en sus "experiencias". Si vamos a tener robots que nos ayuden en nuestros hogares, hospitales y oficinas, necesitarán aprender y aplicar esas lecciones a futuras acciones.

Voyager es un ejemplo de cómo la IA puede mejorar de manera autónoma. Los investigadores han creado un agente que puede aprender de manera autónoma y mejorar en un entorno complejo como Minecraft. Aunque todavía hay mucho por hacer antes de que estos avances se puedan aplicar en robots de hogar, este proyecto es un paso importante en esa dirección.