Nvidia lanza Chat with RTX, un chatbot de IA para tarjetas gráficas

Nvidia lanza una herramienta de chatbot con inteligencia artificial para sus tarjetas gráficas GeForce RTX

Nvidia, siempre dispuesta a incentivar las compras de sus últimas GPU, está lanzando una herramienta que permite a los propietarios de tarjetas GeForce RTX 30 Series y 40 Series ejecutar un chatbot con inteligencia artificial sin conexión en una PC con Windows.

La herramienta, llamada Chat with RTX, permite a los usuarios personalizar un modelo GenAI en línea con el ChatGPT de OpenAI, conectándolo a documentos, archivos y notas que luego puede consultar.

"En lugar de buscar entre notas o contenido guardado, los usuarios simplemente pueden escribir consultas", escribe Nvidia en una publicación de blog. "Por ejemplo, se podría preguntar: '¿Cuál era el restaurante que mi pareja recomendó en Las Vegas?' y Chat with RTX escaneará los archivos locales a los que el usuario lo dirige y proporcionará la respuesta con contexto".

Chat with RTX utiliza el modelo de código abierto de la startup de IA, Mistral, de forma predeterminada, pero también admite otros modelos basados en texto, incluido Llama 2 de Meta. Nvidia advierte que la descarga de todos los archivos necesarios consumirá una cantidad considerable de almacenamiento, entre 50 GB y 100 GB, dependiendo de los modelos seleccionados.

Actualmente, Chat with RTX funciona con formatos de texto, PDF, .doc, .docx y .xml. Al apuntar la aplicación a una carpeta que contenga cualquier archivo compatible, se cargarán los archivos en el conjunto de datos de ajuste fino del modelo. Además, Chat with RTX puede tomar la URL de una lista de reproducción de YouTube para cargar transcripciones de los videos en la lista de reproducción, lo que permite que el modelo seleccionado consulte su contenido.

Sin embargo, hay ciertas limitaciones a tener en cuenta, que Nvidia menciona en una guía de instrucciones.

Chat with RTX no puede recordar el contexto, lo que significa que la aplicación no tendrá en cuenta ninguna pregunta anterior al responder preguntas de seguimiento. Por ejemplo, si preguntas "¿Cuál es un pájaro común en América del Norte?" y luego sigues con "¿Cuáles son sus colores?", Chat with RTX no sabrá que estás hablando de pájaros.

Nvidia también reconoce que la relevancia de las respuestas de la aplicación puede verse afectada por una serie de factores, algunos más fáciles de controlar que otros, como la redacción de la pregunta, el rendimiento del modelo seleccionado y el tamaño del conjunto de datos de ajuste fino. Pedir hechos que se encuentren en un par de documentos probablemente dará mejores resultados que pedir un resumen de un documento o conjunto de documentos. Y la calidad de las respuestas generalmente mejorará con conjuntos de datos más grandes, al igual que apuntar Chat with RTX a más contenido sobre un tema específico, según afirma Nvidia.

Entonces, Chat with RTX es más un juguete que algo que se use en producción. Aun así, hay algo que decir sobre las aplicaciones que facilitan la ejecución de modelos de IA localmente, lo cual es una tendencia creciente.

En un informe reciente, el Foro Económico Mundial predijo un crecimiento "dramático" en dispositivos asequibles que pueden ejecutar modelos GenAI sin conexión, incluyendo PC, teléfonos inteligentes, dispositivos de Internet de las cosas y equipos de red. Las razones, según el WEF, son los beneficios evidentes: no solo los modelos sin conexión son inherentemente más privados, ya que los datos que procesan nunca abandonan el dispositivo en el que se ejecutan, sino que también tienen una latencia más baja y son más rentables que los modelos alojados en la nube.

Por supuesto, democratizar herramientas para ejecutar y entrenar modelos abre la puerta a actores maliciosos: una búsqueda rápida en Google arroja muchos resultados de modelos ajustados en contenido tóxico de rincones poco escrupulosos de la web. Pero los defensores de aplicaciones como Chat with RTX argumentan que los beneficios superan los perjuicios. Habrá que esperar y ver.