IA | Innovación

Nvidia lanza Chat with RTX, un chatbot de IA para tarjetas gráficas

Nvidia lanza una herramienta de chatbot con inteligencia artificial para sus tarjetas gráficas GeForce RTX

Nvidia, siempre dispuesta a incentivar las compras de sus últimas GPU, está lanzando una herramienta que permite a los propietarios de tarjetas GeForce RTX 30 Series y 40 Series ejecutar un chatbot con inteligencia artificial sin conexión en una PC con Windows.

La herramienta, llamada Chat with RTX, permite a los usuarios personalizar un modelo GenAI en línea con el ChatGPT de OpenAI, conectándolo a documentos, archivos y notas que luego puede consultar.

"En lugar de buscar entre notas o contenido guardado, los usuarios simplemente pueden escribir consultas", escribe Nvidia en una publicación de blog. "Por ejemplo, se podría preguntar: '¿Cuál era el restaurante que mi pareja recomendó en Las Vegas?' y Chat with RTX escaneará los archivos locales a los que el usuario lo dirige y proporcionará la respuesta con contexto".

Chat with RTX utiliza el modelo de código abierto de la startup de IA, Mistral, de forma predeterminada, pero también admite otros modelos basados en texto, incluido Llama 2 de Meta. Nvidia advierte que la descarga de todos los archivos necesarios consumirá una cantidad considerable de almacenamiento, entre 50 GB y 100 GB, dependiendo de los modelos seleccionados.

Actualmente, Chat with RTX funciona con formatos de texto, PDF, .doc, .docx y .xml. Al apuntar la aplicación a una carpeta que contenga cualquier archivo compatible, se cargarán los archivos en el conjunto de datos de ajuste fino del modelo. Además, Chat with RTX puede tomar la URL de una lista de reproducción de YouTube para cargar transcripciones de los videos en la lista de reproducción, lo que permite que el modelo seleccionado consulte su contenido.

Sin embargo, hay ciertas limitaciones a tener en cuenta, que Nvidia menciona en una guía de instrucciones.

Chat with RTX no puede recordar el contexto, lo que significa que la aplicación no tendrá en cuenta ninguna pregunta anterior al responder preguntas de seguimiento. Por ejemplo, si preguntas "¿Cuál es un pájaro común en América del Norte?" y luego sigues con "¿Cuáles son sus colores?", Chat with RTX no sabrá que estás hablando de pájaros.

Nvidia también reconoce que la relevancia de las respuestas de la aplicación puede verse afectada por una serie de factores, algunos más fáciles de controlar que otros, como la redacción de la pregunta, el rendimiento del modelo seleccionado y el tamaño del conjunto de datos de ajuste fino. Pedir hechos que se encuentren en un par de documentos probablemente dará mejores resultados que pedir un resumen de un documento o conjunto de documentos. Y la calidad de las respuestas generalmente mejorará con conjuntos de datos más grandes, al igual que apuntar Chat with RTX a más contenido sobre un tema específico, según afirma Nvidia.

Entonces, Chat with RTX es más un juguete que algo que se use en producción. Aun así, hay algo que decir sobre las aplicaciones que facilitan la ejecución de modelos de IA localmente, lo cual es una tendencia creciente.

En un informe reciente, el Foro Económico Mundial predijo un crecimiento "dramático" en dispositivos asequibles que pueden ejecutar modelos GenAI sin conexión, incluyendo PC, teléfonos inteligentes, dispositivos de Internet de las cosas y equipos de red. Las razones, según el WEF, son los beneficios evidentes: no solo los modelos sin conexión son inherentemente más privados, ya que los datos que procesan nunca abandonan el dispositivo en el que se ejecutan, sino que también tienen una latencia más baja y son más rentables que los modelos alojados en la nube.

Por supuesto, democratizar herramientas para ejecutar y entrenar modelos abre la puerta a actores maliciosos: una búsqueda rápida en Google arroja muchos resultados de modelos ajustados en contenido tóxico de rincones poco escrupulosos de la web. Pero los defensores de aplicaciones como Chat with RTX argumentan que los beneficios superan los perjuicios. Habrá que esperar y ver.


Crear Canciones Personalizadas
Publicidad


Otras noticias • IA

Ahorros significativos

Google lanza caché implícito en API Gemini para ahorrar costos

Google ha introducido el "caché implícito" en su API Gemini, permitiendo ahorros de hasta el 75% en costos de uso de IA. Esta funcionalidad automática...

Ciberseguridad mejorada

Google refuerza la seguridad de Chrome con inteligencia artificial

Google ha mejorado la seguridad de Chrome con inteligencia artificial, implementando Gemini Nano para detectar estafas en tiempo real y ofreciendo protección avanzada contra phishing....

Crecimiento colaborativo

Clay alcanza valoración de 1.5 mil millones con cultura colaborativa

Clay, una startup de automatización de ventas, ha crecido rápidamente, alcanzando una valoración de 1.5 mil millones de dólares. Su enfoque en la participación de...

Transformación comercial

Inteligencia artificial revoluciona comercio electrónico con nuevas herramientas

La inteligencia artificial está transformando el comercio electrónico, como demuestra la herramienta "Enhance My Listing" de Amazon, que optimiza listados de productos. Aunque ofrece eficiencia,...

Concisión problemática

Concisión en IA aumenta riesgo de respuestas incorrectas según estudio

Un estudio de Giskard revela que la concisión en las respuestas de IA puede aumentar la probabilidad de "alucinaciones" o información incorrecta. Esto plantea un...

Liderazgo innovador

Fidji Simo es la nueva CEO de Aplicaciones en OpenAI

Fidji Simo asume como nueva CEO de Aplicaciones en OpenAI, destacando su experiencia en monetización y desarrollo de productos. Su liderazgo promete impulsar la innovación...

Democratización IA

Fastino democratiza la IA con modelos accesibles y eficientes

Fastino, una startup de Palo Alto, ha desarrollado modelos de inteligencia artificial más pequeños y específicos, accesibles a empresas sin grandes inversiones. Con 17,5 millones...

Búsquedas web

Anthropic lanza API para búsquedas web con IA Claude

Anthropic ha lanzado una nueva API que permite a su modelo de IA, Claude, realizar búsquedas en la web, ofreciendo información actualizada. Esta funcionalidad brinda...