Innovación | IA

Nvidia lanza Chat with RTX, un chatbot de IA para tarjetas gráficas

Nvidia lanza una herramienta de chatbot con inteligencia artificial para sus tarjetas gráficas GeForce RTX

Nvidia, siempre dispuesta a incentivar las compras de sus últimas GPU, está lanzando una herramienta que permite a los propietarios de tarjetas GeForce RTX 30 Series y 40 Series ejecutar un chatbot con inteligencia artificial sin conexión en una PC con Windows.

La herramienta, llamada Chat with RTX, permite a los usuarios personalizar un modelo GenAI en línea con el ChatGPT de OpenAI, conectándolo a documentos, archivos y notas que luego puede consultar.

"En lugar de buscar entre notas o contenido guardado, los usuarios simplemente pueden escribir consultas", escribe Nvidia en una publicación de blog. "Por ejemplo, se podría preguntar: '¿Cuál era el restaurante que mi pareja recomendó en Las Vegas?' y Chat with RTX escaneará los archivos locales a los que el usuario lo dirige y proporcionará la respuesta con contexto".

Chat with RTX utiliza el modelo de código abierto de la startup de IA, Mistral, de forma predeterminada, pero también admite otros modelos basados en texto, incluido Llama 2 de Meta. Nvidia advierte que la descarga de todos los archivos necesarios consumirá una cantidad considerable de almacenamiento, entre 50 GB y 100 GB, dependiendo de los modelos seleccionados.

Actualmente, Chat with RTX funciona con formatos de texto, PDF, .doc, .docx y .xml. Al apuntar la aplicación a una carpeta que contenga cualquier archivo compatible, se cargarán los archivos en el conjunto de datos de ajuste fino del modelo. Además, Chat with RTX puede tomar la URL de una lista de reproducción de YouTube para cargar transcripciones de los videos en la lista de reproducción, lo que permite que el modelo seleccionado consulte su contenido.

Sin embargo, hay ciertas limitaciones a tener en cuenta, que Nvidia menciona en una guía de instrucciones.

Chat with RTX no puede recordar el contexto, lo que significa que la aplicación no tendrá en cuenta ninguna pregunta anterior al responder preguntas de seguimiento. Por ejemplo, si preguntas "¿Cuál es un pájaro común en América del Norte?" y luego sigues con "¿Cuáles son sus colores?", Chat with RTX no sabrá que estás hablando de pájaros.

Nvidia también reconoce que la relevancia de las respuestas de la aplicación puede verse afectada por una serie de factores, algunos más fáciles de controlar que otros, como la redacción de la pregunta, el rendimiento del modelo seleccionado y el tamaño del conjunto de datos de ajuste fino. Pedir hechos que se encuentren en un par de documentos probablemente dará mejores resultados que pedir un resumen de un documento o conjunto de documentos. Y la calidad de las respuestas generalmente mejorará con conjuntos de datos más grandes, al igual que apuntar Chat with RTX a más contenido sobre un tema específico, según afirma Nvidia.

Entonces, Chat with RTX es más un juguete que algo que se use en producción. Aun así, hay algo que decir sobre las aplicaciones que facilitan la ejecución de modelos de IA localmente, lo cual es una tendencia creciente.

En un informe reciente, el Foro Económico Mundial predijo un crecimiento "dramático" en dispositivos asequibles que pueden ejecutar modelos GenAI sin conexión, incluyendo PC, teléfonos inteligentes, dispositivos de Internet de las cosas y equipos de red. Las razones, según el WEF, son los beneficios evidentes: no solo los modelos sin conexión son inherentemente más privados, ya que los datos que procesan nunca abandonan el dispositivo en el que se ejecutan, sino que también tienen una latencia más baja y son más rentables que los modelos alojados en la nube.

Por supuesto, democratizar herramientas para ejecutar y entrenar modelos abre la puerta a actores maliciosos: una búsqueda rápida en Google arroja muchos resultados de modelos ajustados en contenido tóxico de rincones poco escrupulosos de la web. Pero los defensores de aplicaciones como Chat with RTX argumentan que los beneficios superan los perjuicios. Habrá que esperar y ver.


Podcast El Desván de las Paradojas
Publicidad


Otras noticias • IA

Transformación

La IA revoluciona redes sociales, plantea retos de privacidad ética

La inteligencia artificial ha transformado las redes sociales, mejorando la interacción y personalización a través de asistentes virtuales y herramientas creativas. Sin embargo, surgen preocupaciones...

Inquietud

Preocupaciones sobre privacidad en el uso de biometría escolar

El uso de tecnología biométrica en escuelas, como el reconocimiento facial y huellas dactilares, genera preocupaciones sobre privacidad y consentimiento. Es esencial que las instituciones...

Revolución

La inteligencia artificial transforma el diseño gráfico y plantea desafíos

La inteligencia artificial está revolucionando el diseño gráfico, optimizando procesos creativos y facilitando la generación de imágenes. Aunque potencia la creatividad humana, plantea desafíos éticos...

Revolución

La IA generativa transforma empresas con innovación y sostenibilidad

La IA generativa está revolucionando el mundo empresarial al permitir la creación de contenido original, mejorar la personalización y optimizar procesos. Aunque presenta desafíos en...

Mejora

Samsung potencia su inteligencia artificial con Oxford Semantic Technologies

Samsung ha adquirido Oxford Semantic Technologies para mejorar su inteligencia artificial con grafos de conocimiento. La startup británica ofrece un motor de razonamiento de IA...

Innovación

Microsoft revoluciona diseño con app Designer en iOS y Android

Microsoft lanza la aplicación Designer para iOS y Android, que permite a los usuarios crear imágenes y diseños con indicaciones de texto. También ofrece edición...

Indagación

Investigación en UK por contratación de equipo de Inflection AI por Microsoft

La Autoridad de Competencia y Mercados del Reino Unido está investigando la contratación por parte de Microsoft del equipo de Inflection AI, lo que podría...

Innovación

La IA generativa es clave para el éxito empresarial actual

La inteligencia artificial generativa es crucial en el mundo empresarial actual, ya que puede mejorar la experiencia del usuario y conducir a mejores métricas comerciales....