Innovación | IA

Nvidia lanza Chat with RTX, un chatbot de IA para tarjetas gráficas

Nvidia lanza una herramienta de chatbot con inteligencia artificial para sus tarjetas gráficas GeForce RTX

Nvidia, siempre dispuesta a incentivar las compras de sus últimas GPU, está lanzando una herramienta que permite a los propietarios de tarjetas GeForce RTX 30 Series y 40 Series ejecutar un chatbot con inteligencia artificial sin conexión en una PC con Windows.

La herramienta, llamada Chat with RTX, permite a los usuarios personalizar un modelo GenAI en línea con el ChatGPT de OpenAI, conectándolo a documentos, archivos y notas que luego puede consultar.

"En lugar de buscar entre notas o contenido guardado, los usuarios simplemente pueden escribir consultas", escribe Nvidia en una publicación de blog. "Por ejemplo, se podría preguntar: '¿Cuál era el restaurante que mi pareja recomendó en Las Vegas?' y Chat with RTX escaneará los archivos locales a los que el usuario lo dirige y proporcionará la respuesta con contexto".

Chat with RTX utiliza el modelo de código abierto de la startup de IA, Mistral, de forma predeterminada, pero también admite otros modelos basados en texto, incluido Llama 2 de Meta. Nvidia advierte que la descarga de todos los archivos necesarios consumirá una cantidad considerable de almacenamiento, entre 50 GB y 100 GB, dependiendo de los modelos seleccionados.

Actualmente, Chat with RTX funciona con formatos de texto, PDF, .doc, .docx y .xml. Al apuntar la aplicación a una carpeta que contenga cualquier archivo compatible, se cargarán los archivos en el conjunto de datos de ajuste fino del modelo. Además, Chat with RTX puede tomar la URL de una lista de reproducción de YouTube para cargar transcripciones de los videos en la lista de reproducción, lo que permite que el modelo seleccionado consulte su contenido.

Sin embargo, hay ciertas limitaciones a tener en cuenta, que Nvidia menciona en una guía de instrucciones.

Chat with RTX no puede recordar el contexto, lo que significa que la aplicación no tendrá en cuenta ninguna pregunta anterior al responder preguntas de seguimiento. Por ejemplo, si preguntas "¿Cuál es un pájaro común en América del Norte?" y luego sigues con "¿Cuáles son sus colores?", Chat with RTX no sabrá que estás hablando de pájaros.

Nvidia también reconoce que la relevancia de las respuestas de la aplicación puede verse afectada por una serie de factores, algunos más fáciles de controlar que otros, como la redacción de la pregunta, el rendimiento del modelo seleccionado y el tamaño del conjunto de datos de ajuste fino. Pedir hechos que se encuentren en un par de documentos probablemente dará mejores resultados que pedir un resumen de un documento o conjunto de documentos. Y la calidad de las respuestas generalmente mejorará con conjuntos de datos más grandes, al igual que apuntar Chat with RTX a más contenido sobre un tema específico, según afirma Nvidia.

Entonces, Chat with RTX es más un juguete que algo que se use en producción. Aun así, hay algo que decir sobre las aplicaciones que facilitan la ejecución de modelos de IA localmente, lo cual es una tendencia creciente.

En un informe reciente, el Foro Económico Mundial predijo un crecimiento "dramático" en dispositivos asequibles que pueden ejecutar modelos GenAI sin conexión, incluyendo PC, teléfonos inteligentes, dispositivos de Internet de las cosas y equipos de red. Las razones, según el WEF, son los beneficios evidentes: no solo los modelos sin conexión son inherentemente más privados, ya que los datos que procesan nunca abandonan el dispositivo en el que se ejecutan, sino que también tienen una latencia más baja y son más rentables que los modelos alojados en la nube.

Por supuesto, democratizar herramientas para ejecutar y entrenar modelos abre la puerta a actores maliciosos: una búsqueda rápida en Google arroja muchos resultados de modelos ajustados en contenido tóxico de rincones poco escrupulosos de la web. Pero los defensores de aplicaciones como Chat with RTX argumentan que los beneficios superan los perjuicios. Habrá que esperar y ver.


Podcast El Desván de las Paradojas
Publicidad


Otras noticias • IA

Alianzas

Reddit firma acuerdos de licencia con empresas de IA para crecimiento

Reddit ha revelado acuerdos de licencia de datos con empresas de IA en su prospecto de OPI, destacando la importancia de estas asociaciones para su...

Innovación

Grupo Unstable Diffusion promete mejorar generadores de porno AI con seguridad

Unstable Diffusion es un grupo que intenta monetizar los generadores de porno AI, mejorando sus herramientas para facilitar su uso y destacando la seguridad en...

Innovador

Google Chrome presenta generador de escritura AI para contenido relevante

Google Chrome lanza un nuevo generador de escritura AI impulsado por Gemin, disponible en la configuración experimental. La herramienta ayuda a escribir contenido relevante según...

Imágenes

Google suspende generación de imágenes de personas por inexactitudes históricas

Google ha suspendido temporalmente la generación de imágenes de personas con su herramienta Gemini AI debido a inexactitudes históricas. Críticas por representaciones incongruentes han llevado...

Control

Expertos piden regulación estricta de deepfakes para proteger sociedad

Expertos en inteligencia artificial piden regulación estricta de deepfakes para proteger a la sociedad de su uso malicioso, incluyendo la criminalización de los deepfakes de...

Inteligencia

Google presenta familia Gemma: modelos ligeros de IA inspirados en Gemini

Google ha lanzado Gemma, una nueva familia de modelos ligeros de IA inspirados en Gemini. Estos modelos, como Gemma 2B y Gemma 7B, están disponibles...

Legislativo

Congreso de EE. UU. crea Grupo de Trabajo sobre inteligencia artificial

El Congreso de los EE. UU. ha creado un Grupo de Trabajo sobre inteligencia artificial para abordar regulaciones y acciones legislativas necesarias en el campo,...

Innovación

Bioptimus recauda $35 millones para revolucionar medicina con inteligencia artificial

Bioptimus, una nueva startup de inteligencia artificial generativa centrada en biología con sede en París, recauda $35 millones en una ronda de financiación liderada por...