Nvidia lanza una herramienta de chatbot con inteligencia artificial para sus tarjetas gráficas GeForce RTX
Nvidia, siempre dispuesta a incentivar las compras de sus últimas GPU, está lanzando una herramienta que permite a los propietarios de tarjetas GeForce RTX 30 Series y 40 Series ejecutar un chatbot con inteligencia artificial sin conexión en una PC con Windows.
La herramienta, llamada Chat with RTX, permite a los usuarios personalizar un modelo GenAI en línea con el ChatGPT de OpenAI, conectándolo a documentos, archivos y notas que luego puede consultar.
"En lugar de buscar entre notas o contenido guardado, los usuarios simplemente pueden escribir consultas", escribe Nvidia en una publicación de blog. "Por ejemplo, se podría preguntar: '¿Cuál era el restaurante que mi pareja recomendó en Las Vegas?' y Chat with RTX escaneará los archivos locales a los que el usuario lo dirige y proporcionará la respuesta con contexto".
Chat with RTX utiliza el modelo de código abierto de la startup de IA, Mistral, de forma predeterminada, pero también admite otros modelos basados en texto, incluido Llama 2 de Meta. Nvidia advierte que la descarga de todos los archivos necesarios consumirá una cantidad considerable de almacenamiento, entre 50 GB y 100 GB, dependiendo de los modelos seleccionados.
Actualmente, Chat with RTX funciona con formatos de texto, PDF, .doc, .docx y .xml. Al apuntar la aplicación a una carpeta que contenga cualquier archivo compatible, se cargarán los archivos en el conjunto de datos de ajuste fino del modelo. Además, Chat with RTX puede tomar la URL de una lista de reproducción de YouTube para cargar transcripciones de los videos en la lista de reproducción, lo que permite que el modelo seleccionado consulte su contenido.
Sin embargo, hay ciertas limitaciones a tener en cuenta, que Nvidia menciona en una guía de instrucciones.
Chat with RTX no puede recordar el contexto, lo que significa que la aplicación no tendrá en cuenta ninguna pregunta anterior al responder preguntas de seguimiento. Por ejemplo, si preguntas "¿Cuál es un pájaro común en América del Norte?" y luego sigues con "¿Cuáles son sus colores?", Chat with RTX no sabrá que estás hablando de pájaros.
Nvidia también reconoce que la relevancia de las respuestas de la aplicación puede verse afectada por una serie de factores, algunos más fáciles de controlar que otros, como la redacción de la pregunta, el rendimiento del modelo seleccionado y el tamaño del conjunto de datos de ajuste fino. Pedir hechos que se encuentren en un par de documentos probablemente dará mejores resultados que pedir un resumen de un documento o conjunto de documentos. Y la calidad de las respuestas generalmente mejorará con conjuntos de datos más grandes, al igual que apuntar Chat with RTX a más contenido sobre un tema específico, según afirma Nvidia.
Entonces, Chat with RTX es más un juguete que algo que se use en producción. Aun así, hay algo que decir sobre las aplicaciones que facilitan la ejecución de modelos de IA localmente, lo cual es una tendencia creciente.
En un informe reciente, el Foro Económico Mundial predijo un crecimiento "dramático" en dispositivos asequibles que pueden ejecutar modelos GenAI sin conexión, incluyendo PC, teléfonos inteligentes, dispositivos de Internet de las cosas y equipos de red. Las razones, según el WEF, son los beneficios evidentes: no solo los modelos sin conexión son inherentemente más privados, ya que los datos que procesan nunca abandonan el dispositivo en el que se ejecutan, sino que también tienen una latencia más baja y son más rentables que los modelos alojados en la nube.
Por supuesto, democratizar herramientas para ejecutar y entrenar modelos abre la puerta a actores maliciosos: una búsqueda rápida en Google arroja muchos resultados de modelos ajustados en contenido tóxico de rincones poco escrupulosos de la web. Pero los defensores de aplicaciones como Chat with RTX argumentan que los beneficios superan los perjuicios. Habrá que esperar y ver.
Otras noticias • IA
Imágenes sintéticas desnudas amenazan privacidad y seguridad personal
La proliferación de imágenes sintéticas desnudas plantea serios desafíos de privacidad y seguridad, especialmente en casos de pornografía de venganza. Microsoft ha colaborado con StopNCII...
Cosmos Institute lanza iniciativas para una IA humanista y ética
El Cosmos Institute busca transformar la inteligencia artificial mediante un enfoque humanista, creando el Human-Centered AI Lab en Oxford y la Cosmos Fellowship. También lanzan...
Canva eleva precios y usuarios critican pérdida de accesibilidad
Canva ha aumentado drásticamente los precios de sus planes, especialmente para Canva Teams, justificándolo por la inversión en inteligencia artificial. Este cambio ha generado descontento...
Google refuerza IA y plataformas para combatir desinformación electoral
Google implementa restricciones en su inteligencia artificial generativa para evitar la desinformación durante las elecciones presidenciales de EE. UU. Además, mejora su motor de búsqueda...
LAION presenta Re-LAION-5B para combatir contenido ilegal y NSFW
LAION ha lanzado Re-LAION-5B, un conjunto de datos depurado de enlaces a material de abuso sexual infantil y contenido NSFW. Este esfuerzo responde a recomendaciones...
Gmail integra Gemini para mejorar gestión de correos electrónicos
Gmail ha integrado el asistente de inteligencia artificial Gemini, permitiendo a los usuarios hacer preguntas sobre sus correos electrónicos y recibir resúmenes. Esta función, disponible...
Reliance Industries impulsa inteligencia artificial con nuevos centros de datos
Reliance Industries, liderada por Mukesh Ambani, apuesta por la inteligencia artificial con la creación de centros de datos en Gujarat y el desarrollo de Jio...
Incertidumbre en OpenAI por falta de anuncios de Converge 2
El programa de aceleración Converge 2 de OpenAI ha generado incertidumbre por la falta de comunicación sobre las startups seleccionadas. A diferencia de su primera...
Lo más reciente
- 1
Byju's enfrenta crisis tras renuncia de auditor BDO
- 2
Ciberataque interrumpe servicios de TfL y genera preocupación pública
- 3
Meta debe permitir interoperabilidad entre WhatsApp y otras apps
- 4
Lanzamiento del cohete New Glenn se pospone hasta 2025
- 5
Eagles y Packers enfrentan retos en partido histórico en Brasil
- 6
Thunder Power Holdings enfrenta crisis financiera y cargos criminales
- 7
Karo simplifica la gestión de tareas para grupos y empresas