Nvidia lanza herramienta de código abierto para mejorar la precisión y seguridad de aplicaciones de IA

La inteligencia artificial (IA) ha avanzado mucho en los últimos años, especialmente en lo que se refiere a la generación de texto. Sin embargo, estas herramientas todavía tienen muchos errores, algunos de los cuales pueden ser perjudiciales. Por ejemplo, se ha descrito a uno de estos modelos como un "mentiroso manipulador emocional". Las empresas detrás de estos modelos dicen que están tomando medidas para solucionar estos problemas, como la implementación de filtros y equipos de moderadores humanos para corregir los errores a medida que se detectan. Pero no hay una solución única. Incluso los mejores modelos hoy en día son susceptibles a sesgos, toxicidad y ataques malintencionados.

En busca de modelos de generación de texto "más seguros", Nvidia ha lanzado hoy NeMo Guardrails, una herramienta de código abierto destinada a hacer que las aplicaciones impulsadas por IA sean "más precisas, apropiadas, relevantes y seguras". Jonathan Cohen, vicepresidente de investigación aplicada de Nvidia, dice que la compañía ha estado trabajando en el sistema subyacente de Guardrails durante "muchos años", pero hace aproximadamente un año se dio cuenta de que era adecuado para modelos como GPT-4 y ChatGPT.

"Desde entonces, hemos estado desarrollando NeMo Guardrails", dijo Cohen por correo electrónico. "Las herramientas de seguridad del modelo de IA son críticas para implementar modelos para casos de uso empresarial".

Guardrails incluye código, ejemplos y documentación para "agregar seguridad" a las aplicaciones de IA que generan texto y voz. Nvidia afirma que la herramienta está diseñada para funcionar con la mayoría de los modelos de lenguaje generativo, lo que permite a los desarrolladores crear reglas utilizando unas pocas líneas de código.

Específicamente, Guardrails se puede utilizar para evitar, o al menos intentar evitar, que los modelos se desvíen del tema, respondan con información inexacta o lenguaje tóxico y establezcan conexiones con fuentes externas "inseguras". Piense en mantener a un asistente de servicio al cliente de responder preguntas sobre el clima, por ejemplo, o en evitar que un chatbot de motor de búsqueda se vincule con revistas académicas poco reputadas.

"En última instancia, los desarrolladores controlan lo que está fuera de los límites para su aplicación con Guardrails", dijo Cohen. "Pueden desarrollar guardrails que sean demasiado amplios o, por el contrario, demasiado estrechos para su caso de uso".

Sin embargo, no hay una solución universal para las deficiencias de los modelos de lenguaje. Aunque empresas como Zapier están utilizando Guardrails para agregar una capa de seguridad a sus modelos generativos, Nvidia reconoce que la herramienta no es perfecta y no lo atrapará todo.

Cohen también señala que Guardrails funciona mejor con modelos que son "suficientemente buenos para seguir instrucciones", como ChatGPT, y que utilizan el popular marco LangChain para construir aplicaciones impulsadas por IA. Esto descalifica algunas de las opciones de código abierto disponibles.

Y, independientemente de la efectividad de la tecnología, hay que tener en cuenta que Nvidia no está necesariamente lanzando Guardrails por el bien de la humanidad. Forma parte del marco NeMo de la compañía, que está disponible a través del software de IA empresarial de Nvidia y su servicio en la nube totalmente administrado NeMo. Cualquier empresa puede implementar la versión de código abierto de Guardrails, pero Nvidia preferiría que paguen por la versión alojada.

Por lo tanto, aunque probablemente no haya ningún daño en Guardrails, hay que tener en cuenta que no es una solución milagrosa y hay que ser cautelosos si Nvidia alguna vez afirma lo contrario.