Kong lanza Gateway de IA de código abierto para desarrolladores

Kong lanza su Gateway de IA de código abierto para facilitar la integración de modelos de lenguaje grandes

La compañía de API Kong está lanzando hoy su Gateway de IA de código abierto, una extensión de su gateway de API existente que permite a los desarrolladores y equipos de operaciones integrar sus aplicaciones con uno o más modelos de lenguaje grandes (LLMs) y acceder a ellos a través de una sola API. Además, Kong está lanzando varias características específicas de IA, como la ingeniería de indicaciones y la gestión de credenciales.

APIs como caso de uso para IA Marco Palladino, cofundador y CTO de Kong, señala que la IA es simplemente un caso de uso adicional para las APIs. Según Palladino, las APIs son impulsadas por casos de uso como móviles y microservicios, y ahora la IA se suma a la lista. Kong ve las APIs como una herramienta fundamental para consumir IA, ajustarla y desarrollarla. Por lo tanto, a medida que aumente la adopción de IA, también aumentará la demanda de APIs en el mundo.

Protección de datos en la IA Palladino reconoce que muchas organizaciones están interesadas en utilizar IA, pero también temen la filtración de datos. En última instancia, cree que estas empresas querrán ejecutar sus modelos localmente y utilizar la nube como respaldo. Sin embargo, actualmente estas empresas necesitan encontrar una forma de gestionar las credenciales para acceder a modelos basados en la nube, controlar y registrar el tráfico, gestionar las cuotas, etc.

Gateway de API para una integración más sencilla El objetivo de Kong es proporcionar una oferta que permita a los desarrolladores ser más productivos al construir sobre IA, aprovechando su gateway para consumir uno o más proveedores de LLM sin tener que cambiar su código. El gateway de Kong ya es compatible con Anthropic, Azure, Cohere, los modelos LLaMA de Meta, Mistral y OpenAI.

Características específicas de IA El equipo de Kong argumenta que la mayoría de los proveedores de API gestionan las APIs de IA de la misma manera que cualquier otra API. Sin embargo, al añadir características específicas de IA al gateway de API, Kong cree que puede habilitar nuevos casos de uso o al menos facilitar la implementación de los existentes. Con los transformadores de respuestas y solicitudes de IA, los desarrolladores pueden cambiar las indicaciones y los resultados sobre la marcha para traducirlos automáticamente o eliminar información personal identificable, por ejemplo.

Integración de indicaciones La ingeniería de indicaciones también está profundamente integrada en el gateway, lo que permite a las empresas hacer cumplir sus directrices sobre estos modelos. Esto también significa que hay un punto central para gestionar estas directrices e indicaciones.

Kong: una historia de éxito Han pasado casi nueve años desde el lanzamiento de la Plataforma de Gestión de API de Kong. En ese momento, la compañía que ahora es Kong todavía se conocía como Mashape. Augusto Marietti, cofundador y CEO de Mashape/Kong, señala que Kong se convirtió en el producto de API número uno en GitHub cuando Mashape estaba estancada. Kong ha tenido éxito y ahora su gateway es el corazón de la plataforma de la compañía, impulsando también el nuevo Gateway de IA. Los usuarios actuales de Kong solo tienen que actualizar su instalación para acceder a todas las nuevas características de IA.

Características de IA gratuitas Por el momento, todas estas nuevas características de IA están disponibles de forma gratuita. Con el tiempo, Kong espera lanzar características premium de pago, pero el equipo enfatiza que ese no es el objetivo de este lanzamiento.