Inflection lanza Inflection-1, modelo de lenguaje para su agente conversacional Pi, competitivo con otros

Inflection, la startup de IA bien financiada que tiene como objetivo crear "IA personal para todos", ha presentado el modelo de lenguaje grande que impulsa su agente conversacional Pi. Es difícil evaluar la calidad de estas cosas de cualquier manera, y mucho menos de manera objetiva y sistemática, pero un poco de competencia es buena.

Inflection-1: el modelo detrás de Pi

El modelo Inflection-1 es de aproximadamente el tamaño y las capacidades de GPT-3.5 (también conocido como ChatGPT), como se mide en la potencia informática utilizada para entrenarlos. La empresa afirma que es competitivo o superior a otros modelos de este nivel, respaldándolo con una "nota técnica" que describe algunos puntos de referencia que ejecutó en su modelo, GPT-3.5, LLaMA, Chinchilla y PaLM-540B.

Rendimiento del modelo Inflection-1

Según los resultados que publicaron, Inflection-1 se desempeña bien en diversas medidas, como tareas de examen de nivel medio y secundario (piense en biología 101) y puntos de referencia de "sentido común" (cosas como "si Jack lanza la pelota en el techo y Jill la lanza de vuelta, ¿dónde está la pelota?"). Principalmente se queda atrás en la codificación, donde GPT-3.5 lo vence con facilidad y, para comparación, GPT-4 supera a la competencia; el modelo más grande de OpenAI es conocido por haber sido un gran salto en calidad allí, por lo que no es sorprendente.

El futuro de Inflection

Inflection señala que espera publicar resultados para un modelo más grande comparable a GPT-4 y PaLM-2(L), pero sin duda están esperando hasta que los resultados valgan la pena publicar. De cualquier manera, Inflection-2 o Inflection-1-XL o lo que sea que esté en el horno pero no esté completamente horneado.

Hasta ahora, la comunidad no ha dividido formalmente los modelos de IA en clases de peso de boxeo de aprendizaje automático, pero los conceptos se mapean bastante bien entre sí. No esperas que un peso mosca compita contra un peso pesado, son deportes prácticamente diferentes. Lo mismo ocurre con los modelos de IA: uno pequeño no es tan capaz como uno grande, pero el pequeño se ejecuta eficientemente en un teléfono mientras que el grande requiere un centro de datos. Es algo así como comparar manzanas con naranjas.

Evaluación independiente de los modelos

Aún es demasiado pronto para intentar tal cosa, ya que el campo sigue siendo comparativamente joven y no hay un consenso real sobre qué tamaños y formas de modelos de IA deberían considerarse del mismo nivel. En última instancia, para la mayoría de estos modelos, la prueba del pudín está en el sabor, por supuesto, y hasta que Inflection abra su modelo a un uso generalizado y evaluación independiente, todos sus puntos de referencia aclamados deben tomarse con un grano de sal. Si quieres probar Pi, puedes agregarlo en una de tus aplicaciones de mensajería o chatear con él en línea aquí.