General Compute y SambaNova revolucionan chips para inteligencia artificial

La carrera por el poder de procesamiento en la era de la inteligencia artificial

La inteligencia artificial (IA) ha desatado una revolución tecnológica sin precedentes, donde la demanda de ordenadores capaces de ejecutar modelos de IA ha aumentado exponencialmente. Sin embargo, este crecimiento no está exento de desafíos. Dos obstáculos clave se presentan en el camino de las empresas que buscan capitalizar este fenómeno: la obtención de los chips adecuados y su implementación en centros de datos donde puedan generar ingresos. La startup General Compute está liderando el camino hacia la superación de estos retos, ofreciendo soluciones innovadoras que pueden cambiar el panorama de la computación en la nube.

"La demanda de GPUs ha superado todas las expectativas, pero la realidad es que no siempre son las mejores para la fase de inferencia."

La necesidad de nuevos chips

Históricamente, las unidades de procesamiento gráfico (GPUs) han sido la opción preferida para el entrenamiento de modelos de IA. Sin embargo, a medida que la industria avanza, se ha comenzado a cuestionar su idoneidad para la fase de inferencia, donde los modelos ya entrenados generan respuestas. En este contexto, las necesidades computacionales cambian drásticamente. Esta transición ha llevado a un enfoque renovado hacia el desarrollo de chips especializados, que están diseñados específicamente para esta fase crítica.

General Compute ha identificado una oportunidad clave en este segmento del mercado. Bajo el liderazgo de sus cofundadores, Finn Puklowski y Jason Goodison, la empresa ha optado por asociarse con SambaNova, un fabricante de chips respaldado por Intel que se ha centrado en la inferencia. Esta decisión no solo diversifica sus opciones de hardware, sino que también permite a General Compute estar a la vanguardia de la innovación en el campo de la IA.

La visión de General Compute es clara: quieren ser los primeros en implementar los nuevos chips SN50 de SambaNova, que prometen un rendimiento superior a las GPUs tradicionales.

Innovación en la arquitectura de chips

La arquitectura de los nuevos chips de SambaNova es una de las características que más ha llamado la atención. Estos chips son más flexibles y cuentan con una mayor capacidad de memoria, lo que les permite almacenar el contexto durante los cálculos de inferencia. Según las afirmaciones de SambaNova, sus chips no solo superan a las GPUs en rendimiento, sino que también ofrecen mejores resultados en comparación con otros chips especializados de empresas competidoras como Groq y Cerebras. Con una capacidad para generar entre 600 y 700 tokens por segundo, estos nuevos dispositivos están posicionados para cambiar las reglas del juego.

"General Compute ha hecho un pedido de 300 millones de dólares de los chips SN50, lo que subraya su confianza en esta tecnología emergente."

Desafíos de la infraestructura

Uno de los problemas más significativos que enfrenta cualquier empresa de tecnología que opera en el espacio de la IA es la infraestructura necesaria para albergar sus operaciones. Los centros de datos requieren inversiones considerables en términos de espacio, refrigeración y energía. Sin embargo, la solución que ofrece General Compute es innovadora. Los chips de SambaNova son refrigerados por aire en lugar de agua, lo que reduce significativamente el consumo de energía y permite su instalación en instalaciones de centros de datos existentes sin necesidad de realizar grandes inversiones en infraestructura.

Puklowski ha estado explorando acuerdos de colocalización, que permiten a General Compute instalar su hardware en las instalaciones de terceros. Este enfoque no solo optimiza costos, sino que también abre la puerta a colaboraciones con mineros de criptomonedas que buscan aprovechar su infraestructura de manera más eficiente.

Velocidad y eficiencia en la inferencia

La velocidad de procesamiento se ha convertido en un factor determinante en la competitividad del mercado de IA. La capacidad de General Compute para ejecutar MiniMax 2.7, un potente modelo de lenguaje de código abierto, les ha permitido proclamarse como el servicio en la nube más rápido en esta categoría. La velocidad no solo afecta a la experiencia del usuario, sino que también influye en el costo y la eficiencia operativa de las aplicaciones de IA.

Puklowski tiene como objetivo transformar cargas de trabajo que actualmente tardan horas en completarse en tareas que se pueden realizar en minutos. Esta mejora en la eficiencia tiene un impacto directo en la rentabilidad y la escalabilidad de las aplicaciones de IA, lo que podría revolucionar el sector.

La transición hacia una inferencia más rápida es esencial para las aplicaciones que requieren interacción en tiempo real, como los agentes de atención al cliente que utilizan modelos de IA.

Inversión y futuro del sector

La inversión en el sector de la IA ha visto un aumento significativo en los últimos años, y General Compute no es la excepción. Joe Hasselmann, un inversor de capital de riesgo que ha estado involucrado en la ola de inferencia desde sus inicios, ha realizado una apuesta en la empresa, considerándola como una de las promesas del futuro. Con su nuevo fondo, Evercrest Capital Partners, Hasselmann está centrando su atención en el espacio de la IA, y su elección de invertir en General Compute refuerza la credibilidad de la startup.

Hasselmann ha comparado la relación entre General Compute y SambaNova con la que existe entre Coreweave y Nvidia, destacando la importancia de tener una base sólida de clientes que estén dispuestos a adoptar la nueva tecnología y a colaborar en el crecimiento mutuo.

El futuro de la arquitectura de computación

La pregunta que se plantea es qué tipo de arquitectura de computación capturará más valor en el futuro de la IA. Los nubes de inferencia representan una apuesta implícita por un mundo donde múltiples modelos y agentes coexisten, donde ningún proveedor único domina el mercado. En este contexto, la velocidad y el costo de la inferencia se convierten en variables competitivas clave.

La reciente recaudación de 113 millones de dólares en una ronda de financiación Serie B para OpenRouter subraya la creciente demanda de soluciones que permitan a los clientes acceder a múltiples modelos para optimizar su gasto en tokens. La capacidad de General Compute para ofrecer una inferencia más rápida y eficiente podría posicionarla como un jugador clave en este ecosistema emergente.

"La velocidad de procesamiento es crucial, especialmente a medida que las interacciones se vuelven más complejas y requieren respuestas en tiempo real."

Conclusiones sobre el ecosistema de IA

El crecimiento del ecosistema de IA está intrínsecamente ligado a la capacidad de las empresas para adaptarse a las nuevas demandas del mercado. General Compute, con su enfoque innovador en el uso de chips especializados y su estrategia de colocación, está bien posicionada para desempeñar un papel importante en esta transformación. La colaboración con SambaNova, la atención a la velocidad y eficiencia, y la búsqueda de nuevas oportunidades de inversión son elementos que pueden definir el éxito en este campo.

A medida que el mercado de la IA continúa evolucionando, será fundamental observar cómo se desarrollan estas dinámicas y qué nuevas soluciones emergen para abordar los desafíos existentes. La carrera por el poder de procesamiento en la era de la inteligencia artificial está en pleno apogeo, y aquellos que puedan adaptarse rápidamente a las cambiantes condiciones del mercado estarán en una posición privilegiada para capitalizar las oportunidades que se presenten.