Fable de Anthropic enfrenta críticas por restricciones excesivas en ciberseguridad

Nuevas restricciones en la inteligencia artificial de ciberseguridad

El reciente lanzamiento de Fable por parte de Anthropic ha generado una oleada de reacciones en el ámbito de la ciberseguridad. Este modelo, que se presenta como una versión pública y limitada de su potente y muy publicitado modelo de ciberseguridad Mythos, ha dejado a muchos expertos en el sector insatisfechos. Las quejas se han centrado en las restricciones que Fable impone a sus usuarios, lo que ha llevado a cuestionar su utilidad en el campo de la ciberseguridad.

El problema radica en que Fable, diseñado para prevenir el uso malintencionado de la inteligencia artificial, parece sobreprotegerse. Valentina "Chompie" Palmiotti, una reconocida investigadora de seguridad en IBM X-Force, ha manifestado su frustración en línea, señalando que “Fable rechaza cualquier solicitud que pueda estar tangencialmente relacionada con la ciberseguridad. Incluso tareas inofensivas como leer un blog.” Esta respuesta es un claro ejemplo de cómo las medidas de seguridad pueden limitar la efectividad de herramientas que deberían ser útiles para los profesionales del sector.

Los guardrails y sus implicaciones

Fable incluye lo que se conoce como "guardrails" o medidas de seguridad, que se activan cuando el modelo detecta un contenido que podría estar relacionado con la ciberseguridad o la biología. Cuando esto sucede, el modelo se detiene y notifica que sus “medidas de seguridad han marcado este mensaje como relacionado con ciberseguridad o temas biológicos.” Aunque la intención de estas medidas es loable, los resultados han sido decepcionantes para muchos en la comunidad de ciberseguridad.

Los expertos consideran que estas restricciones pueden ser contraproducentes. Matt Suiche, un veterano de la ciberseguridad, ha señalado que “si le pides que escriba código seguro, asume que es un trabajo relacionado con la ciberseguridad en lugar de seguir las mejores prácticas de ingeniería de software, y obtienes una respuesta degradada.” Esto sugiere que Fable está programado de manera que sugiere que cualquier referencia a términos relacionados con la ciberseguridad es suficiente para activar las restricciones, limitando así su funcionalidad.

La necesidad de un equilibrio entre la seguridad y la funcionalidad es fundamental para el éxito de estos modelos de inteligencia artificial.

La evolución de Mythos y su acceso limitado

Cuando Anthropic lanzó Mythos en abril, limitó el acceso a un número restringido de empresas y organizaciones bajo lo que denominó Proyecto Glasswing. Este esfuerzo tenía como objetivo desplegar el modelo para asegurar software e infraestructura crítica. Sin embargo, la semana pasada, Anthropic amplió el acceso a Mythos a cientos de organizaciones en 15 países. Esta expansión ha sido recibida con interés, pero también con escepticismo, ya que muchos expertos cuestionan si las medidas de seguridad implementadas son realmente efectivas.

El hecho de que se haya restringido el acceso inicialmente a un grupo limitado podría haber sido una decisión acertada, pero la rápida expansión sin una revisión adecuada de las guardrails ha dejado a muchos profesionales con dudas sobre la eficacia del modelo. La colaboración entre Anthropic y las nuevas generaciones de empresas de ciberseguridad será clave para garantizar que las herramientas sean útiles y seguras.

Frustraciones de los profesionales de ciberseguridad

Las quejas sobre las restricciones de Fable no se limitan a Palmiotti y Suiche. Otros investigadores también han expresado su descontento, indicando que incluso solicitar una revisión de código activa las guardrails de Fable. Este tipo de limitaciones se perciben como un obstáculo significativo para los profesionales que buscan utilizar la inteligencia artificial como una herramienta en su arsenal de defensa cibernética.

La percepción general entre los expertos es que, aunque la seguridad es primordial, las herramientas de inteligencia artificial deben ser lo suficientemente flexibles para adaptarse a las necesidades de los usuarios. “Es comprensible, ya que todavía estamos en los primeros días y están adaptando sus guardrails. Estoy seguro de que evolucionarán con el tiempo a medida que Anthropic y otras empresas de modelos de frontera colaboren más con la nueva generación de empresas de ciberseguridad,” dijo Suiche. Esta evolución es crucial para asegurar que las herramientas se utilicen de manera efectiva en el mundo real.

Programas de verificación cibernética

Además de las restricciones en sus modelos, Anthropic ha establecido un programa de verificación cibernética que requiere que los profesionales de ciberseguridad soliciten su participación. Aquellos que son aprobados tienen menos limitaciones al usar Claude para trabajos relacionados con la ciberseguridad. Este enfoque es similar al programa de OpenAI, denominado Acceso de Confianza para Ciber.

La implementación de programas de verificación podría ser un paso positivo hacia la creación de un entorno más seguro para el uso de inteligencia artificial en ciberseguridad, siempre que se maneje con cuidado y consideración.

La creación de estos programas es un intento de equilibrar la necesidad de seguridad con el deseo de permitir que los expertos en ciberseguridad aprovechen al máximo las capacidades de la inteligencia artificial. Sin embargo, las restricciones impuestas a Fable han dejado a muchos preguntándose si estos esfuerzos son suficientes para abordar los desafíos actuales.

Mirando hacia el futuro

El camino a seguir para Anthropic y otros desarrolladores de inteligencia artificial en el ámbito de la ciberseguridad será complejo. A medida que la tecnología avanza, también lo hacen las amenazas cibernéticas, lo que significa que las herramientas deben ser capaces de adaptarse rápidamente a un entorno en constante cambio. La colaboración con expertos en ciberseguridad será esencial para garantizar que los modelos no solo sean seguros, sino también prácticos y útiles en el campo.

La presión para evolucionar y adaptarse es alta, y los desarrolladores de inteligencia artificial deben tener en cuenta las necesidades de los usuarios finales. El equilibrio entre la seguridad y la funcionalidad será un tema central en el desarrollo futuro de estas herramientas.

A medida que se avanza en la integración de inteligencia artificial en la ciberseguridad, la industria deberá seguir de cerca cómo se desarrollan estas tecnologías y cómo se ajustan a las demandas del mundo real. Los modelos como Fable y Mythos tienen el potencial de transformar la forma en que se aborda la ciberseguridad, pero su éxito dependerá de la capacidad de los desarrolladores para escuchar y adaptarse a las necesidades de los profesionales del sector.