Fraude en informes de IA amenaza la ciberseguridad global

La proliferación de informes fraudulentos en ciberseguridad

La llegada de la inteligencia artificial (IA) ha transformado diversos sectores, y la ciberseguridad no ha sido una excepción. Sin embargo, este avance también ha traído consigo nuevos desafíos, como la aparición de lo que se ha denominado “AI slop”, un término que hace referencia a la generación de imágenes, vídeos y textos de baja calidad por parte de modelos de lenguaje de gran tamaño (LLM). En los últimos años, esta tendencia ha contaminado no solo las redes sociales y los sitios web, sino también el ámbito de la ciberseguridad, generando un efecto adverso en la calidad de los informes de vulnerabilidades.

Los informes de errores falsos, generados por IA, están inundando el sector de la ciberseguridad. Con el aumento de la accesibilidad a herramientas de IA, muchos investigadores de seguridad han comenzado a utilizar estos modelos para elaborar informes que, en muchos casos, carecen de fundamento. Este fenómeno ha llevado a que los responsables de plataformas de recompensas por errores se enfrenten a un tsunami de reportes que parecen verídicos a simple vista, pero que en realidad son pura ficción.

Un reto para las plataformas de recompensas

Las plataformas de recompensas por errores, que actúan como intermediarios entre los hackers de ciberseguridad y las empresas, están experimentando un aumento notable en la cantidad de informes generados por IA. Vlad Ionescu, cofundador y CTO de RunSybil, una startup dedicada al desarrollo de cazadores de errores potenciados por IA, destaca que los informes son, a menudo, engañosos. “Los informes suenan razonables, parecen técnicamente correctos. Pero al profundizar en ellos, te das cuenta de que, en realidad, es solo una alucinación”, explica Ionescu.

Esta situación ha llevado a que muchos investigadores se sientan frustrados al intentar discernir entre informes auténticos y aquellos que son simplemente ruido generado por algoritmos. “Estamos recibiendo mucha información que parece oro, pero en realidad es solo basura”, lamenta Ionescu. Este fenómeno no es aislado; se han documentado múltiples casos en los que organizaciones han recibido informes de errores falsos, lo que ha llevado a algunas a retirar completamente sus programas de recompensas.

La situación se ha vuelto insostenible, ya que los informes generados por IA están inundando las bandejas de entrada de los investigadores.

Consecuencias en el ámbito real

Un ejemplo reciente que ilustra la gravedad de esta situación se produjo cuando Harry Sintonen, un investigador de seguridad, reveló que el proyecto de seguridad de código abierto Curl había recibido un informe falso. Sintonen indicó que el “atacante se había equivocado gravemente”, resaltando la capacidad del proyecto para detectar la “basura generada por IA”. Esta situación ha sido corroborada por otros actores del sector, como Benjamin Piouffle, de Open Collective, quien afirmó que su plataforma también se encuentra “inundada de basura generada por IA”.

Los efectos de esta problemática se extienden más allá de la frustración individual. Michiel Prins, cofundador y director de gestión de productos de HackerOne, señaló que han observado un aumento en los falsos positivos: “Las vulnerabilidades que parecen reales pero son generadas por LLM carecen de impacto en el mundo real”. Estos informes de baja calidad no solo crean ruido, sino que también pueden socavar la eficiencia de los programas de seguridad, desviando recursos y atención de los problemas que realmente requieren atención.

La respuesta de las grandes empresas

En este contexto, algunas de las grandes empresas tecnológicas han comenzado a analizar el impacto de la IA en sus programas de recompensas por errores. En una consulta realizada, Damiano DeMonte, portavoz de Mozilla, mencionó que la compañía no ha observado un aumento significativo en informes inválidos o de baja calidad que pudieran parecer generados por IA. Sin embargo, otras compañías, como Microsoft y Meta, que han apostado fuertemente por la inteligencia artificial, han declinado hacer comentarios al respecto.

A medida que la IA se convierte en una herramienta común entre los investigadores de seguridad, las plataformas deben adaptarse rápidamente para filtrar los informes de calidad inferior. El reto radica en cómo equilibrar la innovación que ofrece la IA con la necesidad de mantener estándares de calidad en los informes.

Innovaciones en la gestión de informes

Para abordar este desafío, algunas plataformas están invirtiendo en sistemas de IA que pueden realizar revisiones preliminares y filtrar las presentaciones por su precisión. Por ejemplo, HackerOne ha lanzado recientemente un nuevo sistema de triaje llamado Hai Triage, que combina el análisis humano con la asistencia de IA. Según el portavoz de HackerOne, Randy Walker, este nuevo sistema utiliza “agentes de seguridad de IA para filtrar el ruido, marcar duplicados y priorizar las amenazas reales”.

Este enfoque híbrido podría ser una solución efectiva para gestionar el aumento de informes de baja calidad. La combinación de la inteligencia artificial con la revisión humana podría ayudar a garantizar que los informes válidos sean identificados y tratados de manera adecuada, al tiempo que se minimiza la carga de trabajo causada por informes engañosos.

Las empresas que implementen soluciones basadas en IA para la gestión de informes podrían estar mejor posicionadas para enfrentar la creciente ola de informes generados por modelos de lenguaje.

El futuro de la ciberseguridad ante la IA

A medida que los hackers continúan utilizando LLMs y las empresas dependen de la IA para triage de informes, queda por ver cuál de estas inteligencias artificiales prevalecerá en la batalla contra el “AI slop”. La necesidad de herramientas que puedan discernir entre la calidad y la mediocridad es más urgente que nunca. Mientras tanto, los investigadores de seguridad deberán ser cada vez más astutos y críticos en su evaluación de los informes que reciben, y las plataformas de recompensas por errores tendrán que adaptarse a un entorno en constante evolución.

La lucha contra la “basura generada por IA” no solo es un desafío técnico, sino también un reto cultural en la comunidad de ciberseguridad. A medida que la IA sigue avanzando, es esencial que los profesionales del sector se mantengan al día con las últimas herramientas y técnicas para proteger la integridad de sus sistemas y garantizar que la calidad de los informes de vulnerabilidades se mantenga en un nivel óptimo. La intersección de la inteligencia artificial y la ciberseguridad plantea tanto oportunidades como retos, y la manera en que se aborden estos desafíos definirá el futuro del sector.