Cloudflare lanza herramienta para combatir bots de IA que escanean sitios web
Cloudflare, el proveedor de servicios en la nube cotizado en bolsa, ha lanzado una nueva herramienta gratuita para evitar que los bots escaneen sitios web alojados en su plataforma en busca de datos para entrenar modelos de IA.
Algunos proveedores de IA, como Google, OpenAI y Apple, permiten a los propietarios de sitios web bloquear los bots que utilizan para el escaneo de datos y el entrenamiento de modelos modificando el archivo robots.txt de su sitio, el archivo de texto que indica a los bots qué páginas pueden acceder en un sitio web. Pero, como señala Cloudflare en una publicación anunciando su herramienta de combate a los bots, no todos los raspadores de IA respetan esto.
"Los clientes no quieren que los bots de IA visiten sus sitios web, y especialmente aquellos que lo hacen de manera deshonesta", escribe la empresa en su blog oficial. "Temos miedo de que algunas empresas de IA que intentan eludir las reglas para acceder al contenido persistirán en adaptarse para evadir la detección de bots".
Por lo tanto, en un intento por abordar el problema, Cloudflare analizó el tráfico de bots de IA y rastreadores para ajustar los modelos automáticos de detección de bots. Los modelos consideran, entre otros factores, si un bot de IA podría estar intentando evadir la detección imitando la apariencia y el comportamiento de alguien que utiliza un navegador web.
"Cuando los actores malintencionados intentan rastrear sitios web a gran escala, generalmente utilizan herramientas y marcos que podemos identificar", escribe Cloudflare. "Basándonos en estas señales, nuestros modelos pueden marcar adecuadamente el tráfico de los bots de IA evasivos como bots".
Cloudflare ha establecido un formulario para que los anfitriones informen sobre bots de IA y rastreadores sospechosos y dice que continuará incluyendo en una lista negra manualmente a los bots de IA con el tiempo.
El problema de los bots de IA ha cobrado gran relevancia a medida que el auge de la IA generativa alimenta la demanda de datos para el entrenamiento de modelos.
Muchos sitios, desconfiados de los proveedores de IA que entrenan modelos con su contenido sin alertarles o compensarles, han optado por bloquear los raspadores y rastreadores de IA. Alrededor del 26% de los 1.000 principales sitios web han bloqueado el bot de OpenAI, según un estudio; otro encontró que más de 600 editores de noticias habían bloqueado el bot.
Bloquear no es una protección infalible, sin embargo. Como se mencionó anteriormente, algunos proveedores parecen estar ignorando las reglas estándar de exclusión de bots para obtener una ventaja competitiva en la carrera de la IA. El motor de búsqueda de IA Perplexity fue acusado recientemente de suplantar visitantes legítimos para escanear contenido de sitios web, y se dice que OpenAI y Anthropic han ignorado en ocasiones las reglas de robots.txt.
En una carta a los editores el mes pasado, la startup de licencias de contenido TollBit dijo que, de hecho, ve "muchos agentes de IA" ignorando el estándar robots.txt.
Herramientas como la de Cloudflare podrían ayudar, pero solo si demuestran ser precisas en la detección de bots de IA clandestinos. Y no resolverán el problema más intratable de los editores que arriesgan sacrificar el tráfico de referencia de herramientas de IA como las Visiones Generales de IA de Google, que excluyen sitios de la inclusión si bloquean rastreadores de IA específicos.
Otras noticias • IA
Google presenta "Audio Overview" para resumir documentos con IA
Google ha lanzado "Audio Overview" en NotebookLM, una función que permite escuchar resúmenes de documentos mediante anfitriones virtuales de inteligencia artificial. Aunque está en fase...
Mistral lanza Pixtral 12B, innovador modelo multimodal de IA
Mistral ha lanzado Pixtral 12B, su primer modelo multimodal con 12 mil millones de parámetros, capaz de procesar texto e imágenes. Disponible para pruebas en...
Apple decepciona con IA que no innova en iPhone 16
La inteligencia artificial de Apple ha decepcionado al no ofrecer funciones realmente innovadoras. Aunque mejora la privacidad y accesibilidad, sus capacidades son similares a herramientas...
Apple despierta expectativas con inteligencia artificial para iPhone 16
Apple ha generado expectación con su inteligencia artificial, prevista para el iPhone 16. Aunque promete innovaciones, su implementación gradual y limitaciones regionales podrían afectar las...
Musk desmiente colaboración entre Tesla y xAI ante preocupaciones
Elon Musk desmintió rumores sobre una colaboración formal entre Tesla y xAI para compartir ingresos. Aunque xAI tiene modelos ambiciosos, Musk enfatiza que Tesla no...
Imágenes sintéticas desnudas amenazan privacidad y seguridad personal
La proliferación de imágenes sintéticas desnudas plantea serios desafíos de privacidad y seguridad, especialmente en casos de pornografía de venganza. Microsoft ha colaborado con StopNCII...
Cosmos Institute lanza iniciativas para una IA humanista y ética
El Cosmos Institute busca transformar la inteligencia artificial mediante un enfoque humanista, creando el Human-Centered AI Lab en Oxford y la Cosmos Fellowship. También lanzan...
Canva eleva precios y usuarios critican pérdida de accesibilidad
Canva ha aumentado drásticamente los precios de sus planes, especialmente para Canva Teams, justificándolo por la inversión en inteligencia artificial. Este cambio ha generado descontento...
Lo más reciente
- 1
Spotify lanza controles parentales para cuentas de menores
- 2
Startups: Innovación y adaptación en un entorno volátil
- 3
Uber y Waymo lanzarán robotaxis en 2025 en Austin y Atlanta
- 4
Threads facilita compartir en el fediverse con nueva función
- 5
Meta oculta etiqueta de contenido editado por IA en menú
- 6
Keith Rabois impulsa Miami como nuevo Silicon Valley tecnológico
- 7
XP Health revoluciona atención visual con inteligencia artificial asequible