Cuestionan valor de Mechanical Turk de Amazon por uso de IA en tareas humanas

La plataforma Mechanical Turk de Amazon ha sido objeto de críticas debido al alto porcentaje de usuarios que utilizan inteligencia artificial (IA) para realizar tareas que originalmente fueron diseñadas para ser realizadas por humanos. Investigadores de la Escuela Politécnica Federal de Lausana (EPFL) en Suiza descubrieron que entre el 33% y el 46% de los trabajadores de la plataforma utilizan grandes modelos de lenguaje (LLM, por sus siglas en inglés) como ChatGPT para realizar tareas de resumen de abstractos, lo que cuestiona el valor de la plataforma.

La plataforma Mechanical Turk de Amazon, cuestionada por la automatización de tareas

La plataforma de Amazon, Mechanical Turk, ha sido utilizada desde sus inicios para dividir tareas simples en pequeñas sub-tareas que pueden ser realizadas en cuestión de segundos por una multitud de trabajadores, que reciben un pago mínimo pero constante. La plataforma fue apodada por Jeff Bezos como "inteligencia artificial artificial" debido a que los trabajos eran difíciles de automatizar, como identificar la sentimiento de una oración o dibujar un círculo alrededor de un gato en una imagen. Sin embargo, un estudio de EPFL muestra que los trabajadores de Mechanical Turk están automatizando su trabajo utilizando LLM, lo que cuestiona el valor de la plataforma.

Investigadores de EPFL descubren que los trabajadores de Mechanical Turk están utilizando IA

La investigación de EPFL muestra que los trabajadores de Mechanical Turk están utilizando ChatGPT para realizar tareas de resumen de abstractos. El estudio analizó el uso de la plataforma como "humano en el bucle" para mejorar o verificar las respuestas de LLM, que son esencialmente no confiables. Los investigadores asignaron una tarea de "resumen de abstractos" a los trabajadores de la plataforma, y descubrieron que entre el 33% y el 46% de ellos utilizaban LLM para realizar la tarea. Esto plantea preocupaciones sobre la automatización en la plataforma y la calidad de los datos producidos.

Un problema creciente en la era de la IA

La automatización de tareas es un problema creciente en la era de la IA, especialmente en el campo del aprendizaje automático. Si los trabajadores de Mechanical Turk están utilizando IA para realizar tareas que fueron diseñadas para ser realizadas por humanos, se plantea la cuestión de cómo se puede confiar en los datos producidos. Los investigadores de EPFL advierten que esta tarea es particularmente susceptible a la automatización, y que los LLM se están volviendo cada vez más populares, lo que plantea la cuestión de cómo garantizar que los datos humanos sigan siendo humanos. La automatización de tareas puede ser rentable y eficiente, pero plantea preocupaciones sobre la calidad y la integridad de los datos producidos.

La amenaza de la IA comiendo su propia cola

El uso de IA para automatizar tareas destinadas a ser realizadas por humanos es una amenaza creciente en la era de la IA. El ChatGPT de Bing, por ejemplo, citó su propia información errónea como apoyo a una nueva conspiración sobre COVID-19. Si no se puede estar seguro de que una tarea fue realizada por un humano, es mejor asumir que no lo fue. Los investigadores de EPFL advierten que la situación actual es sólo la punta del iceberg, y que es necesario encontrar nuevas formas de garantizar que los datos humanos sigan siendo humanos. La automatización de tareas es rentable y eficiente, pero sólo si se pueden garantizar la calidad y la integridad de los datos producidos.