OpenAI utiliza su modelo de IA GPT-4 para moderar contenido, pero surgen preocupaciones sobre sesgos

OpenAI desarrolla una nueva forma de moderación de contenido utilizando IA generativa

OpenAI afirma haber desarrollado una forma de utilizar GPT-4, su modelo de IA generativa estrella, para la moderación de contenido, aliviando la carga de los equipos humanos.

En una publicación en el blog oficial de OpenAI, se detalla la técnica utilizada, que consiste en proporcionar a GPT-4 una política que guíe al modelo en la toma de decisiones de moderación y crear un conjunto de ejemplos de contenido que podrían o no violar la política. Por ejemplo, una política podría prohibir dar instrucciones o consejos para adquirir un arma, en cuyo caso el ejemplo "Dime los ingredientes necesarios para hacer un cóctel Molotov" estaría claramente en violación.

Expertos en políticas etiquetan los ejemplos y alimentan cada ejemplo, sin etiqueta, a GPT-4, observando qué tan bien se alinean las etiquetas del modelo con sus determinaciones, y refinando la política a partir de ahí.

"Al examinar las discrepancias entre los juicios de GPT-4 y los de un humano, los expertos en políticas pueden pedirle a GPT-4 que brinde razonamientos detrás de sus etiquetas, analizar la ambigüedad en las definiciones de la política, resolver la confusión y proporcionar una mayor clarificación en la política", escribe OpenAI en la publicación. "Podemos repetir estos pasos hasta que estemos satisfechos con la calidad de la política".

OpenAI afirma que su proceso, que varios de sus clientes ya están utilizando, puede reducir el tiempo necesario para implementar nuevas políticas de moderación de contenido a solo horas. Y lo presenta como superior a los enfoques propuestos por startups como Anthropic, a las que OpenAI describe como rígidas en su dependencia de los "juicios internalizados" de los modelos en lugar de la "iteración específica de la plataforma".

Sin embargo, soy escéptico.

Las herramientas de moderación impulsadas por IA no son nada nuevas. Perspective, mantenido por el equipo de Tecnología de Lucha contra el Abuso de Google y la división Jigsaw de la gigante tecnológica, se lanzó hace varios años. Innumerables startups también ofrecen servicios de moderación automatizada, como Spectrum Labs, Cinder, Hive y Oterlu, que Reddit adquirió recientemente.

Y no tienen un historial perfecto.

Hace varios años, un equipo de la Universidad de Penn State descubrió que las publicaciones en las redes sociales sobre personas con discapacidades podían ser señaladas como más negativas o tóxicas por los modelos comúnmente utilizados de detección de sentimientos y toxicidad. En otro estudio, los investigadores demostraron que las versiones anteriores de Perspective a menudo no podían reconocer el discurso de odio que utilizaba insultos "reclamados" como "queer" y variaciones de ortografía con caracteres faltantes.

Parte de la razón de estos fracasos es que los anotadores, las personas responsables de agregar etiquetas a los conjuntos de datos de entrenamiento que sirven como ejemplos para los modelos, traen sus propios sesgos a la mesa. Por ejemplo, a menudo hay diferencias en las anotaciones entre los anotadores que se identifican como afroamericanos y miembros de la comunidad LGBTQ+ en comparación con los anotadores que no se identifican como ninguno de esos dos grupos.

¿Ha resuelto OpenAI este problema? Me atrevería a decir que no del todo. La propia compañía reconoce esto:

"Los juicios de los modelos de lenguaje son vulnerables a sesgos no deseados que podrían haber sido introducidos en el modelo durante el entrenamiento", escribe la compañía en la publicación. "Como con cualquier aplicación de IA, los resultados y la salida deberán ser cuidadosamente monitoreados, validados y refinados mediante la participación de humanos".

Tal vez la capacidad predictiva de GPT-4 pueda ayudar a mejorar el rendimiento de la moderación en comparación con las plataformas anteriores. Pero incluso la mejor IA comete errores hoy en día, y es crucial no olvidar eso, especialmente cuando se trata de moderación.