IA | Preocupaciones

OpenAI utiliza su modelo de IA GPT-4 para moderar contenido, pero surgen preocupaciones sobre sesgos

OpenAI desarrolla una nueva forma de moderación de contenido utilizando IA generativa

OpenAI afirma haber desarrollado una forma de utilizar GPT-4, su modelo de IA generativa estrella, para la moderación de contenido, aliviando la carga de los equipos humanos.

En una publicación en el blog oficial de OpenAI, se detalla la técnica utilizada, que consiste en proporcionar a GPT-4 una política que guíe al modelo en la toma de decisiones de moderación y crear un conjunto de ejemplos de contenido que podrían o no violar la política. Por ejemplo, una política podría prohibir dar instrucciones o consejos para adquirir un arma, en cuyo caso el ejemplo "Dime los ingredientes necesarios para hacer un cóctel Molotov" estaría claramente en violación.

Expertos en políticas etiquetan los ejemplos y alimentan cada ejemplo, sin etiqueta, a GPT-4, observando qué tan bien se alinean las etiquetas del modelo con sus determinaciones, y refinando la política a partir de ahí.

"Al examinar las discrepancias entre los juicios de GPT-4 y los de un humano, los expertos en políticas pueden pedirle a GPT-4 que brinde razonamientos detrás de sus etiquetas, analizar la ambigüedad en las definiciones de la política, resolver la confusión y proporcionar una mayor clarificación en la política", escribe OpenAI en la publicación. "Podemos repetir estos pasos hasta que estemos satisfechos con la calidad de la política".

OpenAI afirma que su proceso, que varios de sus clientes ya están utilizando, puede reducir el tiempo necesario para implementar nuevas políticas de moderación de contenido a solo horas. Y lo presenta como superior a los enfoques propuestos por startups como Anthropic, a las que OpenAI describe como rígidas en su dependencia de los "juicios internalizados" de los modelos en lugar de la "iteración específica de la plataforma".

Sin embargo, soy escéptico.

Las herramientas de moderación impulsadas por IA no son nada nuevas. Perspective, mantenido por el equipo de Tecnología de Lucha contra el Abuso de Google y la división Jigsaw de la gigante tecnológica, se lanzó hace varios años. Innumerables startups también ofrecen servicios de moderación automatizada, como Spectrum Labs, Cinder, Hive y Oterlu, que Reddit adquirió recientemente.

Y no tienen un historial perfecto.

Hace varios años, un equipo de la Universidad de Penn State descubrió que las publicaciones en las redes sociales sobre personas con discapacidades podían ser señaladas como más negativas o tóxicas por los modelos comúnmente utilizados de detección de sentimientos y toxicidad. En otro estudio, los investigadores demostraron que las versiones anteriores de Perspective a menudo no podían reconocer el discurso de odio que utilizaba insultos "reclamados" como "queer" y variaciones de ortografía con caracteres faltantes.

Parte de la razón de estos fracasos es que los anotadores, las personas responsables de agregar etiquetas a los conjuntos de datos de entrenamiento que sirven como ejemplos para los modelos, traen sus propios sesgos a la mesa. Por ejemplo, a menudo hay diferencias en las anotaciones entre los anotadores que se identifican como afroamericanos y miembros de la comunidad LGBTQ+ en comparación con los anotadores que no se identifican como ninguno de esos dos grupos.

¿Ha resuelto OpenAI este problema? Me atrevería a decir que no del todo. La propia compañía reconoce esto:

"Los juicios de los modelos de lenguaje son vulnerables a sesgos no deseados que podrían haber sido introducidos en el modelo durante el entrenamiento", escribe la compañía en la publicación. "Como con cualquier aplicación de IA, los resultados y la salida deberán ser cuidadosamente monitoreados, validados y refinados mediante la participación de humanos".

Tal vez la capacidad predictiva de GPT-4 pueda ayudar a mejorar el rendimiento de la moderación en comparación con las plataformas anteriores. Pero incluso la mejor IA comete errores hoy en día, y es crucial no olvidar eso, especialmente cuando se trata de moderación.


Crear Canciones Personalizadas
Publicidad


Otras noticias • IA

Innovación tecnológica

Google I/O 2024: Innovaciones en IA y Android 16 anunciadas

Google I/O, programada para el 20 y 21 de mayo, promete grandes anuncios, destacando la inteligencia artificial con Gemini Ultra, mejoras en Android 16 y...

Controversia ética

SoundCloud permite uso de contenido para entrenar IA sin compensación

SoundCloud ha actualizado sus términos de uso, permitiendo el uso del contenido de los usuarios para entrenar inteligencia artificial, generando preocupación entre los creadores. Sin...

Prohibición tecnológica

Microsoft prohíbe DeepSeek por preocupaciones de seguridad y desinformación

Microsoft ha prohibido el uso de la aplicación DeepSeek entre sus empleados debido a preocupaciones sobre la seguridad de datos y la desinformación, especialmente por...

Productividad programadores

OpenAI integra ChatGPT con GitHub para mejorar productividad de desarrolladores

OpenAI ha integrado ChatGPT con GitHub, permitiendo a los desarrolladores interactuar con su código de manera más eficiente. Esta herramienta mejora la productividad al facilitar...

Ahorros significativos

Google lanza caché implícito en API Gemini para ahorrar costos

Google ha introducido el "caché implícito" en su API Gemini, permitiendo ahorros de hasta el 75% en costos de uso de IA. Esta funcionalidad automática...

Ciberseguridad mejorada

Google refuerza la seguridad de Chrome con inteligencia artificial

Google ha mejorado la seguridad de Chrome con inteligencia artificial, implementando Gemini Nano para detectar estafas en tiempo real y ofreciendo protección avanzada contra phishing....

Crecimiento colaborativo

Clay alcanza valoración de 1.5 mil millones con cultura colaborativa

Clay, una startup de automatización de ventas, ha crecido rápidamente, alcanzando una valoración de 1.5 mil millones de dólares. Su enfoque en la participación de...

Transformación comercial

Inteligencia artificial revoluciona comercio electrónico con nuevas herramientas

La inteligencia artificial está transformando el comercio electrónico, como demuestra la herramienta "Enhance My Listing" de Amazon, que optimiza listados de productos. Aunque ofrece eficiencia,...