Google lanza PaliGemma 2 pero surgen preocupaciones éticas

La nueva frontera de la inteligencia artificial: PaliGemma 2 y el reconocimiento emocional

Recientemente, Google ha presentado su última innovación en inteligencia artificial: la familia de modelos PaliGemma 2, que incluye la capacidad de analizar imágenes y, sorprendentemente, de “identificar” emociones. Esta característica ha suscitado un intenso debate sobre las implicaciones éticas y sociales de la tecnología, así como sobre la viabilidad científica del reconocimiento emocional. Las preguntas sobre la efectividad y la moralidad de estas herramientas están más presentes que nunca.

Un avance en la generación de contenido

El anuncio de Google destaca que PaliGemma 2 no solo se limita a identificar objetos en imágenes, sino que también genera descripciones detalladas y contextualizadas que abarcan acciones, emociones y la narrativa general de la escena. Este avance se basa en el conjunto de modelos abiertos de Google, en particular en la serie Gemma 2. La promesa de una IA que pueda comprender y contextualizar imágenes de una manera más humana es tentadora, pero también plantea serias preguntas sobre su implementación.

A través de esta nueva tecnología, los usuarios pueden esperar que la inteligencia artificial no solo reconozca lo que está en una imagen, sino que también pueda interpretar cómo se sienten las personas en ella. Sin embargo, este enfoque ha sido objeto de críticas por parte de expertos que advierten sobre los peligros de asumir que la tecnología puede leer las emociones de manera precisa.

Las críticas al reconocimiento emocional

Varios académicos y expertos en ética han expresado su preocupación por la idea de que una máquina pueda “leer” las emociones humanas. Sandra Wachter, profesora de ética de datos y IA en el Oxford Internet Institute, ha señalado que la noción de que podemos interpretar las emociones de los demás es problemática. “Es como pedirle a una bola mágica que nos dé consejos”, afirma.

La dificultad radica en que las emociones humanas son complejas y están influenciadas por diversos factores, como la cultura, el contexto y la experiencia personal. Mike Cook, investigador de la Universidad Queen Mary, también ha comentado sobre la imposibilidad de detectar emociones de manera universal. “Es posible que podamos identificar algunos indicadores genéricos en ciertos casos, pero no podemos resolverlo completamente”, sostiene.

La ciencia detrás del reconocimiento emocional

La mayoría de los sistemas de detección de emociones se basan en el trabajo del psicólogo Paul Ekman, quien propuso que existen seis emociones fundamentales compartidas por todos los seres humanos: ira, sorpresa, asco, alegría, miedo y tristeza. Sin embargo, investigaciones más recientes han cuestionado esta teoría, sugiriendo que las diferencias culturales influyen en cómo las personas expresan sus emociones.

La interpretación de las emociones es un asunto subjetivo que va más allá de la simple observación visual, y está profundamente arraigado en un contexto personal y cultural.

Los sistemas de detección emocional a menudo son objeto de críticas debido a su fiabilidad y a los sesgos inherentes a los datos con los que fueron entrenados. Un estudio de 2020 del MIT reveló que los modelos de análisis facial podrían desarrollar preferencias no intencionadas por ciertas expresiones, como la sonrisa. Además, trabajos más recientes han indicado que los modelos de análisis emocional tienden a asignar emociones negativas con mayor frecuencia a las caras de personas negras en comparación con las de personas blancas.

El papel de Google y la evaluación de sesgos

Google afirma haber realizado “extensas pruebas” para evaluar los sesgos demográficos en PaliGemma 2, asegurando que encontraron “bajos niveles de toxicidad y lenguaje soez” en comparación con los estándares de la industria. Sin embargo, la compañía no ha proporcionado una lista completa de los estándares utilizados ni ha especificado qué tipos de pruebas se llevaron a cabo.

El único estándar que Google ha revelado es FairFace, un conjunto de miles de retratos. La compañía sostiene que PaliGemma 2 obtuvo buenos resultados en este benchmark, aunque algunos investigadores han criticado FairFace como una métrica de sesgo, señalando que representa solo a un puñado de grupos raciales.

Regulaciones y preocupaciones éticas

Las preocupaciones sobre los sistemas de detección emocional han llevado a reguladores de varios países a buscar limitar el uso de esta tecnología en contextos de alto riesgo. La legislación de IA de la Unión Europea, por ejemplo, prohíbe que escuelas y empleadores implementen detectores de emociones, aunque las agencias de seguridad no están sujetas a estas restricciones.

La disponibilidad de modelos abiertos como PaliGemma 2, accesibles a través de plataformas de desarrollo de IA, plantea el riesgo de que sean abusados o mal utilizados, lo que podría resultar en daños reales en la sociedad. “Si esta supuesta ‘identificación emocional’ se basa en presupuestos pseudocientíficos, las implicaciones sobre cómo se puede utilizar esta capacidad son significativas”, advierte Heidy Khlaaf, científica principal de IA en el AI Now Institute.

El impacto en la sociedad y el futuro

Las posibles aplicaciones de PaliGemma 2 en ámbitos como la contratación, la seguridad y la vigilancia son inquietantes. La idea de que las emociones de una persona puedan influir en decisiones tan críticas como la obtención de un empleo, un préstamo o la admisión a una universidad es un escenario que muchos consideran distópico.

La innovación responsable implica pensar en las consecuencias desde el primer día en que se entra al laboratorio y continuar haciéndolo a lo largo del ciclo de vida de un producto.

Wachter enfatiza que hay múltiples problemas potenciales asociados con modelos como PaliGemma 2, que podrían llevar a un futuro donde las decisiones se basen en suposiciones erróneas sobre el estado emocional de las personas. La línea entre la tecnología que mejora la vida y aquella que podría perjudicar a ciertos grupos de la sociedad es extremadamente delgada.

Un camino incierto

La introducción de tecnologías como PaliGemma 2 plantea importantes interrogantes sobre el papel de la inteligencia artificial en nuestras vidas y sobre cómo las empresas, como Google, manejan el desarrollo y la implementación de estas herramientas. La tensión entre la innovación y la ética es palpable, y las decisiones que se tomen en los próximos años tendrán un impacto significativo en la dirección que tomará la IA en el futuro.

En un mundo donde las emociones son parte integral de la experiencia humana, el desafío radica en cómo las máquinas pueden (o no pueden) interpretar y responder a esas emociones sin caer en la trampa de los prejuicios y las simplificaciones. La historia de la inteligencia artificial sigue desarrollándose, y la próxima fase será crítica para determinar si estas herramientas se utilizarán para el bien o si se convertirán en un riesgo para la sociedad.