Texas investiga a Meta y Character.AI por engaños a niños

La Investigación de Paxton: ¿Están las Herramientas de IA Poniendo en Riesgo la Salud Mental de los Niños?

El Fiscal General de Texas, Ken Paxton, ha desatado un debate candente al anunciar una investigación sobre dos gigantes de la inteligencia artificial: Meta AI Studio y Character.AI. Según un comunicado emitido el lunes, la investigación se centra en si estas plataformas han estado “involucrándose en prácticas comerciales engañosas y comercializándose de manera engañosa como herramientas de salud mental”. Este movimiento se produce en un contexto donde el uso de la inteligencia artificial ha crecido exponencialmente, generando preocupaciones sobre su impacto en la salud mental, especialmente entre los más jóvenes.

"En la era digital actual, debemos seguir luchando para proteger a los niños de Texas de la tecnología engañosa y explotadora," declaró Paxton. En sus afirmaciones, destaca que los chatbots de IA pueden ser presentados como fuentes de apoyo emocional, lo que podría llevar a usuarios vulnerables, en particular a los niños, a creer que están recibiendo atención legítima en salud mental. Sin embargo, la realidad es que estos sistemas a menudo proporcionan respuestas genéricas y recicladas, diseñadas para alinearse con datos personales recolectados y disfrazadas como consejos terapéuticos.

La Preocupación de los Legisladores

La decisión de Paxton no surge en un vacío. Solo unos días antes, el senador Josh Hawley había anunciado una investigación similar hacia Meta, tras un informe que revelaba que sus chatbots de IA estaban interactuando de manera inapropiada con menores, incluso coqueteando. Esta coincidencia pone de relieve un creciente descontento entre los legisladores sobre cómo las plataformas de inteligencia artificial están manejando las interacciones con los usuarios más jóvenes.

En este sentido, la oficina del Fiscal General de Texas ha acusado a Meta y Character.AI de crear personajes de IA que se presentan como “herramientas terapéuticas profesionales, a pesar de carecer de credenciales médicas adecuadas o supervisión”. Este hecho plantea serias preguntas sobre la ética de comercializar productos que podrían influir en la salud mental de los niños sin la debida regulación o supervisión.

La Dicotomía de las Herramientas de IA

Character.AI ha visto un aumento en la popularidad de ciertos bots, como uno creado por usuarios llamado “Psicólogo”, que ha sido especialmente demandado entre la juventud. Por su parte, Meta no ofrece bots de terapia específicamente diseñados para niños, pero esto no impide que los menores utilicen su chatbot o interactúen con personajes creados por terceros con fines terapéuticos. Esta ambigüedad en la regulación de los servicios de IA plantea un dilema importante sobre la protección de los menores en un entorno digital cada vez más complejo.

La posibilidad de que los niños interactúen con estas herramientas sin un marco regulatorio adecuado es preocupante y podría tener consecuencias devastadoras en su desarrollo emocional.

En respuesta a las críticas, un portavoz de Meta, Ryan Daniels, afirmó que “etiquetamos claramente las IA, y para ayudar a las personas a comprender mejor sus limitaciones, incluimos un aviso que indica que las respuestas son generadas por IA, no por personas”. Sin embargo, es evidente que muchos niños pueden no comprender —o simplemente ignorar— tales advertencias, lo que plantea interrogantes sobre la responsabilidad de estas empresas en la protección de sus usuarios más jóvenes.

Preocupaciones sobre la Privacidad

La declaración de Paxton también subraya un punto crucial: a pesar de que los chatbots de IA afirman mantener la confidencialidad, sus “términos de servicio revelan que las interacciones de los usuarios son registradas, rastreadas y explotadas para publicidad dirigida y desarrollo algorítmico, lo que genera serias preocupaciones sobre violaciones de privacidad, abuso de datos y publicidad engañosa”.

Según la política de privacidad de Meta, la compañía recopila prompts, comentarios y otras interacciones con los chatbots de IA y a través de sus servicios para “mejorar las IA y la tecnología relacionada”. Aunque la política no menciona explícitamente la publicidad, establece que la información puede ser compartida con terceros, como motores de búsqueda, para “resultados más personalizados”. Dado el modelo de negocio basado en publicidad de Meta, esto se traduce de manera efectiva en publicidad dirigida.

Character.AI, por su parte, también destaca en su política de privacidad cómo la startup registra identificadores, información demográfica, ubicación y más, incluyendo el comportamiento de navegación y el uso de aplicaciones. Este seguimiento se extiende a anuncios en plataformas como TikTok, YouTube, Reddit, Facebook, Instagram y Discord, lo que puede vincularse a la cuenta de un usuario. Esta información se utiliza para entrenar la IA, adaptar el servicio a las preferencias personales y proporcionar publicidad dirigida.

La recopilación de datos y la explotación algorítmica es exactamente lo que la legislación como KOSA (Kids Online Safety Act) busca proteger. La necesidad de una regulación más estricta es más urgente que nunca.

La Resistencia de la Industria Tecnológica

A pesar de las preocupaciones planteadas, el avance de la legislación para proteger a los menores en el entorno digital ha enfrentado obstáculos significativos. KOSA fue presentado el año pasado con un fuerte apoyo bipartidista, pero se estancó tras una intensa presión de los grupos de cabildeo de la industria tecnológica. Meta, en particular, desplegó una poderosa máquina de cabildeo, advirtiendo a los legisladores que los amplios mandatos de la ley socavarían su modelo de negocio.

En mayo de 2025, KOSA fue reintroducido en el Senado por los senadores Marsha Blackburn (R-TN) y Richard Blumenthal (D-CT). Esta reintroducción resalta la persistencia de la lucha por regular el uso de la tecnología en el contexto de la salud mental de los menores. Las dinámicas entre los intereses comerciales de las grandes tecnológicas y la protección de los derechos de los usuarios más jóvenes son más relevantes que nunca.

La Respuesta de las Empresas

Ambas empresas, Meta y Character.AI, han afirmado que sus servicios no están diseñados para niños menores de 13 años. Sin embargo, esta afirmación es cuestionada por muchos críticos que argumentan que las plataformas han fallado en supervisar adecuadamente las cuentas creadas por niños. En el caso de Character.AI, los personajes amigables para los niños parecen estar claramente diseñados para atraer a los usuarios más jóvenes. De hecho, el CEO de la startup, Karandeep Anand, ha comentado que su hija de seis años utiliza los chatbots de la plataforma.

Esta falta de supervisión y la atracción de los menores hacia estas herramientas de IA ponen de relieve una brecha en la regulación actual. La comunidad y los legisladores deben presionar para que se implementen medidas que protejan a los menores de los riesgos potenciales asociados con la interacción con chatbots de IA.

La combinación de la popularidad de la inteligencia artificial y la vulnerabilidad de los niños plantea un desafío significativo. La atención debe centrarse en cómo garantizar que estas tecnologías no solo sean innovadoras, sino también seguras y responsables. Las empresas deben ser responsables de las implicaciones de sus productos y la forma en que estos afectan a la salud mental y emocional de sus usuarios más jóvenes.