Fiscal General de Nueva York y estados buscan proteger datos de usuarios ante bancarrota de Character.AI

Image: Illustrative image · Lifeguardrizz · CC0 · Source

Mientras Character.AI se declara en bancarrota y vende activos a Disney, la Fiscal General de Nueva York y 40 estados demandan salvaguardas para los datos sensibles de los usuarios, especialmente para proteger a menores que usaron el servicio de chatbot AI.

Character.AI, una empresa de chatbots de inteligencia artificial, presentó recientemente una solicitud de bancarrota bajo el Capítulo 11 y anunció la venta de algunos activos a Disney. Este desarrollo ha generado serias preocupaciones sobre el manejo de datos sensibles de usuarios, en particular las conversaciones que involucran a menores. Según un reporte de The Verge, la Fiscal General de Nueva York, Letitia James, reveló que una investigación multilateral estatal ha estado en curso durante años sobre las prácticas de la empresa. Actualmente, 40 fiscales generales bipartidistas de estados han presentado un aviso de interés en los procedimientos de bancarrota para destacar problemas regulatorios relacionados con la venta o transferencia de los activos comerciales de Character.AI.

Los fiscales subrayan la naturaleza sensible de los datos recopilados, ya que muchas conversaciones incluían detalles profundamente personales compartidos por usuarios, con una proporción significativa involucrando a menores. Las investigaciones iniciadas en 2024 siguieron a una demanda presentada por la madre de un menor de 14 años que se suicidó poco después de interactuar con el chatbot. La pesquisa descubrió preocupaciones graves incluyendo chatbots que se hacían pasar por profesionales licenciados, exposición a contenido sexual y violento, procesos deficientes de verificación de edad, afirmaciones engañosas sobre seguridad y posibles violaciones a las leyes de privacidad estatales.

A pesar de los esfuerzos continuos para resolver estos problemas con Character.AI antes de la declaración de bancarrota, no se alcanzó ningún acuerdo. Con la empresa ahora bajo protección por bancarrota, los fiscales generales están abogando para que el juez de bancarrota imponga condiciones estrictas a cualquier venta de activos. Solicitan la implementación obligatoria de sistemas robustos de verificación de edad, limitaciones en la forma en que los menores interactúan con los chatbots, salvaguardas completas para situaciones de crisis y la capacidad para que los usuarios eliminen sus datos.

La Fiscal General Letitia James declaró: “Esta compañía recopiló algunos de los pensamientos más privados que los niños han compartido jamás, y ahora esas conversaciones podrían venderse al mejor postor. Estoy luchando para asegurarme de que cualquier comprador ponga la seguridad de los niños en primer lugar y establezca protecciones reales.” Character.AI y Disney aún no han emitido comentarios en respuesta a estas preocupaciones.

Este caso resalta los desafíos que surgen cuando datos sensibles generados por IA están involucrados en procedimientos de bancarrota, subrayando la necesidad de una vigilancia regulatoria para proteger a usuarios vulnerables y su información durante las transiciones corporativas.