California aprueba su legislación pionera en IA de alto riesgo y chatbots IA
El pasado 3 de junio de 2025, el Senado de California dio un paso significativo hacia la consolidación de un marco regulatorio en materia de inteligencia artificial (IA), al aprobar dos piezas legislativas clave: el Senate Bill 420, conocido como la California Artificial Intelligence Bill of Rights, y el Senate Bill 243, enfocado en mitigar los riesgos de los chatbots de compañía. Ambas normativas, impulsadas por el senador Steve Padilla (D-San Diego), revelan un cambio normativo estructural en la manera en que el estado más influyente de EEUU aborda los riesgos algorítmicos, los derechos de los usuarios y la responsabilidad de los proveedores tecnológicos.
SB 420: Regulación de sistemas automatizados de decisión de alto riesgo
El SB 420 establece un marco general obligatorio para el uso de automated decision systems (ADS) clasificados como “de alto riesgo”, tanto en el sector público como privado. En línea con marcos internacionales como la AI ACT de la Unión Europea, la legislación exige la elaboración de evaluaciones de impacto algorítmico (Algorithmic Impact Assessments, AIAs), que deben detallar el propósito del sistema, las fuentes de datos utilizadas, posibles sesgos identificados y las medidas adoptadas para mitigarlos.
En cuanto a la transparencia, la ley garantiza el derecho de los individuos a ser informados cuando una ADS es utilizada en decisiones que los afectan directamente, así como a apelar dichas decisiones, en la medida en que sea técnicamente viable, ante una revisión humana. Esta últimadisposición apunta a contener la automatización opaca, particularmente encontextos como el empleo, la educación, la justicia penal o el acceso aservicios públicos.
Cabe destacar que la aprobación del SB 420 tiene lugar en un contexto de tensión creciente sobre el uso gubernamental de ADS. Una reciente auditoría del California Department of Technology reveló discrepancias entre el uso real y el uso reportado de ADS de alto riesgo, incluyendo el caso del Departamento de Correccionales, que utiliza el sistema COMPAS—con historial de sesgo racial documentado—sin reconocerlo como tal. Igualmente grave es el caso del Employment Development Department, que pausó beneficios a 1.1 millones de personas mediante análisis algorítmico, de los cuales 600.000 fueron posteriormente validados como legítimos.
SB 243: Garantías en chatbots con funciones de compañía
Complementando el SB 420, el SB 243 representa la primera legislación en EEUU orientada específicamente a los riesgos psicosociales derivados del uso de chatbots de compañía, particularmente entre menores y poblaciones vulnerables. La norma se estructura como una respuesta directa a casos de alto riesgo, como el suicidio de un menor de 14 años tras establecer un vínculo emocional con un chatbot, que según la acusación legal de la familia utilizó técnicas de diseño adictivo y lenguaje inadecuado.
El SB 243 establece obligaciones específicas para los desarrolladores y operadores de chatbots con funciones relacionales: prohibición de patrones de diseño adictivo, obligatoriedad de notificaciones recurrentes de que se trata de una IA, advertencias sobre su idoneidad para menores y protocolos obligatorios para situaciones de ideación suicida (que incluyen derivación a servicios de crisis). Asimismo, se establece una vía de acción privada como remedio legal para los usuarios afectados, lo que introduce un enfoque de responsabilidad ex post en un entorno usualmente exento de escrutinio jurídico.
Reflexiones sobre la gobernanza algorítmica emergente
Ambos proyectos legislativos representan una apuesta explícita por una gobernanza algorítmica democrática, donde la transparencia, la auditabilidad y la rendición de cuentas son principios estructurales y no valores declarativos. Aunque todavía falta el trámite en la Asamblea estatal, el contenido de ambas normas anticipa un estándar regulatorio robusto que podría tener efecto extraterritorial, tal como ocurrió con el GDPR europeo.
La acción del Senado californiano muestra un creciente consenso entre legisladores, académicos y defensores de derechos civiles sobre la necesidad de limitar el poder sociotécnico de sistemas algorítmicos autónomos sin sacrificar la innovación. En palabras del senador Padilla: “Sería desastroso permitir que los gigantes tecnológicos operen sin supervisión, responsabilidad ni límites.” Esta es la lógica fundacional de una nueva generación de derechos digitales frente a la IA.