Revisión algorítmica y auditoría de modelos en webs y apps: del “confía en mi IA” al “demuéstrame que cumple”

En muchas webs y apps ya no solo hay cookies y píxeles: hay motores de recomendación, sistemas antifraude, modelos que fijan precios dinámicos, #chatbots con IA generativa y mecanismos que deciden qué ve cada usuario y cuándo. Todo eso es #lógicaalgorítmica que, si impacta de forma significativa a las personas, entra de lleno en el radar del #RGPD (art. 5, 22, 24, 25, 32, 35), de la #LOPDGDD y del nuevo marco europeo sobre #IA.

La respuesta GRC a este escenario no puede ser “mi proveedor dice que cumple”, sino #auditoríaalgorítmica estructurada: un proceso sistemático para analizar cómo se diseñan, entrenan, integran y monitorizan estos sistemas… y si realmente respetan los derechos de las personas y los objetivos de negocio.

1. ¿Qué es una auditoría algorítmica (en lenguaje GRC)?

En la literatura se habla de #algorithmicauditing como la evaluación estructurada de sistemas de #decisiónautomatizada (#ADMS) para verificar su coherencia con principios legales, éticos y técnicos. Trabajos como los de Sandvig et al. sobre auditing algorithms from the outside y sus métodos (perfiles de prueba, scraping de resultados, experimentos controlados) marcaron buena parte del campo.

Más recientemente, propuestas como ethics-based auditing (EBA) de Mökander y Axente plantean auditorías que cubren todo el ciclo de vida del sistema, integradas en la gobernanza corporativa y no solo como una prueba puntual al final.

Traducido a lenguaje GRC, una auditoría algorítmica es:

“Un proceso independiente, basado en evidencia, para evaluar si un sistema algorítmico usado en una web/app cumple con: (a) la normativa aplicable (RGPD, LOPDGDD, ePrivacy, etc.), (b) las políticas internas y los compromisos éticos, y (c) los objetivos declarados de negocio, identificando riesgos, brechas y acciones de mejora.”

2. ¿Dónde hay “algoritmos auditables” en una web o app típica?

Ejemplos muy concretos:

• Recomendaciones de productos o contenidos (“recomendado para ti”, “quizás te interese…”).

• Sistemas de publicidad comportamental y segmentación avanzada.

• Motores de puntuación de riesgo (fraude, crédito, abuso de promociones).

• Mecanismos de moderación de contenidos o bloqueo de cuentas.

• Chatbots y asistentes virtuales que toman decisiones o filtran opciones.

• Modelos que optimizan rutas, tiempos de espera, ofertas o el orden de elementos en pantalla.

Muchos de estos tratamientos pueden encajar en “decisiones basadas únicamente en tratamientos automatizados que producen efectos jurídicos o significativamente similares” del art. 22 RGPD, o al menos en un perfilado con impacto relevante, lo que activa salvaguardas reforzadas (información clara, derecho a intervención humana, posibilidad de impugnar, etc.).

3. Marco normativo mínimo que debe cubrir la auditoría

En clave europea, una auditoría algorítmica en webs y apps debería, como mínimo, contrastar el sistema frente a:

• Principios RGPD (art. 5): licitud, lealtad, transparencia, minimización, exactitud, limitación de la conservación, integridad/confidencialidad y responsabilidad proactiva.

• Art. 6 y 9 RGPD: base jurídica adecuada (consentimiento válido, interés legítimo ponderado, contrato, obligación legal…) y tratamiento de categorías especiales si procede.

• Art. 13–15 RGPD: transparencia reforzada sobre la lógica implicada, importancia y consecuencias previstas de las decisiones automatizadas.

• Art. 22 RGPD: condiciones para decisiones automatizadas y perfilado de alto impacto, salvaguardas y derecho a intervención humana.

• Art. 24, 25 y 35 RGPD: responsabilidad proactiva, privacidad desde el diseño y por defecto, evaluaciones de impacto (DPIA), que hoy se extienden hacia algorithmic impact assessments específicos para modelos complejos.

• Orientaciones de autoridades:

Si tu web o app usa IA generativa o modelos de alto impacto, también entran en juego el AI Act y estándares emergentes en Europa sobre auditoría de sistemas de IA, que convergen con estas mismas lógicas de evaluación estructurada.

4. Enfoque GRC + ISO 19011: fases de una auditoría algorítmica

Llevado al terreno de la auditoría de sistemas de gestión (ISO 19011):

4.1. Planificación: alcance, criterios y equipo

• Definir alcance: qué sistemas algorítmicos de la web/app se auditan (recomendador, antifraude, chatbot, motores de scoring, etc.).

• Fijar criterios de auditoría: RGPD, LOPDGDD, guías de autoridades, políticas internas de IA, códigos éticos, compromisos contractuales con clientes.

• Armar un equipo con perfiles técnicos, legales y de negocio, y—muy importante—con independencia funcional frente a quienes desarrollan o explotan los modelos.

Trabajos como The Algorithm Audit: Scoring the Algorithms That Score Us proponen esquemas de puntuación que combinan factores técnicos, organizativos y de impacto en derechos, muy útiles para definir criterios y escalas de madurez.

4.2. Inventario y fichas de sistemas algorítmicos

Antes de auditar hay que saber qué existe. Cada sistema debería tener, al menos, una ficha que recoja:

• Finalidad de negocio y descripción del caso de uso.

• Tipo de sistema: reglas, ML clásico, recomendador, modelo generativo, motor de scoring, etc.

• Datos de entrada (fuentes, categorías, procedencia, transferencias).

• Salidas y decisiones vinculadas (qué cambia para el usuario).

• Usuarios afectados y posibles impactos en derechos.

• Proveedores y componentes de terceros (APIs, SDKs, modelos externos).

Este inventario es la base de cualquier DPIA/Algorithmic Impact Assessment posterior.

4.3. Análisis de riesgos y DPIA “algorítmica”

A partir del inventario, la auditoría debe identificar:

• Riesgos de discriminación o sesgo (por variables proxy, datos históricos, criterios de segmentación).

• Riesgos de falta de transparencia (modelos opacos, explicaciones ininteligibles, interfaces confusos).

• Riesgos de sobre-recogida o usos secundarios de datos que se apartan del propósito original.

• Riesgos de impacto significativo en personas vulnerables (menores, colectivos en situación de exclusión, etc.).

El enfoque de impacto algorítmico bajo RGPD propone precisamente combinar DPIA con explicaciones multinivel para las personas afectadas (legal, técnica y de negocio), algo especialmente relevante en webs y apps de gran público.

4.4. Recogida de evidencias: documentación, datos y pruebas

Aquí es donde la auditoría algorítmica se diferencia de una auditoría de “papel”:

• Documentación:

• Datos:

• Pruebas:

Investigaciones como las de Digital Future Society sobre métodos para “#algoritmosresponsables” recopilan herramientas y técnicas muy útiles para esta fase (tests de #cajanegra, tarjetas de modelo, simulaciones, etc.).

4.5. Entrevistas, gobernanza y tres líneas

Siguiendo la lógica GRC, la #auditoría debería comprobar:

• Cómo se reparte la responsabilidad entre primera línea (equipos de producto/desarrollo), segunda línea (compliance, DPD, riesgo tecnológico) y tercera línea (auditoría interna/externa).

• Si existe un marco de supervisión humana claro: quién puede parar un modelo, bajo qué criterios, cómo se atienden reclamaciones y revisiones humanas.

• Cuáles son los canales de escalado cuando un modelo genera incidentes, resultados injustos o impactos no previstos.

4.6. Informe, scoring y plan de acción

La auditoría debe desembocar en:

• Hallazgos clasificados por riesgo (legal, ético, operativo, reputacional).

• Un score o nivel de madurez por sistema (desde “mínimo cumplimiento” hasta “buenas prácticas avanzadas”), inspirado en marcos como el de algorithm audit scoring.

• Un plan de acción priorizado: qué hay que cambiar en el modelo, en los datos, en la interfaz, en los procesos y en los contratos con proveedores.

5. Técnicas prácticas de auditoría algorítmica para webs y apps

Además del análisis documental, algunas técnicas muy aterrizadas:

• Perfiles de prueba (“sock-puppet audits”): crear usuarios ficticios con combinaciones de atributos para ver cómo varían recomendaciones, precios o decisiones, tal y como describen los métodos clásicos de auditoría de algoritmos.

• Análisis de logs: muestrear decisiones reales y analizar patrones por segmentos (edad, región, tipo de dispositivo…).

• Revisión de interfaces: detectar patrones oscuros que empujan a ciertas decisiones (consentimientos, suscripciones, aceptación de recomendaciones) y que pueden viciar el consentimiento o la “libertad” de elección.

• Revisión de terceros: analizar SDKs, APIs y servicios externos que aportan scoring o IA como servicio para verificar documentación, condiciones contractuales, transferencias internacionales y capacidad de auditoría “en cascada”.

El proyecto del #EDPB sobre auditoría de IA insiste en que esta combinación de técnicas organizativas y pruebas empíricas es clave: ni solo papeles ni solo experimentos, sino un marco coherente de verificación continua.

6. Checklist mínimo para un GRC que quiera auditar sus algoritmos web/app

Como cierre, un mini-checklist para no perderse:

1. ¿Sabes qué algoritmos usas en tu web/app y para qué?

2. ¿Puedes explicar la lógica de cada sistema a un usuario no técnico de forma honesta y comprensible?

3. ¿Tienes clara la base jurídica y los límites de uso de los datos para cada modelo?

4. ¿Has hecho una DPIA o AIA cuando el riesgo es alto (art. 35 RGPD)?

5. ¿Existen mecanismos reales de supervisión humana y reclamación/impugnación?

6. ¿Has probado la existencia de sesgos o impactos desproporcionados en determinados colectivos?

7. ¿Están tus contratos con proveedores alineados con estas exigencias y permiten auditar lo que hacen?

8. ¿Tienes un plan de revisión periódica y reentrenamiento controlado de los modelos?

Si la mayoría de estas respuestas son “no” o “no del todo”, ha llegado el momento de pasar del “confía en mi IA” al “demuéstrame que cumple”… empezando por una auditoría algorítmica bien planteada.

Bibliografía básica recomendada

• Sandvig, C. et al. Auditing Algorithms: Research Methods for Detecting Discrimination on Internet Platforms (ICA, 2014). Disponible vía Stanford HCI.

• Brown, S.; Davidović, J.; Hasan, A. The Algorithm Audit: Scoring the Algorithms That Score Us, Big Data & Society, 8(1), 2021. Disponible en PhilArchive.

• Mökander, J.; Axente, M. Ethics-Based Auditing of Automated Decision-Making Systems: Intervention Points and Policy Implications, AI & Society, 2023.

• Malgieri, G.; Kaminski, M. Algorithmic Impact Assessments under the GDPR: Producing Multi-layered Explanations (SSRN, 2019).

• Digital Future Society, Towards Accountable Algorithms: Tools and Methods for Responsible Use (2024).

• EDPB – AI Auditing Project: Checklist for AI Auditing Scores (2024).

• EDPS – TechDispatch: Human Oversight of Automated Decision-Making (2025).