¿Podemos supervisar aquello que no conseguimos observar? El problema de la observabilidad de la inteligencia artificial

Serie: Supervisión humana de la inteligencia artificial. Del principio a la evidencia.

Artículo 3 de 12 · Dominio A. Sistema · A2. Observabilidad

Imaginemos que una persona supervisa un sistema de inteligencia artificial que evalúa solicitudes de crédito. En la pantalla aparecen las decisiones: aprobadas, rechazadas y pendientes.

Todo parece funcionar correctamente.

Sin embargo, el supervisor desconoce si el comportamiento del modelo ha cambiado, si sus resultados presentan una mayor incertidumbre o si determinados grupos de solicitantes están experimentando un aumento anómalo de rechazos.

Tiene información. Incluso dispone de numerosos indicadores.

Pero ¿está observando realmente aquello que necesita conocer para ejercer una supervisión significativa?

Este es el problema de la observabilidad.

Tener información no significa saber qué está pasando

El proyecto ISO/IEC FDIS 42105, dedicado a la supervisión humana de los sistemas de inteligencia artificial, constituye uno de los puntos de partida de nuestra investigación.

Por su parte, ISO/IEC TS 8200:2024, sobre la controlabilidad de sistemas automatizados de IA, aborda expresamente la observabilidad de los estados del sistema y sus cambios.

Sin embargo, disponer de registros, gráficos o alertas no significa necesariamente que podamos conocer lo que está ocurriendo.

Desde nuestra investigación proponemos entender la observabilidad como la capacidad del sistema para proporcionar información relevante, fiable y oportuna sobre su estado, comportamiento, cambios y resultados, en un grado suficiente para apoyar la supervisión humana prevista.

Esta definición es una propuesta metodológica propia. No constituye una definición oficial de ISO/IEC FDIS 42105 ni de ISO/IEC TS 8200:2024.

Conviene recordar las tres dimensiones que examinamos en este primer bloque:

• Supervisabilidad: ¿es materialmente posible supervisar el sistema?
• Observabilidad: ¿podemos conocer lo que necesitamos saber sobre su funcionamiento?
• Controlabilidad: ¿disponemos de mecanismos para intervenir cuando sea necesario?

Un sistema puede generar miles de registros y seguir sin proporcionar la información verdaderamente importante para supervisarlo.

Tener más datos no significa necesariamente conocer mejor lo que sucede, ni disponer de los medios para actuar sobre ello.

La diferencia entre observar, comprender y anticiparse

Hace tres décadas, Mica Endsley (1995) explicó la importancia de la conciencia situacional: percibir los elementos relevantes de una situación, comprender su significado y anticipar cómo puede evolucionar.

En 2023 volvió sobre estas cuestiones al estudiar la colaboración entre personas y sistemas de inteligencia artificial, prestando especial atención a la transparencia, la explicabilidad y la conciencia situacional.

Estas investigaciones nos ayudan a comprender algo importante: disponer de información y entender su significado son cuestiones relacionadas, pero diferentes.

La observabilidad se centra en la información que el sistema pone a disposición de quien supervisa. La comprensión depende también de las capacidades de las personas, una cuestión que abordaremos más adelante en esta serie.

Tampoco debemos confundir observabilidad con explicabilidad o interpretabilidad. Estas últimas pueden ayudar a comprender cómo funciona un sistema, por qué produce determinados resultados o qué significan estos. La observabilidad que analizamos aquí se ocupa, además, de si podemos conocer su estado, sus cambios y las posibles anomalías cuando necesitamos hacerlo.

La observabilidad es necesaria, pero no suficiente, para ejercer una supervisión humana informada.

Podemos disponer de información adecuada y, aun así, carecer de los conocimientos, el tiempo, la autoridad o los medios necesarios para intervenir eficazmente.

¿Qué establece el Reglamento europeo de inteligencia artificial?

El artículo 14 del Reglamento (UE) 2024/1689 exige que los sistemas de IA de alto riesgo comprendidos en su ámbito se diseñen y desarrollen de manera que puedan ser supervisados de manera efectiva por personas físicas.

Su apartado 2 establece que la supervisión debe tener como finalidad prevenir o reducir al mínimo los riesgos para la salud, la seguridad o los derechos fundamentales que puedan surgir durante la utilización prevista del sistema o por un uso indebido razonablemente previsible.

El artículo 14.4.a contempla, según proceda y de manera proporcionada, que las personas encargadas de supervisar puedan entender adecuadamente las capacidades y limitaciones pertinentes del sistema y vigilar debidamente su funcionamiento, con vistas, por ejemplo, a detectar y resolver anomalías, problemas de funcionamiento y comportamientos inesperados.

El apartado 14.4.c se refiere a la capacidad de interpretar correctamente los resultados de salida, teniendo en cuenta, por ejemplo, las herramientas y los métodos de interpretación disponibles.

Estas disposiciones se relacionan con el artículo 12, sobre el registro automático de acontecimientos, y el artículo 13, relativo a la transparencia y la información facilitada a los responsables del despliegue.

Ninguno de estos preceptos establece por sí mismo un modelo único de observabilidad. Tampoco obliga, en términos generales, a registrar todos los acontecimientos o datos de cualquier sistema.

De este marco jurídico extraemos una conclusión para nuestra metodología: la información necesaria para supervisar debe determinarse atendiendo a los riesgos que se pretende prevenir o reducir, y no únicamente a los datos que la tecnología permite generar.

Esta es una inferencia metodológica de nuestra investigación, no una obligación formulada literalmente en esos términos por el Reglamento.

¿Cómo podemos auditar la observabilidad?

Proponemos seis variables para comprobar si el sistema proporciona la información necesaria para la supervisión prevista.

Estas seis variables constituyen nuestra propuesta de auditoría. No son una clasificación ni un conjunto de controles obligatorios establecidos por ISO o por el Reglamento europeo.

La evaluación no debería limitarse a comprobar que existen registros, indicadores o paneles. Debemos realizar pruebas que permitan determinar si la información disponible ayuda a reconocer situaciones relevantes, tanto durante el funcionamiento normal como cuando aparecen anomalías.

Para ello proponemos tres indicadores:

• Cobertura informacional: proporción de acontecimientos relevantes para los que existe información observable suficiente.
• Detección de anomalías: proporción de anomalías previamente definidas en los escenarios de prueba que pueden identificarse mediante los mecanismos disponibles.
• Latencia informativa: tiempo transcurrido entre un acontecimiento relevante y el momento en que la información está disponible para supervisarlo.

Estos indicadores no establecen umbrales generales de cumplimiento. Su utilidad depende de que los acontecimientos relevantes, las anomalías, los tiempos de respuesta y los criterios de evaluación se definan previamente para cada sistema y contexto de uso.

También debemos distinguir entre disponer de información durante la operación y poder reconstruir posteriormente lo ocurrido. Ambas capacidades tienen valor, pero una no sustituye necesariamente a la otra.

Cuando mucha información nos impide ver lo importante

Imaginemos un panel que muestra decenas de gráficos, porcentajes y alertas, pero no advierte de que el modelo ha comenzado a comportarse de manera diferente.

O un sistema que informa correctamente de un problema, pero lo hace cuando ya no queda tiempo para intervenir.

En ambos casos existe información, pero no resulta suficientemente útil para la supervisión prevista.

La solución no consiste necesariamente en añadir más gráficos, generar más alertas o almacenar más datos.

Quizá sea más importante detenernos a pensar qué necesitamos conocer, cómo debe presentarse esa información y cuándo debe estar disponible.

Porque un sistema no es más observable por mostrar más cosas, sino por permitir conocer aquellas que realmente importan.

Una señal de alerta y una reflexión final

«El sistema es completamente transparente: tenemos un panel con todos los indicadores».

La afirmación debería hacernos pensar si nadie ha comprobado que esos indicadores permiten conocer lo que verdaderamente importa.

La observabilidad no consiste en mostrarlo todo, sino en hacer accesible la información necesaria, con la calidad, el contexto y la oportunidad adecuados.

Podemos rodear a una persona de pantallas, gráficos y datos y dejarla, al mismo tiempo, prácticamente a oscuras sobre lo que está sucediendo.

Antes de valorar si alguien comprendió o interpretó correctamente una situación, deberíamos comprobar si el sistema le proporcionó los elementos necesarios para poder hacerlo.

Fuentes normativas, técnicas y científicas

1. Parlamento Europeo y Consejo (2024). Reglamento (UE) 2024/1689, de 13 de junio de 2024, por el que se establecen normas armonizadas en materia de inteligencia artificial. Artículos 12, 13 y 14, especialmente apartados 14.2, 14.4.a y 14.4.c.

Texto oficial: https://eur-lex.europa.eu/eli/reg/2024/1689/oj/spa

Versión consolidada: https://eur-lex.europa.eu/legal-content/ES/TXT/?uri=CELEX:02024R1689-20260727

2. ISO/IEC. ISO/IEC FDIS 42105. Information technology — Artificial intelligence — Guidance for human oversight of AI systems. Proyecto de norma internacional en fase de borrador final (FDIS), etapa 50.20, pendiente de publicación definitiva a 20 de octubre de 2026.

https://www.iso.org/standard/86902.html

3. ISO/IEC (2024). ISO/IEC TS 8200:2024. Information technology — Artificial intelligence — Controllability of automated artificial intelligence systems.

https://www.iso.org/standard/83012.html

4. National Institute of Standards and Technology (2023). Artificial Intelligence Risk Management Framework (AI RMF 1.0). NIST AI 100-1. Especialmente apartados 3.4 y 3.5 y anexo C.

https://doi.org/10.6028/NIST.AI.100-1

5. Endsley, M. R. (1995). Toward a Theory of Situation Awareness in Dynamic Systems. Human Factors, 37(1), 32–64.

https://doi.org/10.1518/001872095779049543

6. Endsley, M. R. (2023). Supporting Human-AI Teams: Transparency, Explainability, and Situation Awareness. Computers in Human Behavior, 140, 107574.

https://doi.org/10.1016/j.chb.2022.107574

Fuentes revisadas: 20 de octubre de 2026.

Próxima entrega: A3. Controlabilidad. ¿Podemos intervenir realmente sobre el funcionamiento de la inteligencia artificial?

Autor y responsable editorial: Leocadio Marrero Trujillo.
El enfoque, la arquitectura, los criterios de análisis y las conclusiones de este artículo han sido definidos y validados por el autor. Durante su elaboración se han utilizado herramientas de inteligencia artificial generativa como apoyo para la estructuración, reformulación, edición y creación de determinados elementos gráficos.

El contenido ha sido sometido a revisión humana sustantiva, comprobación de fuentes y validación jurídica y técnica. El autor ha aprobado la versión definitiva y asume íntegramente la responsabilidad editorial sobre su contenido