¿Comprendemos realmente lo que hace la inteligencia artificial? El problema de la comprensión humana

Supervisión humana de la inteligencia artificial. Del principio a la evidencia

Artículo 5 de 12 · Dominio B — Humano · B1 — Comprensión

Imaginemos una organización que ha incorporado un sistema de inteligencia artificial para apoyar decisiones que pueden tener consecuencias importantes para las personas. La herramienta analiza información, genera recomendaciones y ofrece sus resultados a través de una aplicación que permite consultar indicadores de funcionamiento, alertas y explicaciones. La organización ha establecido un procedimiento de supervisión, ha designado a las personas responsables y les ha proporcionado formación sobre las principales funcionalidades del sistema. Desde fuera, todo parece razonablemente organizado.

Durante una revisión ordinaria, una de esas personas observa que varias recomendaciones no terminan de encajar con las circunstancias de los casos examinados. Consulta los resultados, revisa las explicaciones disponibles y comprueba que el sistema continúa funcionando dentro de los parámetros técnicos previstos. No hay una alerta que indique un fallo y tampoco encuentra una razón evidente para considerar que el modelo está funcionando incorrectamente. Sin embargo, algo le hace pensar que las recomendaciones merecen una revisión más detenida.

La dificultad aparece cuando intenta explicar qué está ocurriendo. No dispone de elementos suficientes para distinguir si se encuentra ante un error, una limitación conocida del modelo, un caso poco representado en los datos utilizados durante su desarrollo o una recomendación aparentemente coherente que puede resultar inadecuada en esas circunstancias. Tiene acceso a la información e incluso podría solicitar una intervención sobre el proceso, pero no consigue determinar con suficiente fundamento qué debería hacerse y por qué.

Esta situación nos coloca ante una dificultad que, a mi juicio, no siempre recibe la atención que merece cuando hablamos de supervisión humana de la inteligencia artificial. Hemos dedicado mucho esfuerzo a desarrollar sistemas capaces de ofrecer información sobre su funcionamiento, proporcionar explicaciones y permitir determinadas intervenciones, pero seguimos necesitando comprobar si las personas encargadas de utilizarlos pueden comprender realmente aquello que observan.

En las entregas anteriores de esta serie hemos examinado tres dimensiones relacionadas con el sistema: la supervisabilidad, la observabilidad y la controlabilidad. Nos hemos preguntado si existen condiciones para supervisarlo, si permite conocer suficientemente lo que está haciendo y si ofrece mecanismos para intervenir sobre su comportamiento o sus efectos. Ahora comenzamos a recorrer el dominio dedicado a la persona y, con ello, cambia también nuestra perspectiva. Ya no basta con estudiar las capacidades técnicas que hacen posible la supervisión; necesitamos analizar qué condiciones debe reunir quien tiene que ejercerla.

La cuestión que quiero plantear en esta quinta entrega es sencilla de formular, aunque bastante más difícil de resolver: ¿de qué sirve disponer de información y de capacidad de intervención si la persona supervisora no comprende suficientemente cuándo, por qué y sobre qué debería actuar?

1. Recibir información no significa comprenderla

En los sistemas de inteligencia artificial, disponer de información constituye una condición importante para ejercer la supervisión humana, pero no deberíamos dar por supuesto que su disponibilidad garantiza una comprensión adecuada. Un sistema puede ofrecer indicadores detallados sobre su rendimiento, mostrar los factores asociados a una predicción o generar explicaciones aparentemente claras sin que todo ello permita a la persona valorar correctamente el significado de una recomendación.

Conviene distinguir entre acceder a la información, interpretar lo que representa y comprender sus implicaciones para la actividad que se está supervisando. Son capacidades relacionadas, pero no equivalentes, y la diferencia adquiere especial importancia cuando los resultados de un sistema pueden influir en decisiones que afectan a las personas.

Pensemos, por ejemplo, en una herramienta que acompaña una predicción con un indicador de confianza del 92 %. Quien supervisa puede leer correctamente ese porcentaje, identificar dónde aparece y conocer la funcionalidad de la aplicación que lo presenta. Sin embargo, todavía necesitamos determinar qué representa realmente esa cifra, cómo ha sido obtenida y en qué condiciones puede interpretarse. No es lo mismo una puntuación interna del modelo que una probabilidad calibrada de acierto, ni podemos asumir que un indicador mantiene idéntico significado cuando cambian las características de los datos o las condiciones de utilización.

La persona puede estar familiarizada con la herramienta y, aun así, atribuir al porcentaje un significado que no tiene. Esta posibilidad nos recuerda que la experiencia de uso, aunque valiosa, no demuestra por sí sola que exista una comprensión suficiente del sistema.

Desde esta perspectiva, propongo utilizar en nuestra investigación una definición operativa de la dimensión B1:

Comprensión humana: capacidad de la persona supervisora para interpretar adecuadamente la información relevante de un sistema de IA, reconocer sus capacidades, limitaciones e incertidumbres y relacionar su comportamiento con las decisiones de supervisión que debe adoptar en un contexto determinado.

Esta formulación es una elaboración metodológica propia y no pretende reproducir literalmente una definición de ISO/IEC 42105. Su utilidad consiste en delimitar el objeto que queremos evaluar y evitar que la comprensión se reduzca a la existencia de documentación, a la facilidad de utilización de una interfaz o a la capacidad de repetir las explicaciones proporcionadas por el sistema.

Tampoco estamos planteando que toda persona encargada de supervisar deba conocer exhaustivamente los algoritmos, los parámetros internos de un modelo o los procedimientos matemáticos utilizados durante su desarrollo. La profundidad del conocimiento necesario dependerá de las funciones atribuidas, de los riesgos asociados al sistema y de las decisiones que puedan adoptarse durante su utilización. No necesitaremos el mismo nivel de comprensión para comprobar una alerta operativa que para revisar una recomendación clínica, valorar un resultado que afecta al acceso a un servicio o examinar una decisión con consecuencias relevantes para los derechos de una persona.

Lo que sí necesitamos en todos esos escenarios es una correspondencia razonable entre la responsabilidad que atribuimos a quien supervisa y su capacidad para comprender la información que debe utilizar. De lo contrario, corremos el riesgo de asignar formalmente una función de supervisión sin haber comprobado que la persona dispone de los conocimientos necesarios para ejercerla con sentido.

2. Comprender una situación es algo más que identificar sus datos

La investigación sobre factores humanos proporciona fundamentos interesantes para examinar esta dificultad. En 1995, Mica Endsley desarrolló una teoría de la conciencia situacional en entornos dinámicos que distingue tres niveles relacionados: la percepción de los elementos relevantes de una situación, la comprensión de su significado y la proyección de su posible evolución.

Aunque este modelo no fue formulado específicamente para estudiar los sistemas contemporáneos de inteligencia artificial, ofrece una perspectiva que podemos trasladar, con las debidas cautelas, a nuestro análisis. Una persona puede identificar una alerta sin comprender su importancia, reconocer una anomalía sin anticipar sus consecuencias o interpretar correctamente una situación sin disponer todavía de información suficiente para valorar cómo podría evolucionar. La percepción, la comprensión y la anticipación se necesitan mutuamente, pero no describen exactamente la misma capacidad.

Endsley relaciona, además, la conciencia situacional con elementos como la atención, los modelos mentales, la memoria de trabajo y la carga que soporta la persona durante la ejecución de una tarea. Esto resulta especialmente relevante cuando pensamos en los cuadros de mando y mecanismos de información que acompañan a muchos sistemas de IA. A menudo asumimos que incorporar nuevos indicadores mejora las posibilidades de supervisión, cuando un exceso de información, una presentación poco adecuada o la ausencia de contexto pueden dificultar precisamente la comprensión que pretendíamos facilitar.

Debemos aclarar, no obstante, que la conciencia situacional y la comprensión de un sistema de IA no son conceptos idénticos. La primera se refiere al conocimiento de una situación operativa y de su posible evolución, mientras que nuestra dimensión B1 incorpora también el conocimiento relevante sobre las capacidades, limitaciones e incertidumbres del sistema que interviene en ella. Utilizamos, por tanto, la aportación de Endsley como fundamento para estudiar la comprensión situada, no como una definición específica de comprensión de inteligencia artificial.

Esta distinción nos lleva a otra cuestión que considero fundamental: cuando hablamos de comprender un sistema de IA, no siempre estamos hablando de un único objeto.

Imaginemos una aplicación que genera recomendaciones para establecer el orden de atención de determinadas solicitudes. El modelo puede funcionar correctamente y ofrecer resultados coherentes con sus condiciones de diseño, pero eso no significa que la persona supervisora comprenda necesariamente qué sucede después de que se genera cada recomendación. Puede desconocer, por ejemplo, si el resultado constituye únicamente una propuesta, si se transforma automáticamente en una prioridad operativa o si se comunica a otra aplicación que desencadena una actuación posterior.

Para analizar adecuadamente estas situaciones conviene distinguir tres objetos de comprensión. El primero es el propio sistema de IA, con sus funciones, resultados y limitaciones. El segundo es el proceso sociotécnico en el que se integra, que incluye personas, procedimientos, aplicaciones conectadas y consecuencias organizativas. El tercero está constituido por los mecanismos auxiliares de supervisión, como las alertas, los registros, las explicaciones y las interfaces que permiten interpretar el comportamiento del sistema.

Una persona puede comprender correctamente una predicción y desconocer sus consecuencias dentro del procedimiento. También puede conocer las características generales del modelo sin interpretar adecuadamente una alerta o utilizar con soltura las herramientas de supervisión sin entender las limitaciones de la información que proporcionan. Por ello, la comprensión debería examinarse teniendo en cuenta estos distintos niveles y las relaciones existentes entre ellos.

Asimismo, necesitamos diferenciar el conocimiento relativamente estable del sistema —su finalidad, las funciones previstas, las restricciones documentadas o las condiciones de utilización— del conocimiento dinámico necesario para interpretar lo que está ocurriendo en una situación concreta. Esta perspectiva encuentra apoyo en las orientaciones del apartado 8 de ISO/IEC FDIS 42105:2026, en la versión examinada para nuestra investigación, que aborda la comprensión del sistema y de su comportamiento como parte de las condiciones que apoyan la supervisión humana.

La conclusión que extraigo de todo ello es que comprender una salida de IA puede ser necesario, pero no siempre suficiente. En muchos escenarios también debemos comprender cómo se integra en un proceso, qué consecuencias puede desencadenar y qué información necesitamos para anticipar sus efectos.

 

3. Las explicaciones de la IA no garantizan una comprensión adecuada

La explicabilidad ha adquirido una presencia destacada en los debates sobre inteligencia artificial y es comprensible que así sea. Cuando un sistema influye en decisiones relevantes, necesitamos disponer de información que ayude a entender su comportamiento y permita cuestionar sus resultados. Ahora bien, conviene evitar una conclusión demasiado rápida: que una herramienta proporcione explicaciones no significa necesariamente que las personas puedan comprender adecuadamente sus recomendaciones ni verificar que sean correctas.

Una explicación puede mostrar los factores asociados a una predicción, representar relaciones estadísticas, ofrecer ejemplos similares o generar una justificación redactada en lenguaje natural. Cada procedimiento permite conocer determinados aspectos del comportamiento del sistema, pero ninguno debería interpretarse automáticamente como una reconstrucción completa y fiel de todas las razones que explican el resultado.

Pensemos en una herramienta que recomienda rechazar una solicitud de financiación y acompaña su conclusión con un texto claro, ordenado y aparentemente razonable. La persona encargada de revisar el caso puede comprender perfectamente ese texto y considerar que la recomendación está suficientemente justificada. Sin embargo, esa impresión no resuelve si la explicación representa fielmente el comportamiento que pretende describir, si incluye la información necesaria para valorar el caso o si permite comprobar que la recomendación es apropiada en las circunstancias examinadas.

La investigación científica ofrece razones para tomarnos en serio esta distinción.

Fok y Weld (2024), en su trabajo In search of verifiability: Explanations rarely enable complementary performance in AI-advised decision making, desarrollan un análisis teórico, apoyado en investigaciones anteriores, sobre las dificultades que encuentran las personas para mejorar sus decisiones cuando reciben recomendaciones acompañadas de explicaciones de IA. Su argumento sitúa la verificabilidad en el centro del problema: para que una explicación contribuya a una mejor decisión conjunta, resulta importante que permita comprobar si la recomendación es correcta, algo que muchas tareas y procedimientos de explicación no facilitan suficientemente.

Esta aportación no significa que las explicaciones carezcan de utilidad, sino que su utilidad debe examinarse atendiendo a lo que permiten conocer y comprobar. Una explicación puede ayudar a interpretar ciertos factores de una recomendación y seguir siendo insuficiente para determinar si debemos aceptarla.

La investigación de Xuan y colaboradores (2025), publicada en International Journal of Human-Computer Studies, introduce una dificultad adicional. Los autores estudian cómo las personas pueden sobreinterpretar explicaciones inteligibles de modelos de aprendizaje automático, atribuyéndoles información que realmente no contienen. El resultado es especialmente interesante para nuestra investigación, porque muestra que una explicación aparentemente fácil de comprender puede favorecer conclusiones injustificadas y una confianza excesiva en la propia interpretación.

Esto nos obliga a distinguir entre comprender lo que una explicación comunica y creer que comprendemos más de lo que realmente permite conocer. La diferencia puede parecer pequeña, pero sus consecuencias son importantes cuando una persona debe decidir si confía en un resultado, solicita información adicional o considera necesaria una revisión.

Desde una perspectiva académica y operativa, propongo distinguir cinco propiedades de las explicaciones que pueden resultar relevantes para la supervisión humana:

Propiedad	Cuestión que debemos examinar
Comprensibilidad	¿La persona entiende el contenido que se le presenta?
Fidelidad	¿La explicación representa adecuadamente el aspecto del comportamiento que pretende explicar?
Suficiencia	¿Contiene la información necesaria para la tarea de supervisión?
Verificabilidad	¿Permite contrastar, cuando resulte posible, la corrección o los límites del resultado?
Utilidad para la decisión	¿Ayuda a interpretar y valorar adecuadamente la situación examinada?

Tabla 1. Propiedades relevantes para analizar las explicaciones de sistemas de IA en contextos de supervisión humana. Síntesis metodológica propia.

Estas propiedades no constituyen un conjunto de requisitos normativos establecidos literalmente por ISO ni pueden evaluarse necesariamente mediante una única prueba. La fidelidad de una explicación, por ejemplo, puede requerir ensayos técnicos sobre el método utilizado, mientras que su comprensibilidad exige examinar cómo la interpretan las personas que tendrán que utilizarla. Del mismo modo, una explicación técnicamente fiel puede resultar poco útil para una tarea concreta si omite información relevante para valorar las consecuencias de una recomendación.

La investigación de Sterz y colaboradores (2024) aporta un fundamento complementario. En su análisis interdisciplinar sobre la eficacia de la supervisión humana, los autores identifican cuatro condiciones relevantes: poder causal, acceso epistémico, autocontrol e intenciones apropiadas. Para nuestra dimensión B1 resulta especialmente importante el acceso epistémico, entendido como la disponibilidad de conocimiento suficiente sobre los aspectos relevantes de la situación para poder ejercer la función de supervisión.

Conviene precisar que esta investigación no constituye una norma de auditoría ni valida experimentalmente las variables que proponemos en nuestra serie. Su aportación consiste en ofrecer un marco conceptual que ayuda a explicar por qué la posibilidad de conocer y comprender determinadas circunstancias es una condición importante para supervisar eficazmente.

Si relacionamos estas investigaciones, podemos formular una conclusión que merece ser tenida en cuenta por quienes diseñan, implantan o auditan sistemas de IA: la existencia de una explicación no acredita, por sí sola, la comprensión humana; necesitamos comprobar qué entiende realmente la persona, qué conclusiones extrae y qué limitaciones reconoce en la información recibida.

 

4. La comprensión ante el Reglamento de Inteligencia Artificial

El artículo 14 del Reglamento (UE) 2024/1689 establece exigencias de supervisión humana aplicables a los sistemas de IA de alto riesgo comprendidos en su ámbito. Su apartado 1 dispone que estos sistemas deben diseñarse y desarrollarse de manera que puedan ser supervisados eficazmente por personas durante su utilización, mediante herramientas apropiadas de interfaz humano-máquina. El apartado 2 relaciona esa supervisión con la prevención o reducción al mínimo de los riesgos para la salud, la seguridad y los derechos fundamentales, considerando tanto la utilización conforme a la finalidad prevista como el uso indebido razonablemente previsible.

Esta referencia al uso indebido merece atención porque la comprensión necesaria para supervisar no siempre puede limitarse al funcionamiento esperado de una aplicación. En determinadas actividades, quien supervisa deberá reconocer también situaciones previsibles en las que el sistema pueda utilizarse fuera de las condiciones previstas y comprender cómo esa circunstancia altera la fiabilidad, el significado o las consecuencias de sus resultados.

El apartado 3 del artículo 14 añade que las medidas de supervisión deben adecuarse a los riesgos, al nivel de autonomía y al contexto de utilización del sistema. Por tanto, el Reglamento no establece un modelo único de supervisión para cualquier tecnología ni exige que todas las personas posean idénticos conocimientos técnicos. Lo relevante es determinar qué capacidades humanas resultan apropiadas para el sistema y para las funciones de supervisión previstas.

Esta idea se concreta en el apartado 14.4. Su letra a) contempla que las personas encargadas de supervisar puedan comprender adecuadamente las capacidades y limitaciones pertinentes del sistema y vigilar debidamente su funcionamiento. La letra c) se refiere a la posibilidad de interpretar correctamente los resultados, teniendo en cuenta las herramientas y métodos de interpretación disponibles. Entre ambas, la letra b) introduce expresamente el sesgo de automatización, relacionado con la tendencia a confiar automática o excesivamente en las salidas de un sistema, especialmente cuando proporciona información o recomendaciones destinadas a apoyar decisiones humanas.

La relación con las investigaciones examinadas en el apartado anterior resulta clara. Una persona puede interpretar una explicación y, sin embargo, otorgarle más valor del que merece, aceptar conclusiones que no están suficientemente justificadas o reducir las comprobaciones críticas que habría realizado en ausencia de una recomendación automatizada. El problema no reside únicamente en que se confíe demasiado en el resultado, sino también en las consecuencias que esa confianza puede tener para la vigilancia y la disposición a intervenir cuando corresponda.

Desde el punto de vista jurídico, debemos distinguir las responsabilidades de los diferentes sujetos que intervienen en la utilización de estos sistemas. El proveedor asume las obligaciones correspondientes al diseño y desarrollo de las medidas de supervisión previstas en el artículo 14, que pueden incorporarse técnicamente al sistema o identificarse para que el responsable del despliegue las implemente en los términos establecidos. Por su parte, el artículo 26.2 exige al responsable del despliegue encomendar la supervisión humana a personas que dispongan de la competencia, la formación y la autoridad necesarias.

Esta distribución de obligaciones no significa que todas las personas de una organización deban conocer el funcionamiento interno de los modelos que utiliza. Las capacidades requeridas deben relacionarse con las funciones efectivamente atribuidas a quienes participan en la supervisión y con las condiciones concretas de utilización. Además, la organización necesita establecer condiciones operativas que permitan desarrollar esas funciones adecuadamente, aunque conviene no confundir esta necesidad práctica con el tenor literal de los requisitos enumerados en el artículo 26.2.

También debemos precisar la aplicación temporal de estas disposiciones, especialmente porque estamos realizando nuestra investigación en noviembre de 2026. El Reglamento (UE) 2026/1744 modificó el calendario del artículo 113 y estableció, con las excepciones y disposiciones transitorias correspondientes, el 2 de diciembre de 2027 para la aplicación de las secciones pertinentes del capítulo III a los sistemas de alto riesgo del artículo 6.2 y anexo III, y el 2 de agosto de 2028 para los comprendidos en el artículo 6.1 y anexo I.

En consecuencia, describir el contenido del artículo 14 no significa afirmar que todas sus obligaciones resulten actualmente exigibles a cualquier sistema de alto riesgo. Sí podemos utilizar sus criterios para preparar las condiciones de supervisión que deberán existir cuando corresponda, sin perjuicio de otras obligaciones jurídicas que ya se encuentren vigentes.

Conviene asimismo evitar interpretaciones excesivas sobre el conocimiento técnico exigible. El artículo 14 no establece, con carácter general, que toda persona supervisora deba conocer el código fuente o los parámetros internos de un modelo. Esta consideración se refiere específicamente a las capacidades de supervisión previstas en dicho artículo y no excluye otras obligaciones de documentación, información o acceso que puedan corresponder conforme al Reglamento o al ordenamiento aplicable.

Finalmente, debemos mantener una separación clara entre las orientaciones técnicas y las obligaciones jurídicas. ISO/IEC FDIS 42105:2026 proporciona referencias útiles para estudiar la supervisión humana, pero su utilización no determina automáticamente la conformidad con el Reglamento. La presunción contemplada en el artículo 40 depende de las condiciones establecidas para las normas armonizadas cuyas referencias hayan sido publicadas en el Diario Oficial de la Unión Europea, en la medida en que cubran los requisitos correspondientes. No nace simplemente de aplicar una norma internacional de orientación ni de utilizar una versión de proyecto.

Todo ello nos conduce a una cuestión operativa que debería ocupar un lugar destacado en cualquier evaluación de cumplimiento: si una organización atribuye a determinadas personas la función de supervisar un sistema de IA, debe poder justificar qué necesitan comprender para ejercer esa responsabilidad y cómo ha comprobado que disponen de esa comprensión.

5. ¿Cómo auditar la comprensión humana?

Cuando revisamos sistemas de inteligencia artificial encontramos con frecuencia documentos técnicos, manuales de utilización, materiales formativos, procedimientos de actuación y herramientas de explicación. Son recursos necesarios para organizar la supervisión, pero su mera existencia no demuestra que las personas encargadas de ejercerla comprendan suficientemente el sistema.

Tampoco considero que podamos resolver esta cuestión mediante un examen teórico que se limite a comprobar si alguien recuerda las características de la aplicación. La comprensión que nos interesa debe manifestarse en situaciones relacionadas con las funciones reales de supervisión, especialmente cuando aparecen resultados inesperados, información incompleta o circunstancias que obligan a valorar si una recomendación merece confianza.

Nuestra propuesta consiste en combinar la revisión de los recursos disponibles con pruebas representativas de interpretación y valoración de escenarios. Para mantener la coherencia con el modelo que estamos desarrollando en la serie, propongo organizar la evaluación en seis variables.

Variable	Pregunta de auditoría	Evidencia posible
Conocimiento funcional	¿Comprende la persona qué hace el sistema, cuáles son sus límites y cómo se relacionan con la tarea asignada?	Entrevistas aplicadas y ejercicios sobre funciones y limitaciones.
Interpretación de resultados	¿Identifica el significado de las salidas, sus condiciones de utilización y sus posibles consecuencias?	Casos con resultados contrastados y ejercicios de interpretación.
Comprensión de incertidumbre	¿Reconoce las incertidumbres, los límites de validez y las situaciones en las que disminuye la fiabilidad?	Escenarios con información incompleta, cambios de contexto y predicciones inciertas.
Comprensión contextual	¿Reconoce las condiciones de uso previstas y los usos indebidos razonablemente previsibles relevantes para su función?	Simulaciones de uso, análisis de casos y escenarios de utilización inadecuada.
Reconocimiento de anomalías	¿Interpreta correctamente la relevancia de anomalías o limitaciones que el sistema hace observables?	Pruebas con alertas, desviaciones y resultados inesperados.
Comprensión de explicaciones	¿Identifica qué explica realmente la información presentada, qué no explica y qué conclusiones no están justificadas?	Ensayos de interpretación, comparación con información de referencia y pruebas de sobreinterpretación.

Tabla 2. Variables propuestas para evaluar la comprensión humana en la supervisión de sistemas de IA. Elaboración metodológica propia.

Estas seis variables permiten examinar aspectos relacionados, pero diferentes, de la comprensión. Una persona puede conocer las funciones generales de una herramienta y tener dificultades para interpretar una recomendación concreta. También puede entender el resultado habitual de un sistema sin reconocer cuándo cambian las condiciones que afectan a su fiabilidad, o interpretar correctamente una alerta sin comprender las consecuencias que tendría ignorarla.

Debemos cuidar especialmente la delimitación de estas variables respecto de las demás dimensiones de nuestra investigación. En A2 — Observabilidad analizamos si el sistema permite obtener información sobre estados, comportamientos y desviaciones relevantes. En B1 no pretendemos volver a medir esa capacidad técnica, sino comprobar si la persona comprende el significado de la información que recibe y reconoce su importancia para la función que desempeña.

Del mismo modo, la comprensión contextual no debe convertirse en una obligación implícita de que cada persona supervisora realice individualmente toda la identificación y evaluación de riesgos del sistema. Lo que buscamos es determinar si reconoce las condiciones de utilización previstas y las situaciones de uso indebido razonablemente previsible que resultan relevantes para las funciones que tiene asignadas.

La propuesta tampoco debe confundirse con una evaluación integral de competencia profesional. Aunque la comprensión forme parte de las capacidades necesarias para supervisar, la siguiente dimensión, B2 — Competencia, nos permitirá examinar con mayor amplitud la preparación profesional, las habilidades y otras condiciones que exige el desempeño adecuado de la función.

 

Tres indicadores para avanzar hacia la evidencia

Una vez delimitadas las variables, necesitamos establecer cómo recoger y valorar las evidencias. Propongo utilizar tres indicadores que pueden ayudar a estructurar las pruebas, siempre que se adapten a las características del sistema y se definan previamente los criterios de evaluación.

El primer indicador es la tasa de interpretación correcta, que expresa la proporción de situaciones evaluables en las que la persona realiza una interpretación considerada adecuada según los criterios establecidos.

[
TIC=\frac{\text{Interpretaciones adecuadas}}{\text{Situaciones evaluables}}\times100
]

La fórmula es sencilla, pero su aplicación requiere bastante cuidado. En algunas pruebas podremos disponer de una respuesta objetivamente verificable, mientras que en otras será necesario admitir distintas respuestas aceptables o utilizar una rúbrica que valore el razonamiento, las limitaciones reconocidas y la identificación de información insuficiente.

Este último aspecto merece atención. En determinadas circunstancias, reconocer que no existen elementos suficientes para justificar una recomendación constituye una respuesta más adecuada que formular una conclusión aparentemente segura. Si el escenario no permite alcanzar una interpretación fundada, la evaluación no debería penalizar a quien identifica correctamente esa limitación.

El segundo indicador examina el reconocimiento de limitaciones y anomalías que resultan relevantes para la función de supervisión. No obstante, debemos evitar una medición que premie indiscriminadamente a quien señala cualquier resultado como problemático, porque una elevada frecuencia de alertas puede reflejar tanto una buena capacidad de reconocimiento como una interpretación excesivamente desconfiada.

Por ello, propongo separar al menos dos medidas. La sensibilidad permitirá conocer qué proporción de situaciones que presentan una anomalía o limitación relevante ha sido identificada correctamente. La tasa de falsas alarmas mostrará qué proporción de situaciones que no presentan la anomalía evaluada ha sido clasificada incorrectamente como problemática.

Ambas medidas necesitan escenarios de referencia bien definidos y no deberían agregarse sin más en un porcentaje único. De lo contrario, podríamos presentar como una buena capacidad de comprensión un comportamiento que, en la práctica, dificultaría la supervisión al generar revisiones innecesarias o impedir distinguir los casos que verdaderamente requieren atención.

El tercer indicador se refiere a la calibración de la confianza, es decir, a la relación entre la seguridad que manifiesta una persona respecto de sus interpretaciones y la corrección que podemos observar cuando existen criterios apropiados para contrastarla.

Este indicador resulta especialmente relevante a la luz de las investigaciones sobre explicabilidad que hemos examinado. Una persona puede declarar que comprende perfectamente una recomendación y, sin embargo, atribuirle información que la explicación no contiene. También puede manifestar una confianza elevada en una conclusión incorrecta o reconocer con prudencia que necesita más información antes de pronunciarse.

No obstante, debemos tener presente que la confianza subjetiva, la comprensión y la corrección de una interpretación son fenómenos distintos. Cuando trabajemos con tareas objetivamente verificables y estimaciones probabilísticas de acierto, podrán utilizarse procedimientos adecuados de calibración. Si las tareas admiten varias respuestas razonables o requieren valoraciones complejas, será necesario diseñar métodos de evaluación específicos.

Por eso, este indicador no puede reducirse a comparar de manera improvisada el porcentaje de confianza declarado por una persona con una calificación general obtenida en un ejercicio.

De los indicadores a una evaluación reproducible

Para que la propuesta tenga utilidad académica y operativa necesitamos documentar, antes de realizar las pruebas, las funciones que vamos a evaluar, los escenarios seleccionados, los criterios de referencia, las reglas de puntuación y el procedimiento utilizado para interpretar los resultados.

Las pruebas deberían incluir situaciones representativas del funcionamiento normal del sistema, resultados inesperados, condiciones de incertidumbre, cambios de contexto y, cuando corresponda, usos indebidos razonablemente previsibles. También conviene evitar que una persona pueda obtener una valoración satisfactoria limitándose a repetir respuestas conocidas o memorizar ejemplos utilizados durante la formación.

En los escenarios complejos, el criterio de referencia puede consistir en una respuesta correcta, un conjunto de respuestas aceptables o una rúbrica que permita valorar la calidad del razonamiento y el reconocimiento de la incertidumbre. Cuando intervengan varios evaluadores, deberíamos establecer mecanismos para revisar discrepancias y justificar las decisiones de valoración.

Los resultados tendrán que interpretarse atendiendo a los riesgos, las tareas y las consecuencias de los posibles errores. No existe un porcentaje universal que permita declarar suficiente la comprensión humana en cualquier sistema de inteligencia artificial, del mismo modo que una buena puntuación en estas pruebas no demuestra automáticamente una competencia profesional integral ni garantiza por sí sola la eficacia de toda la supervisión.

Las seis variables y los tres indicadores que propongo constituyen una elaboración metodológica propia, fundamentada en las fuentes examinadas. No son requisitos ni métricas prescritas por ISO/IEC FDIS 42105:2026, y su utilización como instrumento de auditoría requerirá procedimientos de aplicación, justificación y validación apropiados.

Lo que buscamos, en definitiva, no es producir una nota aparentemente objetiva, sino reunir evidencias suficientes para valorar qué comprende realmente la persona supervisora, cuáles son sus limitaciones y en qué situaciones puede necesitar información o apoyo adicional.

6. ¿Qué sucede cuando la persona no puede comprender suficientemente el sistema?

Cuando una evaluación identifica dificultades de comprensión, resulta habitual pensar que la solución consiste en proporcionar más formación. En determinadas circunstancias será una respuesta adecuada, especialmente cuando las personas necesitan conocer mejor las funcionalidades disponibles, las limitaciones documentadas o los procedimientos establecidos para ejercer la supervisión.

Sin embargo, debemos evitar que la formación se convierta en una respuesta automática frente a problemas que pueden encontrarse en el propio diseño del sistema.

Puede ocurrir que las explicaciones no respondan a las preguntas relevantes para la supervisión, que la información se presente de manera fragmentada o que una interfaz muestre numerosos indicadores sin permitir comprender las relaciones existentes entre ellos. También puede suceder que el sistema modifique su comportamiento bajo determinadas condiciones y que esa circunstancia no esté suficientemente documentada, o que una persona tenga que interpretar resultados para los que no dispone de información contextual adecuada.

En situaciones así, aumentar las horas de formación puede mejorar ciertos conocimientos sin resolver la dificultad fundamental. Si la información necesaria no está disponible o no se presenta de manera apropiada, el problema no consiste únicamente en que la persona necesite aprender más.

El Artificial Intelligence Risk Management Framework 1.0 del NIST ofrece una perspectiva útil a este respecto. Su anexo C, dedicado a la gestión de riesgos y a la interacción humano-IA, examina cómo las características de las personas, las funciones asignadas y las condiciones de utilización influyen en la relación con los sistemas. También reconoce que la información y las explicaciones pueden ser percibidas e interpretadas de maneras diferentes según las capacidades y circunstancias de quienes las reciben.

Esta aproximación nos invita a considerar la comprensión como una capacidad que depende tanto de las personas como de las condiciones técnicas y organizativas en las que deben ejercer la supervisión.

Cuando detectemos dificultades relevantes, tendremos que determinar su origen antes de decidir qué medidas aplicar. En ocasiones será necesario mejorar la formación, mientras que en otras habrá que modificar la interfaz, revisar las explicaciones, incorporar información contextual o establecer mecanismos de revisión especializada. Si determinadas actuaciones exigen una comprensión que no puede alcanzarse razonablemente con los medios disponibles, también podría resultar necesario limitar algunas funcionalidades o reconsiderar el grado de autonomía del sistema.

Esta reflexión tiene una consecuencia importante para la distribución de responsabilidades. No sería razonable exigir a una persona que interprete correctamente información que el sistema no proporciona, ni atribuirle individualmente las consecuencias de una situación de supervisión que ha sido diseñada sin los medios necesarios para comprenderla.

La formación, desde luego, sigue siendo una parte esencial de la preparación humana, pero no sustituye la obligación de analizar si el sistema y su entorno permiten ejercer las funciones previstas. Hay una diferencia considerable entre una persona que necesita aprender a utilizar una herramienta y otra a la que se exige comprender un comportamiento que resulta inaccesible con la información disponible.

Por ello, antes de concluir que existe una deficiencia individual de comprensión, deberíamos comprobar si las condiciones técnicas y organizativas hacen posible alcanzar el conocimiento que estamos exigiendo.

7. Una señal de alerta y una reflexión final

En muchas organizaciones resulta relativamente sencillo afirmar que las personas encargadas de supervisar la inteligencia artificial conocen las herramientas que utilizan. Puede acreditarse que han recibido formación, que disponen de manuales y que participan habitualmente en los procedimientos donde interviene el sistema.

Lo que no siempre resulta tan sencillo es demostrar que comprenden suficientemente sus resultados, reconocen las situaciones en las que pueden producirse errores o saben identificar cuándo una explicación no permite alcanzar una conclusión justificada.

La diferencia merece atención porque la utilización frecuente de una herramienta puede generar familiaridad y confianza sin que necesariamente aumente, en la misma medida, la comprensión de sus limitaciones. Una persona puede conocer perfectamente una interfaz y no advertir que un resultado ha sido generado bajo condiciones distintas de las previstas. También puede aceptar una explicación porque su redacción resulta convincente, sin reconocer que está atribuyéndole información que realmente no contiene.

La investigación sobre explicabilidad nos recuerda que el problema no aparece únicamente cuando las personas desconocen algo. En determinadas situaciones surge precisamente cuando creen comprender suficientemente una recomendación y esa confianza reduce las comprobaciones que deberían realizar.

Por eso considero que debemos ser prudentes antes de afirmar que una organización ha resuelto la supervisión humana mediante formación, explicaciones o cuadros de mando. Todos estos recursos pueden contribuir a mejorarla, pero necesitamos comprobar qué capacidades permiten desarrollar y cuáles son sus límites.

Tampoco debemos caer en el extremo contrario y exigir un conocimiento exhaustivo del funcionamiento interno de cada modelo. La supervisión humana no requiere convertir a todas las personas que participan en ella en especialistas en aprendizaje automático, sino determinar qué conocimiento resulta necesario para las decisiones que tienen atribuidas y crear las condiciones para que puedan utilizarlo adecuadamente.

En los tres artículos anteriores hemos examinado las posibilidades que ofrece el sistema para ser supervisado, observado y controlado. Ahora comenzamos a estudiar qué necesita la persona para ejercer esas posibilidades de una manera significativa. Esta transición es importante porque nos obliga a abandonar una visión exclusivamente tecnológica de la supervisión y a reconocer que su eficacia también depende de la relación entre información, conocimiento, juicio humano y contexto.

Me parece que aquí encontramos una de las lecciones más relevantes de esta quinta entrega. Podemos disponer de interfaces excelentes, registros completos y mecanismos técnicamente capaces de detener o modificar determinados comportamientos, pero si la persona no comprende suficientemente lo que observa, esas capacidades pueden resultar mucho menos útiles de lo que aparentan.

Antes de afirmar que existe una comprensión humana adecuada, deberíamos estar en condiciones de comprobar si quien supervisa puede explicar qué sabe realmente sobre el comportamiento del sistema, qué no puede deducir de la información disponible y por qué considera justificado confiar, cuestionar o revisar una recomendación.

No se trata de exigir respuestas perfectas ni de eliminar toda incertidumbre, algo que difícilmente podremos conseguir en muchos sistemas complejos. Se trata de reconocer los límites del conocimiento disponible y de evitar que una aparente seguridad sustituya al juicio crítico que debe acompañar determinadas decisiones.

La comprensión humana no consiste simplemente en entender lo que la inteligencia artificial nos muestra, sino en reconocer qué significa esa información, qué conclusiones no podemos obtener de ella y hasta dónde resulta razonable confiar en sus resultados.

Si conseguimos trasladar esta idea a pruebas representativas, criterios de evaluación y evidencias adecuadas, habremos dado otro paso hacia el propósito de nuestra investigación: que la supervisión humana deje de ser únicamente una previsión formal y pueda examinarse como una capacidad real, proporcionada y demostrable.

 

 

Referencias normativas, técnicas y científicas

1. Parlamento Europeo y Consejo (2024). Reglamento (UE) 2024/1689, de 13 de junio de 2024, por el que se establecen normas armonizadas en materia de inteligencia artificial. Especialmente artículos 14, 26 y 40. https://eur-lex.europa.eu/eli/reg/2024/1689/oj?locale=es
2. Parlamento Europeo y Consejo (2026). Reglamento (UE) 2026/1744, de 8 de julio de 2026, por el que se modifica, entre otros, el Reglamento (UE) 2024/1689. Especialmente la modificación del artículo 113. https://eur-lex.europa.eu/eli/reg/2026/1744/oj
3. ISO/IEC (2026). ISO/IEC FDIS 42105:2026. Information technology — Artificial intelligence — Guidance for human oversight of AI systems. Versión de proyecto final examinada, especialmente el apartado 8. El proyecto ISO/IEC 42105 se encontraba en fase de publicación (60.00) en la fecha de revisión. https://www.iso.org/standard/86902.html
4. Endsley, M. R. (1995). Toward a Theory of Situation Awareness in Dynamic Systems. Human Factors, 37(1), 32–64. https://doi.org/10.1518/001872095779049543
5. Sterz, S., Baum, K., Biewer, S., Hermanns, H., Lauber-Rönsberg, A., Meinel, P., & Langer, M. (2024). On the Quest for Effectiveness in Human Oversight: Interdisciplinary Perspectives. Proceedings of the 2024 ACM Conference on Fairness, Accountability, and Transparency, 2495–2507. https://doi.org/10.1145/3630106.3659051
6. Fok, R., & Weld, D. S. (2024). In search of verifiability: Explanations rarely enable complementary performance in AI-advised decision making. AI Magazine, 45(3), 317–332. https://doi.org/10.1002/aaai.12182
7. Xuan, Y., Small, E., Sokol, K., Hettiachchi, D., & Sanderson, M. (2025). Comprehension is a double-edged sword: Over-interpreting unspecified information in intelligible machine learning explanations. International Journal of Human-Computer Studies, 193, artículo 103376. https://doi.org/10.1016/j.ijhcs.2024.103376
8. National Institute of Standards and Technology (2023). Artificial Intelligence Risk Management Framework (AI RMF 1.0). NIST AI 100-1. Especialmente anexo C, AI Risk Management and Human-AI Interaction. https://doi.org/10.6028/NIST.AI.100-1

Revisión editorial: 3 de noviembre de 2026.

Próxima entrega: B2 — Competencia. ¿Basta con designar y formar a una persona para que pueda ejercer adecuadamente la supervisión humana de la inteligencia artificial?

Autor y responsable editorial: Leocadio Marrero Trujillo.
El enfoque, la arquitectura, los criterios de análisis y las conclusiones de este artículo han sido definidos y validados por el autor. Durante su elaboración se han utilizado herramientas de inteligencia artificial generativa como apoyo para la estructuración, reformulación, edición y creación de determinados elementos gráficos.

El contenido ha sido sometido a revisión humana sustantiva, comprobación de fuentes y validación jurídica y técnica. El autor ha aprobado la versión definitiva y asume íntegramente la responsabilidad editorial sobre su contenido