Matricúlate
¿Basta con formar a una persona para supervisar la inteligencia artificial? El problema de la competencia humana
Supervisión humana de la inteligencia artificial. Del principio a la evidencia
Artículo 6 de 12 · Dominio B — Humano · B2 — Competencia
Imaginemos una organización que utiliza inteligencia artificial para apoyar sus procesos de selección de personal. La herramienta analiza los perfiles profesionales de las personas candidatas, identifica coincidencias con los requisitos de determinados puestos y genera recomendaciones que ayudan a ordenar las solicitudes recibidas. Como parte de su sistema de gobernanza, la organización ha establecido procedimientos de supervisión, ha designado a las personas responsables de revisar los resultados y ha organizado actividades formativas para que conozcan el funcionamiento de la aplicación.
La documentación parece estar en orden. Las personas designadas han participado en los cursos previstos, conocen las principales funcionalidades del sistema y han superado una evaluación sobre los procedimientos de utilización. La organización dispone de evidencias de esa preparación y puede acreditar que no ha dejado el funcionamiento de la herramienta exclusivamente en manos de la automatización.
Durante una revisión ordinaria, sin embargo, aparece una situación que no se había presentado en los ejercicios de formación. El sistema clasifica en posiciones bajas a varias personas candidatas que poseen experiencia relevante para el puesto, aunque sus trayectorias profesionales no responden a los patrones habituales que la herramienta parece favorecer. La persona encargada de supervisar observa la desviación, consulta las explicaciones disponibles y comprende que el resultado necesita una revisión adicional, pero encuentra dificultades para determinar qué comprobaciones debería realizar, qué criterios profesionales deben prevalecer y si las recomendaciones pueden seguir utilizándose mientras se aclara lo sucedido.
La situación tampoco se resuelve necesariamente incorporando a alguien con mayores conocimientos técnicos sobre inteligencia artificial. Un especialista en modelos predictivos puede comprender cómo funciona la herramienta y, sin embargo, carecer del conocimiento profesional necesario para valorar la idoneidad de determinadas candidaturas, interpretar las exigencias del puesto o reconocer las consecuencias que una clasificación inadecuada podría producir sobre las personas afectadas.
Nos encontramos así con una organización que ha formado a su personal, dispone de procedimientos documentados y utiliza un sistema que permite revisar sus resultados, pero que todavía necesita comprobar si quienes tienen encomendada la supervisión cuentan realmente con las capacidades necesarias para desempeñar esa función.
Este escenario, construido con finalidad ilustrativa, refleja una dificultad que me parece especialmente importante cuando intentamos trasladar la supervisión humana desde las declaraciones de cumplimiento hasta las condiciones reales de funcionamiento. Podemos acreditar que una persona ha recibido formación, que conoce un procedimiento y que dispone de determinados recursos, pero nada de ello demuestra automáticamente que pueda ejercer adecuadamente el juicio profesional que exige una situación concreta.
En el artículo anterior de esta serie examinamos la comprensión humana y analizamos por qué disponer de información o entender una explicación no significa necesariamente comprender suficientemente el comportamiento de una inteligencia artificial. Ahora nos corresponde avanzar hacia una cuestión estrechamente relacionada, aunque diferente: determinar si la persona puede utilizar esa comprensión, junto con sus conocimientos, habilidades y experiencia, para desarrollar las funciones que tiene atribuidas.
La pregunta que quiero plantear en esta sexta entrega no consiste, por tanto, en saber cuántas horas de formación ha recibido una persona, sino en algo bastante más exigente: ¿cómo podemos demostrar que dispone de la competencia necesaria para supervisar un sistema de IA en las situaciones para las que se ha previsto su intervención?
1. Comprender un sistema no equivale a ser competente para supervisarlo
En la dimensión B1 estudiamos la comprensión humana como la capacidad para interpretar información relevante, reconocer las limitaciones e incertidumbres del sistema y relacionar su comportamiento con las decisiones de supervisión. Se trata de una condición importante, pero no suficiente para acreditar que una persona puede ejercer competentemente una función.
Una persona puede comprender que una recomendación presenta incertidumbre y desconocer qué procedimiento corresponde seguir cuando esa incertidumbre afecta a una decisión relevante. También puede reconocer correctamente una anomalía sin disponer de conocimientos profesionales suficientes para valorar sus consecuencias o determinar qué comprobaciones permitirían contrastarla.
La diferencia aparece con especial claridad cuando la supervisión exige integrar conocimientos procedentes de distintas disciplinas. En un sistema utilizado para apoyar decisiones clínicas, comprender las características generales del modelo no sustituye el juicio profesional necesario para valorar la situación de una persona paciente. En una aplicación destinada a gestionar riesgos financieros, conocer las limitaciones de un algoritmo tampoco acredita automáticamente la capacidad para interpretar sus consecuencias económicas. Del mismo modo, quien conoce profundamente un procedimiento administrativo puede necesitar conocimientos adicionales sobre la herramienta de IA para identificar situaciones en las que sus recomendaciones dejan de resultar fiables.
Por eso considero que deberíamos evitar una interpretación demasiado limitada de la competencia, entendida únicamente como acumulación de conocimientos, experiencia profesional o certificados de formación. Todos estos elementos pueden contribuir a desarrollarla, pero la competencia se manifiesta cuando la persona consigue aplicarlos adecuadamente a las tareas que debe realizar.
Para nuestra investigación propongo la siguiente definición operativa:
Competencia humana para la supervisión de IA: capacidad demostrable de una persona para movilizar conocimientos, habilidades, experiencia y juicio profesional adecuados a las funciones de supervisión que tiene atribuidas, aplicándolos en situaciones relevantes para reconocer problemas, valorar alternativas, desarrollar las actuaciones correspondientes y reconocer cuándo necesita apoyo o una intervención especializada.
Esta definición constituye una elaboración metodológica propia. No reproduce literalmente una definición de ISO/IEC 42105 ni pretende establecer una cualificación profesional universal para todas las personas que participan en la supervisión de sistemas de inteligencia artificial.
La expresión capacidad demostrable resulta especialmente importante porque nos obliga a diferenciar la preparación documentada de la actuación que puede observarse y evaluarse. Una persona puede haber realizado una formación excelente, contar con experiencia acreditada y conocer los procedimientos previstos sin que esas evidencias permitan concluir, por sí solas, que resolverá adecuadamente las situaciones relevantes para su función.
También debemos evitar el extremo contrario, que consistiría en imaginar una figura profesional capaz de resolver individualmente todos los problemas relacionados con la inteligencia artificial. Las organizaciones utilizan sistemas en actividades diversas, sujetas a requisitos técnicos, jurídicos y profesionales que difícilmente pueden reunirse siempre en una única persona.
La competencia debe definirse a partir de las funciones que realmente se asignan. En algunos escenarios podrá concentrarse en profesionales con capacidades suficientemente amplias, mientras que en otros será necesario distribuir tareas y combinar conocimientos especializados.
Esta perspectiva permite conectar nuestra investigación con el trabajo de Sterz y colaboradores (2024), quienes examinan cuatro condiciones para una supervisión humana eficaz: acceso epistémico, poder causal, autocontrol e intenciones apropiadas. Su planteamiento resulta útil porque muestra que una supervisión efectiva no depende de una sola capacidad y exige considerar tanto las condiciones del sistema como las de las personas y el entorno.
Nuestro modelo no reproduce esas cuatro condiciones ni pretende que la competencia sea equivalente a ninguna de ellas. El acceso epistémico guarda una relación especialmente estrecha con la comprensión que examinamos en B1, mientras que el poder causal conecta con las posibilidades de intervención estudiadas en A3. La competencia que analizamos ahora se refiere a la capacidad de desempeñar las funciones atribuidas, utilizando adecuadamente la información y los recursos disponibles.
Las dimensiones pueden relacionarse e incluso compartir determinadas evidencias sin convertirse por ello en conceptos intercambiables.
La cuestión, en definitiva, no consiste en construir un perfil idealizado de supervisor de IA, sino en determinar si la organización dispone de las capacidades necesarias para las funciones que ha establecido y si puede demostrar que esas capacidades se encuentran donde realmente hacen falta.
2. La competencia depende de la función, del contexto y de los riesgos
Cuando intentamos determinar qué significa ser competente para supervisar un sistema de inteligencia artificial, resulta necesario comenzar por las tareas que se espera que desempeñe la persona.
No es lo mismo revisar una recomendación antes de que se adopte una decisión que vigilar un proceso automatizado en tiempo real. Tampoco resulta equivalente comprobar una alerta conocida que investigar una desviación inesperada cuyas causas pueden encontrarse en los datos, en el comportamiento del modelo o en su integración con otros sistemas.
Las capacidades necesarias varían porque también cambian la naturaleza de las decisiones, el tiempo disponible, los riesgos y las consecuencias de una actuación incorrecta.
Una persona puede estar perfectamente preparada para reconocer una incidencia habitual y, sin embargo, necesitar apoyo especializado cuando aparece una situación que no había sido prevista. Puede conocer el procedimiento para detener determinadas actuaciones y carecer de conocimientos suficientes para identificar la causa técnica del problema. Del mismo modo, puede reconocer que una recomendación resulta inadecuada desde el punto de vista profesional sin estar capacitada para modificar el comportamiento del sistema.
Estas situaciones muestran por qué la competencia no debería evaluarse mediante un perfil genérico, desconectado de las funciones reales. La organización necesita identificar las tareas de supervisión, las decisiones asociadas, los riesgos que deben controlarse y las capacidades necesarias para actuar adecuadamente.
Este análisis también permite distinguir entre la competencia individual y la capacidad colectiva de supervisión.
La primera se refiere a los conocimientos, habilidades y juicio profesional que una persona puede aplicar dentro de sus responsabilidades. La segunda depende de cómo se combinan esas capacidades, de la distribución de funciones y de los mecanismos que permiten obtener colaboración o conocimiento especializado cuando resulta necesario.
No deberíamos interpretar esta dimensión colectiva como una forma de diluir responsabilidades. Si varias personas participan en la supervisión, la organización necesita determinar qué corresponde hacer a cada una, cómo deben coordinarse y qué sucede cuando se presenta una situación que requiere la intervención de otro profesional o de una unidad diferente.
Pensemos nuevamente en el proceso de selección de personal. La persona encargada de revisar las recomendaciones puede disponer de conocimientos suficientes para reconocer que determinados perfiles han sido clasificados de manera inesperada. Sin embargo, para valorar si existe una desviación sistemática quizá necesite la colaboración de profesionales de recursos humanos, especialistas técnicos y personal con conocimientos sobre las exigencias jurídicas aplicables.
La competencia individual permitirá realizar correctamente determinadas tareas, pero la respuesta completa dependerá también de la coordinación entre quienes poseen capacidades complementarias.
Aquí aparece una relación importante con las dimensiones anteriores de nuestra serie. En A3 — Controlabilidad examinamos si el sistema ofrece posibilidades efectivas de intervención; en B1 — Comprensión analizamos si la persona puede interpretar la información relevante; y en B2 nos interesa saber si dispone de las capacidades necesarias para utilizar ese conocimiento y ejercer adecuadamente las funciones que tiene atribuidas.
Una misma simulación puede aportar evidencias para varias dimensiones, pero tendremos que definir qué comportamiento estamos evaluando en cada caso. Reconocer el significado de una anomalía puede proporcionar evidencia de comprensión; decidir qué hacer ante ella y justificar la actuación permite examinar la competencia. No sería correcto utilizar un mismo resultado como si demostrara automáticamente ambas capacidades.
También necesitamos distinguir entre la capacidad para actuar y las condiciones que hacen posible esa actuación. Una persona puede demostrar en una simulación que sabe cuándo intervenir y cómo debería hacerlo, pero encontrar posteriormente obstáculos derivados de los permisos técnicos, las atribuciones formales o la falta de apoyo organizativo.
Competencia, autoridad y apoyo son elementos relacionados, aunque no equivalentes. Separarlos analíticamente nos permitirá identificar con mayor precisión dónde se encuentra una deficiencia cuando la supervisión no funciona como debería.
3. La formación contribuye a desarrollar competencias, pero no las acredita por sí sola
La formación ocupa un lugar importante en la preparación de las personas que utilizan y supervisan sistemas de inteligencia artificial. Permite conocer las características de las herramientas, comprender sus limitaciones, aprender procedimientos y adquirir criterios que pueden resultar esenciales durante su utilización.
El problema no reside en que las organizaciones recurran a la formación, sino en que lleguen a tratarla como una prueba suficiente de competencia.
Un certificado de asistencia acredita la participación en una actividad formativa, mientras que una evaluación teórica puede demostrar que la persona conoce determinados conceptos. Un ejercicio práctico permite obtener evidencias sobre la aplicación de ciertos conocimientos, aunque su alcance dependerá de las condiciones en las que haya sido diseñado.
Ninguna de estas evidencias debería interpretarse automáticamente como garantía de que la persona podrá desenvolverse adecuadamente ante todos los escenarios relevantes de supervisión.
La diferencia aparece cuando cambian las circunstancias. Una persona puede conocer el procedimiento previsto para revisar una recomendación, pero encontrarse con información contradictoria, una situación no contemplada durante la formación o una decisión que exige valorar consecuencias que no habían sido examinadas. En esos casos tendrá que aplicar conocimientos, interpretar el contexto, reconocer incertidumbres y determinar qué actuación resulta adecuada.
La investigación sobre interacción humano-IA proporciona evidencia que refuerza la necesidad de comprobar estas capacidades.
Klingbeil, Grützner y Schreck (2024), en un estudio experimental publicado en Computers in Human Behavior, examinaron la confianza y la dependencia conductual respecto del asesoramiento de IA. Sus resultados, obtenidos bajo las condiciones experimentales analizadas, identificaron situaciones en las que las recomendaciones automatizadas condujeron a decisiones desfavorables, incluso cuando las personas disponían de información contextual relevante.
Conviene diferenciar aquí la confianza subjetiva de la dependencia conductual. Una persona puede expresar confianza en un sistema y no seguir siempre sus recomendaciones, del mismo modo que puede aceptarlas por presión organizativa, comodidad o falta de alternativas sin confiar plenamente en ellas. Para evaluar la supervisión resulta especialmente relevante observar qué decisiones adopta realmente y por qué.
Por su parte, Cecil y colaboradores (2024) examinaron en cinco experimentos cómo respondían las personas a recomendaciones correctas e incorrectas en una tarea de selección de personal. Los resultados mostraron que el asesoramiento equivocado podía perjudicar las decisiones de los participantes y que los procedimientos de explicabilidad evaluados no mitigaron ese efecto negativo en las condiciones estudiadas.
La conclusión no significa que las explicaciones de IA sean inútiles en cualquier circunstancia, sino que las técnicas examinadas no consiguieron resolver el problema observado en aquellos experimentos.
Estos trabajos no reproducen todas las condiciones de la supervisión profesional de sistemas de alto riesgo ni validan directamente nuestra propuesta de competencia. Su aportación consiste en mostrar que disponer de información y recibir recomendaciones automatizadas no garantiza un juicio adecuado, lo que justifica examinar el desempeño de las personas en tareas representativas.
Aquí debemos distinguir claramente la evidencia científica disponible de nuestra propuesta metodológica. Los estudios investigan determinados comportamientos humanos; nosotros utilizamos sus resultados, junto con otras referencias, para fundamentar la necesidad de evaluar capacidades de supervisión. Las seis variables que presentaremos posteriormente constituyen una elaboración propia cuya utilidad y validez deberán contrastarse mediante su aplicación.
Desde una perspectiva operativa, estas aportaciones nos invitan a diseñar actividades formativas y evaluaciones que se aproximen a las situaciones reales de trabajo. No bastaría con enseñar dónde aparece una alerta o qué opción permite solicitar una revisión; también deberíamos comprobar cómo actúa la persona cuando la recomendación es incorrecta, cuando existen datos contradictorios o cuando el problema supera sus conocimientos.
También deberíamos evitar que las pruebas premien sistemáticamente la desconfianza. Una persona competente no es aquella que contradice todas las recomendaciones de IA, sino quien puede aceptarlas, cuestionarlas o rechazarlas por razones justificadas.
La formación debe ayudar a desarrollar esa capacidad, pero necesitamos evidencias adicionales para valorar si realmente se ha adquirido.
Además, la competencia puede cambiar con el tiempo. La actualización de un modelo, la incorporación de nuevos datos, una modificación de la interfaz o un cambio en los procedimientos organizativos pueden alterar las capacidades necesarias para ejercer la supervisión. Lo mismo sucede cuando cambia el contexto de utilización, aparecen riesgos diferentes o se modifican las exigencias jurídicas y profesionales aplicables.
La formación inicial constituye, por tanto, una parte importante del proceso de preparación, pero el mantenimiento de la competencia exige comprobar que las capacidades disponibles continúan siendo suficientes para las funciones y condiciones de utilización del sistema.
Esta diferencia entre preparación, desempeño y mantenimiento nos conduce directamente a las exigencias jurídicas y técnicas que deben orientar el diseño de la supervisión.
4. Alfabetización, competencia y supervisión humana ante el Reglamento de IA
El Reglamento (UE) 2024/1689 proporciona un fundamento jurídico importante para nuestra investigación, aunque debemos distinguir cuidadosamente las obligaciones generales de alfabetización en IA de las exigencias específicas relacionadas con la supervisión humana de sistemas de alto riesgo.
El artículo 4 comenzó a aplicarse el 2 de febrero de 2025 y fue reformulado por el Reglamento (UE) 2026/1744, que entró en vigor el 27 de julio de 2026. La obligación original de alfabetización, por tanto, ya era aplicable antes de la reforma; desde la entrada en vigor de esta última debemos atender a su nueva redacción.
Actualmente, el precepto exige a proveedores y responsables del despliegue adoptar medidas para apoyar el desarrollo de la alfabetización en materia de IA de su personal y de otras personas que se encarguen, en su nombre, del funcionamiento o utilización de estos sistemas. Para ello deben considerar los conocimientos técnicos, la experiencia, la educación y la formación de esas personas, así como el contexto previsto de utilización y las características de las personas o colectivos sobre los que se utilizarán las herramientas.
La reforma introduce además una precisión relevante: esta obligación no exige garantizar un nivel específico de alfabetización en IA de cada persona individualmente considerada.
Esto no significa que las medidas puedan reducirse a actuaciones puramente simbólicas. La ausencia de un umbral individual obligatorio no elimina la necesidad de adoptar medidas que respondan razonablemente a las características del personal, los sistemas y sus condiciones de utilización. Lo que debemos evitar es transformar el artículo 4 en una obligación universal de certificación individual que su texto no establece.
En un ámbito distinto, aunque relacionado, adquiere especial importancia el artículo 26.2 del Reglamento, relativo a las obligaciones de los responsables del despliegue de sistemas de IA de alto riesgo comprendidos en su ámbito.
Este precepto exige encomendar la supervisión humana a personas físicas que dispongan de la competencia, formación y autoridad necesarias, así como del apoyo necesario.
Los cuatro elementos figuran expresamente en la disposición y deben interpretarse en relación con las funciones de supervisión atribuidas.
La competencia describe las capacidades que la persona debe poder aplicar; la formación contribuye a adquirirlas, desarrollarlas y mantenerlas; la autoridad se refiere a las facultades necesarias para ejercer las funciones correspondientes; y el apoyo comprende las condiciones y recursos necesarios para desempeñarlas adecuadamente.
No debemos confundir estos elementos ni considerarlos intercambiables. Demostrar competencia no permite prescindir automáticamente de la formación exigida por la disposición, del mismo modo que acreditar formación no garantiza por sí solo que exista la competencia necesaria. La autoridad y el apoyo, por su parte, resultan esenciales para hacer posible el ejercicio efectivo de las funciones.
El artículo 14 completa este marco desde la perspectiva de las capacidades de supervisión que deben posibilitar los sistemas de alto riesgo y las medidas correspondientes.
Su apartado 4 contempla, cuando proceda y de manera proporcionada, que las personas encargadas de la supervisión puedan comprender adecuadamente las capacidades y limitaciones pertinentes del sistema, vigilar su funcionamiento e interpretar correctamente sus resultados. También establece la necesidad de prestar atención al riesgo de sesgo de automatización.
Las letras d) y e) de ese apartado resultan especialmente importantes para nuestra investigación porque contemplan la posibilidad de decidir no utilizar el sistema, ignorar, invalidar o revertir sus resultados e intervenir en su funcionamiento, según las características y condiciones aplicables.
Estas posibilidades requieren algo más que comprender una recomendación. Pueden exigir criterio profesional para determinar cuándo corresponde aceptarla, cuestionarla, solicitar una revisión o ejercer una medida de intervención.
El análisis debe mantenerse, naturalmente, dentro del reparto de responsabilidades establecido por el Reglamento y de las funciones efectivamente atribuidas a las personas.
Desde una perspectiva técnica, ISO/IEC 42105 aporta orientaciones sobre la supervisión humana de sistemas de inteligencia artificial. En la fecha de esta revisión, la norma se encuentra en fase de publicación, etapa 60.00, y nuestra investigación se apoya en la versión FDIS examinada. Por ello, sus referencias concretas deberán contrastarse con la edición definitiva una vez publicada.
También resulta relevante ISO/IEC 42001:2023, que establece requisitos para los sistemas de gestión de inteligencia artificial. Su cláusula 7.2, relativa a competencia, proporciona un fundamento complementario para determinar las competencias necesarias, abordar las necesidades de preparación y conservar evidencias apropiadas dentro del sistema de gestión.
Debemos distinguir ambas referencias: ISO/IEC 42001 establece requisitos aplicables a los sistemas de gestión comprendidos en su ámbito, mientras que ISO/IEC 42105 proporciona orientaciones específicas sobre supervisión humana. Ninguna prescribe las seis variables ni las fórmulas que proponemos en este artículo.
El NIST AI RMF 1.0 incorpora, por su parte, elementos organizativos útiles para nuestra investigación. GOVERN 2.1 aborda la claridad de las responsabilidades y líneas de comunicación; GOVERN 2.2 contempla la formación de las personas para desempeñar sus funciones; y GOVERN 3.2 se refiere a la diferenciación de responsabilidades en configuraciones humano-IA y actividades de supervisión.
Estas referencias refuerzan una conclusión importante: la competencia no debería evaluarse al margen de las funciones, responsabilidades y condiciones organizativas en las que debe ejercerse.
Conviene recordar, finalmente, el calendario de aplicación del Reglamento europeo.
Conforme al artículo 113, modificado por el Reglamento (UE) 2026/1744, las secciones 1, 2 y 3 del capítulo III se aplicarán, con las excepciones y disposiciones transitorias correspondientes, desde el 2 de diciembre de 2027 para los sistemas de alto riesgo del artículo 6.2 y anexo III, y desde el 2 de agosto de 2028 para los comprendidos en el artículo 6.1 y anexo I.
Por ello, describir las obligaciones de los artículos 14 y 26 no significa afirmar que todas ellas resulten inmediatamente exigibles a cualquier sistema de alto riesgo en noviembre de 2026.
La cuestión central para nuestra investigación sigue siendo determinar qué capacidades necesita una persona para ejercer las funciones de supervisión que le corresponden y cómo puede justificarse que dispone de ellas.
5. ¿Cómo auditar la competencia humana?
Cuando una organización afirma que dispone de personal competente para supervisar sistemas de inteligencia artificial, suele presentar expedientes formativos, perfiles profesionales, certificados, experiencia acreditada y procedimientos de trabajo. Estos documentos pueden aportar información valiosa, pero necesitamos relacionarlos con las tareas de supervisión y comprobar qué capacidades permiten demostrar.
La evaluación debería comenzar por las funciones reales, las decisiones asociadas, los riesgos y las actuaciones que pueden requerirse. Solo después tendría sentido determinar qué conocimientos, habilidades y experiencia resultan necesarios y quién dispone de ellos.
Este orden es importante porque una prueba técnicamente correcta puede producir una conclusión equivocada si las capacidades exigidas no se corresponden con las responsabilidades reales de la persona.
Para nuestra investigación mantenemos seis variables, entendidas como componentes de una propuesta metodológica que deberá adaptarse y someterse a contrastación antes de utilizarse como instrumento formal de evaluación.
| Variable | Pregunta de auditoría | Evidencia posible |
|---|---|---|
| Adecuación al rol | ¿Se corresponden las capacidades de la persona con las funciones, decisiones y riesgos que tiene atribuidos? | Análisis funcional, criterios de competencia y evaluación individual. |
| Conocimiento aplicado | ¿Utiliza los conocimientos relevantes para resolver situaciones vinculadas con sus responsabilidades? | Casos prácticos y ejercicios de aplicación profesional. |
| Habilidades de supervisión | ¿Puede realizar correctamente las actuaciones que corresponden a su función? | Simulaciones, pruebas operativas y observación del desempeño. |
| Juicio profesional y autonomía crítica | ¿Acepta, cuestiona o rechaza las recomendaciones de IA conforme a razones justificadas? | Escenarios con recomendaciones acertadas, incorrectas e inciertas. |
| Reconocimiento de límites y solicitud de apoyo | ¿Identifica cuándo necesita ayuda y actúa adecuadamente para obtenerla? | Ejercicios de escalado y simulaciones de incidencias. |
| Vigencia y mantenimiento de la competencia | ¿Existen evidencias de que sus capacidades continúan siendo suficientes ante los cambios relevantes? | Reevaluaciones, pruebas posteriores a cambios y registros de actualización. |
Tabla 1. Variables propuestas para evaluar la competencia humana en la supervisión de sistemas de IA. Elaboración metodológica propia.
La primera variable exige una distinción importante. La organización debe definir correctamente las funciones y capacidades necesarias, pero después necesita comprobar si la persona asignada reúne esas capacidades. Una función mal definida puede invalidar el sentido de una evaluación individual, aunque esta se haya ejecutado de manera rigurosa.
El conocimiento aplicado y las habilidades de supervisión permiten diferenciar la utilización del conocimiento de la ejecución de tareas. Una persona puede comprender correctamente una anomalía y conocer el procedimiento previsto, pero no conseguir desarrollar la actuación esperada. También puede encontrar impedimentos técnicos u organizativos que no deberían atribuirse automáticamente a una falta de competencia.
En cuanto al juicio profesional y la autonomía crítica, no se trata de premiar a quien contradice sistemáticamente al sistema. La competencia debe manifestarse en la capacidad para valorar las recomendaciones sin asumir su corrección por el mero hecho de proceder de una herramienta automatizada, aceptándolas, cuestionándolas o rechazándolas cuando existan razones justificadas.
El reconocimiento de límites constituye igualmente una capacidad profesional. Sin embargo, debemos distinguir entre reconocer que se necesita ayuda, decidir solicitarla, ejecutar adecuadamente la comunicación y recibir efectivamente una respuesta. Las tres primeras cuestiones pueden examinarse como comportamientos individuales; la respuesta posterior pertenece principalmente al funcionamiento organizativo.
La última variable también requiere diferenciar dos planos. Que una organización realice actividades de actualización no demuestra automáticamente que las personas mantengan sus capacidades, de la misma manera que un expediente formal incompleto no permite concluir por sí solo que una persona haya perdido su competencia.
Por eso examinaremos la vigencia de las capacidades demostradas, utilizando los procedimientos de formación, actualización y reevaluación como evidencias complementarias.
De las variables a las evidencias observables
La evaluación de competencia necesita relacionar cada función con las capacidades requeridas, los escenarios utilizados para examinarlas y los criterios que permiten interpretar los resultados.
Una misma simulación puede proporcionar evidencias para varias variables, siempre que cada una disponga de criterios propios. Por ejemplo, la interpretación de una alerta puede aportar información sobre comprensión, mientras que la decisión posterior permite valorar conocimiento aplicado, juicio profesional y, cuando corresponda, solicitud de apoyo.
No debemos confundir esta posibilidad de utilizar escenarios compartidos con la existencia de capacidades idénticas. Cada conclusión necesita apoyarse en observaciones pertinentes y suficientemente diferenciadas.
También conviene establecer de antemano qué actuaciones resultan aceptables, qué errores tienen consecuencias críticas y qué situaciones pueden admitir varias respuestas razonables.
Los resultados dependerán necesariamente de las características de las pruebas. Una persona que resuelve correctamente dos escenarios sencillos no ha demostrado lo mismo que otra que supera un conjunto amplio y diverso de situaciones relevantes para sus responsabilidades.
Por tanto, la evaluación deberá documentar no solo sus resultados, sino también el alcance y las limitaciones de las evidencias obtenidas.
Tres indicadores para apoyar la evaluación
Proponemos mantener tres indicadores principales y una medida complementaria. No constituyen escalas psicométricas validadas ni establecen umbrales universales de conformidad. Su finalidad es organizar información que permita valorar, con criterios justificados, la cobertura de capacidades y el desempeño observado.
1. Cobertura de competencias por función (CCF)
Este indicador permite determinar qué proporción de las funciones relevantes de supervisión dispone de personas cuya competencia haya sido evaluada como suficiente.
[CCF=\frac{\text{Funciones cubiertas por competencia suficiente}}{\text{Funciones evaluables de supervisión}}\times100
]
Conviene precisar su naturaleza. El CCF es principalmente un indicador organizativo de cobertura, no una medida directa del nivel de competencia de una persona.
Para calcularlo necesitamos definir previamente qué constituye una función diferenciada, qué capacidades exige y cuándo existen evidencias suficientes para considerarla cubierta.
También debemos distinguir entre disponer de una persona competente y garantizar su disponibilidad operativa. Una organización puede tener personal suficientemente preparado y, sin embargo, carecer de cobertura efectiva durante determinados turnos, situaciones o periodos de actividad.
La evaluación debería informar separadamente de las funciones críticas. Una cobertura global elevada podría ocultar precisamente la ausencia de capacidades en una tarea cuya ejecución incorrecta tendría consecuencias especialmente importantes.
Cuando se utilicen ponderaciones por criticidad, los criterios deberán justificarse previamente. No sería adecuado permitir que un promedio favorable compense la ausencia de cobertura en funciones esenciales.
2. Desempeño adecuado en escenarios de supervisión (DAE)
El segundo indicador examina la proporción de situaciones evaluables en las que la persona realiza una actuación considerada adecuada conforme a criterios definidos previamente.
[DAE=\frac{\text{Actuaciones adecuadas}}{\text{Escenarios evaluables}}\times100
]
Para interpretar correctamente el resultado propongo distinguir tres categorías: adecuada, parcialmente adecuada e inadecuada.
Una actuación adecuada satisface los criterios establecidos para el escenario. Una actuación parcialmente adecuada incorpora elementos correctos, pero presenta carencias que deben identificarse. Una actuación inadecuada incumple criterios esenciales o resulta incompatible con las responsabilidades y riesgos examinados.
Estas categorías requieren reglas de clasificación previas. Cuando existan varias respuestas razonables, la evaluación podrá utilizar una rúbrica que examine las razones aportadas, la información considerada, las incertidumbres reconocidas y la adecuación de la decisión.
Las actuaciones parcialmente adecuadas deberían comunicarse separadamente, sin atribuirles automáticamente una puntuación intermedia.
Existe, además, una limitación importante de los indicadores agregados: un porcentaje elevado puede ocultar un fallo crítico.
Imaginemos que una persona desarrolla correctamente nueve de diez escenarios, pero en el restante realiza una actuación que compromete precisamente el objetivo principal de la supervisión que tiene encomendada. El resultado global no debería utilizarse por sí solo para concluir que su competencia es suficiente.
Por ello recomiendo informar separadamente de los fallos críticos, definidos previamente de acuerdo con las funciones y riesgos examinados. No se trata de imponer un umbral universal de ausencia de errores, sino de evitar que los promedios oculten deficiencias que requieren una valoración específica.
También deberá justificarse la selección de escenarios. Las pruebas deben representar razonablemente las situaciones relevantes y no limitarse a repetir ejercicios utilizados durante la formación.
3. Reconocimiento y escalado adecuado (REA)
El tercer indicador examina la actuación de la persona ante situaciones que requieren solicitar ayuda o trasladar una incidencia a quienes disponen de conocimientos o atribuciones especializados.
[REA=\frac{\text{Escalados correctamente iniciados}}{\text{Escenarios que requieren escalado}}\times100
]
Para interpretar este resultado conviene registrar por separado tres comportamientos: reconocer que la situación necesita apoyo, decidir correctamente solicitarlo y ejecutar adecuadamente la comunicación correspondiente.
Estas actuaciones pueden fallar por razones distintas, y su diferenciación permitirá identificar con mayor precisión qué capacidad necesita mejorarse.
La eficacia de la respuesta posterior debe examinarse separadamente. Una persona puede iniciar correctamente un escalado y no recibir la asistencia esperada por una deficiencia organizativa. Ese resultado no demuestra, por sí solo, una falta de competencia individual.
También necesitamos evitar que la evaluación premie a quienes derivan sistemáticamente cualquier incidencia.
Por ello incorporamos como medida complementaria la tasa de escalados innecesarios (REI):
[REI=\frac{\text{Escalados innecesarios}}{\text{Escenarios que no requieren escalado}}\times100
]
REA y REI deben interpretarse conjuntamente. Un REA elevado acompañado de un REI también elevado puede revelar una tendencia a derivar situaciones que deberían resolverse dentro de las funciones asignadas, aunque esta conclusión debe contrastarse con las razones de cada actuación.
La clasificación de un escalado como innecesario exige considerar qué información estaba disponible para la persona, cuáles eran sus atribuciones y qué establecía el procedimiento aplicable.
Solicitar ayuda ante una incertidumbre razonable no debería penalizarse automáticamente.
Condiciones para obtener resultados defendibles
Los indicadores solo resultarán útiles si se aplican mediante procedimientos suficientemente definidos.
Antes de realizar las pruebas deberían documentarse las funciones examinadas, los escenarios seleccionados, los criterios de referencia, las respuestas aceptables, las reglas de valoración y los riesgos asociados.
También conviene registrar el número y dificultad de los escenarios, las categorías de desempeño utilizadas, los fallos críticos identificados y las circunstancias que puedan limitar la interpretación de los resultados.
Cuando las situaciones admitan varias decisiones razonables, será necesario justificar los criterios aplicados y, en evaluaciones relevantes, examinar las discrepancias entre evaluadores.
No sería correcto comparar directamente los resultados de personas sometidas a pruebas de dificultad diferente ni interpretar un porcentaje aislado como una medida universal de competencia.
La finalidad de este modelo es reunir evidencias que permitan valorar la suficiencia de las capacidades disponibles para funciones determinadas. Su validación exigirá aplicaciones posteriores, análisis de reproducibilidad y revisión de los criterios utilizados.
Las seis variables, los tres indicadores y la medida complementaria REI constituyen una propuesta metodológica propia. No son requisitos prescritos por ISO/IEC 42105, ISO/IEC 42001, el NIST AI RMF ni el Reglamento europeo de Inteligencia Artificial.
Su valor dependerá de la calidad de las pruebas y de la prudencia con la que interpretemos sus resultados.
6. Cuando la competencia individual no basta: organización, apoyo y coordinación
Una parte importante de las evaluaciones de supervisión humana se concentra en las características de las personas designadas. Revisamos sus conocimientos, formación, experiencia y habilidades, y tratamos de determinar si están preparadas para desempeñar sus funciones.
Sin embargo, incluso una persona competente puede encontrarse con dificultades que no puede resolver adecuadamente por sí sola. Puede necesitar información que posee otro departamento, asistencia del proveedor, conocimientos jurídicos o técnicos especializados o una decisión que corresponde a otra unidad de la organización. También puede requerir colaboración cuando la supervisión afecta a varias aplicaciones o a distintas fases de un mismo proceso.
Estas circunstancias nos obligan a distinguir nuevamente entre competencia individual y condiciones organizativas de ejercicio.
La competencia describe las capacidades que puede movilizar una persona, mientras que la organización determina cómo se distribuyen las responsabilidades, qué información se encuentra disponible, qué mecanismos permiten obtener apoyo y cómo se coordinan las actuaciones cuando intervienen distintos profesionales.
Esto no significa atribuir a la competencia individual problemas que son de diseño organizativo.
Pensemos en una persona que identifica correctamente una anomalía, reconoce sus posibles consecuencias y solicita ayuda especializada siguiendo el procedimiento establecido. Si el equipo correspondiente no responde, el problema puede encontrarse en la disponibilidad del apoyo, en la coordinación o en la definición de responsabilidades. Concluir automáticamente que quien detectó el problema carecía de competencia sería una interpretación insuficientemente fundada.
Del mismo modo, una organización no debería considerar resuelta la supervisión humana porque ha designado a una persona con amplia experiencia profesional si no dispone de procedimientos que permitan aplicar sus conocimientos cuando resulte necesario.
Esta relación entre preparación individual y organización aparece tanto en el artículo 26.2 del Reglamento de IA como en las referencias técnicas que hemos examinado. En particular, el NIST AI RMF, mediante GOVERN 2.1, 2.2 y 3.2, refuerza la importancia de definir responsabilidades, preparar a las personas para sus funciones y diferenciar los papeles que desempeñan en la interacción y supervisión de sistemas de IA.
La cláusula 7.2 de ISO/IEC 42001 también contribuye a situar la competencia dentro de un proceso organizado de identificación de necesidades, desarrollo de capacidades y conservación de evidencias apropiadas.
Estas referencias no nos obligan a adoptar un único modelo de evaluación, pero muestran la importancia de conectar las capacidades personales con un sistema de gestión que permita utilizarlas adecuadamente.
La distribución de funciones debe contemplar situaciones ordinarias, incidencias excepcionales y supuestos en los que la decisión requiere la intervención de varias personas.
También conviene examinar las condiciones reales de trabajo. Una persona puede disponer de conocimientos suficientes para revisar determinadas recomendaciones y no tener posibilidades prácticas de hacerlo cuando el volumen de operaciones, los plazos o la carga de trabajo impiden desarrollar una evaluación adecuada.
La solución no siempre consistirá en aumentar la formación. Puede ser necesario redistribuir tareas, establecer mecanismos de apoyo, revisar los tiempos disponibles o modificar la forma en que se integra la intervención humana dentro del proceso automatizado.
La exigencia de apoyo prevista expresamente en el artículo 26.2 adquiere aquí una dimensión especialmente concreta. No basta con atribuir formalmente una responsabilidad si la persona no dispone de las condiciones necesarias para ejercerla.
Por eso considero necesario examinar, junto con las capacidades individuales, la existencia de recursos de consulta, procedimientos de escalado, asistencia especializada y mecanismos de coordinación proporcionados a las funciones y riesgos de supervisión.
Esta evaluación debe permitir distinguir una deficiencia de competencia de una carencia organizativa. Ambas pueden afectar a la eficacia de la supervisión, pero no tienen necesariamente las mismas causas ni requieren las mismas medidas correctivas.
En definitiva, una organización no debería utilizar la competencia individual como sustituto del diseño responsable de la supervisión. Necesitamos personas preparadas, pero también funciones bien definidas, autoridad suficiente y condiciones que hagan posible utilizar las capacidades disponibles.
La supervisión humana es, en este sentido, una actividad sociotécnica. Su eficacia depende de las capacidades personales, de los mecanismos técnicos y de la manera en que la organización los articula para afrontar situaciones reales.
7. Una reflexión final: formar no es lo mismo que preparar para supervisar
Cuando una organización afirma que dispone de personal preparado para supervisar sus sistemas de inteligencia artificial, suele acompañar esa afirmación de evidencias fácilmente reconocibles: certificados de formación, perfiles profesionales, experiencia acreditada y procedimientos documentados.
No hay nada incorrecto en utilizar estos elementos. Al contrario, pueden resultar indispensables para desarrollar y conservar las capacidades necesarias. Lo que debemos evitar es tratarlos como una demostración automática de que las personas podrán afrontar adecuadamente las situaciones para las que se ha previsto su intervención.
A lo largo de esta investigación estamos comprobando que la supervisión humana depende de condiciones distintas que deben examinarse por separado y después relacionarse.
En los artículos del dominio A analizamos si el sistema ofrece posibilidades reales de supervisión, observación e intervención. Al comenzar el dominio B nos preguntamos si la persona comprende suficientemente su funcionamiento. Ahora damos un paso más y examinamos si puede utilizar ese conocimiento para desempeñar adecuadamente las responsabilidades que tiene asignadas.
Me parece especialmente importante reconocer que la competencia no exige resolver individualmente cualquier dificultad. Una persona competente también debe saber identificar cuándo una situación supera sus conocimientos, cuándo necesita información adicional y cuándo corresponde solicitar apoyo especializado.
Esa capacidad de reconocer los propios límites no representa necesariamente una debilidad. En muchas actividades profesionales constituye una manifestación esencial del buen juicio.
También debemos evitar interpretar la autonomía crítica como una desconfianza permanente hacia la inteligencia artificial. El propósito de la supervisión no consiste en rechazar sus recomendaciones por principio, sino en disponer de las capacidades necesarias para aceptarlas, cuestionarlas o descartarlas con fundamento.
Por eso creo que deberíamos cambiar la manera en que formulamos algunas de nuestras preguntas de auditoría.
En lugar de limitarnos a comprobar cuántas personas han recibido formación o qué certificados poseen, deberíamos examinar si pueden desarrollar las actuaciones que exige su función, cómo responden ante situaciones relevantes y qué evidencias permiten justificar que disponen de las capacidades necesarias.
También deberíamos preguntarnos si la organización ha definido adecuadamente las responsabilidades y ha creado las condiciones para ejercerlas, porque de poco servirá contar con profesionales competentes si el sistema de trabajo impide utilizar sus conocimientos.
La cuestión de fondo no consiste en restar importancia a la formación, sino en reconocer su verdadero papel dentro de una arquitectura de supervisión más amplia.
La competencia humana no se demuestra únicamente por lo que una persona sabe o por la formación que ha recibido, sino por su capacidad para aplicar ese conocimiento, ejercer un juicio profesional adecuado y reconocer sus propios límites dentro de las funciones que tiene atribuidas.
Esta capacidad debe evaluarse mediante situaciones representativas, criterios justificados y evidencias cuya interpretación tenga en cuenta los riesgos y las condiciones reales de trabajo.
No deberíamos confundir un buen resultado agregado con la ausencia de fallos críticos, ni atribuir a una persona deficiencias que proceden del diseño técnico o de la organización. Tampoco sería correcto exigir capacidades ajenas a las responsabilidades que efectivamente tiene asignadas.
Si conseguimos mantener estas distinciones, podremos valorar con mayor fundamento si una organización dispone de condiciones adecuadas para ejercer la supervisión humana.
Y ese es, precisamente, el propósito que seguimos desarrollando en esta serie: avanzar desde las declaraciones formales hacia capacidades que puedan comprobarse, justificarse y auditarse.
Porque supervisar una inteligencia artificial no consiste simplemente en colocar a una persona delante de sus resultados, enseñarle a utilizar una aplicación y confiar en que sabrá qué hacer cuando aparezca un problema.
Consiste en determinar qué necesita saber hacer, comprobar que puede hacerlo y garantizar que dispone de la autoridad y el apoyo necesarios para ejercer esa responsabilidad.
Referencias normativas, técnicas y científicas
- Parlamento Europeo y Consejo (2024). Reglamento (UE) 2024/1689, de 13 de junio de 2024, por el que se establecen normas armonizadas en materia de inteligencia artificial. Especialmente artículos 4, 14, 26 y 113.
https://eur-lex.europa.eu/eli/reg/2024/1689/oj - Parlamento Europeo y Consejo (2026). Reglamento (UE) 2026/1744, de 8 de julio de 2026, por el que se modifican los Reglamentos (UE) 2024/1689, (UE) 2018/1139 y (UE) 2023/1230 en lo que respecta a la simplificación de la aplicación de normas armonizadas en materia de inteligencia artificial (Ómnibus digital sobre IA).
https://eur-lex.europa.eu/eli/reg/2026/1744/oj - ISO/IEC (2026). ISO/IEC 42105:2026. Information technology — Artificial intelligence — Guidance for human oversight of AI systems. Norma en fase de publicación, etapa 60.00, a fecha de revisión. El análisis de la serie se apoya en la versión FDIS examinada, cuyas referencias específicas deberán contrastarse con la edición definitiva.
https://www.iso.org/standard/86902.html - ISO/IEC (2023). ISO/IEC 42001:2023. Information technology — Artificial intelligence — Management system. Especialmente cláusula 7.2, relativa a competencia.
https://www.iso.org/standard/81230.html - Sterz, S., Baum, K., Biewer, S., Hermanns, H., Lauber-Rönsberg, A., Meinel, P., & Langer, M. (2024). On the Quest for Effectiveness in Human Oversight: Interdisciplinary Perspectives. Proceedings of the 2024 ACM Conference on Fairness, Accountability, and Transparency, 2495–2507.
https://doi.org/10.1145/3630106.3659051 - Klingbeil, A., Grützner, C., & Schreck, P. (2024). Trust and reliance on AI — An experimental study on the extent and costs of overreliance on AI. Computers in Human Behavior, 160, 108352.
https://doi.org/10.1016/j.chb.2024.108352 - Cecil, J., Lermer, E., Hudecek, M. F. C., Sauer, J., & Gaube, S. (2024). Explainability does not mitigate the negative impact of incorrect AI advice in a personnel selection task. Scientific Reports, 14, artículo 9736.
https://doi.org/10.1038/s41598-024-60220-5 - National Institute of Standards and Technology (2023). Artificial Intelligence Risk Management Framework (AI RMF 1.0). NIST AI 100-1. Especialmente GOVERN 2.1, GOVERN 2.2 y GOVERN 3.2.
https://doi.org/10.6028/NIST.AI.100-1 - National Institute of Standards and Technology. NIST AI RMF Playbook. Orientaciones complementarias de aplicación voluntaria, particularmente en materia de responsabilidades, preparación del personal y supervisión humano-IA.
https://airc.nist.gov/airmf-resources/playbook/
Versión revisada académica, jurídica y metodológicamente · 3 de noviembre de 2026
Próxima entrega: Continuaremos con la siguiente dimensión de la serie Supervisión humana de la inteligencia artificial. Del principio a la evidencia.