¿Quién es el culpable si la IA en salud falla?

El peligro de los fallos de la IA en el ámbito médico

Las aplicaciones de la IA en el sector de la salud conllevan numerosos y notables beneficios. Conjuntamente, mejoran la precisión diagnóstica, contribuyen a tiempos de recuperación más expeditos y asisten a médicos en la realización de procedimientos quirúrgicos más seguros y eficientes. Pero los fallos de la IA, aunque improbables, siempre serán una posibilidad a considerar.

Los fallos de la IA en la medicina pueden manifestarse de diversas formas. Médicos y pacientes pueden utilizar la IA como herramientas digitales para la toma de decisiones o bien, la IA podría fungir como el cerebro detrás de dispositivos físicos como robots médicos. Ambos escenarios, derivados de la aplicación de la IA, tienen sus respectivos riesgos.

Por ejemplo, ¿qué ocurre si un robot quirúrgico dirigido por IA falla durante un procedimiento y causa una lesión grave o incluso la muerte del paciente? O ¿qué pasaría si un algoritmo de diagnóstico de medicamentos avala la prescripción de un medicamento incorrecto y el paciente sufre efectos secundarios adversos? Incluso si el medicamento no resulta ser pernicioso, un diagnóstico errado podría interrumpir o aplazar el tratamiento correcto.

La raíz de los fallos de inteligencia artificial radica en la naturaleza de los propios modelos de IA. Las IAs de hoy utilizan una lógica de “caja negra”, lo que implica que nadie puede visualizar ni entender completamente cómo se toman las decisiones en algoritmos. La IA de «caja negra» carece de transparencia, lo cual conduce a riesgos como el sesgo algorítmico, la discriminación potencial y resultados inexactos. Desafortunadamente, es difícil detectar estos factores de riesgo hasta que ya hayan generado problemas.

Cuando la IA en el sector de la salud falla: ¿quién es responsable?

Ante un fallo de IA en un procedimiento médico ¿a quién se responsabiliza? Recordemos que la IA es esencialmente un programa de computadora. Puede ser avanzado, pero sigue siendo código, como cualquier otro software. Dado que la IA no tiene conciencia ni es autónoma como un ser humano, no puede ser llamada a rendir cuentas por los accidentes que pueda causar. No puede ser arrestada ni llevada a juicio.

Cuando el culpable es el desarrollador de IA

Los fallos de la IA en la salud a menudo son responsabilidad del desarrollador de la IA o del profesional de la medicina que supervisa el procedimiento. La parte responsable de un accidente puede variar dependiendo de las circunstancias de cada caso.

Por ejemplo, el desarrollador sería probablemente el culpable si los sesgos de los datos llevan a que una IA genere decisiones o tratamientos injustos, inexactos o discriminatorios. El desarrollador es el responsable de garantizar que la IA funcione como se espera y provea a los pacientes la mejor atención posible. Si la IA falla debido a negligencia, imprudencia o errores por parte del desarrollador, el profesional médico no sería responsable.

Cuando el médico es el culpable

Sin embargo, también es posible que tanto el profesional médico como el paciente sean los culpables del fallo de la IA. Por ejemplo, el desarrollador puede haber hecho todo correctamente, proporcionado instrucciones detalladas al médico y haber identificado todos posibles riesgos. Sin embargo, cuando llega el momento del procedimiento, el médico podría estar distraído, fatigado, o simplemente ser negligente.

Diversas encuestas señalan que más del 40% de los médicos experimentan agotamiento laboral, lo que puede llevar al descuido, reflejos retardados y una deteriorada recuperación de información. Si el médico no maneja correctamente sus propias necesidades físicas y psicológicas provocando un accidente, entonces él es el culpable.

Dependiendo de las circunstancias, incluso el empleador del profesional médico podría ser acusado por fallos de la IA en el ámbito de la salud. Por ejemplo, si un gerente de hospital amenaza a un médico con no otorgarle un ascenso si no acepta trabajar horas extras, provocando un estado de agotamiento físico y mental en el médico, entonces este gerente se convertiría en el responsable.

Cuando el paciente es el responsable

¿Qué ocurre cuando tanto el desarrollador de la IA como el profesional médico han actuado correctamente? Cuando el paciente utiliza una herramienta de IA de manera incorrecta el accidente puede ser su culpa. Un fallo de la IA no siempre es resultado de un error técnico. También puede ser ocasionado por el mal uso de estas herramientas.

Por ejemplo, es posible que un médico explique detalladamente cómo utilizar una herramienta de la IA a su paciente, pero el paciente ignora las instrucciones de seguridad o introduce datos incorrectos. Si este uso incorrecto desemboca en un accidente entonces es culpa del paciente. En este caso, la responsabilidad del uso correcto de la IA recae en el paciente.

Incluso cuando los pacientes entienden sus propias necesidades médicas, pueden optar por no seguir las instrucciones del médico por distintas razones. Por ejemplo, el 24% de los estadounidenses que toman medicamentos recetados reporta dificultades para cubrir los costos de sus medicamentos.

Si el fallo de la IA conduce a un accidente y no fue consecuencia del mal uso por parte del paciente, la responsabilidad podría recaer en una tercera parte. En última instancia, depende del contexto en que el accidente haya ocurrido y de la fuente del error.

Regulaciones y soluciones posibles

¿Hay formas de prevenir los fallos de la IA en el ámbito de la salud? Si bien ningún proceso médico está completamente libre de riesgos, existen formas de minimizar la probabilidad de resultados adversos.

Las regulaciones sobre el uso de la IA en la atención sanitaria pueden salvaguardar a los pacientes de riesgos elevados vinculados a tratamientos y procedimientos basados en IA. La Administración de Alimentos y Medicamentos de Estados Unidos (FDA) ya cuenta con un marco regulatorio para los dispositivos médicos de IA. Este marco especifica los requisitos de pruebas y seguridad, y el proceso de revisión. Además, es probable que en los próximos años, las organizaciones líderes en supervisión médica también comiencen a regular el uso de datos de pacientes con algoritmos de IA.

Además de establecer regulaciones estrictas, justas y detalladas, los desarrolladores de IA deben adoptar medidas para prevenir escenarios donde la IA pueda fallar. La IA explicable, conocida también como IA de «caja blanca», podría solucionar los problemas de transparencia y sesgo en los datos. Los modelos de IA explicables son algoritmos en desarrollo que permiten a los desarrolladores y usuarios entender la lógica del modelo de IA.

Cuando los desarrolladores de IA, los médicos y los pacientes pueden entender cómo llega la IA a sus conclusiones, resulta mucho más fácil identificar los sesgos en los datos. Los médicos también pueden detectar con mayor rapidez información faltante o inexactitudes objetivas. Al adoptar IA explicables en lugar de IA de «caja negra», los desarrolladores y proveedores sanitarios pueden incrementar la confiabilidad y efectividad de estas herramientas de IA aplicadas a la medicina.

La IA segura y eficaz en el ámbito de la salud

La IA puede transformar y mejorar el desempeño, la seguridad y la efectividad de las diversas funciones dentro de sector de la salud e incluso puede salvar vidas. Aunque el uso de la IA siempre conllevará ciertas incertidumbres, los desarrolladores y organismos de salud pueden tomar medidas para minimizar dichos riesgos. Cuando los fallos de la IA en el ámbito de la salud ocurren, la identificación del responsable probablemente será determinada por la fuente de error del accidente.