NIST advierte sobre ciberamenazas a modelos de IA

Los sistemas de aprendizaje automático son susceptibles a los ciberataques

Los sistemas de aprendizaje automático son vulnerables a ciberataques que podrían permitir a los hackers evadir la seguridad y provocar fugas de datos, advirtieron los científicos del Instituto Nacional de Estándares y Tecnología. No existe una «defensa a prueba de tontos» contra algunos de estos ataques, dijeron los investigadores.

Detalles del nuevo estudio sobre las amenazas del aprendizaje automático

En un nuevo estudio sobre amenazas de aprendizaje automático adversario, los investigadores del NIST detallan las amenazas cibernéticas emergentes a los modelos de IA predictivos y generativos que se derivan del entrenamiento del conjunto de datos, vulnerabilidades en los componentes de software y debilidades en la cadena de suministro.

Ataques de envenenamiento de datos: una amenaza principal

Una de las amenazas más críticas son los ataques de envenenamiento de datos, en los cuales los hackers utilizan datos corruptos para alterar las funciones del sistema. Estas amenazas incluyen tácticas de evasión para comprometer los sistemas de IA ya implementados, ataques que pueden resultar en fugas de información y tácticas de abuso en las que los hackers alimentan información de una fuente comprometida para inducir cambios en los modelos de IA.

Niveles de conocimiento de los hackers

Dijeron los investigadores de NIST que la sofisticación y ejecución de estos ataques varía dependiendo del nivel de conocimiento de los hackers sobre un sistema de IA. NIST clasifica a los atacantes en tres categorías principales: hackers de caja blanca con conocimiento total sobre un sistema de IA, hackers de sandbox con acceso mínimo y hackers de caja gris que pueden tener información sobre los modelos de IA pero carecen de acceso a datos de entrenamiento.

Tácticas de evasión y amenaza a la privacidad de los datos

Utilizando tácticas de evasión, los hackers pueden obtener acceso total a los datos de entrenamiento y pueden consultar las APIs para obtener predicciones de modelos o inducir la clasificación errónea al cambiar las predicciones del modelo de IA. Dichas tácticas pueden utilizarse para alterar las capacidades de clasificación y detección de malware de un modelo de IA, dijeron los investigadores.

Los investigadores del NIST enfatizaron que la inyección de indicaciones para filtrar información sensible sigue siendo la principal amenaza en los ataques a la privacidad. Estos incluyen a los hackers que consultan a los chatbots para divulgar los datos de terceros de los usuarios y engañando a los modelos de IA para revelar información sensible, como credenciales.

Vulnerabilidades de la cadena de suministro de la IA

Los investigadores indicaron que las vulnerabilidades emergentes de las cadenas de suministro de IA, como las bibliotecas de código abierto, son otra posible vía de ataque, que permiten a los atacantes romper la seguridad de los modelos de lenguaje grandes para la ejecución remota de código y la extracción de datos.

Prácticas de higiene necesarias para evitar el uso indebido por parte de los hackers

Los investigadores del NIST recomiendan seguir prácticas de higiene básicas para evitar un posible uso indebido por parte de los hackers, incluyendo asegurar una supervisión humana adecuada mientras se ajustan los modelos, filtrar los datos de entrenamiento para ingresar datos limpios y eliminar muestras envenenadas antes de que se realice el entrenamiento de aprendizaje automático.