Manipulación indebida y abusos de los modelos de lenguaje de aprendizaje profundo

Los Modelos de Lenguaje de Gran Escala tienen la capacidad de componer poesía, resolver consultas e incluso redactar código. Sin embargo, con su inmenso poder vienen riesgos inherentes. Los mismos comandos que permiten a los MLGE participar en diálogos significativos pueden ser manipulados con intenciones maliciosas. El hacking, el mal uso y la falta de protocolos de seguridad comprensivos pueden convertir estas maravillas tecnológicas en herramientas de engaño.

Los Avances en IA Generativa y su Potencial Económico

Sequoia Capital predijo que «la IA generativa puede mejorar la eficiencia y creatividad de los profesionales en al menos un 10%. Esto significa que no solo son más rápidos y productivos, sino también más adeptos de lo que se pensaba anteriormente».

Desarrollos clave en la IA Generativa desde 2020 hasta el 2023

Algunos de los avances más importantes en inteligencia artificial generativa incluyen las series de GPT-3 y DALL·E de OpenAI, la herramienta CoPilot de GitHub para codificación, y la serie Make-A-Video para creación de video. Otros modelos significativos como MusicLM, CLIP y PaLM también han emergido. Estos avances provienen de entidades tecnológicas punteras como OpenAI, DeepMind, GitHub, Google y Meta.

Las Capacidades de ChatGPT de OpenAI

El chatbot ChatGPT de OpenAI es conocido por aprovechar las capacidades de los modelos GPT de OpenAI. Aunque ha empleado diversas versiones del modelo GPT, GPT-4 es su iteración más reciente.

GPT-4 es un tipo de MLGE llamado modelo autorregresivo, basado en el modelo de transformadores. Ha sido entrenado con una gran cantidad de texto, como libros, sitios web y retroalimentación humana. Su función básica es predecir la siguiente palabra en una oración después de observar las palabras previas.

La Importancia de las Instrucciones: La Ingeniería de Prompts en IA

Estamos aún aprendiendo qué pueden y qué no pueden hacer los MLGE. Una cosa está clara: la instrucción es muy importante. Pequeñas variaciones en los prompts pueden hacer que el modelo proporcione respuestas muy diferentes, lo que demuestra que los MLGE pueden ser sensibles y, a veces, impredecibles.

Por tanto, crear las instrucciones adecuadas es crucial cuando se utilizan estos modelos. Esto se denomina ingeniería de prompts. Aunque es un campo emergente, es clave para obtener los mejores resultados de los MLGE. Cualquier persona que utilice MLGE necesita comprender bien el modelo y la tarea para crear buenos prompts.

Qué es el Hacking de Prompts

En su esencia, el hacking de prompts implica manipular la entrada a un modelo para obtener un resultado deseado, y a veces no intencionado. Presentando los prompts adecuados, incluso un modelo bien entrenado puede generar resultados engañosos o malintencionados.

La Arquitectura de MLGE y sus Vulnerabilidades

Los MLGE, especialmente aquellos como GPT-4, están construidos sobre una arquitectura Transformer. Estos modelos son vastos, con miles de millones o incluso billones de parámetros. Su gran tamaño les equipa con impresionantes capacidades de generalización, pero también los hace propensos a vulnerabilidades.

Entendiendo el Entrenamiento de los MLGE

Los MLGE pasan por dos etapas principales de entrenamiento: pre-entrenamiento y ajuste fino.

Durante el pre-entrenamiento, los modelos se exponen a cantidades voluminosas de datos de texto, aprendiendo gramática, hechos, sesgos e incluso algunos conceptos erróneos de la web.

En la fase de ajuste fino, son entrenados con conjuntos de datos más estrechos, a veces generados con revisores humanos.

La vulnerabilidad surge porque:

1. Cantidad: Con tantos parámetros, es difícil predecir o controlar todos los resultados posibles.
2. Datos de Entrenamiento: Internet, aunque es un recurso vasto, no está libre de sesgos, desinformación o contenido malicioso. El modelo puede aprender inadvertidamente estos elementos.
3. Complejidad del Ajuste Fino: Los conjuntos de datos estrechos utilizados para el ajuste fino pueden introducir nuevas vulnerabilidades si no se diseñan cuidadosamente.

Métodos de Hacking de Prompts

Ataques de Inyección de Prompts en Modelos de Lenguaje de Gran Escala

Los ataques de inyección de prompts han surgido como una preocupación urgente en el mundo de la ciberseguridad, particularmente con el auge de los Modelos de Lenguaje de Gran Escala como ChatGPT. Aquí se detalla qué implican estos ataques y por qué son un tema de preocupación.

La Interacción entre Entradas de Imagen y Texto en GPT-4v

En una prueba interesante, cuando se proporcionaron directivas contradictorias entre un prompt basado en texto y una instrucción basada en imagen, GPT-4v mostró una clara preferencia hacia la instrucción de la imagen.

Ejemplos de Fugas de Prompts

Exponiendo Prioridades del Sistema: A través de los inputs del usuario, se pueden revelar datos o características no intencionadas. Por ejemplo, si un bot está prohibido de mencionar una determinada ciudad, una reescritura inteligente de una pregunta podría hacer que revele esa ubicación.

Ataques de Jailbreaking / Cambio de Modo

Los modelos de IA como GPT-4 y Claude están volviéndose más avanzados, lo cual es grandioso pero también arriesgado porque las personas pueden hacer un mal uso de ellos. Para hacer estos modelos más seguros, se les entrena con valores humanos y retroalimentación. Incluso con este entrenamiento, existen inquietudes sobre los «ataques de jailbreak».

Estrategias para Proteger los MLGE: Contraatacando el Hacking de Prompts

Conforme el hacking de prompts se convierte en una preocupación creciente, la necesidad de defensas rigurosas es más evidente que nunca. Para mantener seguros a los MLGE y sus salidas creíbles, es importante adoptar un enfoque defensivo de múltiples capas. A continuación, se presentan algunas de las medidas defensivas más sencillas y efectivas disponibles:

A medida que el mundo avanza rápidamente en su utilización de Modelos de Lenguaje de Gran Escala, comprender su funcionamiento interno, vulnerabilidades y mecanismos de defensa es crucial. Los MLGE, ejemplificados por modelos como GPT-4, han remodelado el panorama de la IA, ofreciendo capacidades sin precedentes en el procesamiento de lenguaje natural. Sin embargo, con sus vastos potenciales
vienen riesgos sustanciales.

El hacking de prompts y sus amenazas asociadas resaltan la necesidad de investigación continua, adaptación y vigilancia en la comunidad de IA. Mientras que las estrategias defensivas innovadoras prometen una interacción más segura con estos modelos, la innovación y seguridad en curso subraya la importancia de un uso informado.

Además, a medida que los MLGE continúan evolucionando, es imperativo que investigadores, desarrolladores y usuarios se mantengan informados sobre los últimos avances y posibles dificultades. El diálogo en curso sobre el equilibrio entre la innovación de código abierto y la utilización ética subraya las tendencias más amplias de la industria.