En el Instituto de Robótica de la Universidad Carnegie Mellon, un grupo de expertos ha concebido una innovación tecnológica denominada FRIDA, que es un brazo mecánico dotado con un pincel. Esta herramienta utiliza la inteligencia artificial (IA) con el fin de cooperar con las personas en la ejecución de proyectos artísticos.
La investigación nombrada como “FRIDA: un autómata artista colaborador con un entorno de planificación diferenciable Real2Sim2Real” será expuesta en la Conferencia Internacional IEEE 2023 sobre Robótica y Automatización a celebrarse en mayo.
Explorando la IA y la creatividad con FRIDA
Peter Schaldenbrand, doctorando en el Instituto de Robótica de la Facultad de Informática, ha trabajado con FRIDA desarrollando un estudio entre la IA y el arte.
“Hay una pintura de una rana danzante que quedó excepcional”, Comentó. “Es realmente gracioso y animado, de hecho, fue muy entretenido observar la sorpresa de lo que FRIDA generó a partir de mis contribuciones”.
FRIDA es una sigla que significa Iniciativa Marco y Robótica para el Desarrollo de las Artes y se debe a Frida Kahlo.
Dicha indagación fue gestionada por Schalderbrand, en compañía de los docentes de RI Jean Oh y Jim McCaam, y ha cautivado a estudiantes e investigadores de todo CMU.
Herramienta colaborativa, no un generador de arte
Los usuarios pueden direccionar a FRIDA proporcionando una descripción textual, aportando otras piezas de arte para influir su estilo o cargando una instantánea y solicitándole que pinte una representación de tal. El equipo está también evaluando la posibilidad de realizar la entrada de datos mediante sonidos.
“FRIDA es un sistema robótico de pintura, sin embargo, FRIDA no está destinado a crear arte”, continuó Schalderbrand. “FRIDA no está formulando las ideas para transmitir. FRIDA es un mecanismo con el que los artistas pueden colaborar. El artista puede especificar objetivos generales para FRIDA y luego FRIDA puede llevarlos a cabo”.
Para plasmar una imagen, el robot utiliza modelos de IA equiparables a los que impulsan ChatGPT y DALL-E 2 de OpenAI, que producen texto o una imagen ante un prompt. FRIDA simula cómo pintaría una imagen con trazos y utiliza aprendizaje automático para evaluar su avance en la realización de la obra.
Los resultados finales de FRIDA son caprichosos e impresionistas. Los trazos son audaces y carecen de la precisión que comúnmente se busca en los proyectos robóticos.
«FRIDA es un proyecto que explora la convergencia de la creatividad humana y robótica», añadió McCann. «Frida está implementando el tipo de modelos de IA diseñados para hacer cosas como subtítulos de imágenes y comprender el contenido de la escena y lo aplica a este problema artístico generativo».
FRIDA utiliza la inteligencia artificial y el aprendizaje automático en múltiples ocasiones durante su proceso de creación de arte. Primero, dedica una hora o más dominando el uso de su pincel. Entonces, aplica modelos de inteligencia visual que han sido entrenados en conjuntos de datos masivos que combinan texto e imágenes extraídas de Internet, como el Entrenamiento Conjunto de Contraste Lenguaje-Imagen (CLIP) de OpenAI, para entender la entrada de datos.
Uno de los desafíos técnicos más relevantes al producir una imagen física es salvar la brecha entre la simulación y la realidad, que es la diferencia entre lo que FRIDA crea en la simulación y lo que pinta en el soporte físico. FRIDA utiliza un enfoque conocido como real2sim2real, donde los trazos reales del robot se utilizan para entrenar al simulador para que refleje e imite las capacidades físicas del robot y los materiales de pintura.
Ahora, el equipo de FRIDA se dispone a solventar algunas de las limitaciones de los modelos actuales de visión y lenguaje mediante la mejora continua de los que utilizan. Alimentaron a los modelos con títulos de noticias para dotarlos de conocimiento sobre lo que está sucediendo en el mundo y los entrenaron aún más en imágenes y textos que son más representativos de diversas culturas, con el objetivo de evitar una inclinación estadounidense u occidental.
LEE MÁS ARTÍCULOS SOBRE: Arte y Creatividad con IA.
LEE LA ENTRADA ANTERIOR: Actualizaciones más grandes en aprendizaje automático, robótica y automatización.