¿Kendrick Lamar, Will Smith, Kobe Bryant? El “deepfake” ya consigue obras maestras

“I am. All of us”. Yo soy. Todos nosotros.

Con estas palabras empieza el videoclip de la quinta parte de la serie de singles “The Heart”, de Kendrick Lamar. Fue publicado el pasado 8 de mayo, cinco días antes de lo que todo el mundo esperaba, precisamente, como agua de mayo: un nuevo disco del aclamado rapero y referente del conscious hip hop tras cinco años de silencio.

El álbum “Mr Morale & The Big Steppers” cumple con nota todas las expectativas de los que aguardaban. También lo hace ese preámbulo, “The Heart Part 5”, y el vídeo que lo acompaña, que no entraña exclusivamente calidad musical: también maestría tecnológica. El videoclip arranca con un Lamar cabizbajo, de gesto abatido y ceño entristecido o preocupado. Camiseta blanca, pañuelo negro al cuello y un fondo neutro en granate. Plano fijo. El californiano empieza a meterse en la canción y a soltar las palabras como si le quemaran.

Pero, de pronto, el artista ya no es él.

Tras un gesto súbito, sus rasgos se transforman en otros archiconocidos: el exjugador de fútbol americano O. J. Simpson entona desde el cuerpo de Kendrick Lamar. A lo largo de más de cinco minutos de pista, intercalados con el propio Lamar, en la pantalla van apareciendo Kanye West, Will Smith, Jussie Smollett y Kobe Bryant, que cantan a la cultura afroamericana, el racismo y la violencia. “Yo me transformo”, que diría Rosalía.

El vídeo lo corona el rostro de Nipsey Hussle, rapero y amigo de Lamar asesinado en 2019 a sangre fría, una tragedia que conmocionó a la comunidad norteamericana y al propio Lamar. “To my brother, to my kids, I’m in Heaven / To my mother, to my sis, I’m in Heaven / To my father, to my wife, I am serious, this is Heaven (...) And to the killer that sped up my demise / I forgive you, just know your soul’s in question / I seen the pain in your pupil when that trigger had squeezed”.

Para entenderlo bien y quedarse embobado, hay que verlo.

Ya lo había avisado el bueno de Kendrick al principio del vídeo: “Yo soy. Todos nosotros”. No es la primera vez que juega a transformar la realidad: en el epílogo de su álbum “To Pimp A Butterfly” (2015) simula una entrevista con Tupac Shakur, intercalando sus preguntas con extractos de una entrevista al difunto rapero en una radio sueca en 1994. Pero, para que lo sea a este nivel de proeza audiovisual, la tecnología ha tendido su arsenal más avanzado de herramientas creativas: los deepfakes.

Un deepfake es un vídeo real que ha sido manipulado con tecnología basada en inteligencia artificial (IA) para suplantar imágenes verdaderas por otras falsas, con la intención de que el espectador no lo note. “Deep” viene de deep learning (aprendizaje profundo), un tipo de algoritmos de machine learning (aprendizaje automático); todos, términos tecnológicos de moda bajo el paraguas de la IA.

“La mayor parte de modelos de IA son de tipo discriminativo. Por ejemplo, pueden decidir entre fotos de perros y gatos si el ejemplo es de un animal u otro. Pero en los ‘deepfakes’ se utilizan redes neuronales específicas: las GAN, redes generativas adversariales o antagónicas”, explica Antonio Zarauz, investigador en deep learning, doctorando en Matemáticas en la Universidad de Almería (UAL) y científico de datos sénior en EPAM Systems.

Cuando estas redes neuronales se “entrenan” surgen maravillas como el videoclip de Lamar. De manera muy simplificada, es como si esa IA se dividiera en dos agentes: un generador, que crea imágenes, y un discriminador, que tiene que compararlas con otras reales para averiguar si son verdaderas o falsas. “Esas redes se entrenan en bancos de datos tan inmensamente grandes que el generador produce unas imágenes de tantísima calidad que es prácticamente imposible para la máquina y el humano discernir entre realidad y mentira”, indica Zarauz.

Seguramente, si viéramos un clip aislado del vídeo de Lamar de una de sus transformaciones habríamos podido pensar que era un vídeo real. Para hacer la transformación en sí, hay distintos modelos: uno se encarga de generar la nueva cara que va a reemplazar la anterior, en este caso basada en miles de datos de imágenes de Will Smith o Nipsey Hussle, y otro “pone las chinchetas: se delimita el área del rostros y regiones específicas como el mentón o las cejas”, añade Zarauz.

Para comprenderlo de verdad, analicemos un caso que todos tenemos en la cabeza: ¿recuerdan cuando el año pasado Lola Flores revivió para recordarnos que debíamos estar orgullosos de nuestro acento?

En 2021, la cervecera Cruzcampo lanzó una campaña que no dejó indiferente a nadie: Lola Flores, “La Faraona”, fallecida en 1995, volvía a la pantalla. La tecnología deepfake hizo posible que pareciera que su mensaje había sido una entrevista real. Detrás de ello estuvo la agencia publicitaria Ogilvy, el estudio de efectos especiales y posproducción Metropolitana, un casting para elegir a la actriz que más encaja con la cantante y 5000 imágenes de Lola Flores con las que se alimentó el modelo de inteligencia artificial.

Pero no todo es trabajo de la máquina: “Hay que hacer muchísimos ajustes artesanales de la imagen para que encaje perfectamente. El software genera una careta, pero tienes que conseguir que se fusione bien con el resto del cuerpo. Hicimos ajustes en el peinado, el cuello, las orejas, los ojos… Es un trabajo de orfebrería”, detalla uno de los creadores del proyecto, Nico Roig, Cgi-Artist –artista de imágenes generadas por ordenador– de Metropolitana. Después del de la bailaora, han realizado cuatro deepfakes más, entre ellos para devolver a la pantalla a Salvador Dalí y Cantinflas. “Todo el mundo nos pregunta cómo lo hacemos. Hay una especie de aura de dios, como si fuera posible revivir a las personas”, relata Roig.

En el caso del videoclip de Lamar, detrás está el estudio de deepfakes Deep Voodoo, de los creadores de “South Park”, Trey Parker y Matt Stone. “Es un proyecto muy bien ejecutado en cuanto a la iluminación, que es una de las mayores dificultades del ‘deepfake’. Tiene mucho mérito reproducir a los distintos personajes con la luz concreta en la que se ha grabado a Kendrick y su tono de piel, porque dependes de las tomas que tienes del personaje a replicar”, alaba Roig.

Cuando se consigue este nivel de perfección, la potencialidad creativa del deepfake no tiene límites. En “The Heart Part 5”, a Lamar le sirve para hacer más poderoso su mensaje y que la crítica o la emoción que transmite cada línea concreta de la canción se sustente en una transformación que la refuerza.

Recurso ya validado para la publicidad y el marketing o para recuperar a personajes fallecidos tanto en música como en cine, Roig de Metropolitana anuncia otras muchas posibilidades de los deepfakes: “Estamos empezando a hablar de dobles digitales para famosos que no pueden estar presentes todas las horas en un rodaje y tienen un sustituto, al que luego le reemplazan el rostro por el del actor. También valdría para dobles de acción, para grabar en localizaciones alejadas o poco accesibles, y para doblar a otros idiomas y que no se noten incoherencias en los labios”. Vimos ejemplos durante la pandemia, como un anuncio de la plataforma de streaming Hulu, que utilizó algoritmos deepfake para poner la cara del jugador de baloncesto Damian Lillard, que estaba aislado en una burbuja de la NBA, en un actor.

Dimosthenis Karatzas, director asociado del Centro de Visión por Computador de la Universidad Autónoma de Barcelona, afina su potencial como generador de nuevas imágenes. “Una imagen son solo números, píxeles, valores de rojo, azul y verde. Una manera posible de generar una descripción compacta de lo que hay dentro de la imagen es diseñar una red neuronal que en su entrada tiene millones de píxeles y en su salida otros valores codificados”, detalla. Entonces, “una IA que se nutre y mapea datos de entrada y de salida, puede generar imágenes nuevas”, ejemplifica Karatzas.

Con esto juega la conocida página web This person does not exist. Puedes aburrirte de refrescar la página: cada vez aparece una fotografía de una persona que no existe y cuyo rostro ha sido generado con inteligencia artificial. Técnicamente, no son deepfakes ya que no son vídeos manipulados, pero son imágenes escalofriantemente reales.

Como en toda tecnología, sus bondades o maldades dependen del uso. En el caso de los deepfakes, el vídeo de Lamar es un ejemplo de cómo aprovechar su potencial para crear una obra de arte, pero también pueden usarse para suplantar identidades, por ejemplo con fines políticos. Karatzas afirma que “lo más importante no es tanto lo que pase en el mundo tecnológico, sino educar a la gente a saber distinguir y hacer su propia verificación”.

En esto trabajan desde Maldita Tecnología, detectando la desinformación y explicando a la sociedad cómo pueden evitar ser manipulados. “De momento prácticamente no llegan bulos apoyados en vídeos manipulados con inteligencia artificial. Suelen ser intentos más burdos, como vídeos ralentizados o con subtítulos o audios falsos. Pero puede que en el futuro tengamos que enfrentarnos a otro tipo de desinformación”, indica Naiara Bellio, coordinadora de Maldita Tecnología en Maldita.es.

Sí hay algunos casos aislados. El más reciente, el vídeo del presidente de Ucrania, Volodímir Zelenski, en el que afirmaba que retiraba sus tropas ante la ofensiva rusa y se rendía. “Era un ‘deepfake’ bastante malo: el cuello y el cuerpo de Zelenski estaban totalmente estáticos y solo se le movía la cara. Por eso fue fácil desmontarlo y no llegó a viralizarse con credibilidad”, explica Bellio.

Lejos de un entorno controlado, como un videoclip musical, ¿cómo podemos saber si estamos ante un vídeo manipulado?. “Lo primero es el sentido común. Después, analizamos el canal, que es lo que más pistas nos puede dar. No es lo mismo ver un ‘deepfake’ en un usuario en Twitter que no conocemos que en una cuenta verificada, o en una cadena de WhatsApp alarmista que en un mensaje de alguien de confianza. Del contexto hay que dudar siempre. Después, entraríamos en la verificación de las imágenes”, detalla la coordinadora de Maldita Tecnología.

Para ello, podemos fijarnos en la calidad del vídeo, la rigidez de la postura o la falta de expresividad de la persona, características que suelen darse en los deepfakes de mala calidad. El videoclip de Lamar es todo lo opuesto, pero, además del deleite creativo, también puede cumplir una función didáctica.

“Gracias al anuncio de Lola Flores se habló sobre ‘deepfakes’ durante dos semanas. Si se acerca al público a través de este tipo de ejemplos, el día de mañana será un poco más fácil que sepan reconocer un ‘deepfake’”, añade Bellio. O, al menos, ayuda a tener presente la existencia de este tipo de tecnología. Con el magistral videoclip de Kendrick Lamar, desde luego será difícil olvidar el truco de magia digital de los deepfakes. ∎