Los creadores de memes y los vendedores ambulantes de información errónea están adoptando herramientas de inteligencia artificial para crear videos falsos convincentes a bajo precio.
No estaría completamente fuera de lugar que Joe Rogan, el comediante convertido en podcaster, respalde una marca de café para hombres que «estimula la libido».
Pero cuando un video que circuló recientemente en TikTok mostró al Sr. Rogan y su invitado, Andrew Huberman, vendiendo café, algunos espectadores con ojos de águila se sorprendieron, incluido el Dr. Huberman.
“Sí, eso es falso”, escribió el Dr. Huberman en Twitter después de ver el anuncio, en el que parece elogiar el potencial del café para aumentar la testosterona, aunque nunca lo hizo.
El anuncio fue uno de un número creciente de videos falsos en las redes sociales hechos con tecnología impulsada por inteligencia artificial. Los expertos dijeron que la voz del Sr. Rogan parecía haber sido sintetizada usando A.I. herramientas que imitan las voces de las celebridades. Los comentarios del Dr. Huberman fueron extraídos de una entrevista no relacionada.
Hacer videos falsos realistas, a menudo llamados deepfakes, alguna vez requirió un software elaborado para poner la cara de una persona en la de otra. Pero ahora, muchas de las herramientas para crearlos están disponibles para los consumidores cotidianos, incluso en aplicaciones para teléfonos inteligentes y, a menudo, por poco o nada de dinero.
Los nuevos videos alterados, en su mayoría, hasta ahora, el trabajo de creadores de memes y vendedores, se han vuelto virales en sitios de redes sociales como TikTok y Twitter. El contenido que producen, a veces llamado falsificación barata por los investigadores, funciona mediante la clonación de voces de celebridades, la alteración de los movimientos de la boca para que coincida con el audio alternativo y la escritura de diálogos persuasivos.
Los videos y la tecnología accesible detrás de ellos tienen algo de I.A. los investigadores están preocupados por sus peligros y han planteado nuevas preocupaciones sobre si las empresas de redes sociales están preparadas para moderar la creciente falsificación digital.
Los vigilantes de la desinformación también se están preparando para una ola de falsificaciones digitales que podrían engañar a los espectadores o dificultar saber qué es verdadero o falso en línea.
“Lo que es diferente es que todos pueden hacerlo ahora”, dijo Britt Paris, profesora asistente de biblioteconomía y ciencias de la información en la Universidad de Rutgers, quien ayudó a acuñar el término “falsificaciones baratas”. “No se trata solo de personas con tecnología computacional sofisticada y conocimientos computacionales bastante sofisticados. En cambio, es una aplicación gratuita”
Montones de contenido manipulado han circulado en TikTok y en otros lugares durante años, generalmente usando trucos más caseros como una edición cuidadosa o el intercambio de un clip de audio por otro. En un video en TikTok, la vicepresidenta Kamala Harris parecía decir que todos los hospitalizados por covid-19 estaban vacunados. De hecho, dijo que los pacientes no estaban vacunados.
Graphika, una firma de investigación que estudia la desinformación, detectó falsificaciones profundas de presentadores de noticias ficticias que las cuentas de bots pro-China distribuyeron a fines del año pasado, en el primer ejemplo conocido del uso de la tecnología para campañas de influencia alineadas con el estado.
Pero varias herramientas nuevas ofrecen una tecnología similar a los usuarios de Internet cotidianos, lo que brinda a los comediantes y partisanos la oportunidad de hacer sus propias parodias convincentes.
El mes pasado, circuló un video falso que mostraba al presidente Biden declarando un borrador nacional para la guerra entre Rusia y Ucrania. El video fue producido por el equipo detrás de «Human Events Daily», un podcast y transmisión en vivo dirigido por Jack Posobiec, un influyente de derecha conocido por difundir teorías de conspiración.
En un segmento que explica el video, el Sr. Posobiec dijo que su equipo lo había creado usando A.I. tecnología. Un tuit sobre el video de The Patriot Oasis, una cuenta conservadora, usó una etiqueta de noticias de última hora sin indicar que el video era falso. El tuit fue visto más de ocho millones de veces.
Muchos de los videoclips que presentaban voces sintetizadas parecían usar tecnología de ElevenLabs, una empresa emergente estadounidense cofundada por un ex ingeniero de Google. En noviembre, la empresa presentó una herramienta de clonación de voz que se puede entrenar para replicar voces en segundos.
ElevenLabs atrajo la atención el mes pasado después de que 4chan, un tablero de mensajes conocido por su contenido racista y conspirativo, usó la herramienta para compartir mensajes de odio. En un ejemplo, los usuarios de 4chan crearon una grabación de audio de un texto antisemita usando una voz generada por computadora que imitaba a la actriz Emma Watson. Motherboard informó anteriormente sobre el uso de la tecnología de audio por parte de 4chan.
ElevenLabs dijo en Twitter que introduciría nuevas medidas de seguridad, como limitar la clonación de voz a las cuentas pagas y proporcionar una nueva inteligencia artificial. herramienta de detección. Pero los usuarios de 4chan dijeron que crearían su propia versión de la tecnología de clonación de voz utilizando un código fuente abierto, publicando demostraciones que suenan similares al audio producido por ElevenLabs.
“Queremos tener nuestra propia IA personalizada con el poder de crear”, escribió un usuario anónimo de 4chan en una publicación sobre el proyecto.
En un correo electrónico, una portavoz de ElevenLabs dijo que la compañía estaba buscando colaborar con otros A.I. desarrolladores para crear un sistema de detección universal que podría adoptarse en toda la industria.
Los videos que usan voces clonadas, creados con la herramienta de ElevenLabs o una tecnología similar, se han vuelto virales en las últimas semanas. Uno, publicado en Twitter por Elon Musk, el propietario del sitio, mostraba una conversación falsa llena de blasfemias entre Rogan, Musk y Jordan Peterson, un activista canadiense por los derechos de los hombres. En otro, publicado en YouTube, Rogan pareció entrevistar a una versión falsa del primer ministro canadiense, Justin Trudeau, sobre sus escándalos políticos.
“La producción de tales falsificaciones debería ser un delito con una sentencia obligatoria de diez años”, dijo Peterson en un tuit sobre videos falsos con su voz. «Esta tecnología es peligrosa más allá de lo creíble».
En un comunicado, una portavoz de YouTube dijo que el video de Rogan y Trudeau no violó las políticas de la plataforma porque “brinda suficiente contexto”. (El creador lo había descrito como un “video falso”). La compañía dijo que sus políticas de desinformación prohibían el contenido manipulado de manera engañosa.
Los expertos que estudian la tecnología deepfake sugirieron que el anuncio falso que presentaba al Sr. Rogan y al Dr. Huberman probablemente se había creado con un programa de clonación de voz, aunque la herramienta exacta utilizada no estaba clara. El audio del Sr. Rogan se empalmó en una entrevista real con el Dr. Huberman sobre la testosterona.
Los resultados no son perfectos. El clip del Sr. Rogan fue tomado de una entrevista no relacionada publicada en diciembre con Fedor Gorst, un jugador de billar profesional. Los movimientos de la boca del Sr. Rogan no coinciden con el audio y, en ocasiones, su voz no suena natural. Si el video convenció a los usuarios de TikTok, fue difícil saberlo: atrajo mucha más atención después de que fue señalado por su impresionante falsedad.
Las políticas de TikTok prohíben las falsificaciones digitales “que engañen a los usuarios al distorsionar la verdad de los hechos y causen un daño significativo al sujeto del video, a otras personas o a la sociedad”. Varios de los videos fueron eliminados después de que The New York Times los señalara a la empresa. Twitter también eliminó algunos de los videos.
Un portavoz de TikTok dijo que la compañía usó “una combinación de tecnología y moderación humana para detectar y eliminar” videos manipulados, pero se negó a dar más detalles sobre sus métodos.
El Sr. Rogan y la empresa que aparece en el anuncio falso no respondieron a las solicitudes de comentarios.
Muchas empresas de redes sociales, incluidas Meta y Twitch, han prohibido las falsificaciones profundas y los videos manipulados que engañan a los usuarios. Meta, propietaria de Facebook e Instagram, realizó una competencia en 2021 para desarrollar programas capaces de identificar falsificaciones profundas, lo que resultó en una herramienta que podría detectarlas el 83 por ciento de las veces.
Los reguladores federales han tardado en responder. Una ley federal de 2019 solicitó un informe sobre el uso de deepfakes como armas por parte de extranjeros, requirió que las agencias gubernamentales notificaran al Congreso si los deepfakes tenían como objetivo las elecciones en los Estados Unidos y creó un premio para alentar la investigación sobre herramientas que podrían detectar deepfakes.
“No podemos esperar dos años hasta que se aprueben las leyes”, dijo Ravit Dotan, un investigador postdoctoral que dirige el Collaborative A.I. Laboratorio de Responsabilidad de la Universidad de Pittsburgh. “Para entonces, el daño podría ser demasiado. Tenemos unas próximas elecciones aquí en los EE. UU. Va a ser un problema”.
