‘Trolls’, odio y propaganda: así está la inteligencia artificial incendiando las redes y la democracia

Los ataques de desinformación con inteligencia artificial (IA) serán casi diarios en 2024, y este es sólo el principio de una escalada mucho mayor. Es la predicción de un estudio publicado hace unos meses en la revista científica PNAS Nexus. Varios informes revelan ahora cómo esta tecnología ya se está usando. ¿Qué impacto puede tener en mayor año electoral de la historia, con elecciones en Estados Unidos, Francia, Reino Unido o India? ¿Cuáles son las principales operaciones en curso? ¿Quiénes están detrás?

Para entenderlo, el estudio mira primero las conexiones de los actores maliciosos, aquellos que difunden contenido extremo contra alguna causa. Los investigadores, de la Universidad George Washington, mapearon las dinámicas entre estas comunidades en múltiples plataformas digitales: desde Facebook, VKontakte (su equivalente rusa) y Twitter hasta comunidades especializadas en Telegram y en otras plataformas más de nicho como Rumble, Bitchute, Gab o Minds.

Al contrario de lo que supone la Unión Europea sobre las grandes plataformas, el estudio señala que son  estas últimas, más pequeñas, las que desempeñan un papel clave: “Son numerosas, muchas de ellas están basadas en vídeo y tienen una alta actividad de hipervinculación”. Además, los grupos extremistas tienden a formarse y sobrevivir más tiempo en estas plataformas gracias a su mayor laxitud o ausencia de moderación de contenido.

Una vez puesta en marcha, la interconexión facilita que la desinformación rebote dentro de cada plataforma y de una a otra. El alcance puede ser mucho más alto si el contenido llega hasta las grandes plataformas: el impacto potencial es de hasta mil millones de personas.

La hipótesis de la Reina Roja

Los grupos maliciosos también propician que el uso de la IA se extienda en estos entornos. Su impacto supone un doble efecto multiplicador: primero, los algoritmos de las redes sociales y plataformas de contenido escalaron el alcance y abarataron difundir desinformación, y ahora la IA generativa reduce aún más el coste de producirla.

Las escaladas que se vieron durante la pandemia y la invasión rusa de Ucrania “podrían llevarse a otro nivel”, apunta el estudio. Basta con que un miembro de un grupo malicioso ejecute una versión rudimentaria de ChatGPT (como GPT-2) en su portátil para generar tendencias artificiales o manipular la conversación online. El mayor impacto se da mediante operaciones organizadas, por ejemplo, a través del astroturfing (campañas en redes que simulan ser movimientos sociales espontáneos) o mediante granjas de clics y trolls, donde se venden clics y cuentas falsas.

Hasta ahora, esas cuentas falsas o bots se limitaban a publicar posts o comentarios creados por una persona o un programa en las granjas de trolls. La IA generativa facilita su trabajo, ya que los grandes modelos de lenguaje (LLM) mejoran la calidad del texto automatizado, haciéndolo realista, convincente y muy difícil de identificar como artificial. Estos modelos también pueden usarse para desarrollar software, por lo que codificar bots es más rápido y sencillo.

El estudio predice cómo puede escalarse el contenido malicioso impulsado por IA, a quiénes podría afectar más y con qué intensidad y frecuencia podría producirse. Lo hace inspirándose en una idea de la biología evolutiva: la hipótesis de la Reina Roja, que explica que las especies deben adaptarse para evitar su extinción. Gracias a la IA, los bots automatizados mejoran para sobrevivir al cribado de las herramientas de moderación de contenido y de los usuarios.

La escalada se produce al usar la IA para generar contenido constantemente, automatizar su compartición y las respuestas y aprovechar la interconexión de los grupos para propagarse y llegar a plataformas más grandes. Basándose en esta teoría, los investigadores realizaron predicciones sobre los picos de actividades maliciosas impulsadas por IA generativa en los mercados financieros y en sectores de infraestructura en Estados Unidos.

Según sus estimaciones, entidades financieras como JP Morgan o Bank of America son más vulnerables a ataques en comparación con otras como American International Group. Los ataques son cada vez más frecuentes e intensos. Lo mismo sucede en el caso de la infraestructura, donde los objetivos más frecuentes e intensos son la electrónica de alta tecnología, los medios de comunicación y la tecnología de la información. Los modelos sugieren que ambos sectores sufrirán ataques antes que el resto y de forma más frecuente en un futuro cercano.

De la teoría a la práctica

Más allá de las predicciones, los planteamientos del estudio del PNAS ya se ven en el mundo real. Así lo reflejan un informe publicado en enero por el Servicio Europeo de Acción Exterior (SEAE) y otro de OpenAI de hace escasas semanas. El Segundo informe sobre manipulación de información extranjera y amenazas de interferencia del SEAE habla del uso de IA generativa en este tipo de operaciones. Lo califica como “una evolución más que una revolución”, cuyo uso “no supone (todavía) la mayor amenaza”.

Hay muchos ejemplos. Algunos son un vídeo alterado que promovía un golpe de Estado en Ucrania; un falso vídeo de la presidenta moldava, Maia Sandu, publicada por supuestas cuentas oficiales del Gobierno, y audios que imitaban a políticos del Reino Unido y Eslovaquia. Hay otros casos de los que se han hecho eco los medios de comunicación, como la falsa llamada de Joe Biden para pedir la abstención a los votantes de New Hampshire. También falsos presentadores de noticias que hablaban en India de injerencia electoral de Estados Unidos, o un avatar de IA para dulcificar la imagen del ministro de Defensa de Indonesia, Prabowo Subianto, acusado de violaciones a los derechos humanos en Timor Oriental y Papúa Occidental.

El uso de la IA para manipular elecciones puede estar más extendido de lo que creemos. En las elecciones al Parlamento Europeo del pasado junio, el contenido reportado como “generado por IA” representó un 2,2% de la desinformación en TikTok, YouTube, Facebook e Instagram, según un análisis de la Fundación Maldita. No obstante, es difícil detectar textos producidos con IA y existen muchas más plataformas. Además, el objetivo del estudio no era analizar el uso de la IA en estas campañas sino evaluar cómo estaban respondiendo estas plataformas a los contenidos desinformativos en el proceso electoral. 

Según el SEAE, el uso de IA en estas campañas se centra en crear contenido y en establecer legitimidad. Su objetivo es que sea creíble y que su distribución parezca orgánica. Aunque el contenido generado por IA podría aumentar la credibilidad de los ataques, sus formas de distribución no auténticas persisten, por lo que, según el informe, respuestas existentes como las medidas antispam siguen siendo aplicables. Por ello, ven más plausible un escenario en el que se explote la idea de la amenaza de la IA generativa para ganar notoriedad en los medios de comunicación..

Otro escenario pinta el análisis de OpenAI, la empresa creadora de ChatGPT. Durante meses trabajó contra operaciones de influencia encubierta para contrarrestar a los actores maliciosos que buscan usar los modelos de IA generativa de la compañía. Entre las operaciones detectadas se encuentran campañas vinculadas a operadores de Rusia, China, Irán, además de una empresa comercial de Israel.

El análisis se centra en “intentos engañosos de manipular la opinión pública o influir en los resultados políticos sin revelar la verdadera identidad o intenciones de los actores detrás de ellos”. Y no sólo confirma el uso de la IA generativa en estas operaciones, sino que usa prácticamente las mismas palabras que el SEAE sobre esta tendencia: “Un panorama de amenazas marcado por la evolución, no por la revolución”.

Los sospechosos habituales 

OpenAI destaca cinco campañas. La primera es una operación rusa bautizada como Bad Grammar. Opera principalmente en Telegram y tiene como objetivo Ucrania, Moldavia, los Estados bálticos y Estados Unidos. “Las personas detrás de Bad Grammar usaron nuestros modelos para depurar código y ejecutar un bot de Telegram para crear comentarios políticos breves en ruso e inglés, que luego se publicaron en Telegram”, dice el informe.

Le han apodado así (bad grammar significa ‘mala gramática’) por la gramática incorrecta de sus publicaciones en inglés. Estos se centran en temas como la inmigración y las dificultades económicas, y también en las noticias de última hora. Usan el contexto de la actualidad para argumentar, por ejemplo, que Estados Unidos no debería apoyar a Ucrania. A veces incluso generan comentarios con puntos de vista contradictorios, tal vez —según OpenAI— para promover la división.

Captura de mensajes difundidos por la campaña Bad Grammar. Fuente: informe de Open AI

Las otras cuatro campañas analizadas por la compañía son Doppelganger (también de Rusia), Spamouflage (China), International Union of Virtual Media (Irán) y STOIC (Israel). En ellas se ha usado la IA generativa en diferentes procesos. Desde generar comentarios en varios idiomas y publicarlos en diversas plataformas, hasta traducir y editar artículos en sitios web vinculados a cada operación, generar titulares y convertir dichos artículos en publicaciones de Facebook. Incluso para generar falsas fotos de perfil y para crear código para administrar bases de datos y webs. 

Con base en esto, OpenAI identifica cuatro tendencias. Una es la generación de contenido “en mayores volúmenes y con menos errores de idioma de los que hubieran sido posibles sólo con operadores humanos”. Otra consiste en combinar la IA generativa con métodos más comunes, como memes copiados de internet o textos manuales. Las otras dos pasan por usar la IA para crear una falsa apariencia de participación en redes —generando respuestas a sus propias publicaciones— y ganar productividad interna.

Es decir, que podemos ver un post en Twitter, Telegram o Facebook publicado por una IA, usando una cuenta falsa con una foto creada también con IA, en el que otra responde y genera conversación artificial. Ese post puede estar basado, a su vez, en un artículo creado por otra IA y saltar a distintas plataformas gracias a un software programado con código generado también por IA.

Pese a ello, OpenAI asegura que “estas campañas no parecen haber aumentado significativamente la participación o el alcance de su audiencia” por usar sus servicios. Para evaluarlo, no obstante, han empleado una métrica cuestionada por varios motivos. Entre otros, porque las operaciones con un público objetivo limitado pero importante pueden impactar en él sin necesidad de irrumpir en otras comunidades (algo que confirma el estudio de PNAS). Por ejemplo, hay operaciones que buscan generar división entre unidades de un ejército enemigo, por lo que basta con alcanzar a un grupo en una plataforma o comunidad online donde se comuniquen. Además, faltan herramientas para investigar operaciones multiplataforma y en comunidades cerradas o aplicaciones de mensajería privada como WhatsApp o Telegram.

De Robert Kennedy Jr. a la ultraderecha española

La repercusión de las campañas de influencia encubiertas depende mucho de los algoritmos de las redes, que cada vez son menos sociales. Si inicialmente mostraban contenido de amigos, seguidores y cuentas afines, ahora priorizan lo recomendado, es decir, lo más popular: lo más clicado y comentado. Los grupos maliciosos usan las granjas de clics y trolls para inflar sus publicaciones con la ayuda de IA generativa.

En esta estrategia es crítico el factor humano: quién se hace eco de la propaganda para potenciar su efecto y legitimar mensajes y cuentas falsas. “Las tropas cibernéticas a menudo trabajan con organizaciones de la sociedad civil, subculturas de internet, grupos de jóvenes, colectivos de hackers, movimientos marginales, personas influyentes en las redes sociales y voluntarios que apoyan ideológicamente una causa”, señala el Inventario global 2020 de manipulación organizada de redes sociales, realizado por investigadores del Oxford Internet Institute (OII).

En total, identificaron veintitrés países donde tanto el Gobierno como actores no estatales (políticos, partidos y contratistas privados, grupos paramilitares y de resistencia…) trabajaron con grupos de la sociedad civil para difundir propaganda computacional en Twitter, Facebook o Instagram. En otros 51 se usaron perfiles de personas influyentes con el mismo fin.

España es uno de esos países. El informe cita algunos casos de influencers de extrema derecha denunciados por la organización estadounidense Avaaz, dedicada al activismo, por intento de manipulación durante la campaña electoral de abril de 2019. Se menciona, por ejemplo, a Javier Ramón Capdevila Grau, acusado de coordinar al menos diez páginas de Facebook dedicadas a difundir el mismo contenido divisivo de forma indiscriminada. Esta táctica de manipulación se conoce como “comportamiento no auténtico coordinado”, y combina cuentas de redes sociales auténticas, falsas y duplicadas para operar de forma maliciosa.

Avaaz también identifica otro perfil de Facebook bajo el nombre de Antonio Leal Félix Aguilar. Se le asocia con la coordinación de páginas de características similares, con contenidos antiinmigración, anti-LGBT, antiislam y antifeministas, entre otros. Las páginas denunciadas, bajo nombres como Todo por España, Barcelona se queda en España, Todos Contra Pedro Sánchez o Jóvenes Anti-Podemos, acumularon en total casi 1,7 millones de seguidores y unos siete millones de interacciones en tres meses. Tras recibir la denuncia de Avaaz, y tan sólo cinco días de las elecciones de abril de 2019, Facebook bloqueó la mayoría de ellas, pero los implicados han creado nuevas cuentas en la red social.

Mayor alcance tienen los influencers estadounidenses Robert Kennedy Jr. y Jackson Hinkle. Kennedy es un sobrino conspiranoico del expresidente asesinado que este año se presenta a las elecciones en Estados Unidos. Hinkle, por su parte, es un joven comentarista político que tiene un programa de televisión y se autodefine como “comunista MAGA”, un supuesto marxista-leninista conservador a favor del “Make America Great Again”, el lema de campaña de Donald Trump en 2016. Cada uno tiene más de 2,5 millones de seguidores y cuentan con publicaciones con miles e incluso millones de interacciones.

Carlos Galán, profesor experto en ciberinteligencia de la Universidad de Nebrija y de la Universidad Carlos III, asegura que Kennedy y Hinkle son dos de los personajes influyentes “a los que se ha acercado el Kremlin” y que “han acabado desplegando narrativas prorrusas”. Galán, que vivió varios años en Rusia, asegura que esta estrategia comenzó cuando salió a la luz que el país usaba proxies informativos: medios supuestamente independientes como New Eastern Outlook (NEO), que dicen lo mismo de RT y Sputnik, periodistas inventados o supuestos think tanks serios, como el Strategic Culture Foundation. 

NEO y otros medios han sido vetados y sancionados tanto por la Comisión Europea como por el Gobierno estadounidense por ser “medios de desinformación respaldados por el Kremlin” en su “campaña internacional sistemática de desinformación”. Como la actividad de rastreo no cesa, los propagandistas rusos han recurrido a nuevas estrategias, por ejemplo, con perfiles menos reconocidos que pueden serles útiles si les dan un micrófono, explica Galán. Entre ellos asegura que hay también españoles, aunque prefiere no señalar. Son los amplificadores del Gobierno ruso, una pieza más de su sistema de propaganda.

Estos actores también usan la IA generativa para sus fines, “con mucho impacto”, dice Galán. Por ejemplo, el think tank Ruso Rybar la ha usado para crear un cómic sobre Maxim Kuzminov, el piloto ruso que desertó a Ucrania en 2023 y fue asesinado en España en febrero de este año. El cómic, distribuido en Twitter o Telegram, cuenta en tono heróico la historia de los sicarios que lo mataron. 

El profesor también señala que los influencers recurren con frecuencia a la IA y manipulan imágenes. De igual manera, inflan su popularidad con bots automatizados, como muestra una investigación de Cyabra, una herramienta de IA que busca actores engañosos, redes de bots y contenido malicioso de IA generativa. 

El análisis de Cyabra se centra en cómo se usan las redes de bots para amplificar el alcance de influencers estadounidenses controvertidos. Entre ellos, uno de los que señala Galán: Jackson Hinkle. La conclusión: el 40,5% de los seguidores del comentarista político estadounidense son cuentas falsas, el 25% de los perfiles que comentan su contenido son falsos, y muchos interactúan entre sí y conforman comunidades falsas para amplificar su contenido. De hecho, Hinkle ha sido bloqueado en YouTube, Twitch e Instagram por difundir información engañosa, y los medios oficiales rusos se hacen eco de sus mensajes.

Más allá de Rusia, otros países como Estados Unidos, Israel, el Reino Unido y China forman parte de los 51 países donde, según el OII, se recurre a personajes populares o influencers para amplificar mensajes en redes sociales. En los cinco, además, se usan organizaciones de la sociedad civil de forma instrumental. En los países democráticos, son los partidos políticos quienes más recurren a estas prácticas, mientras que “las estrategias gubernamentales de manipulación son en gran medida encubiertas” y externalizadas.

Medidas para actuar desde ya

¿Cómo abordar entonces el problema? La dinámica fusión-fisión podría tener una clave, según el estudio publicado en PNAS. Los investigadores predicen la interacción de los grupos maliciosos que usan IA y los resultados de una agencia externa que intenta controlarlos. En este caso, la fusión es el proceso en el que grupos pequeños se unen para formar uno grande, y la fisión vendría a ser lo contrario. El estudio explora cómo estos grupos se agregan (por ejemplo, mediante sus interconexiones) o desagregan (por discrepancias o por la presencia de un moderador). Su conclusión es que la mejor estrategia para controlarlos es dividirlos, en lugar de eliminarlos, algo más difícil y controvertido ya que puede percibirse como censura.

Hay muchas otras medidas prácticas que pueden implementarse. Una es multar a las plataformas que no eliminen contenido falso ya verificado o cuentas falsas reportadas e identificadas. Otras son obligarlas a invertir en mecanismos de detección, encontrar a quienes crean y propulsan el contenido engañoso para contenerlo, y reforzar la moderación en pequeñas comunidades de redes sociales. Esto último es parte de la filosofía de algunas redes sociales descentralizadas como Mastodon, Discord o Nos, pero no es suficiente.

La Ley de Servicios Digitales de la Comisión Europea, en vigor desde febrero, también incluye medidas para combatir los contenidos ilícitos (noticias falsas, propaganda, incitación al odio, acoso y abuso a menores). En concreto, obliga a las plataformas a “reaccionar rápidamente ante ellos y permitir que los usuarios alerten de dichos contenidos”, a incluir en las herramientas de moderación de contenidos la opción de impugnar las decisiones, y a aumentar la transparencia de los algoritmos. Las plataformas que no cumplan se arriesgan a multas de hasta un 6% de su volumen de negocios, en el caso de las más grandes.

La propia IA también puede ser parte de la solución. Tanto el SEAE como OpenAI enfatizan las ventajas de usar esta tecnología como herramienta para quienes luchan contra operaciones de influencia encubierta, a quienes puede ayudar a programar, redactar, investigar e interferir con dichas operaciones. Además, están apareciendo nuevas herramientas informáticas que automatizan parte de este trabajo, o que asisten en tareas como la verificación.

No faltan ejemplos de uso de la IA generativa para manipular la opinión pública con desinformación, discursos de odio online y propaganda engañosa. Este gran año electoral global genera el caldo de cultivo perfecto para ello, si bien su empleo aún no se ha generalizado. Por el momento, se usa sobre todo para generar contenido engañoso, deepfakes y código informático, mejorar la credibilidad de los mensajes y publicaciones, y apoyar el astroturfing y el trabajo de fábricas de clics y bots y redes de influencers. 

Las herramientas gratuitas reducen a mínimos el coste de producir contenido manipulativo, lo cual permite escalarlo. Ese efecto también favorece la hiperconexión de las operaciones de influencia encubierta. El impacto más o menos limitado que el uso de esta tecnología ya está teniendo no es excusa para no actuar. Parafraseando a Lisa Gilbert, vicepresidenta de la organización Public Citizen, no necesitamos esperar a ver cuántas personas han sido engañadas para entender que ese era el objetivo, y hacer algo al respecto.