La IA ha ocupado los titulares de OSINT en los últimos meses a medida que los actores de amenazas se dirigen a los sistemas de IA y aprovechan cada vez más la IA en sus técnicas de ataque. Microsoft se ha basado en informes recientes de ciberataques que utilizan IA y grandes modelos lingüísticos (LLM) de toda la comunidad de seguridad para destacar las tendencias emergentes.
Lee el libro blanco de Microsoft, Protecting the Public from Abusive AI-Generated Content, para saber más sobre cómo Microsoft está fomentando una acción rápida por parte de los responsables políticos, los líderes de la sociedad civil y la industria tecnológica contra el contenido abusivo generado por IA.
Tendencias en tipos de ataque y objetivos
La IA como señuelo en los ciberataques
Las amenazas se aprovechan cada vez más del interés generalizado por la inteligencia artificial para elaborar sofisticados esquemas de phishing y campañas de malware. Estas campañas a menudo implican la creación de herramientas de IA falsas, la suplantación de software de IA legítimo o el uso de temas relacionados con la IA para engañar a los usuarios para que descarguen cargas útiles maliciosas.
En agosto de 2024, TrendMicro identificó una campaña en la que los ciberdelincuentes secuestraban páginas legítimas de redes sociales, les cambiaban el nombre para que parecieran editores de fotos de IA y las utilizaban para publicar enlaces maliciosos. Estos enlaces redirigían a los usuarios a sitios web falsos donde se les pedía que instalaran malware camuflado como el editor de fotos.
Bitdefender identificó una serie de campañas 2024 en las que los ciberdelincuentes difundían ladrones de información a través del programa de anuncios patrocinados de Meta haciéndose pasar por software de IA generativa popular como Midjourney, Sora, DALL-E 3 y ChatGPT. Además, los actores de la amenaza utilizaban vídeos e imágenes generados por IA para aumentar la legitimidad de la página.
En julio de 2024, los investigadores de seguridad de Cyble identificaron una campaña que aprovechaba la marca de la aplicación de inteligencia artificial Sora para crear sofisticadas campañas de phishing. Esta campaña utilizaba varios vectores de infección, como sitios de phishing y cuentas de redes sociales comprometidas, para desplegar malware de robo de información y minería de criptomonedas.
En mayo de 2024, Proofpoint informó de que un probable actor de amenazas afiliado a China utilizó señuelos de phishing con temática de IA para atacar a expertos en IA en Estados Unidos. La campaña incluía la distribución de una variante del troyano de acceso remoto (RAT) Gh0st, diseñado específicamente para filtrar información confidencial relacionada con tecnologías de IA generativa.
Generative AI’s growing role in crafting content for traditional cyberattacks
Los actores de las amenazas aprovechan cada vez más la IA generativa para mejorar las técnicas convencionales de ciberataque, como el spear-phishing, la ingeniería social y la distribución de malware. La IA funciona como un multiplicador de fuerza para escalar y refinar los ciberataques.
Microsoft, en colaboración con Open AI, informó sobre la utilización de grandes modelos lingüísticos (LLM) por parte de actores de amenazas norcoreanos e iraníes para generar contenido de spear-phishing. Estos correos electrónicos están diseñados para engañar a objetivos específicos, como expertos regionales o activistas destacados, lo que demuestra el uso estratégico de la IA generativa en las operaciones cibernéticas de los Estados-nación.
En su Informe sobre tendencias de amenazas de correo electrónico: Q2 2024, el Grupo de Seguridad VIPRE señaló que los correos electrónicos generados por IA ahora representan casi el 40 por ciento de los intentos de compromiso de correo electrónico empresarial (BEC). Las amenazas utilizan la IA para crear correos electrónicos de phishing más convincentes y personalizados, lo que aumenta significativamente la sofisticación y la eficacia de estos ataques.
CloudSEK ha observado que los actores de amenazas abusan de los vídeos de YouTube generados por IA para distribuir malware de robo de información. Los vídeos suelen hacerse pasar por tutoriales sobre cómo descargar versiones crackeadas de software, utilizan personajes de IA y se distribuyen en varios idiomas. Los personajes de IA están diseñados para parecer más fiables y familiares, lo que ayuda a los autores de amenazas a eludir la detección al tiempo que aumentan las posibilidades de atraer con éxito a los usuarios para que descarguen el malware.
La IA generativa como arma informativa
Los actores de las amenazas de los Estados-nación están aprovechando activamente la IA generativa para generar contenidos diseñados para manipular la opinión pública, incluyendo texto, audio, vídeo e imágenes. Desde los vídeos deepfake hasta el contenido generado por IA en las redes sociales, la IA desempeña un papel clave en la difusión de desinformación, propaganda o contenido polarizador a una escala sin precedentes, influyendo en el discurso público y en las elecciones. El año pasado, el Centro de Análisis de Amenazas de Microsoft (MTAC) catalogó más de cien casos en los que Rusia, Irán y China emplearon IA en campañas de propaganda y desinformación.
El Grupo de Análisis de Amenazas (TAG, por sus siglas en inglés) de Google ha observado que Dragonbridge, una red de influencia favorable a la República Popular China, utiliza herramientas de IA generativa para crear vídeos e imágenes que apoyen sus narrativas. Este contenido se difunde a través de múltiples plataformas de medios sociales en muchos idiomas diferentes. A pesar de sus esfuerzos por mejorar el contenido con anfitriones e imágenes generados por IA, la participación general con este contenido sigue siendo baja, lo que indica que la IA por sí sola no garantiza el éxito en las campañas de propaganda.
El Centro de Análisis de Amenazas de Microsoft (MTAC) publicó un informe en el que se detallan las actividades maliciosas de los agentes de influencia rusos, rastreados por Microsoft como Storm-1679 y Ruza Flood (anteriormente Storm-0199), para socavar los Juegos Olímpicos de 2024 en París. Los actores utilizaron una mezcla de propaganda facilitada por IA generativa a través de plataformas de redes sociales para lanzar una serie de campañas de influencia contra Francia, el presidente francés Emmanuel Marcon, el Comité Olímpico Internacional (COI) y los Juegos de París 2024.
En el informe electoral más reciente de Microsoft, el MTAC señaló que había encontrado pruebas que indicaban que los sitios de noticias encubiertos gestionados por Irán y dirigidos a grupos de votantes estadounidenses estaban utilizando servicios basados en IA para plagiar al menos parte de su contenido de publicaciones estadounidenses. El examen realizado por el MTAC del código fuente de las páginas web y de los indicadores de los propios artículos sugiere que los operadores de los sitios utilizan probablemente plugins de optimización de motores de búsqueda (SEO) y otras herramientas generativas basadas en IA para crear títulos de artículos, palabras clave y reformular automáticamente el contenido robado de forma que atraiga tráfico de motores de búsqueda a sus sitios mientras se oculta la fuente original del contenido.
Secuestro de recursos de los sistemas LLM y AI
Los actores de amenazas venden cada vez más LLM y sistemas de IA no autorizados a otros ciberdelincuentes, aprovechando una táctica conocida como secuestro de recursos. En este contexto, el secuestro de recursos implica explotar los recursos computacionales de entornos en la nube comprometidos para ejecutar modelos de IA caros, como los alojados en AWS Bedrock, Anthropic y otras plataformas. Estos adversarios utilizan credenciales robadas de la nube para obtener acceso no autorizado, lo que les permite descargar el coste y las demandas de recursos de los sistemas operativos de IA en las víctimas. Es posible que los atacantes no utilicen ellos mismos los modelos de IA, sino que vendan el acceso a otros delincuentes, que luego utilizan los recursos comprometidos para diversos fines ilícitos, como la extracción de datos, el fraude basado en IA o nuevos ciberataques. Esto no solo provoca pérdidas económicas sustanciales para las víctimas debido a los elevados costes operativos de estos servicios de IA, sino que también degrada gravemente el rendimiento y la disponibilidad de los sistemas comprometidos.
En mayo de 2024, el equipo de investigación de amenazas de Sysdig observó un ataque en el que actores maliciosos utilizaban credenciales robadas en la nube para atacar servicios LLM en un proceso denominado LLMjacking, con la intención de vender el acceso a estos modelos o explotarlos para obtener beneficios económicos. Realizaron un reconocimiento estratégico en varios servicios de IA, incluidos AWS Bedrock, OpenAI, MakerSuite, Mistral y Anthropic, para verificar las capacidades de acceso sin activar las alarmas. En el ataque se utilizó un proxy inverso de OpenAI para gestionar las credenciales comprometidas y monetizar potencialmente el acceso robado.
Los investigadores de Lacework Labs publicaron un informe en junio de 2024 sobre actividades de reconocimiento y escalada de privilegios que condujeron al secuestro de recursos de AWS Bedrock, una aplicación de IA generativa. Se llevaron a cabo actividades de sondeo adicionales en AWS Cost Explorer, lo que puede indicar que los actores de amenazas están rastreando el consumo o haciendo esfuerzos para evadir la detección manteniéndose dentro de los parámetros de costes.
Los actores de la amenaza y sus tácticas
Los informes de OSINT sugieren que tanto los actores de amenazas con motivación económica como los patrocinados por el Estado han integrado la IA en sus tácticas, técnicas y procedimientos (TTP). Los ciberdelincuentes por motivos económicos aprovechan la IA para mejorar la eficacia de sus ataques automatizando tareas como el phishing y la ingeniería social para aumentar su alcance y sus tasas de éxito.
Los actores estatales aprovechan la IA para reforzar la complejidad y sofisticación de sus operaciones cibernéticas, como la elaboración de campañas de operaciones de influencia más convincentes, el desarrollo de malware, la generación y el perfeccionamiento de secuencias de comandos, la ingeniería social y el reconocimiento.
El doble uso de la IA por parte de estas diferentes categorías de actores pone de relieve cómo la IA sirve de multiplicador de fuerzas para los actores de ciberamenazas, permitiendo ataques más precisos, escalables y persistentes que desafían las defensas de ciberseguridad.
Más información:
To find resources about the Microsoft Responsible AI Standard, read Microsoft’s Responsible AI principles and approach.
For the latest security research from the Microsoft Threat Intelligence community, check out the Microsoft Threat Intelligence Blog
To get notified about new publications and to join discussions on social media, follow us on LinkedIn and on the Microsoft Threat Intelligence account at X (formerly Twitter).
To read the latest OSINT about cyber threats, including those leveraging AI, check out Microsoft Defender Threat Intelligence.
To hear stories and insights from the Microsoft Threat Intelligence community about the ever-evolving threat landscape, listen to the Microsoft Threat Intelligence podcast.
Referencias
- Protecting the Public from Abusive AI-Generated Content. Microsoft (accessed 2024-09-16)
- Social Media Malvertising Campaign Promotes Fake AI Editor Website for Credential Theft. TrendMicro (accessed 2024-09-16)
- AI meets next-gen info stealers in social media malvertising campaigns. Bitedefender (accessed 2024-09-16)
- Threat Actors Exploit Sora AI-themed Branding to Spread Malware. CYBLE (accessed 2024-09-16)
- Security Brief: Artificial Sweetner: SugarGh0st RAT Used to Target American Artificial Intelligence Experts. ProofPoint (accessed 2024-09-16)
- Staying ahead of threat actors in the age of AI. Microsoft (accessed 2024-09-16)
- VIPRE’s Email Threat Trends Report: Q2 2024. VIPRE (accessed 2024-09-16)
- Rise in Threat Actors Using AI-Generated Youtube Videos. CloudSEK (accessed 2024-09-16)
- Google disrupted over 10,000 instances of DRAGONBRIDGE activity in Q1 2024. Google (accessed 2024-09-16)
- How Russia is trying to disrupt the 2024 Paris Olympic Games. Microsoft (accessed 2024-09-16)
- Iran steps into US election 2024 with cyber-enabled influence operations. Microsoft (accessed 2024-09-16)
- LLMjacking: Stolen Cloud Credentials Used in New AI Atack. sysdig (accessed 2024-09-16)
- Detecting AI resource-hijacking with Composite Alerts. LACEWORK (accessed 2024-09-16)
- New Microsoft whitepaper shares how to prepare your data for secure AI adoption. Microsoft (accessed 2024-09-16)
- How Microsoft discovers and mitigates evolving attacks against AI guardrails. Microsoft (accessed 2024-09-16)