Identity Threat Defense

4 formas en las que la IA generativa transforma la ingeniería social

Share with your network!

El correo electrónico es el principal vector de amenazas. Sin embargo, cada vez más vemos la necesidad de incluir las redes sociales, los mensajes SMS y las llamadas de voz en la formación en ciberseguridad. ¿Por qué? Porque la IA generativa (GenAI) está transformando la ingeniería social, y los ciberdelincuentes la utilizan para usurpar la identidad de personas o de personalidades.  

Los atacantes pueden utilizar la IA generativa para crear imágenes, texto, audio y vídeo, y poner en marcha convincentes estafas para robar datos personales, financieros y confidenciales. Pueden automatizar sus operaciones y aumentar las probabilidades de éxito. Y pueden adaptar y distribuir ataques a través de una gran variedad de canales, como aplicaciones de mensajería, plataformas de redes sociales, llamadas telefónicas y, por supuesto, el correo electrónico. 

El estudio realizado en el marco del informe State of the Phish de Proofpoint reveló que el 58 % de las personas que realizaron una acción peligrosa en 2023 pensaba que su comportamiento los ponía en peligro. Esto nos lleva a hacernos una pregunta clave: Cuando recibe un mensaje (instantáneo, directo en redes sociales, de vídeo o de correo electrónico), ¿puede estar seguro de que el remitente es quien dice ser? En un mundo en el que los ciberdelincuentes utilizan IA generativa, por supuesto que no 

En este artículo, examinamos cuatro formas en que los ciberdelincuentes utilizan esta potente tecnología para engañar a las personas. 

  1. Estafas conversacionales convincentes 
  2. Contenido manipulado (deepfake) realista 
  3. Ataques Business Email Compromise (BEC) personalizados 
  4. Perfiles y publicaciones falsas automatizadas  

1: Estafas conversacionales convincentes 

Los ciberdelincuentes utilizan IA generativa para diseñar estafas enormemente convincentes que imitan las interacciones humanas. Los modelos de procesamiento del lenguaje natural (NLP) les ayudan a generar mensajes personalizados. Entre los modelos NLP más populares se incluyen los basados en redes neuronales (RNN), los basados en transformador (como GPT-3) y los secuencia a secuencia. 

Aunque los señuelos que utilizan los atacantes varían, todos tienen como objetivo iniciar una conversación con el destinatario y ganarse su confianza. Los ciberdelincuentes pueden interactuar con la víctima elegida durante semanas o meses para establecer una relación con el objetivo de convencer a esa persona para que envíe dinero, invierta en una plataforma de criptomonedas falsa, comparta información financiera o realice alguna otra acción.    

Cómo funciona  

Los ciberdelincuentes recopilan grandes conjuntos de datos de conversaciones basadas en texto de fuentes como las redes sociales, las aplicaciones de mensajería, los registros de chat, las fugas de datos y las interacciones con los servicios de atención al cliente. Utilizan los conjuntos de datos para entrenar modelos NLP que comprendan y generen textos similares a los humanos basándose en instrucciones de entrada. Los modelos aprenden a reconocer patrones, comprender el contexto y generar respuestas que suenen naturales.  

Una vez que hayan entrenado un modelo de NLP, los actores de las amenazas podrían utilizarlo para generar mensajes basados en texto para estafar a sus víctimas. Las conversaciones pueden imitar a personas o patrones de lenguaje específicos, o generar respuestas adaptadas a escenarios de estafa habituales. Esto hace que a las personas les resulte difícil distinguir entre comunicaciones legítimas y falsas en plataformas sociales como Instagram, aplicaciones de mensajería como WhatsApp y sitios web de citas como Tinder. 

Cómo puede Proofpoint ayudarle a mitigar este riesgo 

Proofpoint Security Awareness ofrece contenidos educativos oportunos sobre las tendencias de las amenazas. Esto incluye una campaña de dos semanas con formación como "Attack Spotlight: estafas conversacionales", que ayuda a los usuarios a reconocer y evitar estos timos. 

2: Contenido manipulado (deepfake) realista 

Los ciberdelincuentes pueden utilizar IA generativa para crear deepfakes que representen falsamente a personas diciendo o haciendo cosas que nunca hicieron. Los atacantes utilizan modelos avanzados de aprendizaje automático para crear contenido falso de gran realismo que se asemejan al aspecto, voz o gestos de la persona.  

Cómo funciona  

Los ciberdelincuentes recopilarán un conjunto de datos de imágenes, grabaciones de audio o vídeos en los que aparezca la persona cuyo parecido quieren imitar. Utilizan el conjunto de datos para entrenar al modelo de IA generativa y crear contenido falso, como imágenes o vídeos. El modelo puede evaluar la autenticidad de su propio contenido.  

Un modelo popular es el la red generativa antagónica (GAN). Puede generar deepfakes cada vez más verosímiles al ir mejorando y optimizando sus técnicas. Por ejemplo, puede ajustar los parámetros del modelo, aumentar el conjunto de datos de entrenamiento o perfeccionar el proceso de entrenamiento. Para aumentar aún más el realismo del deepfake, los atacantes podrían utilizar técnicas de posprocesamiento como ajustar la iluminación y el color o añadir pequeñas imperfecciones.  

Los deepfakes puede ser herramientas extremadamente poderosas en ataques con intenciones maliciosas. Por ejemplo, los ciberdelincuentes pueden utilizar deepfakes de voz para suplantar la identidad de seres queridos. Por citar un ejemplo, tenemos el célebre timo telefónico, en el que un atacante se hace pasar por el hijo o el nieto de una persona solicitando dinero para una emergencia.  

Al igual que una huella dactilar, la huella vocal es única para cada persona. Los ciberdelincuentes pueden extraer la biometría de una pequeña muestra de contenido multimedia, como mensajes de voz, vídeos grabados y podcasts para imitar la voz de una persona mediante la IA generativa.  

Cómo puede Proofpoint ayudarle a mitigar este riesgo 

Contamos con una campaña completa de concienciación en materia de seguridad centrada en las tendencias de deepfake. Incluye vídeos de formación cortos, un juego interactivo y un artículo del tipo "3 principales cosas a tener en cuenta". También emitimos alertas oportunas cuando los analistas de Proofpoint detectan un importante ataque mediante deepfake, como una reciente estafa financiera ocurrida durante el primer trimestre en Hong Kong

3: Ataques BEC personalizados 

En nuestro informe State of the Phish 2024, indicamos la probabilidad de que la IA generativa ayude a los ciberdelincuentes a ejecutar ataques BEC, sobre todo en países no angloparlantes. Los ataques BEC van en aumento en países como Japón, Corea y los Emiratos Árabes Unidos, países que los atacantes habían evitado en el pasado debido a barreras lingüísticas, diferencias culturales o falta de visibilidad.  

En las estafas BEC suelen utilizarse tácticas de suplantación de la identidad. Los ciberdelincuentes se hacen pasar por personas de confianza, como los ejecutivos de una empresa. Su objetivo es engañar a los empleados para que realicen acciones inseguras como transferir dinero o divulgar datos confidenciales.  

En la actualidad los ciberdelincuentes pueden contenido generado mediante IA generativa para mejorar estos ataques. Pueden, por ejemplo, escribir en muchos idiomas de manera convincente. También pueden mejorar la calidad de los mensajes al tiempo que los crean de manera más rápida.  

Cómo funciona 

La IA generativa aprende patrones y relaciones en un conjunto de datos de contenido creado por personas, y sus etiquetas correspondientes. A continuación, utiliza los patrones aprendidos para generar nuevo contenidos. Con IA generativa, los atacantes pueden acelerar y automatizar la creación de mensajes de ingeniería social personalizados para cada destinatario, y de manera muy convincente.  

Por ejemplo, pueden utilizar IA generativa para redactar mensajes de correo electrónico y de texto falsos que imiten el estilo, tono y firma de una persona suplantada. Pueden utilizar el modelo de IA para automatizar la creación de estos mensajes de phishing y generar rápidamente un gran volumen adaptados a los destinatarios elegidos. Esto dificulta la evaluación de la autenticidad de los mensajes.  

Los deepfakes también pueden jugar un papel en este contexto. Los ciberdelincuentes podrían dar credibilidad a sus solicitudes falsas mediante el seguimiento con mensajes de voz falsificados, llamadas telefónicas o mensajes de vídeo que parecen ser de un ejecutivo de la empresa dando instrucciones o autorizando transacciones. 

Cómo puede Proofpoint ayudarle a mitigar este riesgo 

Nos centramos en la concienciación sobre la seguridad frente a ataques BEC y ofrecemos una amplísima variedad de contenido que va desde vídeos interactivos a sketches humorísticos en vivo o animaciones de un minuto. Los analistas de amenazas de Proofpoint informan en nuestras alertas de amenazas semanales sobre los ataques BEC reales, como la redirección de nóminas y las facturas fraudulentas.  

4: Perfiles y publicaciones falsas automatizadas  

Hablamos de cómo la IA generativa produce imágenes, audio y vídeos realistas de individuos reales. Los ciberdelincuentes también pueden utilizar modelos de IA para crear identidades falsas con el fin de suplantar su identidad en las redes sociales y en las plataformas de noticias. Y pueden utilizar modelos de IA para automatizar la creación de grandes volúmenes de cuentas, artículos, gráficos, comentarios y mensajes falsos.  

Cómo funciona  

Con una formación mínima, los modelos de IA generativa pueden analizar los datos disponibles públicamente y los perfiles de las redes sociales y adaptar esa información a casos de uso específicos. Los modelos pueden: 

  • Imitar el estilo y el tono de las comunicaciones legítimas de fuentes fiables. 
  • Traducir y localizar texto en varios idiomas. 
  • Ocuparse de tareas repetitivas, como responder a mensajes.  

Los ciberdelincuentes pueden utilizar identidades falsas para coincidir con los intereses de sus objetivos. Por ejemplo, podrían automatizar el proceso de creación de perfiles en plataformas como Facebook, Instagram, foros de sitios web y aplicaciones de citas. También podrían utilizar modelos de IA para procesar rápidamente los datos de las conversaciones en las redes sociales y redactar automáticamente respuestas convincentes. Su objetivo es establecer una amplia gama de relaciones a través de las cuales poder aprovechar las vulnerabilidades y la confianza de las personas.  

Con la IA, los ciberdelincuentes podrían llevar a cabo estas actividades maliciosas a gran escala. Eso aumenta sus posibilidades de éxito con objetivos como difundir bulos o desinformar e influir en los debates online. 

Cómo puede Proofpoint ayudarle a mitigar este riesgo 

Proofpoint Security Awareness ofrece formación continua sobre ingeniería social junto con advertencias oportunas de los analistas sobre la suplantación de identidad en las redes sociales. Nuestro material incluye artículos y vídeos siempre actualizados sobre cómo evitar y burlar a los ciberdelincuentes y alertas semanales de amenazas sobre ataques recientes a GitHub, LinkedIn y X.  

¡Consiga nuestro kit gratuito! La IA generativa requiere una formación multifacética 

En todos estos escenarios, los ciberdelincuentes utilizan IA generativa para fingir (de forma realista y convincente) ser alguien que no son. Manipulan la psicología humana con ingeniería social. Y eso lleva a las personas a realizar acciones inseguras como hacer clic en enlaces maliciosos, divulgar información personal o transferir fondos.  

Es esencial abordar la educación en seguridad con una mentalidad crítica y mantenerse informado sobre las amenazas emergentes y las contramedidas. Enseñar a los usuarios los riesgos de la IA generativa requiere un enfoque multifacético de la concienciación en seguridad. La formación es especialmente importante para los empleados que manejan transacciones financieras o datos sensibles. 

En Proofpoint, utilizamos nuestra inteligencia sobre amenazas, líder en el sector, para crear formación sobre seguridad, materiales y simulaciones de phishing en torno a las amenazas del mundo real. Ofrecemos formación a través de una plataforma de aprendizaje adaptable, que es una escala continua y progresiva, que abarca desde hábitos básicos hasta los conceptos avanzados. Este enfoque ayuda a garantizar que las personas reciban formación sobre los temas y con el nivel de dificultad más adecuado a sus necesidades. 

Cubrimos los temas de tendencia (deepfakes y estafas conversacionales) en nuestro Kit del mes para la concienciación en ciberseguridad 2024 gratuito, así es que le recomendamos que le eche un vistazo.