Los ciberdelincuentes no descansan y desde inicios de año exhiben una tendencia preocupante para implementar ataques más sofisticados y audaces e, incluso, sumar nuevas armas como DeepSeek y Qwen.
DeepSeek es una startup china de inteligencia artificial que, en principio, generó mucho revuelo desde su lanzamiento gracias al anuncio de DeepSeek-R1, un modelo de IA de código abierto que sorprendió a propios y extraños por la eficiencia de los resultados que brinda y el bajo costo energético que demanda.
A partir de estas características, se posicionó como una alternativa a los modelos de IA de gigantes como OpenAI e, incluso, generó una caída significativa en la capitalización de mercado de grandes empresas tecnológicas estadounidenses por ofrecer sus servicios a una fracción del precio que cobran estas firmas.
No obstante, países como los Estados Unidos e Italia, expresaron sus preocupaciones sobre la seguridad y privacidad de los datos al usar DeepSeek. Incluso, el estado norteamericano de Texas, por ejemplo, ya prohibió su uso en dispositivos gubernamentales.
Qwen, por su parte, también es un modelo de inteligencia artificial multimodal desarrollado en este caso por Alibaba Cloud, el brazo tecnológico del gigante del ecommerce chino Alibaba.
En su caso, su salida generó revuelo porque permite procesar y generar texto, imágenes, audio y video. Y, como DeepSek, también es de código abierto, característica que permite a cualquier persona acceder al código fuente y utilizarlo o modificarlo libremente.
Advierten que ciberdelincuentes ya aprovechan DeepSeek y Qwen para desarrollar contenido malicioso
La compañía Check Point Research (CPR) descubrió que ciberdelincuentes ya aprovechan ambos modelos para desarrollar contenido malicioso.
Alejandro Botter, Security Engineering Manager Latin America de CPR, le contó a iProUP que poco después del lanzamiento de los modelos de IA DeepSeek y Qwen, la firma fue testigo de cómo los cibercriminales cambiaban rápidamente de ChatGPT a estas nuevas plataformas para desarrollar contenido malicioso.
iProUP: ¿Cómo los cibercriminales aprovechan los modelos de IA y qué técnicas utilizan para la creación de contenido malicioso?
Los actores de amenazas están compartiendo cómo manipular los modelos y mostrar contenido sin censura, lo que en última instancia permite a los piratas informáticos y delincuentes utilizar la IA para crear contenido malicioso.
Existen muchos métodos para eliminar los censores de los modelos de IA, algo que se conoce como jailbreaking. Sin embargo, ahora vemos guías detalladas sobre métodos de jailbreaking, eludir las protecciones antifraude y desarrollar malware en sí.
Los actores de amenazas aprovechan ahora estos modelos avanzados para desarrollar contenido dañino, manipular funcionalidades de IA a través de técnicas de jailbreaking y llevar a cabo delitos cibernéticos sofisticados.
-¿Cómo Qwen y DeepSeek se comparan con ChatGPT en términos de disposiciones anti-abuso?
Tanto Qwen como DeepSeek demostraron potencial como herramientas poderosas para crear contenido malicioso con restricciones mínimas.
Si bien ChatGPT ha invertido sustancialmente en disposiciones anti-abuso durante los últimos dos años, estos modelos más nuevos parecen ofrecer poca resistencia al uso indebido, lo que atrae un aumento del interés de diferentes niveles de atacantes, especialmente los poco capacitados: personas que explotan scripts o herramientas existentes sin un conocimiento profundo de la tecnología subyacente.
Es fundamental destacar que, a pesar de los mecanismos anti-abuso de ChatGPT, ya hay versiones sin censura de ChatGPT disponibles en varios repositorios en Internet. A medida que estos nuevos modelos de IA ganen popularidad, se prevé que surjan instancias similares sin censura de DeepSeek y Qwen, algoque aumentará aún más los riesgos involucrados.
El jailbreak se refiere a métodos que permiten a los usuarios manipular modelos de IA para generar contenido sin censura ni restricciones.
Esta táctica se convirtió en una técnica preferida por los cibercriminales, ya que les permite aprovechar las capacidades de la IA con fines maliciosos.
-¿Es posible evadir las protecciones bancarias mediante la manipulación de estos modelos?
Ya se han encontrado múltiples discusiones y técnicas compartidas sobre el uso de DeepSeek para evadir las protecciones antifraude del sistema bancario, algo que indica la posibilidad de un robo financiero significativo.
Por otro lado, los cibercriminales utilizan tres modelos de IA (ChatGPT, Qwen y DeepSeek en conjunto) para solucionar problemas y optimizar los scripts de distribución masiva de spam, mejorando así la eficiencia de sus actividades maliciosas.
-¿Cuáles son las nuevas amenazas a partir de estas herramientas avanzadas de IA?
El auge de modelos como Qwen y DeepSeek marca una tendencia preocupante en el panorama de las amenazas cibernéticas, en el que se explotan cada vez más herramientas sofisticadas con fines maliciosos.
A medida que los actores de amenazas utilizan técnicas avanzadas como el jailbreaking para eludir las medidas de protección y desarrollar ladrones de información, robo financiero y distribución de spam, la urgencia de que las organizaciones implementan defensas proactivas contra estas amenazas en evolución garantiza defensas sólidas contra el posible uso indebido de las tecnologías de IA.
En medio de la carrera por desarrollar y lanzar nuevos modelos GenAI, se debe priorizar la seguridad, o las organizaciones seguirán estando expuestas a riesgos inaceptables. Nosotros, desde Check Point Research seguiremos monitoreando las formas en que los actores de amenazas están aprovechando GenAI y otras tecnologías emergentes para causar daños.