Modelos de IA maliciosos encontrados en Hugging Face

Hugging Face, una plataforma de código abierto para modelos de IA y ML, sufrió recientemente una brecha de seguridad relacionada con modelos maliciosos que contenían malware incrustado. Una empresa de investigación en ciberseguridad, ReversingLabs, identificó estas amenazas, que utilizaban la serialización de archivos Pickle para distribuir software dañino de forma inadvertida. El formato Pickle, aunque útil para la serialización de datos en Python, plantea riesgos debido a su potencial para ejecutar código no seguro durante la deserialización, especialmente en entornos abiertos como la plataforma de Hugging Face.

Los investigadores descubrieron que determinados modelos que contenían malware habían eludido los protocolos de seguridad existentes, acuñando el término «nullifAI» para describir esta táctica de evasión. Los modelos maliciosos, almacenados en un formato PyTorch comprimido, eludían la detección de la herramienta Picklescan de Hugging Face, lo que aumentaba el riesgo para los desarrolladores que descargaban estos archivos sin saberlo. Tras este descubrimiento, Hugging Face eliminó los modelos en 24 horas y reforzó sus medidas de seguridad. El incidente subraya la importancia de vigilar la seguridad en las plataformas de código abierto, ya que el creciente uso de la IA y el ML atrae a agentes maliciosos. Se insta a los usuarios a verificar las fuentes y comprobar las vulnerabilidades antes de descargar modelos, mientras que las plataformas deben seguir mejorando los protocolos de seguridad para garantizar la seguridad de los usuarios en el cambiante panorama digital. La colaboración entre desarrolladores, investigadores y proveedores de plataformas es fundamental para fomentar un entorno de IA seguro.

Seguir leyendo [EN]

Filed under
Ciberseguridad
Previous Next
For this post, the comments have been closed.