¡El Mayor Cambio En Ciberseguridad Jamás Realizado!

Bienvenido al nuevo y aterrador mundo de la IA generativa y la ciberseguridad

Este es el Día 0 de un nuevo mundo de ciberseguridad. Todo cambia a partir de aquí.

Profesor: Profesor Bill Buchanan OBE

Introducción

Habrá un tiempo antes de la IA generativa (GenAI) en ciberseguridad y un tiempo después. En los últimos dos años, GenAI ha avanzado a pasos agigantados, y donde alguna vez sufrió alucinaciones , adoptó enfoques racistas e intolerantes y, a menudo, fue demasiado asertivo, en ChatGPT 4.5, vemos el surgimiento de un agente amigable y ligeramente sumiso. , y que está ansioso por aprender de nosotros. Este enfoque LLM (Large Language Model) comienza así a derribar las barreras entre humanos y computadoras y brinda la oportunidad de obtener acceso a un nuevo mundo de conocimiento, pero, en las manos equivocadas, traerá muchas amenazas a nuestro mundo actual .

Sin embargo, habrá pocas áreas que se verán más afectadas por el auge de la generación de IA que la ciberseguridad. ¿Por qué? Porque en el momento en que nuestros adversarios lo usan, estamos en problemas. Las herramientas y métodos de piratería del pasado pronto se parecerán al gusano Morris del pasado. El panorama de amenazas verá el aumento de la superinteligencia y proporcionará formas para que los adversarios exploren continuamente las defensas y consigan un punto de apoyo.

Enfoque continuo en una misión.

Estos agentes de IA no se cansarán de su objetivo, sino que se centrarán continuamente en completar su misión. Será un mundo de “ crimen en una caja ” y veremos el surgimiento de redes de súper afiliados, que no están impulsadas por humanos con guiones sino por inteligencia artificial. Todo, desde la definición de la misión hasta el pago final para una campaña exitosa, podría automatizarse e impulsarse de manera inteligente, sin que una mano humana toque la campaña . Podría ser una licencia para ganar mucho dinero para aquellos a quienes les gusta ganar mucho dinero.

El futuro podría ver a la IA implementando cada parte de Kill Chain y sin el toque de manos humanas. Por ejemplo, un agente GenAI podría sondear las defensas de una organización y hacer que un usuario caiga en un correo electrónico de phishing dirigido y luego inicie sesión en el sistema. A continuación, podría recopilar tantos datos a los que pudiera acceder (como direcciones de correo electrónico, detalles de contacto, contenidos de correos electrónicos, documentos, etc.) y transmitirlos a otros agentes de GenAI. A continuación, podría digerir todos los documentos de cumplimiento conocidos en el mundo, compararlos con los documentos recopilados y enviar un informe a la empresa sobre todas las violaciones de cumplimiento de datos de las que la empresa es responsable (enviados a través de documentos legales, por supuesto), y pedir un acuerdo o acudir a los tribunales. Todo esto podría hacerse por el bien de la privacidad de los usuarios y clientes. ¡Es un mundo aterrador!

El nuevo panorama de amenazas

Ahora, un nuevo informe sobre Lloyds arroja luz sobre este cambiante mundo de la ciberseguridad

Destaca que se han lanzado muchos modelos nuevos y que se centran explícitamente en la creación de material objetable. Junto con esto, veremos el aumento de una mejor detección de riesgos cibernéticos, por ejemplo mediante el descubrimiento de vulnerabilidades , la planificación y ejecución de campañas , el análisis de riesgo-recompensa (con costos reducidos de los ataques para los adversarios) y puntos únicos de falla (como los ataques cibernéticos). las defensas se vuelven cada vez más dependientes de los LLM). En el peor de los casos, esto podría conducir a un aumento de las catástrofes cibernéticas y generar un nuevo panorama de amenazas (especialmente en torno a la actividad de los Estados-nación y la barrera de entrada de bajo costo para los adversarios).

El modelo de riesgo desarrollado en el documento toma en cuenta los cuatro impulsores de las amenazas cibernéticas (descubrimiento de vulnerabilidades, planificación y ejecución de campañas, análisis de riesgo-recompensa y punto único de falla):

Podemos ver que el análisis de vulnerabilidad y la planificación y ejecución de campañas tienen los niveles más altos de evidencia en implementación, y también tienen los niveles más altos de impacto potencial.

El informe destaca que a partir del artículo clásico de 2017 de Google sobre el algoritmo Transformer, hemos visto un avance casi exponencial hacia GPT-4 de OpenAI y Google Bard, y el código abierto de los modelos GenAI de Meta:

Análisis de vulnerabilidad

Los días de nuestros antiguos métodos cuantitativos de Pen Testing se desvanecerán rápidamente con el avance de GenAI. Con esto, los LLM podrán identificar rápidamente errores de programación explotables y sin la necesidad de costosos análisis de día cero. La asimetría de los ataques se hará cada vez más evidente, a medida que los proveedores de software tendrán dificultades para mantenerse al día con los expertos en ciberseguridad que utilizan métodos GenAI. Si bien es posible que se detecte a los actores con menos experiencia con la nueva generación de herramientas de proveedores, es probable que los actores más capacitados eludan fácilmente los controles existentes, incluso si se generan mediante IA.

Estas vulnerabilidades luego se pueden compartir fácilmente con otros agentes malvados de GenAI, y este escaneo se puede automatizar y distribuir fácilmente. Luego podrán entregar microcódigo y firmware integrados; descompilar archivos binarios para ejecutarlos; y modificar controladores de dispositivos. En general, el agente GenAI tendrá toda una serie de trucos que puede implementar de manera inteligente contra una red objetivo y pasar por las etapas de supervivencia, ganando terreno, atravesando el sistema y luego creando el impacto final (generalmente cifrando archivos o extrayendo información). datos, o ambos). Pero, en manos de verdaderos expertos en ciberseguridad, estas herramientas podrían resultar absolutamente desconcertantes.

Además del escaneo, pudimos ver malware impulsado por LLM ejecutándose en dispositivos pequeños, como Raspberry PI. Ya están apareciendo productos en el mercado que anuncian técnicas sigilosas impulsadas por IA que se ejecutan en R-PI. Estos dispositivos se usarían en áreas donde se requeriría acceso físico, como obtener acceso a redes Wi-Fi o apuntar a dispositivos de hardware específicos. Por lo tanto, el hardware físico podría correr un mayor riesgo con el auge de GenAI y donde las empresas necesitan buscar dispositivos de hardware instalados.

Planificación y ejecución de campañas.

Si cree que el ransomware es malo ahora, espere a que llegue la era del ransomware habilitado para GenAI. Estos involucrarán agentes de inteligencia que podrían buscar objetivos, definir sus características clave y recopilar datos automáticamente sobre ellos. A partir de ahí, podrían reunir los recursos adecuados necesarios para atacar las redes y luego llevar a cabo campañas de phishing amplias y/o específicas por muy poco costo financiero. Se trataría incluso de una campaña de desinformación contra una empresa y donde se difunden malas noticias en las redes sociales. Cada persona de una organización también podría ser un objetivo. Es probable que el núcleo de esto sea la exfiltración de datos, lo que podría dañar la reputación de una empresa o dar lugar a multas. Pero GenAI podría ir un paso más allá y analizar posibles problemas de incumplimiento a partir de los datos y amenazar a la empresa a través de los tribunales y demandas colectivas.

La herramienta GenAI tendrá muchos modos de transporte para los ataques o deformaciones, incluida la síntesis automatizada de phishing, suplantación de identidad y materiales difamatorios. Será un mundo en el que será difícil distinguir la realidad de la ficción, y los días en los que se detectaba un correo electrónico de phishing con mala gramática quedarán en el pasado.

Gobernanza de la IA

Este rápido aumento ha hecho que la ONU y la UE establezcan políticas de gobernanza para el uso general de la IA, pero es poco probable que nuestros adversarios sigan estos enfoques y construyan IA con fines de lucro. La UE ha adoptado un “enfoque legislativo de arriba hacia abajo basado en el riesgo”, mientras que el Reino Unido ha adoptado un enfoque impulsado por principios para el uso de la IA. Cuando se trata de “Seguridad de la IA”, el informe describe que debería haber barandillas en las áreas de:

Autonomía y capacidades avanzadas. Esto se centra en si podría existir un riesgo para el público en general en la implementación de los métodos de IA.
Generación de contenidos de los modelos. Esto se centra en los datos producidos por los métodos de IA, especialmente los relacionados con violaciones de la privacidad, desinformación, alcance de los derechos de autor, etc.
Uso malicioso de los modelos. Esto se centra en los daños a las personas y sus propiedades, ya sean activos físicos o virtuales.

Para la gobernanza, el informe describe que los pesos utilizados en los modelos que se crearon a partir de la capacitación deben mantenerse privados y no hacerse públicos. Esto evitará que los actores de amenazas copien el motor y lo refuercen con datos maliciosos. La formación modelo también debe realizarse en un entorno aislado y no debe hacerse pública. Junto con esto, deberían imponerse normas estrictas sobre la calidad de los datos, la ética, la privacidad y la responsabilidad, que se apliquen a todo el ciclo de vida de la entidad de IA.

Costos financieros y computacionales.

Es bien sabido que capacitar y apoyar a los LLM puede ser un negocio costoso. El informe cita que a Meta le costó 3,3 millones de horas de cálculo la creación de Llama2, y que costó alrededor de 10 millones de dólares en electricidad y hardware . El modelo Llama2 y sus pesas están disponibles para el público en general bajo términos de licencia. Sin embargo, es probable que los enormes costos que se necesitan para entrenar estos modelos limiten el alcance actual a los principales motores LLM: OpenAI, Meta, Anthropic y Google.

La UE y otras regiones del mundo pretenden limitar el crecimiento de la IA, haciéndola más responsable, más confiable y con enfoques morales y éticos verificables. Pero se han logrado avances en la capacitación LLM y ahora se puede ejecutar en hardware básico, como la ejecución local de ChatGPT 3.5 en una Macbook con un procesador M2 (sin necesidad de conexión a Internet).

Este tipo de enfoque evitará todas las salvaguardas y permitirá que los modelos se actualicen para agregar entidades maliciosas. Al alcance de prácticamente todas las personas del planeta, tenemos (posiblemente) el conjunto definitivo de herramientas de piratería que podrían violar más organizaciones.

Barandillas

Para que estas entidades de IA no se utilicen con fines maliciosos, se deben imponer límites estrictos al uso de datos de entrada, utilizar pruebas adversas (“una prueba de penetración” para IA) y imponer límites a los accesos a la interfaz de usuario. Cada vez más, ChatGPT no devolverá una narrativa si cree que la solicitud es inmoral y poco ética. En general, los LLM están aprendiendo a aceptar nuestro punto de vista del cual pueden aprender. En este caso, retomo mi punto de que Corea del Norte muestra tendencias hacia un mundo de 1984:

Sin embargo, hay muchas formas de “hackear la consola” y superar los límites para realizar malas acciones:

Conclusiones

La velocidad de desarrollo de los LLM ha cogido desprevenidos a nuestros legisladores, y ahora tal vez estén intentando volver a meter al genio en su botella. Sin embargo, la botella tal vez haya desaparecido y el genio no esté por ninguna parte. Si bien muchos promocionarán el uso de LLM en aplicaciones médicas y de automóviles inteligentes, habrá muchos más que verán signos de dólar en los ataques de ransomware. Aquellos con mayores niveles de habilidad podrán utilizar GenAI para propósitos que nunca antes habían visto y que podrían tener efectos catastróficos.

Podemos aspirar a limitar el avance de la buena GenAI, pero los malos actores la utilizarán cada vez más en aplicaciones sin restricciones. El lanzamiento de Sora provocará un aumento de vídeos falsos casi reales y abrirá la puerta a muchas amenazas nuevas. Si estás interesado, aquí tienes nuestra reseña de la zona:

¿Mi consejo para las organizaciones? Invierta ahora en reclutar y retener el mejor talento en ciberseguridad que pueda encontrar, y consérvelo. Por un lado, pueden crear las herramientas de defensa basadas en IA que su empresa necesita, pero, por el otro, comprenderán el ámbito de lo posible. La caja de GenAI no se puede cerrar, por lo que debemos comprender cómo dará forma a nuestro nuevo mundo de ciberseguridad. De lo contrario, corremos el riesgo de una cibercatástrofe .