Recuperando el pensamiento crítico en el desarrollo de software seguro aumentado con IA

Una versión de este artículo apareció en Expertos en ciberseguridad. Se ha actualizado y distribuido aquí.

‍

La adopción de asistentes de inteligencia artificial, que van desde creadores de código de modelos de lenguaje grande (LLM) hasta sofisticados agentes de inteligencia artificial para agencias, brinda a los desarrolladores de software una gran cantidad de beneficios. Sin embargo, unos hallazgos recientes, corroborados por un nuevo estudio del MIT, advierten: la dependencia excesiva de la IA puede hacer que los usuarios pierdan sus habilidades de pensamiento crítico.

Dado un panorama de software en el que los riesgos de seguridad relacionados con la IA han aumentado al mismo ritmo que la adopción de la IA, esta pérdida de capacidad cognitiva podría conducir a resultados catastróficos. Es un imperativo ético para los desarrolladores y las organizaciones identificar, comprender y mitigar de forma proactiva las vulnerabilidades de seguridad en las primeras etapas del ciclo de vida del desarrollo de software (SDLC). Quienes no cumplen con este deber, que, de manera alarmante, describe a muchas organizaciones en la actualidad, se enfrentan a un aumento igualmente pronunciado de las posibles amenazas a la seguridad, algunas de las cuales son directamente atribuibles a la IA.

El debate no es si se debe usar la IA, ya que los beneficios de productividad y eficiencia son demasiado grandes como para descartarlos. Por el contrario, la verdadera cuestión es cómo aplicarla de la manera más eficaz: salvaguardar la seguridad y, al mismo tiempo, maximizar el crecimiento de la producción. Y lo mejor es que lo hagan desarrolladores expertos en seguridad que entiendan a fondo su código, sin importar dónde se haya originado.

La dependencia excesiva de la IA corre el riesgo de deterioro cognitivo

El estudio realizado por el Media Lab del MIT, publicado a principios de junio, evaluó las funciones cognitivas de 54 estudiantes de cinco universidades del área de Boston mientras escribían un ensayo. Los estudiantes se dividieron en tres grupos: los que utilizaban un modelo lingüístico amplio (LLM), los que utilizaban los motores de búsqueda y los que cursaban estudios a la antigua escuela sin ayuda externa. El equipo de investigación utilizó la electroencefalografía (EEG) para registrar la actividad cerebral de los participantes y evaluar el compromiso cognitivo y la carga cognitiva. El equipo descubrió que el grupo de la vieja escuela, que solo trabajaba con el cerebro, mostraba la actividad neuronal más fuerte y variada, mientras que los que utilizaban motores de búsqueda mostraban una actividad moderada y los que utilizaban un LLM (en este caso, el ChatGPT-4 de OpenAI) mostraban la menor cantidad de actividad cerebral.

Puede que esto no sea particularmente sorprendente; después de todo, cuando contratas una herramienta para que piense por ti, vas a pensar menos. Sin embargo, el estudio también reveló que los usuarios de LLM tenían una conexión más débil con sus trabajos: el 83% de los estudiantes tenía dificultades para recordar el contenido de sus ensayos incluso minutos después de terminarlos, y ninguno de los participantes podía proporcionar citas precisas. En comparación con los demás grupos, faltaba un sentido de pertenencia por parte del autor. Los participantes que solo tenían el cerebro no solo tenían el mayor sentido de propiedad y mostraron la gama más amplia de actividad cerebral, sino que también produjeron los artículos más originales. Los resultados del grupo de maestría fueron más homogéneos y, de hecho, los jueces los identificaron fácilmente como resultado del trabajo de la IA.

Desde el punto de vista de los desarrolladores, el resultado clave es la disminución del pensamiento crítico derivada del uso de la IA. Por supuesto, un solo caso en el que se confíe en la IA no provoque una pérdida de las habilidades de pensamiento esenciales, pero el uso constante a lo largo del tiempo puede provocar que esas habilidades se atrofien. El estudio sugiere una forma de ayudar a mantener vivo el pensamiento crítico mientras se usa la IA (haciendo que la IA ayude al usuario en lugar de que el usuario ayude a la IA), pero el verdadero énfasis debe estar en garantizar que los desarrolladores tengan las habilidades de seguridad que necesitan para crear software seguro y que usen esas habilidades como una parte esencial y rutinaria de su trabajo.

Educación para desarrolladores: esencial para el ecosistema impulsado por la IA

Un estudio como el del MIT no va a detener la adopción de la IA, que está avanzando en todos los sectores. De la Universidad de Stanford Informe sobre el índice de IA de 2025 descubrió que el 78% de las organizaciones informaron haber usado IA en 2024, en comparación con el 55% en 2023. Se espera que ese tipo de crecimiento continúe. Sin embargo, el aumento del uso se refleja en un aumento del riesgo: el informe reveló que los incidentes de ciberseguridad relacionados con la inteligencia artificial aumentaron un 56% en el mismo período.

El informe de Stanford subraya la necesidad vital de gobernanza mejorada de la IA, ya que también descubrió que las organizaciones son laxas a la hora de aplicar las salvaguardias de seguridad. Si bien prácticamente todas las organizaciones reconocen los riesgos de la IA, menos de dos tercios toman medidas al respecto, lo que las hace vulnerables a una serie de amenazas de ciberseguridad y, potencialmente, infringen unos requisitos de cumplimiento normativo cada vez más estrictos.

Si la respuesta no es dejar de usar la IA (cosa que nadie hará), debe ser usarla de manera más segura. El estudio del MIT ofrece una pista útil sobre cómo hacerlo. En una cuarta sesión del estudio, los investigadores dividieron a los usuarios del LLM en dos grupos: los que empezaron el ensayo por su cuenta antes de acudir a ChatGPT en busca de ayuda, conocido en el estudio como el grupo Brain-to-LLM, y los que hicieron que ChatGPT preparara un primer borrador antes de dedicarle su atención personal, conocido como grupo LLM-to-Brain. El grupo Brain-to-LLM, que utilizó herramientas de inteligencia artificial para ayudar a reescribir un ensayo que ya había redactado, mostró una mayor capacidad de memoria y actividad cerebral, con algunas áreas similares a las de los usuarios de los motores de búsqueda. El grupo que pasó del LLM al cerebro, que permitió a la IA iniciar el ensayo, mostró una actividad neuronal menos coordinada y una tendencia a utilizar el vocabulario del LLM.

Un enfoque del cerebro a la LLM puede ayudar a mantener la inteligencia de los usuarios un poco más nítida, pero los desarrolladores también necesitan conocimientos específicos para escribir software de forma segura y evaluar críticamente el código generado por la IA para detectar errores y riesgos de seguridad. Tienen que entender las limitaciones de la IA, incluida su propensión a introducir fallos de seguridad, como vulnerabilidades para inyección rápida ataques.

Esto requiere revisar los programas de seguridad empresarial para garantizar un SDLC centrado en las personas, en el que los desarrolladores reciban una capacitación eficaz, flexible, práctica y continua como parte de una cultura empresarial que prioriza la seguridad. Los desarrolladores deben mejorar continuamente sus habilidades para mantenerse al tanto de las amenazas sofisticadas y en rápida evolución, en particular las impulsadas por el papel destacado de la IA en el desarrollo de software. Esto protege, por ejemplo, contra los cada vez más frecuentes ataques de inyección rápida. Sin embargo, para que esa protección funcione, las organizaciones necesitan una iniciativa impulsada por los desarrolladores que se centre en patrones de diseño seguros y en la modelización de amenazas.

결론

Cuando los LLM o los agentes de agencia hacen el trabajo pesado, los usuarios se convierten en espectadores pasivos. Según los autores del estudio, esto puede llevar a «debilitar las habilidades de pensamiento crítico, a comprender mejor los materiales y a formar una memoria a largo plazo». Un nivel más bajo de compromiso cognitivo también puede reducir las habilidades de toma de decisiones.

Las organizaciones no pueden permitirse la falta de pensamiento crítico en lo que respecta a la ciberseguridad. Y dado que las fallas del software en entornos altamente distribuidos y basados en la nube se han convertido en el principal objetivo de los ciberatacantes, la ciberseguridad comienza por garantizar la seguridad del código, ya sea que lo creen desarrolladores, asistentes de inteligencia artificial o agentes de agencias. A pesar de todo el poder de la IA, las organizaciones necesitan más que nunca habilidades de pensamiento crítico y de resolución de problemas muy perfeccionadas. Y eso no se puede subcontratar a la IA.

Las nuevas capacidades de IA de SCW Trust Agent proporcionan la capacidad de observación y el control profundos que necesita para gestionar con confianza la adopción de la IA en su SDLC sin sacrificar la seguridad. Descubre más.