AI로 강화된 보안 소프트웨어 개발에서 비판적 사고의 회복

이 기사의 버전은 다음에 게재되었습니다. 사이버 보안 인사이더. 여기에서 업데이트 및 신디케이트되었습니다.

‍

대규모 언어 모델(LLM) 코드 작성기부터 정교한 에이전트형 AI 에이전트에 이르기까지 인공지능 비서의 도입은 소프트웨어 개발자에게 다양한 이점을 제공합니다. 하지만 최근 MIT의 새로운 연구에 따르면 인공지능에 지나치게 의존하면 사용자가 비판적 사고 능력을 잃을 수 있다는 경고가 나옵니다.

AI 관련 보안 위험이 AI 도입과 함께 증가하는 소프트웨어 환경을 고려할 때, 이러한 인지적 적합성의 상실은 실제로 치명적인 결과를 초래할 수 있습니다. 개발자와 조직은 소프트웨어 개발 수명 주기(SDLC) 초기에 보안 취약점을 사전에 식별하고, 이해하고, 완화하는 것이 윤리적 의무입니다. 놀랍게도 오늘날 많은 조직에서 이러한 의무를 소홀히 하는 경우 잠재적인 보안 위협이 급격히 증가하며, 그 중 일부는 AI로 인해 직접적으로 기인하는 경우도 있습니다.

생산성과 효율성의 이점이 너무 커서 무시하기에는 너무 크므로 AI를 사용할지 여부가 논쟁의 대상이 아닙니다. 그 대신 가장 효과적으로 적용하는 방법, 즉 보안을 보호하면서 생산성 향상을 극대화하는 방법이 중요합니다. 그리고 이는 코드의 출처에 관계없이 코드를 깊이 이해하는 보안에 능숙한 개발자가 가장 잘 수행할 수 있습니다.

AI에 대한 과도한 의존은 인지 기능 저하 위험

6월 초에 발표된 MIT 미디어 랩의 연구는 보스턴 지역 5개 대학의 학생 54명을 대상으로 에세이를 작성하는 동안 인지 기능을 테스트했습니다. 학생들은 대규모 언어 모델(LLM)을 사용하는 그룹, 검색 엔진을 사용하는 그룹, 외부의 도움 없이 구식 방법을 사용하는 그룹 등 세 그룹으로 나뉘었습니다. 연구팀은 뇌파 검사(EEG)를 통해 참가자들의 뇌 활동을 기록하고 인지적 참여도와 인지적 부하를 평가했습니다. 연구팀은 구식 '두뇌만 사용하는' 그룹이 가장 강력하고 광범위한 신경 활동을 보인 반면, 검색 엔진을 사용하는 그룹은 중간 정도의 활동을 보였고 LLM(이 경우 OpenAI의 ChatGPT-4)을 사용하는 그룹은 가장 적은 양의 두뇌 활동을 보였다는 것을 발견했습니다.

결국, 생각을 대신해주는 도구를 사용하면 생각을 덜 하게 되므로 이는 그리 놀라운 일이 아닐 수도 있습니다. 하지만 이 연구에 따르면 LLM 사용자는 논문과의 연관성이 약하다는 사실도 밝혀졌습니다: 83%의 학생들이 에세이를 완성한 지 불과 몇 분 후에도 에세이의 내용을 기억하는 데 어려움을 겪었으며, 정확한 인용문을 제시할 수 있는 학생은 단 한 명도 없었습니다. 다른 그룹에 비해 주인의식이 결여되어 있었습니다. 두뇌만 사용한 참가자들은 주인의식이 가장 높았고 가장 폭넓은 두뇌 활동을 보였을 뿐만 아니라 가장 독창적인 논문을 작성했습니다. LLM 그룹의 결과는 더 균질했으며, 실제로 심사위원들이 AI의 작업으로 쉽게 식별할 수 있었습니다.

개발자의 관점에서 볼 때 가장 중요한 결과는 AI 사용으로 인한 비판적 사고의 약화입니다. 물론 한 번만 AI에 의존한다고 해서 필수적인 사고 능력이 상실되는 것은 아니지만, 시간이 지남에 따라 지속적으로 사용하면 이러한 능력이 위축될 수 있습니다. 이 연구는 AI를 사용하는 동안 비판적 사고를 유지하는 데 도움이 되는 방법을 제안합니다. 사용자가 AI를 돕는 것이 아니라 AI가 사용자를 돕는 것이지만, 개발자가 안전한 소프트웨어를 구축하는 데 필요한 보안 기술을 갖추고 이러한 기술을 일상적이고 필수적인 업무의 일부로 사용하도록 하는 데 중점을 둬야 한다는 점을 강조합니다.

개발자 교육: AI 기반 생태계를 위한 필수 요소

MIT의 연구와 같은 연구 결과가 모든 분야에서 추진되고 있는 AI 도입을 막지는 못할 것입니다. 스탠포드 대학의 2025 AI 지수 보고서에 따르면 2023년의 55%에 비해 2024년에는 78%의 조직이 AI를 사용한다고 답했습니다. 이러한 성장세는 계속될 것으로 예상됩니다. 그러나 사용의 증가는 위험의 증가를 반영합니다: 이 보고서에 따르면 AI 관련 사이버 보안 사고는 같은 기간 동안 56% 증가했습니다. 

스탠퍼드의 보고서는 AI 거버넌스 개선의 필요성을 강조하는 한편, 조직이 보안 보호 장치를 구현하는 데 소홀하다는 사실을 발견했습니다. 거의 모든 조직이 AI의 위험성을 인식하고 있지만, 3분의 2 미만이 이에 대한 조치를 취하고 있어 수많은 사이버 보안 위협에 취약하고 점점 더 엄격해지는 규정 준수 요건을 위반할 가능성이 있습니다.

AI 사용을 중단하는 것이 해답이 아니라면(아무도 그렇게 하지 않을 것입니다), AI를 더 안전하고 안전하게 사용하는 것이 해답이 되어야 합니다. MIT의 연구는 그 방법에 대한 한 가지 유용한 단서를 제공합니다. 연구의 네 번째 세션에서 연구진은 LLM 사용자를 두 그룹으로 나누었습니다. 스스로 에세이를 시작한 후 ChatGPT에 도움을 요청한 그룹(이 연구에서는 Brain-to-LLM 그룹)과 ChatGPT가 초안을 작성해준 후 직접 검토한 그룹(LLM-to-Brain 그룹)이 그것입니다. AI 도구를 사용하여 이미 작성한 에세이 초안을 다시 작성하는 데 도움을 받은 Brain-to-LLM 그룹은 검색 엔진 사용자와 유사한 일부 영역에서 더 높은 회상력과 두뇌 활동을 보였습니다. AI가 에세이를 시작하도록 허용한 LLM-to-Brain 그룹은 신경 활동이 덜 조정되고 LLM 어휘를 사용하는 편향성을 보였습니다.

Brain-to-LLM 접근 방식은 사용자의 두뇌를 좀 더 예리하게 유지하는 데 도움이 될 수 있지만, 개발자는 소프트웨어를 안전하게 작성하고 AI가 생성한 코드의 오류 및 보안 위험을 비판적으로 평가하기 위한 구체적인 지식도 필요합니다. 또한 프롬프트 인젝션 공격에 대한 취약점과 같은 보안 결함을 유발하는 성향 등 AI의 한계를 이해해야 합니다.

이를 위해서는 전사적인 보안 우선 문화의 일환으로 개발자가 효과적이고 유연하며 실습 위주의 지속적인 교육을 받을 수 있는 사람 중심의 SDLC를 보장하기 위해 기업 보안 프로그램을 점검해야 합니다. 개발자는 빠르게 진화하는 정교한 위협, 특히 소프트웨어 개발에서 AI의 중요한 역할로 인해 발생하는 위협에 대응하기 위해 지속적으로 기술을 연마해야 합니다. 예를 들어, 점점 더 빈번하게 발생하는 프롬프트 인젝션 공격으로부터 보호할 수 있습니다. 그러나 이러한 보호 기능이 제대로 작동하려면 조직은 안전한 디자인 패턴과 위협 모델링에 집중하는 개발자 주도의 이니셔티브가 필요합니다.

결론

LLM이나 에이전트가 무거운 작업을 수행하면 사용자는 수동적인 방관자가 됩니다. 이는 "비판적 사고 능력의 약화, 자료에 대한 깊은 이해, 장기 기억 형성의 저하"로 이어질 수 있다고 이 연구의 저자들은 말합니다. 인지적 참여 수준이 낮아지면 의사 결정 능력도 저하될 수 있습니다. 

조직은 사이버 보안과 관련하여 비판적 사고가 부족해서는 안 됩니다. 고도로 분산된 클라우드 기반 환경의 소프트웨어 결함은 사이버 공격자들의 주요 표적이 되고 있기 때문에 사이버 보안은 개발자, AI 비서, 에이전트 등 누구에 의해 생성되든 안전한 코드를 확보하는 것에서 시작됩니다. AI의 모든 힘을 활용하려면 조직은 그 어느 때보다 고도로 연마된 문제 해결 능력과 비판적 사고 능력이 필요합니다. 그리고 이는 AI에 맡길 수 없습니다.

SCW Trust Agent의 새로운 AI 기능은 보안을 유지하면서 SDLC에서 AI 도입을 자신 있게 관리하는 데 필요한 심층적인 가시성과 제어 기능을 제공합니다. 자세히 알아보기.