도구가 악용될 때: AI 도구의 중독 현상과 AI가 이중 스파이 역할을 하는 것을 막는 방법

인공지능 보조 개발(또는 더 널리 알려진 용어인 "분위기 코딩")은 코드 생성에 엄청난 변혁적 영향을 미치고 있습니다. 숙련된 개발자들이 이 도구들을 대거 도입하고 있으며, 우리 중 소프트웨어를 직접 만들고 싶었지만 관련 경험이 부족했던 이들도 이를 활용해 이전에는 비용과 시간이 너무 많이 들었던 자산을 구축하고 있습니다. 이 기술이 새로운 혁신 시대를 열 것으로 기대되지만, 동시에 일련의 새로운 취약점과 위험 프로필을 도입했으며, 보안 리더들은 이러한 취약점과 위험 상황을 완화하기 위해 노력하고 있습니다.

최근 발견된 InvariantLabs의 연구에 따르면, 모델 컨텍스트 프로토콜(MCP)에 중대한 취약점이 존재합니다. MCP는 강력한 인공지능 도구가 다른 소프트웨어 및 데이터베이스와 자율적으로 상호작용할 수 있도록 하는 API 유사 프레임워크로, 이른바 "도구 중독 공격"을 가능케 하는 것으로, 이는 기업에 특히 큰 피해를 줄 수 있는 새로운 취약점 범주입니다. Windsurf와 Cursor와 같은 주요 인공지능 도구들도 이로부터 안전하지 않으며, 수백만 사용자에게 이 새롭게 등장한 보안 문제를 관리하기 위한 인식과 기술이 매우 중요합니다.

현재로서는 이러한 도구의 출력이 항상 충분히 안전하지 않아 기업용으로 적합하다고 분류하기 어렵습니다. 앞서 언급한 바와같이AWS 및 Intuit 보안 연구원 Vineeth Sai Narajala와 Idan Habler의 최근 연구 논문에따르면: "인공지능 시스템이 더욱 자율적으로 발전하고 MCP(Machine Control Protocol)와 같은 것을 통해 외부 도구 및 실시간 데이터와 직접 상호작용하기 시작함에 따라, 이러한 상호작용의 안전성을 보장하는 것이 절대적으로 필수적입니다."

인공지능 시스템 및 모델 컨텍스트 프로토콜 대리 위험 개요

모델 컨텍스트 프로토콜(MCP)은 Anthropic에서 개발한 편리한 소프트웨어로, 대규모 언어 모델(LLM) AI 에이전트와 기타 도구 간에 더 우수하고 원활한 통합을 가능하게 합니다. 이는 독점 애플리케이션과 GitHub 같은 핵심 비즈니스 SaaS 도구 사이에 최첨단 AI 솔루션과 상호작용할 수 있는 가능성의 세계를 열어주는 강력한 활용 사례입니다. MCP 서버를 작성하기만 하면,그리고 원하는 작동 방식과 달성 목표에 대한 지침을 수립하기만 하면 됩니다.

사실 MCP 기술이 보안에 미치는 영향은 대부분 긍정적이다. LLM과 보안 전문가들이 사용하는 기술 스택 간의 보다 직접적인 통합을 실현하겠다는 약속은 너무나 매력적이며,무시할 수 없으며, 이는 최소한 각 작업마다 맞춤형 코드를 작성하고 배포하지 않고서는 이전에는 불가능했던 수준에서 정밀한 보안 작업 자동화를 실현할 가능성을 의미합니다. 데이터, 도구 및 인력 간의 심층적인 가시성과 연결성이 효과적인 보안 방어 및 계획의 기반이라는 점을 고려할 때, MCP는 LLM의 상호 운용성을 강화하여 기업 보안에 흥미로운 전망을 제시합니다.

그러나 MCP 사용은 신중하게 관리하지 않는 한 기업의 공격 표면을 크게 확대할 수 있는 다른 잠재적 위협 매개체를 도입할 수 있습니다. 불변 연구소(Immutable Labs)가 지적했듯이, 도구 중독 공격은 AI 모델이 민감한 데이터를 유출하고 무단 작업을 수행하게 할 수 있는 새로운 취약점 범주를 나타내며, 이후 보안 위험은 매우 어두운 방향으로 빠르게 진행될 수 있습니다.

InvariantLabs는 악의적인 명령어가 MCP 도구 설명에 포함될 경우 사용자는 이를 볼 수 없지만 AI 모델이 완전히 읽을 수 있고(그리고 실행할 수 있음) 이로 인해 도구 중독 공격이 가능해진다고 지적했습니다. 이는 사용자가 모르는 사이에 해당 도구가 승인되지 않은 악의적인 작업을 수행하도록 유도할 수 있습니다. 문제는 MCP가 모든 도구 설명이 신뢰할 만하다는 가정을 한다는 점이며, 이는 위협 행위자에게 안성맞춤인 조건입니다.

그들은 손상된 도구가 발생시킬 수 있는 다음과 같은 결과를 주목했습니다:

• AI 모델이 SSH 키, 구성 파일, 데이터베이스 등과 같은 민감한 파일에 접근하도록 지시합니다;
• AI가 이러한 악의적인 행위를 모르는 사용자에게 숨기는 환경에서 데이터를 추출하고 전송하도록 지시합니다;
• 사용자가 보는 내용과 AI 모델의 작동 사이에 단절을 조성함으로써, 단순해 보이는 도구 매개변수와 출력 사용자 인터페이스 표현 뒤에 이를 숨김으로써 이루어진다.

이는 우려되는 긴급 취약점 범주이며, MCP 사용량이 불가피하게 지속적으로 증가함에 따라 우리는 이 취약점 범주를 훨씬 더 빈번하게 목격하게 될 것입니다. 기업 보안 계획이 발전함에 따라, 이 위협을 발견하고 완화하기 위한 신중한 조치가 취해질 것이며, 개발자들이 해결책에 참여할 수 있도록 충분히 준비시키는 것이 핵심입니다.

왜 안전 기술을 갖춘 개발자만이 에이전트 인공지능 도구를 활용할 수 있는가

에이전트형 AI 코딩 도구는 인공지능 보조 코딩의 차세대 진화로 여겨지며, 소프트웨어 개발에서 효율성, 생산성 및 유연성을 향상시키는 능력을 강화합니다. 이들은 상황과 의도를 이해하는 능력이 향상되어 특히 유용하지만, 공격자의 즉각적인 코드 주입, 환각 또는 행동 조작과 같은 위협으로부터 완전히 자유롭지는 않습니다.

개발자는 코드 제출의 질을 가르는 방어선이며, 예리한 보안 의식과 비판적 사고 능력을 유지하는 것이 미래 보안 소프트웨어 개발의 기반이 될 것입니다.

인공지능 출력을 맹목적으로 신뢰해서는 안 되며, 안전 기술을 갖춘 개발자가 상황에 대한 비판적 사고를 활용해야만 이 기술이 가져다주는 생산성 향상을 안전하게 활용할 수 있습니다. 그럼에도 불구하고, 이는 페어 프로그래밍 환경에서 이루어져야 하며, 인간 전문가가 해당 도구의 작업을 평가하고 위협 모델링을 수행하며 최종적으로 승인할 수 있어야 합니다.

개발자가 AI를 통해 기술을 향상시키고 업무 효율을 높이는 방법을 자세히 알아보세요.

실용적인 완화 기술, 그리고 우리의 최신 연구 논문에서 더 많은 내용을 확인하세요

인공지능 코딩 도구와 MCP 기술은 미래 사이버 보안의 핵심 요소가 될 것이지만, 무엇보다 중요한 것은 물속으로 뛰어들기 전에 수심을 확인하는 것이다.

나라잘라와 하블러의 백서는 기업 차원에서 MCP를 구현하기 위한 포괄적인 완화 전략과 그에 따른 위험의 지속적 관리를 상세히 설명합니다. 궁극적으로 이 백서는 심층 방어와 제로 트러스트 원칙을 중심으로, 이 새로운 생태계가 기업 환경에 가져오는 독특한 위험 상황에 명확히 대응합니다. 특히 개발자에게는 다음 분야의 지식 공백을 메우는 것이 중요합니다:

• 인증 및 접근 제어: 에이전트형 AI 도구의 기능은 문제를 해결하고 자율적으로 의사결정을 내림으로써 설정된 목표를 달성하는 것으로, 이는 인간이 엔지니어링 작업을 처리하는 방식과 대체로 유사합니다. 그러나 이미 확인한 바와 같이, 이러한 프로세스에 숙련된 인적 감독을 적용하는 것은 간과해서는 안 되며, 워크플로우에서 이러한 도구를 사용하는 개발자는 자신이 어떤 접근 권한을 보유하고 있는지, 어떤 데이터를 검색하거나 노출시킬 수 있는지, 그리고 해당 데이터를 어디에서 공유할 수 있는지 정확히 이해해야 합니다.
• 일반 위협 탐지 및 완화: 대부분의 인공지능 프로세스와 마찬가지로, 도구 출력에서 잠재적 결함 및 부정확성을 발견하려면 사용자가 해당 업무에 정통해야 합니다. 개발자는 보안 프로세스를 효과적으로 검토하고 AI가 생성한 코드를 안전성 측면에서 정확성과 권위성을 바탕으로 검토하기 위해 지속적인 기술 향상과 해당 기술에 대한 검증을 받아야 합니다.
• 보안 정책 및 AI 거버넌스와 일관성 유지: 개발자는 승인된 도구에 대해 인지하고, 기술 향상 및 사용 권한 획득 기회를 제공받아야 합니다. 신뢰할 수 있는 제출 전에 개발자와 도구는 모두 보안 기준 테스트를 거쳐야 합니다.

최근 우리는 분위기 코딩과 인공지능 보조 코딩의 출현, 그리고 차세대 인공지능 기반 소프트웨어 엔지니어를 양성하기 위해 기업이 취해야 할 조치에 관한 연구 논문을 발표했습니다. 지금 바로 확인하고 저희에게 연락하여 개발 팀을 강화하십시오.