[Report] LLM OWASP #06: 2025 과도한 위임

※ 본 포스트는 "SW 산학협력 프로젝트"에 앞서 LLM 및 AI와 관련된 학습을 위해 읽은 논문의 요약본입니다.

※ 비영리적인 순수한 학습 기록용입니다.

※ 저작권 문제가 있을 경우, 즉시 수정 또는 삭제하겠습니다.

포스팅에 앞서 해당 논문은 아래의 링크에서 확인할 수 있습니다.
OWASP Top 10 2025 번역본

---

LLM06: 2025 과도한 위임

여섯 번째 챕터의 주제는 "과도한 위임"이다.

과도한 위임

LLM 기반의 시스템은 일정 수준의 자율성을 부여받는데, 그 권한의 범위에 따라 동적으로 작동한다. 이 과정에서 과도한 권한 위임으로 인한 취약점이 발생할 수 있다.

 

과도한 위임 (Excessive Agency)
LLM이 오작동하는 원인과 상관없이 예상치 못한 입력, 애매한 프롬프트 또는 조작된 출력에 의해 손상될 수있는 작업을 수행하도록 만드는 취약점

과도한 위임은 기밀성 무결성, 가용성 측면에서 문제가 될 수 있으며, 이는 LLM의 역할에 따라 달라진다.

 

일반적인 발생 원인은 다음과 같다.

• 부적절하게 설계된 프롬프트
• 성능이 낮은 모델
• 프롬프트 인젝션 등으로 인해 악의적으로 손상된 에이전트

이러한 문제점은 다음과 같은 이유로 발생한다.

• 과도한 기능
• 과도한 권한
• 과도한 자율성

---

일반적 취약점 예시

과도한 기능

• 시스템의 의도된 작동에 필요하지 않은 기능까지 포함된 경우
• 시험을 위해 포함되었던 확장 기능의 잔해
• 의도된 작동에 필요한 명령 외의 명령에 대한 필터링 부재

과도한 권한

• 의도된 작동에 필요하지 않은 다운스트림 시스템에 대한 권한 유지
• 높은 권한의 ID로 다운스트림 시스템에 엑세스

과도한 자율성

• 영향력이 큰 작업에 대해 독립적인 확인 및 승인의 부재

---

예방 및 완화 전략

01. 확장 기능 최소화
LLM 에이전트가 호출할 수 있는 확장 기능을 최소한으로 제한

 

02. 확장 기능 범위 최소화
LLM 확장에서 구현되는 기능을 최소한으로 제한

 

03. 개방형 확장 기능 방지
확장 기능의 범위를 열어두지 않고, 세분화된 기능을 제공하는 방향을 추구

 

04. 확장 권한 최소화
LLM 확장이 다른 시스템에 부여받는 권한을 최소한으로 제한

 

05. 이용자 컨텍스트 확장 실행
이용자의 권한과 보안 범위를 추적하여, 이용자 대신 수행되는 작업의 권한을 최소한으로 부여

 

06. 이용자 승인 요구
고위험 작업을 실행하기 전에 승인을 받도록 함

 

07. 완전한 중재
LLM에 의존한 작업을 하는 대신 다운스트림 시스템에서 권한 구현

 

08. LLM 입력 및 출력 정리
보안 코딩 모범 사례를 따르며, 입력 정리에 강한 집중

• 로깅 및 모니터링을 통해 원치 않는 작업이 발생하는 위치 식별 및 적절한 대응 조치
• 작업 속도 제한을 구현하여, 큰 피해가 발생하기 전에 모니터링을 통해 예방

---

공격 시나리오 예시

#01. 이메일의 내용을 요약하는 기능을 수행하는 LLM 기반 개인 비서 앱

• 메시지 읽기 기능
• 플러그인으로 인해 메시지를 보내는 기능 포함
• 간접적인 프롬프트 인젝션 공격에 취약

-> 악의적으로 작성된 이메일이 이용자의 받은 편지함 스캔
-> 민감 정보 유출