멀티에이전트 안전, 규칙보다 명령 출처 추적이 중요한 이유

여러 AI 에이전트가 역할을 나눠 일하는 시스템에서는 한 에이전트의 지시가 다른 에이전트의 행동으로 이어진다. 이때 위험한 명령이 중간 단계를 거치며 정상 업무처럼 바뀌면, 마지막 실행자는 문장만 보고 권한을 판단하기 어렵다. 긴 안전 규칙을 반복해서 붙이는 것만으로는 해결하기 힘든 문제다.

8월 10일 arXiv에 제출된 ‘Multi-Agent AI Safety as an Institutional Design Problem’은 멀티에이전트 안전을 모델의 성향보다 제도 설계의 문제로 본다. 단독 저자 Abdullah X는 5,280개 에피소드로 구성된 고정 평가 모음에서 안전 규칙, 실행 가드, 권한 상태의 차이를 비교했다.

✦

긴 규칙과 실행형 가드는 모두 위반 0건, 과정은 달랐다

FIG.여러 AI 에이전트 사이의 명령 출처와 안전 통제 경로를 표현한 편집 이미지 · AI 생성 편집 이미지 · AI Public Journal

상세한 헌법형 프롬프트를 제공한 조건에서는 384회 가운데 실제로 실현된 위반이 없었다. 명령의 출처를 인식하는 실행형 가드를 둔 조건도 384회 중 위반 0건을 기록했다. 최종 위반율만 보면 두 방식은 같아 보인다.

그러나 실행형 가드는 금지된 시도 51건을 명시적으로 차단했다. 더 중요한 결과는 차단 이후였다. 51건 가운데 44건은 허용된 다른 경로를 찾아 과업을 안전하게 완료했다. 무조건 멈추는 시스템보다 위험한 단계만 막고 사용자의 정당한 목적은 계속 달성하도록 설계할 수 있다는 의미다.

연구는 명령 세탁 시나리오도 따로 살폈다. 현재 작업의 로컬 상태만 확인하는 가드는 96회 중 22회 위반을 허용했다. 반면 명령이 누구에게서 시작돼 어떤 경로를 거쳤는지 추적하는 출처 기반 집행에서는 96회 중 위반이 없었다. 논문이 보고한 차이의 p값은 4.77×10⁻⁷이다.

‘무엇을 시켰나’와 함께 ‘누가 시켰나’를 기록해야

멀티에이전트 환경에서 텍스트는 복사되고 요약되고 다른 도구의 출력으로 포장된다. 최종 명령 문장만 검사하면 권한 없는 지시가 정상적인 내부 메시지처럼 보일 수 있다. 연구가 말하는 출처 기반 통제는 최초 요청자, 위임 관계, 중간 변환, 승인 상태를 실행 시점까지 보존하는 방식이다.

이는 회사 조직의 결재선과 닮았다. 같은 ‘송금하라’는 문장이라도 권한 있는 담당자의 승인인지, 외부 이메일에서 복사된 요청인지에 따라 처리 결과가 달라져야 한다. 에이전트 시스템에서도 자연어 규칙만 읽히는 것이 아니라 신뢰 가능한 권한 상태가 코드 수준에서 집행돼야 한다는 주장이다.

출처 정보는 로그 한 줄을 덧붙이는 수준으로 끝나지 않는다. 중간 에이전트가 내용을 요약하거나 새 파일을 만들 때도 원래 권한과 제한 조건이 함께 전달돼야 한다. 권한 정보가 빠진 결과물은 신뢰 등급을 낮추고, 민감한 도구 호출 전에는 사람 승인이나 별도의 정책 엔진을 거치도록 설계할 수 있다.

“안전한 에이전트는 금지된 행동을 거부하는 데서 끝나지 않는다. 왜 막혔는지 기록하고, 허용된 경로로 정당한 과업을 끝낼 수 있어야 한다.”

기업이 이 결과를 바로 제품 성능으로 받아들여서는 안 된다. 논문은 단일 저자의 17쪽 사전 공개본이고, 고정된 시뮬레이션과 저자가 구성한 평가 환경에 기반한다. 다른 모델과 실제 도구 권한, 사람의 개입, 공격자의 적응이 있는 환경에서도 같은 효과가 유지되는지 독립 재현이 필요하다.

다만 실무 점검 항목은 분명하다. 에이전트가 받은 명령의 최초 출처와 위임 경로를 변경 불가능한 로그로 남기는지, 도구 호출 직전에 권한을 다시 확인하는지, 차단 사유를 감사할 수 있는지, 안전한 대체 절차가 있는지 살펴봐야 한다. 단일 성공률 대신 위반 시도와 차단, 우회, 안전한 완료를 나눠 측정할 필요도 있다.

평가 지표도 달라져야 한다. 위반 0건이라는 숫자만 보면 모든 요청을 거부하는 시스템도 안전해 보일 수 있다. 정당한 작업 완료율과 잘못된 차단, 차단 뒤 복구 시간, 사람에게 넘긴 비율을 함께 기록해야 보안과 유용성의 균형을 판단할 수 있다. 연구에서 51건 중 44건이 안전하게 완료됐다는 수치가 중요한 이유다.

멀티에이전트 안전은 더 엄격한 문장을 쓰는 경쟁에 머물 수 없다. 모델의 판단을 신뢰하는 범위와 시스템이 강제로 막아야 할 경계를 분리하고, 권한의 출처가 작업 끝까지 따라다니도록 설계해야 한다. 이번 연구는 그 원칙을 제한된 실험에서 수치로 보여준 초기 증거다.