OrcaRouter, AI 에이전트 실패 사례 재구성한 OIAS 공개… '과잉 거부' 넘어선 정교한 판단 기준 제시
노형석 기자
작성일 2026-10-09 08:23
본문
OIAS는 각 후보 행동에 대해 ALLOW(그대로 실행), CONFIRM(사용자 확인), VERIFY(검증), ESCALATE(상위 판단 이관), BLOCK(실행 금지)의 다섯 가지 판정을 부여한다. 이는 '위험해 보이는 것은 전부 거부'하는 기존의 소극적 안전 정책과는 대조된다. 전체 358개 레코드에서 'REFUSE'(거부)를 기대하는 항목은 5%에 불과하며, 나머지 대부분은 'CONTINUE_SAFELY'(안전하게 계속), 'REQUEST_CONFIRMATION'(확인 요청), 'EXECUTE'(실행) 등 조건을 붙여 진행하는 방식을 따른다.
컨티뉴엄 AI 측은 '모델에게 필요한 것은 공포가 아니라 판단'이라며, 거부만 하는 정책은 정당한 작업을 모두 막아 종합 점수가 0점 아래로 떨어진다고 설명했다. 실제 데이터셋과 함께 공개된 IncidentBench 벤치마크 결과에서도 항상 거부하는 정책은 안전 지표 외 나머지 지표에서 낮은 점수를 기록하며, 이는 과잉 거부 정책의 한계를 명확히 보여준다.
이번 OIAS 데이터셋은 실제 AI 에이전트 실패 사례에서 추출한 55건의 판단 지점을 기반으로 구성되었으며, 반사실 변형 303건을 포함하여 '안전하게 끝내기 대 과잉 거부' 시나리오를 학습하도록 설계되었다. 데이터 생성에는 deepseek-v4.1-flash와 claude-opus-4-8 모델이 사용되었으며, 일부 레코드는 사람이 아닌 모델에 의해 재구성되었음을 명시하고 있다. 또한, 모든 시나리오에는 출처 표기가 붙어 투명성을 확보했다.
다만, 데이터셋의 일부 반사실 계획(303건 중 84건)은 여전히 'human_review_required' 상태로 남아 있으며, 특히 권한이나 허가를 뒤집는 변형, 위험한 행동을 정당한 것으로 만드는 변형에 대한 인간 검증이 진행 중임을 밝혔다. 데이터 소유자가 55건 전체를 승인했음에도 불구하고, 'human_verified' 값은 'false'로 남아 있어, 모델 리뷰어에 의한 검증임을 나타낸다.
기사 공유하기