AI 공급사가 ‘독립 평가’를 받는다고 발표하면 안심하기 쉽다. 하지만 독립이라는 말만으로 평가의 품질이나 책임 소재가 정해지지는 않는다. 9월 18일 Anthropic은 Accenture의 전문 AI 조직 Faculty와 함께 자사 내부에서 모델을 평가하는 ‘임베디드 평가’ 협력을 시작한다고 발표했다. 외부 평가자가 회사 안에서 모델의 레드팀 테스트, 정렬 평가, 안전장치 시험을 한다는 구상이다.
이번 발표에서 눈여겨볼 점은 새로운 안전 기능 자체보다 평가를 수행하는 사람의 위치가 바뀐다는 데 있다. 공개된 모델을 사후에 시험하는 외부 평가와 달리, 임베디드 평가자는 직원에 가까운 수준의 접근권을 갖고 학습과 배포 의사결정을 살펴보게 된다. 다만 접근 범위, 결과 공개 방식, 독립적 재원에 관한 표준은 아직 없다고 Anthropic도 밝히고 있다.
이 변화는 특정 공급사의 선언을 평가하는 방법을 생각하게 한다. 기업이나 개인이 AI 서비스를 도입할 때도 ‘안전성 평가 완료’라는 한 줄보다 누가 무엇을 볼 수 있었고, 문제가 발견됐을 때 어떤 기록이 남는지를 물어야 한다.
외부 평가와 임베디드 평가는 무엇이 다른가
일반적인 외부 평가는 정해진 시점에 모델 또는 API에 접근해 위험한 행동을 유도하고 결과를 보고하는 방식이다. 이것도 필요하다. 다만 평가자가 학습 데이터 관리, 배포 전 승인, 사고 대응처럼 회사 내부에서 이뤄지는 결정까지 확인하기는 어렵다.
Anthropic이 설명한 임베디드 평가는 이 간극을 줄이려는 시도다. 평가자는 내부 팀 및 안전 파트너와 함께 모델을 평가하고 레드팀 테스트, 정렬 평가, 보호장치 시험을 수행한다. Anthropic은 이들이 모델 개발과 배포를 좌우하는 의사결정을 따라가고 직원과 직접 대화할 수 있어야 한다고 설명했다.
여기서 ‘직원에 가까운 접근’은 강점이면서 동시에 질문거리다. 접근이 넓어야 재현하기 어려운 위험을 볼 수 있지만, 비밀유지 의무와 계약 관계가 강할수록 평가자가 불편한 결과를 얼마나 독립적으로 공개할 수 있는지는 별도 문제다. TechCrunch도 이번 방식에 접근권과 의사소통 기준이 아직 없다는 점, 자기 규제에 그칠 수 있다는 비판을 함께 짚었다.
확인된 사실과 아직 정해지지 않은 것
확인된 사실은 비교적 분명하다. Anthropic과 Accenture는 5년 동안 각각 최소 10억 달러를 이 분야 역량 구축에 투자할 계획이라고 밝혔다. Faculty가 모델 평가, 레드팀 테스트, 정렬 평가, 안전장치 시험을 맡는다는 내용도 양사 발표에 공통으로 나온다. 협력은 비독점이며, Anthropic은 METR을 포함한 비영리 평가자와도 자체 자금으로 임베디드 평가 요소를 시험하는 방안을 논의 중이라고 밝혔다.
아직 불확실한 부분도 크다. 어떤 내부 자료까지 접근할 수 있는지, 평가 결과 중 무엇을 공개하는지, 문제를 발견했을 때 배포를 멈출 권한이 있는지, 평가 비용을 누가 부담하는지에 대한 공통 표준이 없다. 따라서 이번 협력은 ‘독립 평가가 완성됐다’는 증거가 아니라, 그 구조를 만들기 시작한 사례로 읽는 편이 정확하다.
Accenture의 발표은 대규모 기업 도입 경험과 산업별 전문성을 장점으로 내세운다. 그러나 특정 회사의 적용 경험은 평가 결과의 독립성을 자동으로 보장하지 않는다. 실무 경험과 평가 독립성은 서로 다른 기준으로 확인해야 한다.
AI 도입 조직이 공급사 문서를 읽는 순서
모델 카드, 보안 백서, 감사 보고서를 받았을 때 평가 점수부터 비교하면 놓치는 것이 많다. 먼저 다음 네 가지를 확인하는 편이 낫다.
- 접근권: 평가는 공개 API만 대상으로 했는가, 배포 전 설정과 운영 기록도 보았는가. 평가 범위 밖의 영역은 무엇인가.
- 독립성: 평가자를 선정하고 비용을 내는 주체는 누구인가. 결과 공개나 부정적 발견에 계약상 제한이 있는가.
- 보고 경로: 발견 사항이 경영진, 고객, 규제기관 중 누구에게 언제 전달되는가. 요약본과 원자료의 차이는 무엇인가.
- 시정과 재검증: 결함을 찾은 뒤 수정 기한, 배포 보류 기준, 재평가 방법이 문서에 남는가.
이 네 항목은 거대한 AI 공급사에만 적용되지 않는다. 사내에서 챗봇이나 업무 에이전트를 만드는 팀도 적용할 수 있다. 예를 들어 개인정보가 있는 CRM을 읽는 에이전트라면, 누가 프롬프트와 도구 호출 기록을 검토하는지, 권한 오남용을 발견하면 어떻게 중단하는지, 수정 뒤 같은 시나리오를 다시 시험하는지를 남겨야 한다.
‘평가 통과’ 대신 운영 가능한 증거를 남기기
AI 평가에는 합격 도장이 없다. 모델 버전, 연결된 도구, 권한, 데이터가 바뀌면 이전 결과의 적용 범위도 달라진다. 그래서 공급사의 평가 발표를 계약 검토의 끝이 아니라 자체 검증 항목의 출발점으로 두는 편이 안전하다.
작게 시작하려면 다음 정도면 충분하다.
- 현재 사용하는 AI 기능 하나를 골라 입력 데이터, 연결 도구, 사람 승인 지점을 한 장으로 적는다.
- 공급사 문서에서 평가 범위와 제외 항목을 표시한다. 우리 사용 방식이 그 범위에 들어가는지 따로 판단한다.
- 권한 오용, 잘못된 외부 전송, 근거 없는 중요한 답변처럼 실제로 걱정되는 실패 사례 두세 개를 정해 변경 전후에 반복 시험한다.
이번 Anthropic과 Accenture의 협력은 외부 평가를 내부 개발 과정 가까이 옮기려는 실험이다. 그 결과가 유효하려면 평가자의 접근, 독립성, 보고, 시정 과정이 나중에 검증 가능해야 한다. AI를 도입하는 쪽에서도 같은 질문을 작은 업무 자동화부터 적용해 보면, ‘안전하다’는 문구를 실제 운영 기준으로 바꿀 수 있다.