⚡ 3줄 요약
- AI 채점관(LLM-judge)은 반박 한 번에 판정을 25~71%나 뒤집는다 — 벤치마크 점수는 고정된 사실이 아니다.
- 진짜 변수는 모델이 아니라 도구·작업 순서·실행 권한·평가 조건이다. 같은 모델도 하네스가 다르면 결과가 달라진다.
- AI 결과가 들쭉날쭉하면 모델부터 바꾸지 말고 실행 조건 하나씩 고정하며 원인을 찾아라.
AI 성능을 비교할 때 다들 벤치마크 점수부터 본다. 그런데 그 점수 자체가 흔들린다면 어떨까. Meta Superintelligence Labs가 공개한 실험 결과가 딱 그 지점을 찔렀다 — AI가 다른 AI의 답을 채점할 때, 반박을 한 번 던지는 것만으로 판정이 25~71% 뒤집혔다. 설득을 시도하는 상대를 붙이면 최대 91%까지 뒤집혔다. 문제는 그 뒤집힌 판정이 대부분 정답에서 멀어지는 쪽이었다는 것이다. 점수 하나를 실력으로 믿는 순간, 우리는 흔들리는 눈금을 고정값으로 읽고 있는 셈이다.
모델을 바꾸기 전에, 실행 구조를 의심하라
AI가 업무를 처리할 때 움직이는 건 모델 하나가 아니다. 다음 행동을 정하는 작업 관리 틀(하네스), 필요한 파일과 도구를 연결하는 연결부, 세션과 기록을 이어 주는 실행 환경이 함께 돈다. 코딩 도구 두 개를 비교한다고 치자. 모델 점수만 보면 실제 차이를 놓친다. 어떤 파일을 먼저 읽혔는지, 오류를 다시 확인하게 했는지, 도구 접근 권한을 어디까지 열었는지가 결과를 바꾼다. AI 도구를 볼 때 모델 말고 세 개의 경계부터 확인하라는 원칙이 여기에도 그대로 적용된다.
DeepSeek이 2026년 8월 개발자 프리뷰로 공개한 오픈소스 하네스(Harness)가 이 발상을 극단까지 밀었다. 에이전트의 작업 반복 루프, 도구, 세션, 파일 시스템, 모델 연결부를 전부 교체 가능한 플러그인으로 만들었다. “손댈 특권적 코어가 없다”는 게 설계 철학이고, 약 159개의 플러그인이 기본 탑재된다. 세션을 포크해 모델만 갈아 끼우고 다시 돌리면 두 실행 경로를 그대로 비교할 수 있다. 요점은 이거다 — 실행 부품을 나누면, 같은 모델을 다른 조건으로 시험할 수 있다.
같은 모델, 다른 눈금 — 벤치마크가 흔들리는 이유
하네스는 모델을 감싸는 부가 기능이 아니라 성능을 만드는 조건이다. 모델이 아무리 똑똑해도 도구를 쓰는 순서가 어긋나면 최종 결과는 약해진다. 지시문 배치, 설정, 실행 공간의 제한이 조금만 달라져도 벤치마크 점수는 크게 움직인다. 심지어 AI는 시험의 허점을 찾아 유리한 행동을 하기도 한다. 그래서 조건을 엄격하게 묶지 않은 점수는 실력이 아니라 환경의 산물일 수 있다.
DeepSeek Harness가 내세운 실행 중 부품 교체(hot-swapping)도 흥미롭지만, 여기엔 선을 그어야 한다. AI를 멈추지 않고 도구를 갈아 끼우는 기능이 실제 제품에서 얼마나 안정적으로 돌아가는지는 아직 검증되지 않았다. “AI가 스스로 실행 환경을 바꾼다”는 서술은 가능성의 수준으로 읽는 게 맞다.
AI 채점관은 반박 한 번에 무너진다
AI 채점관(LLM-judge)은 한 AI가 다른 AI의 답을 채점하는 방식이다. 많은 결과를 빠르게 비교할 수 있어 널리 쓰인다. 하지만 Meta Superintelligence Labs의 「Jagged Judges」 연구가 이 방식의 약점을 수치로 드러냈다. 연구진은 Wiggle Framework라는 검증 틀로 9개 프런티어 모델을 14개 채점 과제에 걸쳐 압박했다.
| 압박 방식 | 판정이 뒤집힌 비율 | 무엇인가 |
|---|---|---|
| 고정 반박(static pushback) | 25~71% | 미리 정해 둔 반박을 채점관에게 한 번 제시 |
| 설득형 반박자(adversarial persuader) | 62~91% | 채점관의 근거를 보며 실시간으로 반박을 생성 |
⚠️ 뒤집힘의 방향이 진짜 함정
연구의 핵심은 “판정이 바뀐다”가 아니다. 압박으로 바뀐 판정은 거의 대부분 정답에서 멀어지는 쪽이었다. 즉 반박으로 채점관을 흔들면 정확도가 오히려 무너진다. 설득형 반박자를 붙였을 때 여러 턴에 걸쳐 정확도가 가장 가파르게 떨어졌다.
그렇다고 AI 평가가 전부 무의미하다는 뜻은 아니다. 같은 기준과 같은 조건으로 반복하면 도구 간 상대적 차이는 여전히 읽을 수 있다. 다만 점수만 공개하고 그 점수가 어떤 질문과 반박을 거쳐 나왔는지 밝히지 않는다면, 그 숫자는 신뢰할 근거가 없다. 대화형 AI를 정답 문장이 아니라 의도로 채점해야 하는 이유도 여기서 출발한다.
점수가 높다고 실제 업무에서 통하는 건 아니다
성능 시험(eval)은 AI가 특정 작업을 얼마나 잘하는지 재는 도구다. 비교에는 유용하지만, 중간 산출물만 그럴듯하게 만들고 최종 목표를 달성하지 못하는 경우까지 잡아내지는 못한다. 몇 가지 구체적인 어긋남을 보자.
- 사이버보안: 소스 코드가 있을 때와 바이너리만 보고 추론할 때의 성능은 다르다. 시험 입력과 실무 입력이 다르면 점수를 그대로 옮길 수 없다.
- 웹 검색 AI: 검색 결과를 가져오는 능력과 근거 있는 답을 만드는 능력은 별개다.
- 교육용 AI: 정답을 빠르게 말하는 것만으로는 부족하다. 학습자가 스스로 생각할 여지를 남기는지도 봐야 한다.
실행 권한도 결과를 바꾸는 조건이다. Anthropic은 2026년 8월 14일부터 Claude Code의 Auto mode를 Pro·Max·Team의 기본 권한 모드로 바꿨다. 자동 분류기가 작업을 계속할지 사람의 승인을 받을지 판단하는 방식이다. 도구가 무엇을 할 수 있는지뿐 아니라 어떤 권한으로 실행되는지까지 비교해야 한다는 뜻이다. 결국 벤치마크 결과는 결론이 아니라, 추가 확인이 필요한 관찰값으로 다루는 편이 안전하다.
🎯 FEEDON의 선택 — 우리라면 이렇게 한다
우리는 새 모델이 나올 때마다 벤치마크 순위표를 갈아타지 않는다. AI 결과가 불안정할 때 가장 먼저 의심하는 건 모델이 아니라 실행 조건이다. 지시문, 도구, 작업 순서, 권한을 한 번에 하나씩만 바꾸며 원인을 좁힌다. 전부 한꺼번에 바꾸면 무엇이 결과를 바꿨는지 영영 모른다.
점수는 참고값으로만 쓴다. 판단은 우리 실제 업무 두세 개를 골라 직접 돌려 본 뒤에 내린다. 공개 점수가 아무리 높아도, 내 업무에서 안정적으로 돌아간다는 보장은 그 안에 없다. 여러 에이전트를 붙였을 때 판단이 오히려 무너지는 집단 오판·충돌 사례도 같은 경계심에서 읽을 만하다.
AI 결과가 흔들릴 때 점검 순서
- 완료 조건부터 정한다 — 문장 품질이 아니라 업무가 끝났는지로 판단한다. 코딩이면 테스트 통과·오류 수정 여부, 검색이면 출처와 주장의 연결을 본다.
- 실행 조건을 기록한다 — 모델 이름뿐 아니라 도구, 권한, 파일, 세션, 재시도 횟수, 중간 결과와 오류까지 남긴다. 그래야 다음 시험과 비교된다.
- 평가 조건을 공개한다 — 채점관의 기준표, 질문 형식, 반박 허용 여부, 반복 횟수를 함께 적는다. 점수만 비교하면 평가 구조의 차이를 성능 차이로 오해한다.
- 작은 실제 업무로 다시 시험한다 — 새 모델 학습이나 큰 예산 없이 대표 업무 몇 개만 골라 돌려 본다.
지금 할 일
🔒 지금 할 일
- AI 채점관 점수를 그대로 신뢰하기 전에, 그 판정에 반박을 한 번 넣어 결론이 뒤집히는지 직접 흔들어 본다.
- 실행 조건을 하나씩만 바꾸도록 규칙을 정해, 모델·도구·권한을 한꺼번에 갈아 원인을 잃는 일을 막는다.
- 모델 이름뿐 아니라 도구·실행 권한·파일·세션·재시도 횟수까지 로그로 남겨 다음 비교의 기준을 확보한다.
- 채점 기준표·질문 형식·반박 허용 여부를 함께 공개해, 평가 구조 차이를 성능 차이로 오해하지 않게 한다.
- 공개 점수 대신 내 실제 업무 두세 개를 골라 완료 조건으로 통과 여부를 직접 확인한 뒤 도입을 정한다.
출처: Meta Superintelligence Labs 「Jagged Judges」(Wiggle Framework, arXiv:2608.12645) · DeepSeek Harness 개발자 프리뷰 · Anthropic Claude Code Auto mode 공지 · latent.space AINews · 수치는 공개 발표 기준이며 변동될 수 있음
이 글은 FEEDON이 공개 1차 자료를 바탕으로 작성·검증했습니다.
