AI 출력을 어디까지 믿을 것인가

어떤 루프를 먼저 고를까에서 후보를 거르고 나면, 그다음 막히는 질문이 이거다. AI가 낸 출력을 그대로 써도 되나. 데이터를 잘 줬고(what-is-ax의 “데이터” 계층) 모델도 괜찮아 보이는데, 그 결과를 믿고 다음 일을 진행해도 되는지는 별개의 판단이다. 그리고 이건 감으로 답하면 안 되는 종류의 질문이다.

"믿어도 되나"는 정확도 하나로 답할 수 없다. 얼마나 자주 맞는가, 틀렸을 때 되돌리는 비용은 얼마인가, 맞는지 확인하는 비용은 얼마인가 — 이 셋의 관계로 답한다.

세 개의 변수

신뢰를 정확도 한 축으로만 보면 자꾸 틀린 결정을 한다. 99% 정확해도 나머지 1%가 되돌릴 수 없는 사고면 못 믿고, 80%밖에 안 맞아도 틀린 걸 즉시 알아채 쉽게 고칠 수 있으면 충분히 쓸 만하다. 그래서 나는 세 변수를 같이 본다.

이 셋을 함께 놓으면 하나의 실용적인 규칙이 나온다. 검증 비용이 회복 비용보다 쌀 때만, 사람이 일일이 확인하는 게 값을 한다. 확인하는 데 드는 수고가 사고를 수습하는 값보다 크다면, 차라리 자동 적용하고 틀린 것만 사후에 잡는 편이 낫다. 반대로 한 번의 사고가 치명적이면, 검증이 번거로워도 적용 전에 사람이 본다. 이건 승인 게이트에서 “되돌리기 × 파급 범위”로 게이트 위치를 정하던 것과 같은 계산을, 신뢰의 언어로 다시 한 것이다.

검증의 강도를 고른다

신뢰가 흑백이 아니듯 검증도 전부냐 아니냐가 아니다. 위험에 맞춰 강도를 고른다.

1. 전수 검증. 모든 출력을 사람이 본다. 회복 비용이 크고 양이 적을 때. 가장 안전하고 가장 비싸다.
2. 샘플 검증. 일부만 뽑아 보고 품질을 추정한다. 양이 많고 개별 오류는 감당 가능할 때. 드리프트를 조기에 잡는 용도로도 쓴다.
3. 자동 검증. 규칙·스키마·다른 모델로 기계가 1차로 거른다. 검증 기준을 코드로 쓸 수 있을 때. 사람은 걸러진 예외만 본다.
4. 무검증 + 사후 롤백. 일단 적용하고 문제가 드러나면 되돌린다. 회복이 쉽고 검증이 비쌀 때만. 롤백 경로가 없으면 금지.

대개는 이걸 섞는다. 자동 검증으로 대부분을 거르고, 통과 못 한 것만 사람이 전수로 보고, 통과한 것 중 일부를 샘플로 다시 확인하는 식이다.

신뢰는 고정값이 아니다

마지막으로, 한 번 믿었다고 계속 믿으면 안 된다. AI 출력의 정확도는 입력 분포가 바뀌면 같이 변한다. 처음 검증했을 때 잘 맞던 모델이, 몇 달 뒤 들어오는 데이터의 성격이 달라지면서 조용히 나빠질 수 있다(what-is-ax에서 말한 드리프트). 그래서 신뢰는 한 번 정하고 끝나는 값이 아니라, 샘플 검증으로 계속 다시 재는 값이다. “예전에 믿을 만했다”는 지금도 믿어도 된다는 뜻이 아니다.

여기서 결론이 덜 난 부분은 검증 비용을 어떻게 정량화하느냐다. 회복 비용은 그래도 추정해 본 적이 있지만, “사람이 확인하는 비용”은 맥락에 따라 들쭉날쭉해서 아직 깔끔한 기준을 못 세웠다. 이건 실제로 검증 루프를 몇 개 돌려보고 다시 채울 자리로 남겨둔다.

변경 로그

• 2026-06-23초안 작성. 신뢰 3변수·검증 강도 4단계·드리프트 정리 (성숙도: 탐색 중)
• 예정검증 비용 정량화 · 샘플 검증 주기 설정의 익명화 사례 보강