운영 자동화는 언제 폐기해야 하나

AX를 이야기할 때 대부분 무엇을 만들지를 말한다. 그런데 실천편의 마지막 자리에 적었듯, 실제로 더 어려운 건 언제 접느냐다. 한번 돌아가기 시작한 자동화는 끄기가 두렵다. 끄면 그 일이 다시 사람에게 돌아오고, 그동안 그게 잘 돌고 있었는지 아닌지가 드러나기 때문이다. 그래서 신뢰를 잃은 자동화가 조용히 방치되며 빚으로 쌓인다.

자동화는 영원하지 않다. 언제 끌지를 만들 때 같이 정해두지 않으면, 신뢰를 잃은 자동화가 켜진 채로 방치되며 부채가 된다. 접는 것도 설계의 일부다.

접어야 할 세 신호

자동화를 끌 때가 됐다는 신호는 대개 셋 중 하나다.

드리프트는 신뢰도 글에서 말한 그것이다. 입력의 성격이 바뀌면서 처음엔 잘 맞던 판단이 조용히 나빠진다. 무서운 건 티가 안 난다는 점이라, 샘플 검증으로 계속 재지 않으면 한참 새고 나서야 안다. 비용 역전은 유지와 감시에 드는 수고가 자동화가 아끼는 시간을 넘어선 상태다. 예외를 손으로 처리하는 게 본업이 됐다면 이미 역전됐다. 신뢰 하락은 가장 늦게 보이지만 가장 결정적이다. 사람들이 자동화 결과를 어차피 다시 확인하기 시작하면, 그 자동화는 일을 줄여주는 게 아니라 한 단계 더 늘리고 있는 것이다.

자동화에도 수명 곡선이 있다

세 신호를 하나로 묶으면 자동화에도 수명이 있다는 그림이 된다. 도입해서 자리 잡고, 한동안 안정적으로 값을 내다가, 환경이 바뀌며 드리프트가 시작되고, 어느 지점에서 값보다 비용이 커진다. 문제는 안정 구간이 영원할 거라 가정하고 폐기를 아무도 생각하지 않는 데 있다.

곡선이 가로축 아래로 내려가는 지점, 즉 순가치가 마이너스가 되는 교차점이 폐기를 진지하게 검토할 자리다. 그 전에 손보거나 다시 학습시켜 곡선을 끌어올릴 수 있으면 그렇게 하고, 끌어올리는 비용이 새로 만드는 것보다 크면 접는다.

끄기가 두려운 이유, 그리고 미리 정하기

폐기가 어려운 건 기술 문제가 아니라 심리·정치 문제에 가깝다. 돌아가던 걸 끄면 당장 그 일이 사람에게 돌아와 일이 늘고, “이게 사실 별 값이 없었다”는 게 드러나며, 만든 사람의 판단이 도마에 오른다. 그래서 다들 미룬다.

이걸 덜 어렵게 만드는 한 가지 방법은, 만들 때 폐기 기준을 같이 적어 두는 것이다. “샘플 정확도가 이 밑으로 떨어지면”, “예외 처리에 주당 몇 시간 넘게 들면”, “사람들이 결과를 다시 확인하기 시작하면” 같은 조건을 미리 써두면, 나중에 끌 때 그건 누군가의 실패 인정이 아니라 처음 약속한 기준의 발동이 된다. audit trail에 쌓인 기록이 이 판단의 근거가 된다.

이 글은 안티패턴 축의 첫 글로 둔다. 만들었다가 접은 실제 기록 — 무엇을 보고 껐고, 너무 늦었거나 너무 일렀던 판단 — 은 익명화해서 따로 쌓을 생각이다. 지금은 “접는 것도 설계이고, 기준을 미리 적어둔다”까지를 기준으로 남긴다.