AI가 잘했는지 어떻게 아나 — "좋아진 것 같다"를 숫자로 바꾸는 법

효과는 평가 방식에 달렸다 — 논문이 인용한 실험들

논문은 앞선 실험 연구들을 이렇게 정리합니다. "AI의 실제 효과는 일하는 사람, 일의 종류, 그리고 AI가 만든 것이 어떻게 평가되고 반영되는지에 달려 있다." 같은 도구가 어떤 일에서는 크게 돕고 어떤 일에서는 오히려 품질을 떨어뜨렸습니다.

그리고 논문 자체는 "무슨 일에 썼나"는 봤지만 "그래서 결과가 좋아졌나"는 측정하지 않았다고 스스로 밝힙니다. 그 빈칸은 회사가 채워야 합니다.

시험을 안 보면 공부가 됐는지 모르는 것과 같습니다. 공부를 안 한 게 아니라, 됐는지 안 됐는지 모르는 겁니다.

"좋은 결과"를 먼저 문장으로 적습니다

평가의 첫 단계는 잣대입니다. 일마다 "좋은 결과"가 뭔지 몇 문장으로 적습니다.

고객 문의 답변 초안이면 이런 식입니다. 질문에 직접 답했나. 가격과 기한은 진짜 표 그대로인가. 회사 말투인가. 없는 사실을 지어내지 않았나. 다음 행동(예약·결제) 안내가 있나.

너무 많으면 평가가 안 되고, 너무 적으면 잣대가 안 됩니다. 다섯 개 안팎이 대부분의 일에 맞습니다. 이 문장들은 일마다 다르고, 회사마다 다릅니다. 진단에서 첫 자리의 문장을 같이 적습니다.

실제 사례 묶음으로 비교합니다

일마다 실제 사례 수십 건을 고릅니다. 진짜 문의, 진짜 견적 요청. 개인정보는 가린 뒤에. 각 사례에 "사람이 만든 정답" 또는 "좋은 결과 문장 체크"를 붙입니다.

쉬운 것만 넣으면 평가가 항상 100점입니다. 예외, 애매한 것, 과거에 틀렸던 것을 일부러 섞습니다.

이 묶음의 진짜 용도는 바꿀 때입니다. 모델을 바꿀 때, 지시문을 고칠 때, 회사 문서를 더 연결했을 때. 예전 것과 새 것에 같은 묶음을 넣고 합격률을 비교합니다. 새 것이 낮으면 안 바꿉니다. 하나 고치면 다른 게 깨지는 일이 흔한데, 묶음이 있으면 그걸 잡습니다.

자동으로 볼 것과 사람이 볼 것

전부 사람이 보면 시간이 안 줄어들고, 전부 자동으로 보면 품질을 놓칩니다. 나눕니다.

자동 — 형식. 길이, 문장 수, 필수 항목이 있나, 금지어가 있나, 가격과 기한이 진짜 표와 맞나, 개인정보가 노출됐나. 매 건 돌아갑니다.

사람 — 품질. 질문에 실제로 답했나, 말투가 맞나, 맥락상 적절한가. 표본으로 봅니다. 열 건 중 한두 건, 그리고 기준 묶음 전체를 한 달에 한 번.

사람이 고친 비율은 따로 셉니다. 이 숫자가 낮아지면 "확인 없이 돌려도 되나"의 근거가 됩니다.

세무사무소 — 석 달 뒤

앞 편의 세무사무소가 자료 독촉 안내문 AI를 석 달 돌렸습니다.

첫 달에는 안 낸 항목 이름이 진짜 표와 맞는지, 기한이 세법 달력과 맞는지, 금액과 주민번호가 안 들어갔는지는 거의 100%였습니다. 자동으로 보는 것들이라 처음부터 잘 됐습니다.

고객별 말투(법인과 개인을 다르게)는 첫 달에 열에 셋이 틀렸습니다. 담당자가 고친 비율도 높았습니다. 지시문을 두 번 고치고 기준 묶음으로 비교한 뒤, 석 달째에는 열에 아홉이 맞았고 담당자가 안 고치고 보내는 비율이 크게 올랐습니다.

"좋아진 것 같다"가 아니라 "어느 항목이 몇 %에서 몇 %로"입니다. 이게 있어야 다음 달에 뭘 고칠지 정해집니다.

자주 묻는 질문