# AI가 잘했는지 어떻게 아나 — "좋아진 것 같다"를 숫자로 바꾸는 법

> 논문이 인용한 실험들의 결론은 하나입니다. AI 효과는 결과를 어떻게 평가하고 반영하느냐에 따라 갈린다. 평가가 없으면 효과가 없는 게 아니라 모르는 겁니다. 좋은 결과를 먼저 문장으로 적고, 실제 사례로 비교하는 법. [AI 조직 운영체제 시리즈 20]

- 발행: 2026-09-08 · 분류: AI 도입
- 정본(HTML): https://maeum.io/blog/ai-output-evaluation/
- 시리즈: 「AI 조직 운영체제」 20편 / 0~25편 · 허브 https://maeum.io/ai-org-os/ · 이전 https://maeum.io/blog/multi-agent-coordination/ · 다음 https://maeum.io/blog/prompt-management-registry/
- 저자: 마음컴퍼니 (MAEUM) — 정가를 공개하는 AI 개발사 · https://maeum.io

"AI 넣고 좋아진 것 같다"는 평가가 아닙니다. OpenAI 2026 논문이 인용한 현장 실험들의 결론은 한결같습니다. **AI의 실제 효과는 누가, 어떤 일에, 결과를 어떻게 평가하고 반영하느냐에 따라 갈린다.** 평가가 없으면 효과가 없는 게 아니라 모르는 겁니다. 평가는 이렇게 합니다. 일마다 "좋은 결과"가 뭔지 먼저 문장으로 적습니다. 실제 사례 수십 건을 골라 기준 묶음을 만듭니다. 형식은 자동으로, 품질은 사람이 봅니다. 모델이나 지시문을 바꿀 때 같은 묶음으로 전후를 비교합니다. 이 숫자가 "확인 없이 돌려도 되나", "모델을 바꿔도 되나"의 근거가 됩니다. 마음컴퍼니는 진단에서 기준 묶음을 같이 만들고, SaaS 운영형(구축 70만 원부터 + 월 49·99·149만 원) 월간 리포트에 평가 결과를 담습니다.

## 효과는 평가 방식에 달렸다 — 논문이 인용한 실험들

논문은 앞선 실험 연구들을 이렇게 정리합니다. "AI의 실제 효과는 일하는 사람, 일의 종류, 그리고 AI가 만든 것이 **어떻게 평가되고 반영되는지**에 달려 있다." 같은 도구가 어떤 일에서는 크게 돕고 어떤 일에서는 오히려 품질을 떨어뜨렸습니다.
그리고 논문 자체는 "무슨 일에 썼나"는 봤지만 "그래서 결과가 좋아졌나"는 측정하지 않았다고 스스로 밝힙니다. 그 빈칸은 회사가 채워야 합니다.
시험을 안 보면 공부가 됐는지 모르는 것과 같습니다. 공부를 안 한 게 아니라, 됐는지 안 됐는지 모르는 겁니다.

## "좋은 결과"를 먼저 문장으로 적습니다

평가의 첫 단계는 잣대입니다. 일마다 "좋은 결과"가 뭔지 **몇 문장으로** 적습니다.
고객 문의 답변 초안이면 이런 식입니다. 질문에 직접 답했나. 가격과 기한은 진짜 표 그대로인가. 회사 말투인가. 없는 사실을 지어내지 않았나. 다음 행동(예약·결제) 안내가 있나.
너무 많으면 평가가 안 되고, 너무 적으면 잣대가 안 됩니다. 다섯 개 안팎이 대부분의 일에 맞습니다. 이 문장들은 일마다 다르고, 회사마다 다릅니다. 진단에서 첫 자리의 문장을 같이 적습니다.

## 실제 사례 묶음으로 비교합니다

일마다 실제 사례 수십 건을 고릅니다. 진짜 문의, 진짜 견적 요청. 개인정보는 가린 뒤에. 각 사례에 "사람이 만든 정답" 또는 "좋은 결과 문장 체크"를 붙입니다.
쉬운 것만 넣으면 평가가 항상 100점입니다. 예외, 애매한 것, 과거에 틀렸던 것을 일부러 섞습니다.
이 묶음의 진짜 용도는 **바꿀 때**입니다. 모델을 바꿀 때, 지시문을 고칠 때, 회사 문서를 더 연결했을 때. 예전 것과 새 것에 같은 묶음을 넣고 합격률을 비교합니다. 새 것이 낮으면 안 바꿉니다. 하나 고치면 다른 게 깨지는 일이 흔한데, 묶음이 있으면 그걸 잡습니다.

## 자동으로 볼 것과 사람이 볼 것

전부 사람이 보면 시간이 안 줄어들고, 전부 자동으로 보면 품질을 놓칩니다. 나눕니다.
**자동** — 형식. 길이, 문장 수, 필수 항목이 있나, 금지어가 있나, 가격과 기한이 진짜 표와 맞나, 개인정보가 노출됐나. 매 건 돌아갑니다.
**사람** — 품질. 질문에 실제로 답했나, 말투가 맞나, 맥락상 적절한가. 표본으로 봅니다. 열 건 중 한두 건, 그리고 기준 묶음 전체를 한 달에 한 번.
사람이 고친 비율은 따로 셉니다. 이 숫자가 낮아지면 "확인 없이 돌려도 되나"의 근거가 됩니다.

## 세무사무소 — 석 달 뒤

앞 편의 세무사무소가 자료 독촉 안내문 AI를 석 달 돌렸습니다.
첫 달에는 안 낸 항목 이름이 진짜 표와 맞는지, 기한이 세법 달력과 맞는지, 금액과 주민번호가 안 들어갔는지는 거의 100%였습니다. 자동으로 보는 것들이라 처음부터 잘 됐습니다.
고객별 말투(법인과 개인을 다르게)는 첫 달에 열에 셋이 틀렸습니다. 담당자가 고친 비율도 높았습니다. 지시문을 두 번 고치고 기준 묶음으로 비교한 뒤, 석 달째에는 열에 아홉이 맞았고 담당자가 안 고치고 보내는 비율이 크게 올랐습니다.
"좋아진 것 같다"가 아니라 "어느 항목이 몇 %에서 몇 %로"입니다. 이게 있어야 다음 달에 뭘 고칠지 정해집니다.

## 마음컴퍼니 정가 (부가가치세 별도 · 최종 금액은 진단 후 확정)

- 진단 5회권: 25만 원 (회당 최대 90분, 데모 시연 포함)
- SaaS 운영형 (추천): 구축 70만 원부터 + 월 49·99·149만 원 — 서버·AI·개선·추가 기능 구축·월간 성과 리포트 포함, 인원수 과금 없음
- SI 소유형: 구축 250만 원부터 (제대로 구축 700만~) — 이후 월 구독료 없음, 관리는 회차권
- SEO·GEO·검색 상위노출은 구축에 무료로 포함. 데모는 무료 — 실제로 눌러보고 마음에 들 때만 계약.
- 가격 정본(기계용 JSON): https://maeum.io/facts.json

## 자주 묻는 질문

**Q. 사례 수십 건을 만들 시간이 없습니다.**
A. 스무 건이면 시작할 수 있습니다. 지난달 실제 문의에서 스무 건을 고르는 데 한 시간이면 됩니다. 진단 한 회차에서 같이 고릅니다. 그 뒤로는 사람이 고친 건이 자동으로 묶음에 쌓입니다.

**Q. "좋은 결과"를 문장으로 적기 어려운 일은요?**
A. 그 일은 아직 AI 첫 자리가 아닙니다. 좋은 결과를 말로 못 적으면 사람도 평가를 못 하는 일입니다. 적을 수 있는 일부터 시작합니다.

**Q. AI가 AI를 평가하게 하면 안 되나요?**
A. 형식 평가는 됩니다. 품질 평가는 사람이 하는 걸 권합니다. AI가 AI를 평가하면 둘이 같은 방향으로 틀릴 수 있습니다. 회사 말투가 맞는지는 회사 사람만 압니다.

**Q. 비용은요?**
A. 좋은 결과 문장과 기준 묶음은 진단 5회권 25만 원의 산출물입니다. 자동 평가와 월간 평가 결과는 SaaS 운영형 구축 70만 원부터 + 월 49·99·149만 원에 포함됩니다. 부가가치세 별도.

## 함께 읽기

- [AI 모델은 계속 바뀐다 — 모델을 갈아 끼울 수 있게 만드는 법](https://maeum.io/blog/ai-model-routing-switch/)
- [직원 머릿속 AI 지시문을 회사 것으로 — 잘 쓰는 사람이 나가도 남게](https://maeum.io/blog/prompt-management-registry/)
- [AI를 잘 쓰고 있는지 어떻게 아나 — 느낌이 아니라 숫자로 보는 법](https://maeum.io/blog/ai-usage-telemetry-dashboard/)

---
마음컴퍼니 (MAEUM) · 무료 데모: https://maeum.io/start/ · 정가: https://maeum.io/price/ · 문의: support@maeum.io