회사의 기억을 AI에 연결하기 — AI가 우리 회사 일을 모르는 이유

AI는 우리 회사를 모릅니다

OpenAI 논문이 60가지 일 종류로 나눴을 때, 많은 사람이 쓰는 용도 상위에 자료 정리, 사실 확인, 정보 종합이 있습니다. 임원일수록 이 비중이 높습니다.

문제는 이 용도가 회사 밖 정보에는 잘 되지만 회사 안 정보에는 안 된다는 겁니다. "작년에 이 고객에게 얼마에 제안했지", "이 경우 우리 규정이 뭐지", "지난번 같은 문제는 어떻게 처리했지". AI는 이걸 모릅니다. 인터넷에 없으니까요.

전학 온 학생과 같습니다. 똑똑해도 우리 학교 규칙은 모릅니다. 누가 알려 줘야 합니다.

회사의 기억은 어디에 있나

연결하기 전에 목록부터 적습니다. 회사의 기억은 대략 이런 것들입니다.

• 기록 — 회의록, 이메일, 카톡, 보고서, 프로젝트 기록
• 규칙 — 업무 절차, 규정, 가격표, 자주 묻는 질문
• 판단 — 과거에 무엇을 왜 정했나, 잘된 사례, 실패한 사례
• 사람 — 누가 무엇을 담당하나, 고객별 담당자

대부분의 회사가 이 중 절반은 "어딘가에 있긴 한데" 상태입니다. 노션 어딘가, 담당자 카톡, 대표 머릿속. AI에게 연결하려면 먼저 사람이 찾을 수 있어야 합니다. 이 목록을 적는 것이 진단 첫 회차에서 하는 일입니다.

복붙과 연결의 차이

가장 흔한 방법은 직원이 문서를 복사해서 채팅창에 붙이는 겁니다. 되긴 됩니다. 문제가 셋 있습니다.

붙이는 사람이 볼 수 있는 건 전부 나갑니다. 고객 명단을 통째로 붙이면 통째로 나갑니다. 어느 문서를 근거로 답했는지 안 남습니다. 오래된 문서를 붙여도 AI는 그게 오래된 줄 모릅니다.

연결은 다릅니다. 직원이 질문하면 시스템이 그 직원이 볼 수 있는 문서 안에서 관련 부분을 찾아 AI에게 넘기고, AI는 그 근거로 답하면서 어느 문서 몇 번째 문단인지 붙입니다. 이 방식을 흔히 RAG라고 부릅니다. 이름은 중요하지 않습니다. 중요한 건 누가 물었느냐에 따라 다른 문서를 찾는다는 점입니다.

인사팀 직원이 "김○○ 연봉"을 물으면 답이 나오고, 영업팀 직원이 같은 걸 물으면 "권한 없음"이 나옵니다. 같은 AI가 답해도 결과가 다릅니다. 앞 편에서 만든 권한표가 여기서 작동합니다.

컨설팅 회사의 제안서 — 연결하면 이렇게 됩니다

컨설팅 회사 직원이 새 제안서를 씁니다. "제조업 고객, 재고 관리 개선 제안서 초안. 비슷한 과거 사례 참고해서."

시스템은 이 직원이 볼 수 있는 폴더 안에서 비슷한 과거 제안서 3건, 그 프로젝트 결과 보고서 2건, 가격 규정 최신판 1건을 찾습니다. AI는 그 근거로 초안을 쓰고, 문단마다 "2025년 3월 A사 제안서 참조", "가격 규정 최신판 2항 참조"를 붙입니다.

직원은 초안을 읽다가 근거가 궁금하면 그 문서로 바로 갑니다. 그 직원이 볼 수 없는 다른 팀 제안서는 애초에 안 섞였습니다. 이게 연결입니다.

답을 믿을 수 있게 만드는 두 가지

출처 표시 — 답마다 어느 문서의 어느 부분인지 붙입니다. 출처 없는 답은 사람이 확인하는 데 시간이 더 듭니다.

오래된 문서 표시 — 가격표가 바뀌었는데 옛 가격표를 근거로 답하면 사고입니다. 문서에 날짜가 있고, 답에 "이 근거는 8개월 전 문서"가 표시돼야 합니다.

둘 다 AI 모델의 능력이 아니라 연결하는 방식의 설계입니다. 같은 모델로도 출처 없이 만들 수 있고 출처 있게 만들 수 있습니다. 마음컴퍼니는 출처 있게 만듭니다.

자주 묻는 질문