AI 위험하지 않나요 — 막연한 불안을 목록으로 바꾸는 법

막연한 불안을 목록으로

AI 도입 논의가 멈추는 지점은 대개 "근데 위험하지 않나?"입니다. 이 질문에는 답이 없습니다. 무엇이 위험한지 안 정했으니까요.

목록으로 바꾸면 답이 생깁니다. "고객 정보 유출"은 위험하고 막는 장치가 있습니다. "AI가 우리 회사를 대체"는 직원 10명 회사에서 일어날 가능성이 낮습니다. "문자 오발송"은 자주 일어날 수 있지만 피해가 작습니다.

학교에서 수학여행 갈 때와 같습니다. "위험하니까 가지 말자"가 아니라, 버스 사고·미아·식중독처럼 목록을 적고 각각 대비를 합니다. 그래서 갑니다.

목록에 들어가는 것들

회사 AI 위험은 대략 이런 묶음으로 나옵니다.

안에서 생기는 것 — AI가 틀린 답을 함, 회사 정보가 서로 어긋남, 직원이 개인 계정에 복붙함, 자리를 잘못 고름, 확인할 사람이 없음.

밖에서 오는 것 — 남이 AI에게 몰래 명령을 끼워 넣음, 법과 규제, 고객 평판, AI 회사가 바뀌거나 망함.

돌리면서 생기는 것 — AI가 허락 밖의 일을 함, 비용이 예산을 넘음, 사고가 났는데 기록이 없음.

전부 적으면 스무 개 남짓 됩니다. 회사마다 항목이 조금씩 다릅니다. 이 목록을 회사에 맞춰 채우는 것이 진단에서 하는 일입니다.

전부 막지 않습니다 — 상위 몇 개만

각 항목에 두 가지를 매깁니다. 얼마나 자주 일어날까와 일어나면 얼마나 아플까. 둘을 곱하면 순위가 나옵니다.

대부분의 회사에서 상위는 3~5개입니다. 그 3~5개에만 장치를 둡니다. 나머지는 "알고 있음"으로 목록에 남깁니다. 스무 개 전부에 장치를 두려는 회사는 시작을 못 합니다.

그리고 상위에 오른 항목은 이 시리즈의 어느 편에서 다룬 것입니다. 정보 유출이 상위면 보안 편, 자리를 잘못 고른 게 걱정이면 흐름 편, 확인할 사람이 없는 게 걱정이면 조직 편. 위험 목록이 곧 읽을 순서가 됩니다.

온라인 교육 회사 — 상위에 오른 것

온라인 강의 회사(직원 15명, 수강생 3,000명)가 수강 문의 AI를 넣으려고 목록을 만들었습니다.

1위는 직원 개인 계정 복붙이었습니다. 상담팀이 수강생 명단을 개인 계정에 붙여 넣고 있었습니다. 장치는 회사 시스템 안에서만 쓰고 이름·연락처를 가리는 것. 첫 주에 조치했습니다.

2위는 미성년 수강생 정보였습니다. 장치는 미성년자 정보를 AI가 볼 수 있는 목록에서 아예 빼는 것.

3위는 담당자 한 명이 나가면 멈춤이었습니다. 장치는 그 사람이 쓰던 지시문과 규칙을 회사 시스템에 옮기는 것.

"AI가 회사를 대체"는 목록 맨 아래였습니다. 그래서 세 개에 장치를 두고 시작했습니다.

위험은 금지 사유가 아니라 장치를 둘 자리

목록을 만들면 흔히 반대 방향으로 갑니다. "이렇게 위험한 게 많으니 하지 말자." 그건 목록의 용도가 아닙니다.

목록에 오른 위험 전부에 장치가 있습니다. 장치가 있는 위험은 감수하는 위험이 됩니다. 사람 직원을 뽑을 때도 실수·이직·정보 유출 위험을 교육·계약·권한으로 감수하는 것과 같습니다.

정직하게 말하면, 장치를 둬도 사고는 납니다. 장치의 역할은 사고를 0으로 만드는 게 아니라, 사고가 났을 때 작게, 되돌릴 수 있게, 원인을 알 수 있게 만드는 겁니다.

자주 묻는 질문