마지막 검증자 — 제대로 된 건지 아는 능력은 멸종할까
인공지능이 만드는 시대에, 제대로 됐는지 아는 능력은 어떻게 되는가. 누끼를 따본 사람만 AI의 실수를 알아보듯, 검증 능력은 직접 망쳐본 경험에서 자란다. 그 기회가 사라지면 검증자도 사라진다.
최근 글 하나를 읽었다. 지원자는 자기가 만든 프로젝트를 포트폴리오로 들고 왔다고 했다. 결과물 자체는 그럴듯했지만, 포트폴리오에서 데이터가 무엇인지, 어떤 분석 방법을 썼는지, 그 방법이 무엇인지 물었더니 제대로 답하지 못했다고 한다. 본인 설명으로는, 인공지능이 시킨 대로 했다는 것이었다.
이 이야기를 내시경실에서 직원과 나눴다.
그 직원은 이전에 다른 일을 오래 했다. 포토샵으로 이미지에서 대상만 오려내는 작업, 소위 누끼 따는 일을 수없이 하면서 배웠다고 했다. 그러더니 물었다. 이제는 어떻게 되는 걸까요.
내 대답은 이랬다. 선생님은 직접 해보셨기 때문에, 인공지능에게 맡기더라도 어디서 실수가 나는지 아신다. 경계가 어색한 부분, 머리카락이 뭉개진 부분, 그림자가 이상하게 남은 부분. 그걸 알아보는 건 직접 해본 사람만 안다.
걱정되는 건 다른 쪽이다. 인공지능이 한 것이 제대로 된 것인지도 모르면서, 자기가 할 줄 안다고 착각하는 경우.
고용주 입장에서 나는 직원이 인공지능을 쓰든 말든 상관없다. 다만 일이 제대로 된 것인지 모르는 사람에게 일을 맡기고 싶지는 않다. 앞으로 채용에서 중요해지는 것은, 만들 줄 아는 능력보다 제대로 됐는지 아는 능력이 아닐까 싶다.
두 가지는 다르다.
만드는 것은 결과물이 눈에 보인다.
제대로 됐는지 아는 것은 알기 어렵다. 틀린 것을 알아보는 일이라 아무 일도 일어나지 않은 것처럼 보인다. 오류를 잡아내면 그냥 정상적인 결과물이 하나 나올 뿐이다.
그런데 제대로 됐는지 아는 능력은 첫 번째 능력의 부산물로 자란다. 누끼를 직접 따면서 실수해본 사람만 그 실수를 알아본다. 검증은 이론으로 배우기 어렵고, 대개 자기가 망쳐본 경험에서 온다.
하지만 인공지능이 신입에게 주던 허드렛일을 가져가면, 다음 세대는 망쳐볼 기회 자체를 갖지 못하고 만드는 능력을 건너뛰면 검증하는 능력도 함께 사라질 것 같다.
그렇게 보면 직원의 불안은 절반만 맞다. 지금 손으로 해본 세대는 오히려 앞으로 희소해지는 것을 가진 사람들이다. 다만 그 희소함이 다음 사람에게 전달되지 않는다는 것이 문제다.
지원자 이야기에서 가장 마음에 걸린 부분은 그 지원자가 거짓말을 하지 않았다는 점이다.
인공지능이 시킨 대로 돌렸다고 정직하게 말했다. 속이려던 것이 아니라, 자기가 무엇을 모르는지 몰랐던 것에 가깝다. 도구가 유창하게 답을 내주면, 그 유창함이 사용자 본인에게도 안다는 느낌을 만들어낸다.
이것은 개인의 게으름 문제가 아니다. 예전에는 모르면 막혔다. 코드가 안 돌아가고, 통계가 안 나오고, 결과가 이상했다. 그 막힘이 무지를 알려주는 신호였다. 지금은 막히지 않는다. 매끄럽게 결과가 나오고, 그럴듯하게 설명까지 붙는다. 무지를 알려주던 신호가 사라진 것이다.
착각이 개인의 성향이 아니라 환경에서 공급되는 셈이다.
누끼는 잘못되면 눈에 보인다. 경계가 튀고 색이 남는다. 그래서 검증할 기회가 매번 주어지고, 틀린 것을 보면서 배운다.
병변은 그렇지 않다. 놓쳐도 그 자리에서는 아무 일도 일어나지 않는다. 화면은 깨끗하고, 검사는 정상으로 끝나고, 환자는 인사하고 나간다. 틀렸다는 사실은 몇 년 뒤에 도착하거나 영영 도착하지 않는다.
내시경에서 인공지능 병변 탐지 보조가 이미 쓰인다. 정확도는 계속 올라갈 것이고, 그건 환자에게 좋은 일이다. 그런데 처음부터 그 보조를 켜고 배운 세대는, 언젠가 이런 질문 앞에 서게 된다. 보조를 끄면 병변이 보이는가.
누끼 이야기가 내 분야의 몇 년 뒤 예고편처럼 보인다.
그래서 채용에서는 실기를 봐야 한다고 생각한다.
비교적 저기술 업종인 내 쪽에서는 방법이 단순하다. 간호 인력을 뽑는다면 내 팔의 혈관을 잡아보라고 하면 된다. 잡히거나 안 잡히거나 둘 중 하나다. 인공지능이 대신해줄 수 없고, 포트폴리오로 꾸밀 수도 없고, 결과가 그 자리에서 나온다.
산출물의 신뢰도가 떨어지면 평가는 결국 과정을 캐묻는 쪽으로 돌아간다. 앞의 면접이 작동한 이유도 포트폴리오를 본 것이 아니라 직접 하나씩 물었기 때문이었다.
다만 실기가 궁극적인 답이라 하긴 힘들다.
채용을 떠나 업무 시 직원에게 인공지능을 쓰지 말라고 하면 비효율이고 늙은 꼰대라는 소리 들을 것이다. 다만 직원이 인공지능을 쓰게 되면 나는 직원에게 일을 위임했는데 일에 대한 퀄리티에 대한 신뢰를 어떻게 할 수 있을까에 대한 의문은 사라지지 않을 것이다. 그리고 일에 대한 피드백을 받기 어려워 검증 능력은 자라지 않을 것 같다. 항공사가 자동조종 시대에도 수동 비행 시간을 의무화하듯 의도적인 비효율을 설계해야 한다는데 이것을 어떻게 설계할 수 있을까?
아직은 손으로 해본 세대가 지금 일하고 있고, 그들이 가진 검증 능력은 점점 귀해질 것이다. 그 능력을 어떻게 다음 사람에게 넘기고 반복 재생산할지가 앞으로의 화두가 될 것으로 보인다.
제대로 된 건지 아는 능력이 멸종할지는 아직 모르겠다. 다만 그것이 저절로 자라던 시대는 끝난 것 같다.