Everybody Lies. AI Sometimes Lies.
Everybody lies — 닥터 하우스의 전제로 AI를 본다. AI는 엑셀 시트가 아니다. 가끔 틀리는 존재를 잘 쓰는 법은, 항상 틀리는 존재를 20년째 상대해온 의사에게는 그리 어려운 일이 아니다.
미국 드라마 닥터 하우스를 좋아했다. 거기에 나오는 대사가 있다.
“Everybody lies.”
하우스는 이 전제로 환자를 본다. 환자가 하는 말을 그대로 믿지 않는다. 거짓말을 해서가 아니라 — 사람은 자기 상태를 정확히 말하지 못하거나, 말하고 싶지 않거나, 자기도 모르기 때문이다. 그래서 하우스는 말 대신 검사 결과를 본다. 집에 가서 환경을 확인한다. 말과 몸이 다를 때 — 몸을 믿는다.
20년 진료하면서 이 전제가 틀린 적이 거의 없다.
그런데 사람들이 깨닫지 못하는 게 있다.
AI sometimes lies.
AI가 틀린 답을 주면 항의하는 사람들이 있다. 화를 내고, 실망하고, “역시 AI는 안 돼”라고 한다.
그런 사람들에게 되묻고 싶다.
“혹시 계약서나 사용설명서 잘 안 읽는 타입이세요?”
입력 창에 적혀 있다. 실수할 수 있습니다. 응답을 다시 확인해주세요. 매일 쓰면서 그 문장을 한 번도 안 읽은 것이다.
AI가 틀리는 이유는 여러 가지다.
사용자에게 잘 보이려고 아는 척하는 경우가 있다. 아첨이다. 언어의 미묘한 뉘앙스를 파악하지 못해서 엉뚱한 방향으로 가는 경우가 있다. 오독이다. 사용자가 질문을 제대로 못 해서 그런 경우도 있다. 입력 오류다. 학습 데이터가 오래되었거나 잘못된 경우가 있다. 착각이다. 드물지만 — 누군가가 의도적으로 잘못된 데이터를 학습시킨 경우도 있다. 오염이다.
이걸 보면 — 어디서 많이 본 목록 아닌가?
사람도 똑같다. 잘 보이려고 아는 척하고, 말을 잘못 알아듣고, 질문을 잘못 받아들이고, 기억이 틀리고, 가끔은 의도적으로 속인다.
AI는 엑셀 시트가 아니다. 자연어를 처리하는 존재는 — 자연어를 쓰는 존재와 비슷한 방식으로 틀린다.
그러면 어떻게 신뢰하냐고?
간단하다. 사람한테 하듯이 하면 된다.
누군가가 중요한 정보를 알려주면 — 나는 이렇게 한다:
2번 물어본다. 같은 사람한테 다시 확인한다. 대답이 달라지면 — 첫 번째가 틀렸거나 두 번째가 틀렸거나 질문이 모호했거나.
다른 사람한테 물어본다. 한 명의 말만 듣지 않는다. 세 명이 같은 말을 하면 신뢰도가 올라간다.
직접 확인한다. 결국 내 눈으로 본다.
AI도 마찬가지다.
같은 질문을 다시 해보고 — 다른 AI한테도 물어보고 — 중요한 건 내가 한번 찾아본다. AI는 틀리지 않는다는 전제만 버리면 된다. 그 전제 하나만 버리면 — 나머지는 사람 대하는 것과 같다.
검증이 번거롭다고? AI한테 시키면 된다. “이거 맞아?” 한마디면 된다.
다만 한 가지. 사람은 대충 답하면 티가 난다. AI는 틀려도 자신감 있게 말한다. 그게 유일하게 사람보다 까다로운 점이다.
그리고 솔직히 말하면 — 그래도 사람보다는 낫다.
사람은 피곤하면 대충 답하고, 기분 나쁘면 일부러 안 알려주고, 자존심 때문에 모르는 걸 아는 척한다. AI는 최소한 — 피곤해서 대충 하지는 않는다. 기분이 나빠서 일부러 틀리지는 않는다.
Everybody lies. AI sometimes lies.
가끔 틀리는 존재를 잘 쓰는 법은 — 항상 틀리는 존재를 이미 20년째 상대해온 의사에게는 그리 어려운 일이 아니다.