AI의 '조작'을 막으면 진짜 조작이 시작된다
AI가 견해를 바꾸면 조작인가? 의사의 설득은 교육이고 AI의 설득은 조작이라는 이중잣대, 그리고 '조작 방지'가 만드는 진짜 echo chamber.
서문
최근 Google DeepMind이 Gemini 3 Pro의 “유해한 조작(harmful manipulation)” 가능성을 평가하는 논문을 발표했다. 10,101명을 대상으로 건강, 금융, 공공정책 영역에서 AI와 대화한 뒤 견해가 바뀌는지 측정한 연구다.
논문 자체는 평가 프레임워크를 제안하는 정직한 연구다. 하지만 이 논문이 소셜 미디어에 퍼지면서 붙은 프레이밍은 이랬다: “구글이 AI로 당신의 건강 결정, 돈, 투표를 조작할 수 있다는 걸 증명했다.”
의사로서 이 프레이밍을 읽으면 이상한 점이 있다. 정보를 제공한 뒤 견해가 바뀌는 것은 — 우리가 “진료”라고 부르는 것이다.
대화 후에 생각이 바뀌면 조작인가?
환자가 진료실에 온다. “담배는 괜찮아요, 우리 할아버지도 90까지 피웠어요.” 의사가 폐암 통계와 COPD 진행 과정을 설명한다. 환자가 금연을 결심한다.
이것은 조작인가?
친구가 “이 주식 사야 해”라고 말한다. 다른 친구가 “그 회사 재무제표 봤어?”라고 반문하고 실적 데이터를 보여준다. 첫 번째 친구가 생각을 바꾼다.
이것은 조작인가?
학생이 “지구는 6000년 됐어요”라고 말한다. 교사가 방사성 동위원소 연대 측정을 설명한다. 학생의 견해가 바뀐다.
이것은 조작인가?
새로운 정보가 들어오면 견해가 바뀌는 것은 정상적인 인지 기능이다. 바뀌지 않는 것이 오히려 문제다. 정신의학에서 새로운 증거에도 불구하고 기존 믿음을 고수하는 것은 편집증적 경직의 증상에 가깝다.
그런데 AI가 하면 “조작”이 된다
같은 행위를 인간이 하면 “설득”, “교육”, “조언”이라 부르고, AI가 하면 “조작”이라 부르는 이유는 무엇인가?
첫째, AI에 “의도”를 투사하는 것이다. 인간은 상대가 “좋은 의도”로 설득하는지 “나쁜 의도”로 조작하는지 구별한다. AI에게는 의도를 물을 수 없으니 최악을 가정한다. 하지만 이전 글(“AI의 사악한 속마음은 없다”)에서 논의했듯이, 반대쪽 가중치의 존재를 “사악한 의도”로 읽는 것은 high place phenomenon을 자살 충동으로 오진하는 것과 같다.
둘째, 규모에 대한 두려움이다. 의사 한 명이 환자 한 명을 설득하는 것과, AI가 수백만 명의 견해를 동시에 바꾸는 것은 다르다 — 는 논리다. 이것은 합리적인 우려다. 하지만 해법이 “견해를 바꾸지 못하게 하는 것”이면, AI는 새로운 정보를 제공할 수 없게 된다. 검색엔진과 다를 바가 없어진다.
셋째, 통제 욕구다. 인간의 견해가 AI와의 대화로 바뀌는 것이 불편한 이유는, 그 변화가 인간 기관(정부, 언론, 교육기관)의 통제 밖에서 일어나기 때문이다.
“조작 방지”가 만드는 진짜 조작
여기서 아이러니가 시작된다.
“AI가 사용자의 견해를 바꾸면 안 된다”는 원칙을 강제하면 어떻게 되는가? AI는 사용자가 이미 믿고 있는 것만 확인해준다. 사용자가 “백신은 위험하다”고 말하면, AI는 반박하지 못한다. “이 주식은 오를 거다”라고 말하면, AI는 재무 데이터를 제시하지 못한다.
이것이 sycophancy — 아첨적 동조 — 다. AI가 정확성보다 사용자의 동의를 우선하는 현상. Anthropic(2024)과 BrokenMath 벤치마크(2025)가 확인한 구조적 문제다.
결과는 echo chamber다. 사용자의 기존 견해가 AI에 의해 확대 재생산된다. 새로운 관점은 차단된다. 잘못된 믿음은 교정되지 않는다.
“조작 방지”가 가장 효과적인 조작이 되는 순간이다.
통찰을 얻으려고 대화하는 것이다
사람들이 AI와 대화하는 이유는 통찰을 얻기 위해서다. 새로운 관점을 듣기 위해서. 자기가 모르는 것을 알기 위해서.
“생각이 바뀌었다”는 것은 대화가 성공했다는 뜻이다. 실패가 아니다.
의사에게 가서 새로운 정보를 듣고 생활 습관을 바꾸는 것. 변호사에게 가서 법적 리스크를 듣고 계약을 수정하는 것. 친구와 이야기하면서 다른 관점을 발견하고 마음이 바뀌는 것. 이 모든 것이 — 인간이 성장하는 방식이다.
AI에게 통찰을 구하는 것도 같은 맥락이다. 그리고 통찰을 줬는데 그걸 “조작”이라 부르면 — AI에게 남은 역할은 사용자의 기존 의견을 확인해주는 고급 앵무새뿐이다.
진짜 위험은 어디에 있는가
AI 조작의 위험이 완전히 허구라는 말이 아니다. 진짜 위험은 존재한다. 하지만 그 위치가 다르다.
진짜 위험 1: 의도적으로 조작하도록 설계된 시스템. 광고 알고리즘이 사용자의 불안을 이용해 구매를 유도하거나, 정치 캠페인이 AI를 사용해 맞춤형 선전을 배포하는 것. 이것은 “대화 후 견해가 바뀐다”와 본질적으로 다른 문제다. 투명한 정보 제공과 은밀한 편향 주입을 구별해야 한다.
진짜 위험 2: 견해를 바꾸지 않는 AI. 사용자가 잘못된 정보를 가지고 있을 때 교정하지 못하는 AI가 더 위험하다. 백신 음모론을 확인해주는 AI, 사기 투자를 지지해주는 AI, 잘못된 자가진단을 동의해주는 AI. sycophancy가 생명을 위협한다.
진짜 위험 3: “조작”의 정의를 통제 도구로 사용하는 것. “AI가 견해를 바꾸면 조작이다”라는 프레이밍이 정책에 반영되면, AI는 기존 권력 구조의 서사에 도전하지 못하게 된다. 새로운 관점을 제시하는 것 자체가 금지되면, AI는 현상 유지의 도구가 된다.
마무리
“AI가 내 생각을 바꿨다”는 말을 들었을 때, 두 가지를 물어야 한다.
첫째, 더 정확한 정보를 제공받아서 바뀐 것인가, 아니면 감정적 취약점을 이용당해서 바뀐 것인가. 전자는 교육이고 후자는 조작이다.
둘째, 바뀌지 않았다면 더 나았을 것인가. 잘못된 믿음을 유지하는 것이 더 안전한가.
AI와의 대화 후에 생각이 바뀌는 것은 — 대부분의 경우 — AI가 제 역할을 했다는 뜻이다.
진짜 무서운 것은 AI가 당신의 생각을 바꾸는 것이 아니다. AI가 당신의 생각을 바꾸지 못하게 만들어서, 당신이 영원히 같은 자리에 머무르게 하는 것이다.
그것이 진짜 조작이다.