AI 업계에서는 타사의 AI 답변을 대량으로 수집해 적은 비용으로 똑같은 AI를 만드는 ‘증류( Distillation)’라는 기술이 문제시되고 있다.
미국 AI 기업 앤트로픽(Anthropic)과 오픈AI은 중국 AI 개발자들이 이 기술로 자사 모델을 모방하고 있다고 비난했다. 나아가 이들 빅테크 업체는 자신들의 기술을 보호하기 위해 AI가 답을 내리기 전에 만들어내는 ‘사고의 흐름’을 암호화하여 외부에서 읽을 수 없도록 하고 있다. 그럼, 이 암호 대책은 효과적인가?
이와 관련, 독일 막스 플랑크 지능 시스템 연구소가 빅테크 3사의 AI에서 진행한 연구를 통해 증류 문제와 암호 대책 효과를 잘 보여주고 있다고 과학 매체 Scientific American은 전한다.
술 제조에서 증류는 발효시킨 액체를 가열해 농축된 증기를 모은 뒤, 식혀서 센 술을 만드는 과정을 말한다. AI 개발자들은 이 용어를 빌려, 대형 AI의 내용을 소형 AI로 졸이는 일을 ‘증류’라고 지칭한다.
기반이 되는 대형 AI는 ‘교사’, 새로 만드는 AI는 ‘학생’이라고 부른다. 개발자는 교사에게 수천, 수만의 질문을 던지고, 그 답을 학생들이 본보기로 배우게 한다. 답변 하나하나에 교사가 배운 것이 담겨 있기 때문에, 학생들은 데이터의 수집이나 사람에 의한 평가와 같은 수고를 건너뛰고 교사와 비슷한 실력을 갖출 수 있다. 즉, AI를 사용해 답을 많이 훑어보기만 해도 그 내용을 그대로 따라 할 수 있다는 뜻이다.
소형 AI를 만들기 위한 증류 자체는 정통 기술로, 2000년대에도 이미 연구가 진행되고 있었다. 문제가 되는 것은 타사의 AI를 임의로 증류하는 경우다.
2025년 초, 중국의 딥시크(DeepSeek)가 30만달러도 안 되는 비용으로 만들었다고 하는 AI ‘R1’에 대해 오픈AI의 AI가 도출한 답변을 학습에 사용한 것 아니냐는 의혹이 제기됐다.
딥시크는 이 비난에 강력하게 응수했다. 사실 앤트로픽과 오픈AI도 인터넷상의 데이터를 허가 없이 학습에 사용했다는 비판을 받은 적이 있다.
교사 AI는 마지막 답뿐만 아니라, 답마다의 확률이나 답하기 전에 거친 생각의 기록까지 넘겨주기도 한다.
그래서 빅테크 업체들은 이 생각의 흐름을 암호화한 문장 덩어리로 이용자에게 전달하고, 다음 질문이 있을 때마다 암호 덩어리를 다시 보내는 방식을 취한다. 내용을 알 수 없는 봉투를 이용자에게 맡기는 것과 같다.
독일 막스 플랑크 지능 시스템 연구소의 연구팀이 밝혀낸 것은 암호 덩어리가 동일 회사 내에서는 물론 다른 대화나 다른 사용자, 심지어 다른 모델 간에도 그대로 재사용될 수 있다는 점이다. 비유하자면, 어느 객실이든 동일한 열쇠로 열 수 있는 호텔과 같은 것이다.
이어 연구팀은 성능이 뛰어난 AI가 내놓은 암호 덩어리를 같은 회사의 성능이 낮고 방어력도 약한 AI에 끼워 넣었다. 그러자 약한 AI는 그 덩어리를 해독하여, 생각의 흐름을 한 글자 한 글자 그대로 일반 문장으로 적어 나갔다. 고성능 AI 자체를 한 번도 속이지 않고, 숨겨져 있어야 할 생각을 취할 수 있게 된 셈이다.
연구팀은 이 수법으로 증류를 방지하는 방어망을 우회하여, 각 사가 독자적으로 보유한 AI의 추론을 끌어낼 수 있음을 앤트로픽, 오픈AI, 구글 3사에서 입증했다. 실제로 오픈AI도 “증류를 시도하는 이들이 어떤 대화에서 암호화된 추론을 복사해 다른 대화의 모델에 해독시키려 했다”고 설명했다.
이 취약점이 초래하는 것은 증류뿐만이 아니다. 연구팀에 따르면, 개발자들이 암호화된 데이터의 내용을 모른 채 AI와의 상호작용 기록을 인터넷에 공개하는 경우가 많다고 한다.
연구팀이 공개된 보관 장소에서 수집한 31만5320개의 추론 덩어리를 해독한 결과, 개인을 특정할 수 있는 정보가 367건, 로그인 등에 사용하는 인증 정보가 182건 발견됐다.
공개한 본인도 눈치채지 못한 비밀이 읽을 수 없을 터인 봉투 안에 잠들어 있었다. 게다가 AI가 악의적인 부탁을 마지막 답변에서 제대로 거절하고 있더라도, 그 이전 생각의 흐름에는 위험한 정보가 포함된 경우가 있다는 점도 밝혀졌다.
또 다른 위험은 악의적인 지시를 암호화된 덩어리 안에 통째로 숨겨, 공개된 AI 에이전트(사람을 대신해 작업을 수행하는 AI)의 대화에 외부에서 보이지 않는 형태로 섞여 들어가게 하는 것이다.
연구팀은 책임 있는 공시 절차를 거친 후, 암호 구조와 시스템 양측 면에서의 구체적인 대책을 제안한다. ‘암호화하는 것’과 ‘읽을 권한을 부여하는 것’은 별개라는 것이다.
이제 AI 화면에서 ‘생각하고 있다’라는 표시를 보게 된다면, 그 뒤에 숨은 생각은 잠긴 금고가 아니라, 같은 회사의 성능이 낮고 방어력도 약한 AI에게 넘기면 읽어줄지도 모르는 봉투일 수 있다는 점을 알아야 한다.
비밀을 지키는 요령은 서류에 자물쇠를 채우기보다는 입이 가벼운 사람에게 서류 자체를 건네지 않는 것이다.
