24시간 연중무휴로 건강 상담을 해주는 AI 챗봇이 있다는 건 고마운 일이다. 그렇다고 마냥 반길 일만은 아닌 게, 쉽게 조언을 얻을 수 있다는 이점 이면에, 오히려 건강에 해를 미칠 수 있는 위험이 감춰져 있기 때문이다.
과학 매체 Eurek Alert에 따르면, 빙엄턴 대학교, 스탠퍼드 대학교, 텍사스 A&M 대학교, 인디애나 대학교 등 미국 4개 대학 연구팀은 AI의 잘못된 건강 조언으로 피해가 발생했을 때 그 실태를 파악하기가 매우 어려워지는 문제를 지적했다. AI가 생성한 건강 정보에는 본인이 기록을 남겨 공개하는 것 외에, 어떤 대화가 있었는지 외부에서 확인할 수 있는 장치가 없어 피해 원인을 조사하는 데 방해가 되고 있다는 것이다.
이 연구 논문의 상세한 내용은 과학지 ‘Nature Health’에 게재돼 있다.
AI 챗봇이 항상 정답을 제시하는 것은 아니다. 때로는 오래된 정보나 잘못된 주장을 참고해 자신만만하게 틀린 답변을 생성하기도 한다.
논문에서는 한 사례로, 저염식을 하고 싶어 한 미국의 60세 남성이 ChatGPT에 그 방법을 물어본 경우를 소개하고 있다. 식사에 사용되는 소금은 염화나트륨이라는 물질이지만, AI는 소금 대신 브로민을 사용할 수 있다고 답했다.
브롬화나트륨은 식염과 같은 흰색 결정이며, 맛도 소금과 비슷하게 짜고 약간 쓴맛이 있다. 19세기 후반부터 20세기 초까지는 진정제 등 약으로 사용되었지만, 인체에 해가 있다는 이유로 미국에서는 1989년까지 일반 의약품 목록에서 제외되었다. 맛은 소금과 비슷하지만, 브롬화나트륨은 체내에서 소금 대타로 역할을 하지 못하며 계속 섭취하면 몸에 축적되어 환각이나 피해망상 등 정신 증상을 일으킨다.
남성은 AI의 조언에 따라 인터넷에서 브롬화나트륨을 구해 소금 대신 계속 섭취한 결과, 중증 브롬 중독에 빠져 입원하게 됐다.
미국 워싱턴 대학교의 의사들은 남성을 진료한 뒤, 그 남성이 AI로부터 어떤 조언을 받았는지 확인하지 못했다.
의사들은 대화 기록을 볼 수 없었기 때문에, 직접 ChatGPT에 염화나트륨을 대신할 물질이 무엇인지 물어보았다.
답변에 브롬화나트륨이 포함되어 있었지만, 섭취함으로써 건강 피해가 발생할 수 있다는 구체적인 경고는 없었다고 전한다.
AI와의 대화 기록은 AI 기업 서비스 안에만 남아 있으며, 건강 피해를 신고하고 조사받을 수 있는 창구도 마련돼 있지 않다.
이용자가 기록을 저장해 공개하지 않는 한, 피해가 발생해도 원인이 된 대화 기록을 외부에서 확인할 수 없다. 따라서 의사와 연구자, 규제를 담당하는 국가 기관은 무엇이 일어났는지 정확히 검증하지 못하고 있다.
또한 검색 결과에 표시되는 AI 요약이나 SNS에 통합된 AI를 통해, 스스로 조사하지 않은 사람이 우연히 잘못된 의료 정보를 접할 수도 있지만, 그 경우에도 피해의 흔적은 거의 남지 않는다.
논문의 저자 중 한 명인 빙엄턴 대학교의 카이첸 양 교수는 AI 챗봇의 의료 조언을 아무도 감시하지 않으며, 오류가 발생해도 사람들이 이를 알 방법이 없다고 경고했다.
피해가 드러나지 않은 채로 남는 것을 막기 위해, 연구팀은 AI 기업에 시스템 개선을 요구하고 있다.
구체적으로 이용자가 자신의 건강 관련 대화 기록을 저장하고, 필요에 따라 담당 의사와 공유할 수 있는 기능을 도입해야 한다고 제안한다.
AI 기업에는 문제가 있는 건강 조언을 신고하고 조사할 수 있는 시스템을 구축할 것을 요구한다.
SNS 기업에 대해서는 AI가 만든 건강 정보에 알기 쉬운 표시를 붙이고, 의료 전문 기관이 확인할 때까지는 표시를 자제할 것을 권한다. 검색 엔진도 확인된 정보만 요약에 사용해야 한다는 것이다.
연구팀은 또 의사가 의료 과실을 저질렀을 때 지는 법적 책임을 AI 챗봇 기업에도 확대하도록 국가에 요구하고 있다.
양 교수는 AI 기업이 항상 이익 창출을 우선하기 때문에 대책을 기업에만 맡길 수 없으며, 제3자로 구성되는 독립적인 감시 체계가 필요하다고 지적한다.
