보안 효율 호환성 강점… ‘소버린 AI’로 AX 도입 제약 산업 혁신 가속화 기대
KT가 국산 인공지능(AI) 반도체와 자체 개발한 거대언어모델(LLM)을 하나의 서버에 통합한 기업용 ‘소버린 AI’ 어플라이언스를 출시했다.
데이터와 AI 연산을 고객사 내부에서 처리할 수 있는 완제품형 장비를 앞세워 공공·금융·국방·제조·제약 등 규제 산업의 AI 전환 시장 공략에 나선다.
KT는 19일 리벨리온의 신경망처리장치(NPU) ‘ATOM-MAX’와 자체 개발 LLM ‘믿음 K 2.5 Pro’, 운영 애플리케이션 프로그래밍 인터페이스(API) 플랫폼을 결합한 ‘KT NPU LLM Station’을 선보였다고 밝혔다.
이 제품은 서버와 AI 모델, 운영 플랫폼을 일체형으로 구성한 기업용 AI 인프라다.
고객사 내부에 설치돼 외부 클라우드나 해외 생성형 AI 서비스로 데이터를 전송하지 않고 모든 정보와 AI 연산을 사내에서 처리하는 것이 특징이다.
이에 따라 망분리 등 보안 규제를 적용받거나 핵심 데이터의 외부 반출을 우려해 생성형 AI 도입을 주저했던 기업과 기관의 활용도가 높아질 것으로 KT는 기대하고 있다.
주요 대상은 공공기관과 국방·금융·제약·제조업 등 보안과 데이터 주권이 중요한 산업이다.
KT NPU LLM Station에 탑재된 ATOM-MAX는 추론 작업에 특화된 국산 NPU다.
KT에 따르면 ATOM-MAX는 공인 시험을 통해 동급 GPU 대비 처리 성능과 전력 효율을 검증받았다.
‘믿음 K 2.5 Pro’는 KT가 독자 개발한 LLM으로, 복잡한 추론 작업과 AI 에이전트 활용에 강점을 갖췄다는 설명이다.
KT는 AI 반도체부터 언어모델, 운영 플랫폼까지 핵심 구성 요소를 국내 기술로 통합해 정부가 추진하는 소버린 AI 정책을 산업 현장에서 구현할 수 있도록 했다고 강조했다.
소버린 AI는 국가나 기업이 AI 모델과 데이터, 컴퓨팅 인프라를 자체적으로 통제·운영하는 체계를 뜻한다.
해외 빅테크 기업의 클라우드와 AI 모델에 대한 의존도를 낮추고 데이터 주권과 서비스 안정성을 확보할 수 있다는 점에서 공공·금융권을 중심으로 관심이 커지고 있다.
KT는 도입 절차와 비용 부담을 낮춘 점도 제품의 강점으로 내세웠다.
별도의 서버 구축이나 AI 모델 연동 과정 없이 설치 후 사내 문서 기반 질의응답(RAG) 등 생성형 AI 기능을 바로 사용할 수 있도록 설계했다.
RAG는 기업 내부 문서와 데이터베이스를 검색한 뒤 그 결과를 바탕으로 AI가 답변을 생성하는 기술이다.
기업은 이를 활용해 내부 규정 검색, 업무 매뉴얼 조회, 기술문서 분석, 고객 대응 자료 작성 등 다양한 업무에 AI를 적용할 수 있다.
또 업계 표준 API를 제공해 기존 AI 서비스의 접속 정보만 변경하면 별도의 코드 수정 없이 호환해 사용할 수 있도록 했다.
기업이 이미 운용 중인 업무 시스템과 AI 서비스를 전면 재구축하지 않고도 국산 AI 인프라를 도입할 수 있다는 의미다.
다만 실제 경제성은 고객사의 데이터 규모와 이용량, 기존 GPU 인프라, 보안 시스템 연계 수준에 따라 달라질 전망이다.
국산 NPU의 성능과 소프트웨어 생태계, 다양한 업무에 대한 LLM 호환성도 시장 확산의 주요 변수로 꼽힌다.
KT는 향후 KT NPU LLM Station에 회의록 작성, 코딩 지원, 업무 자동화 등을 지원하는 AI 에이전트를 순차적으로 탑재할 계획이다.
업무 자동화 에이전트인 ‘K-Claw’도 가칭으로 개발해 제공할 예정이다.
AI 에이전트 전문 개발사와 협력해 고객별 맞춤형 구축 사업으로 확대하는 방안도 추진한다.
단순히 AI 서버를 판매하는 데 그치지 않고 모델과 애플리케이션, 컨설팅을 결합한 기업용 AX 사업으로 수익원을 다변화하겠다는 전략이다.
KT는 장기적으로 이 제품의 활용 영역을 피지컬 AI를 위한 엣지 데이터센터로 확대할 계획이다.
제조 현장과 물류·로봇 등에서 요구되는 저전력·저지연 AI 인프라를 구현해 산업 현장의 실시간 AI 수요에도 대응한다는 구상이다.
이진형 KT AX사업본부장(상무)은 “KT NPU LLM Station은 KT의 AX 풀스택 역량과 국산 반도체를 결합해 소버린 AI를 실제 산업 현장에서 즉시 사용할 수 있도록 만든 제품”이라며 “데이터 주권을 지키면서 AI 전환을 시작하려는 기업과 기관에 현실적인 선택지가 될 것”이라고 말했다.
KT는 과학기술정보통신부의 ‘모두의 AI’ 프로젝트에도 국산 NPU를 활용해 참여하고 소버린 AI 구현과 국내 AI 생태계 경쟁력 강화에 기여할 방침이다.
