[이상옥의 인문학] 데이터가 자산이 되는 시대
[이상옥의 인문학] 데이터가 자산이 되는 시대
  • 이상옥 tEchNo 인문학 연구소 소장
  • 승인 2019.09.17 23:20
  • 댓글 0
이 기사를 공유합니다

지금 IT업계는 클아우드 시장과 함께 데이터 레이크 사업이 뜨겁게 달아올라 있다. 10년 전인 2008년 미국 라스베가스에서 일주일간 개최되었던 가트너 심포지엄에서 처음 접했던 클라우드란 단어는 매우 생소할 뿐만아니라 그야말로 하늘위에 끈구름 잡는 이야기로 들렸다. 하지만 10년이 지난 지금은 가장 핫한 이슈가 되었고, 공공, 민간할 것없이 모든 분야에서 관심분야로 대두되었다.

클라우드를 주요사업 테마로 선정한 글로벌 회사로는 구글, 아마존, 마이크로소프트, 애플 등 거대기업들이 있다. 클라우드 시장이 부상하게 된 배경에는 소유와 공유의 개념이 급속하게 변화하고 있기 때문이다. 그동안 대부분의 기업에서는 데이터를 소유하는 장소로 기업 밖으로는 생각해 본 적이 없다. 기업 내에서 업무를 통해 생산해 내는 모든 데이터를 기업 밖에 두고 일을 한다는 것은 상상할 수 없는 일이었다. 하지만 네트워크 망과 통신 그리고 보안에 대한 기술이 날로 발전하면서 자연스레 데이터를 보관하는 장소가 내부에서 외부로 바뀌게 뙨 것이다. 더불어 소유의 개념도 내부 보관 개념에서 외부 두고 공유하는 개념으로 변화하는 시대의 흐름도 무시할 수 없게 되었다.

"클라우딩 컴퓨팅은 사용자의 환경 밖에서 서비스로서 제공된 확장 가능한 컴퓨팅 자원을 사용한 양에 따라 비용을 지불하고 사용하는 것" 라고 정의된다. 사용자는 사용한 자원에 대한 비용만을 지불하며 클라우드 환경에 있는 모든 자원을 언제 어디서나 인터넷을 통해 액세스 할 수 있다. 과거처럼 기업에서 생산되는 모든 데이터를 보관하기 위해 내부에 데이터센터를 두고 서버에 저장하는 구조에서 외부에 서버를 두고 필요에 따라 사용한 만큼 과금하는 방식으로 변화된 것이다.

이런 서비스를 제공하기 위해 앞에서 언급한 구글, 아마존, 마이크로소프트 등 글로벌 기업들은 이미 미국을 비롯한 세계 주요 포스트에 엄청난 부지에 엄청난 서버를 도입해 놓고 전 세계 기업 및 개인들을 대상으로 클라우드 서비스를 하고 있다. 이런 클라우드 서비스에는 서비스 형태에 따라 크게 다음과 같이 세가지 유형으로 나눌 수 있다.

SaaS (Software as a Service)

클라우드 서비스 중 가장 일반적인 유형이며 대부분의 사용자가 언젠가 사용해 본 경험이 있는 유형이다. SaaS 클라우드 모델에서는 서비스 제공자가 모든 인프라와 소프트웨어 제품을 제공한다. 사용자는 웹 기반의 프론트엔드를 사용하여 서비스와 상호작용한다. 이러한 서비스는 Gmail과 같은 웹 기반의 이메일에서 Mint와 같은 금융 소프트웨어에 이르기까지 다양한 범위에 적용된다.

PaaS (Platform as a Service)

서비스 제공자가 자체 하드웨어 인프라에서 호스트하는 소프트웨어와 제품 개발 도구를 제공하는 클라우드 서비스이다. 사용자는 제공된 API와 플랫폼 또는 개발용 그래픽 사용자 인터페이스를 사용하여 애플리케이션을 개발(빌드)할 수 있다. 이러한 유형의 서비스에 대한 일반적인 사례로는 Salesforce.com의 Force.com과 Google App Engine을 들 수 있다.

IaaS (Infrastructure as a Service)

가상 서버, 데이터 스토리지 및 데이터베이스와 같은 일련의 빌딩 블록에 대한 액세스를 서비스 형태로 제공하는 클라우드 서비스이다. 사용자는 이러한 빌딩 블록을 결합하거나 계층 구조화하여 애플리케이션을 실행하는 데 필요한 인프라를 구축할 수 있다. IaaS와 관련된 가장 유명한 사례는 아마존의 AWS(Amazon Web Services)와 마이크로소프트의 Azure가 있다.

문제는 왜 이런 글로벌 기업들이 클라우드 시장에 사활을 걸고 있을까? 이다. 클라우드 서비스 자체로도 큰 수익을 창출할 수 있는 비즈니스 모델이지만, 그보다 중요한 이유는 데이터가 자산화되고 있다는 것이다. 이미 구글은 자체 웹서비스를 통해 검색, 이미지, 영상 서비스를 함으로써 상상할 수 없는 데이터를 자산화하여 세상을 지배하고 있고, 확보된 데이터를 통해 AI, GIS 등과 결합하여 무궁무진한 비즈니스 모델을 만들어 가고 있다.

이처럼 데이터 자체가 자산이 되어 비즈니스 서비스 모델이 된다는 사실을 뒤늦게 깨달은 국내의 많은 기업들도 앞 다투어 클라우드 기반의 데이터 학보에 심혈을 기울이고 있다. 이런 개념에서 탄생된 것이 데이터 저장소(Data Lake)이다. 최근 국내의 L그룹은 자회사들이 각자 보관하고 있던 데이터들은 아마존의 AWS 기반의 클라우드 환경에 저장하는 데이터 레이크 사업을 대대적으로 시도하고 있고, S그룹, S금융 등 너도 나도 데이터를 모으는 프로젝트를 추진 중에 있다.

아마존과 마이크로소프트 등 글로벌 기업들은 과거에 정형 데이터를 수집하여 다양한 리포팅을 제공하던 데이터웨어하우스 서비스를 위해 데이터 저장하던 비용을 클라우드 환경으로 데이터 레이크를 구축하면 1/1000로 비용을 절감할 수있다는 논리를 앞세워 영업하면서 데이터 레이크 시장은 급속도로 성장하는 추세이다.

또한, 기존 데이터웨어하우스가 정형 중심의 고비용 아키텍처이며, 비정형 데이터까지 포함된 빅데이터 요건을 모두 수용하기 어렵다는 개념에서 출발하여, 기존의 정형데이터를 수집하는 기술인 ETL(Extract,, Transfer, Load)방식에서 데이터 분석가 등 데이터를 활용하는 담당자가 필요에 따라 변환하여 사용하는 ELT(Extract, Load, Transfer) 방식으로 전환할 것을 권고하면서 데이터 레이크 시장이 부각하기 시작하였다.

하지만, 세계적인 리서치 기업인 가트나가 최근에 “기업들이 구축한 데이터 레이크의 90%가 2018년 전후로 더 이상 사용되지 않을 것이며, 이는 데이터 레이크에 축적한 데이터가 사용처가 불확실한 데이터 자산일 가능성이 높기 때문”이라고 전망하며 파장이 커지고 있다. 데이터 레이크의 기본적인 컨셉은 모든 타입의 데이터를 원본 형태로 HDFS에 저장한 뒤 프로세싱하는 것으로 Schema-on-read 방식이 복잡한 데이터 늪을 생성하는 경향으로 흐르고 있다는 것이다. 이에 따라 최근에는 모든 데이터를 한 곳에 모으는 데이터 레이크 개념에서 기존에 저장해서 활용하던 데이터웨어하우스, 신규 구축하는 비정형 중심의 하둡기반의 빅데이터 플랫폼 등에서 보관하고 있떤 데이터를 한 곳에 모으지 않고 어떤 종류의 DBMS라도 하나의 Query를 활용하여 데이터 융합 및 분석이 가능한 페더레이션(Federation) 기능을 적용한 데이터 패브릭(Data Fabric) 개념이 주창되고 있다.

또하나의 세계적인 리서치 기업인 Forrester에 의하면 “데이터 레이크가 RDB를 HDFS에 파일 형태로 저장하게 될 경우 다시 관계형 형태로 처리나 리포팅을 위해 복잡한 아키텍처와 프로세스 처리에 대한 많은 노력이 필요할 수 있다”는 전제하에 “빅데이터 패브릭 참조 아키텍처의 핵심은 통합 데이터거버넌스와 데이터 패터레이션”이라는 이론을 들고 그때 그때 필요에 의해 다양한 데이터 소스를 융합하여 쓸 수 있는 데이터 패브릭의 중요성을 강조하고 있다.

이처럼 클라우드 기반의 서비스가 다양한 형태로 전개되고 있는 것은 사실이다. 또한, 어떠한 기술을 쓰고 활용할지는 서비스를 이용하는 기업이나 사람들의 몫이다. 중요한 것은 데이터 자체가 이미 금전적인 가치를 포함한 자산의 개념으로 통용되고 있다는 것이고, 인터넷 시장이 처음 열릴 때 제일 먼저 차지한 기업들이 성공했듯이, 데이터 시장도 선점하는 기업이나 개인이 성공하는 시대가 오고 있다는 것이다.

이상옥 소장
이상옥 소장

 

 

 


댓글삭제
삭제한 댓글은 다시 복구할 수 없습니다.
그래도 삭제하시겠습니까?
댓글 0
댓글쓰기
계정을 선택하시면 로그인·계정인증을 통해
댓글을 남기실 수 있습니다.