강좌
클라우드/리눅스에 관한 강좌입니다.
클라우드 분류

빅데이터(BigData)의 기본 개념

작성자 정보

  • 관리자 작성
  • 작성일

컨텐츠 정보

본문

빅데이터(BigData)의 기본 개념

 

 

빅데이터의 정의에 대해서는 아직까지도 구체적으로 일치된 바가 없지만, McKinseyIDC, Gartner 등 여러 기관들은 빅 데이터를 BI(Business Intelligence), DW(Data Warehouse) 등 기존 IT 시스템이 수집, 저장, 관리, 분석할 수 있는 범위 이상의 데이터 및 이로부터 효과적으로 가치를 추출할 수 있도록 고안된 새로운 기술 등으로 정의하고 있다.

 

 

 

 

시장조사 전문기관인 IDC전 세계 빅데이터 기술 및 서비스 전망보고서에서 2011년 한 해 동안 새롭게 생성되거나 복제된 정보의 양이 1.9제타바이트(19천억 기가바이트)를 넘어섰고, 향후 5년 내 거의 9배까지 증가할 것이라고 예측했다.

 

 

 

 

또한 전 세계 빅데이터 시장은 201032억 달러에서 오는 2015년에는 169억 달러 규모에 달할 것이며, 연평균 40% 성장 및 전체 정보통신기술(ICT) 시장 성장률의 약 7배에 달할 것으로 전망했다.

 

 

79900661b465dca46740a74888d378eb_1679363015_771.png
 

 

그리고 2012년에 IT 시장 조사 기관인 Gartner는 빅데이터를 2012년의 10대 전략 기술 분야 중 하나로 선정하였고, 세계 경제의 주요 현안을 논의하는 다보스 포럼(Davos Forum)은 빅데이터 관련 세션을 4개나 개최할 정도로 큰 관심을 보였다.

 

 

 

 

 

2014년 국내에서는 ICT 산업 전반에 걸쳐 빅데이터를 활용한 창조경제 구현을 위한 빅데이터 비즈니스 서비스에 초점이 맞추어질 것으로 전망되고 있다.

 

 

 

 

특히 모바일 기기 및 서비스 확산으로 데이터의 폭증이 불가피함에 따라 빅데이터 분석과 활용이 중요한 이슈로 등장했는데, 공공·민간데이터의 개방과 함께 이를 연계한 새로운 공공서비스 및 비즈니스 서비스를 발굴할 필요가 있으며, 빅데이터는 클라우드와 연계되어 시너지를 형성하고 기업중심의 B2B 경쟁이 치열해질 것으로 예상되고 있다.

 

 

 

 

또한 국내에서는 실질적인 가치 창출을 위한 빅데이터 활용 확산과 인프라 분야의 성장이 예상되고 있다.

 

 

 

 

세계 빅데이터 시장규모는 매년 약 2648% 성장할 것으로 전망되며, 향후 시장이 성숙단계로 접어들고 빅데이터 경험도가 증가하면 S/W, 인프라, 애플리케이션 등 빅데이터 관련 다양한 산업의 성장이 동시에 성장 가능할 것으로 예측되고 있다.

 

 

 

 

이러한 빅데이터 솔루션으로는 하둡(Hadoop)과 분산파일시스템이 오픈소스 소프트웨어로 부각되고 있다. 그리고 오픈소스 DBMS 제품은 NHN, 다음, 구글, 페이스북, 트위터 등 포털 및 웹서비스 업체를 중심으로 많은 사용이 이루어지고 있으며, 클라우드 컴퓨팅, 빅데이터 시대가 도래함으로써 큐브리드(CUBRID) 등의 오픈소스 DBMS 제품이 활성화 되고 있는 상황이다.

 

 

 

 

그리고 클라우드 컴퓨팅, 빅데이터 시대를 맞이하여 기존 관계형 DBMS의 한계를 극복하기 위하여 NoSQL (Not only SQL)이라는 새로운 기술이 부상하게 되었다.

 

 

 

 

NoSQL의 탄생 배경에는 실시간으로 다루어야 할 데이터가 폭발적으로 증가했기 때문이며, 기존 관계형 DBMS로 처리하기 어려운 데이터 확장성을 제공하고 있다.

 

 

 

 

하지만, 데이터 모델링이 어렵고 SQL을 제공하고 있지 않기 때문에 기존 RDBMS를 대체하기 보다는 보완하는 관계로 시장이 성숙되어 가고 있다.

 

 

 

 

 

NoSQL은 전세계적으로 120개 이상의 제품이 있으며, key value, document store, column families, graph databases 등 종류도 다양하다.

 

 

 

 

대표적인 NoSQL 제품으로는 몽고디비(MongoDB), 카산드라(Cassandra), CouchDB, HBase 등이 있다.

 

 

 

 

대용량의 데이터를 처리해야 하기 때문에 빅데이터 기술은 클라우드 컴퓨팅과 상관관계를 가진다.

 

 

 

 

이와 함께 분산파일시스템인 하둡, 분산데이터베이스시스템인 몽고디비, 분산 로그관리 시스템인 척와(Chukwa) 등이 각광을 받았다.

 

 

 

 

정보통신산업진흥원의 공개SW역량프라자에서 운영하는 공개SW포털이 발표한 클라우드/빅데이터 분야 공개SW 솔루션 목록(2013.10.15.)에는 다음과 같은 오픈소스 소프트웨어 솔루션들을 제시하고 있다.

 

 

 

 

 

 

분 류

솔루션

가상화

(Xen), KVM

가상화 API

리버트(Libvirt)

분산파일시스템

하둡(Hadoop), 글러스터(GlusterFS), 섹터(Sector), XtreemFS

분산데이터베이스시스템

카산드라(Cassandra), 몽고디비(Mongodb), Hbase

분산 관리 시스템

주키퍼(Zookeeper)

분산 로그관리 시스템

척와(Chukwa), Flume, Scribe

분산검색엔진

엘라스틱서치(ElasticSearch)

클라우드 플랫폼

Eucalyptus, OpenNebula, OpenStack, CloudStack, OpenQRM

시스템 모니터링

Hyperic

네트워크 모니터링

Nagios

분산데이터 관리 시스템

Cloudata

클라우드 관리 프레임워크

CloudForms

데이터 웨어하우스

Hive

빅데이터 분석 플랫폼

Pig, R

빅데이터 분석 프레임워크

MapReduce

분산 캐싱 시스템

Memcached, couchbase

대용량 machine learning 알고리즘

Mahout

워크플로우 스케줄러

Oozie

데이터 테이블 및 스토리지 관리

Hcatalog

분산파일시스템

Mesos, Storm

클라우드플랫폼

Nimbus

 

 

관련자료

댓글 0
등록된 댓글이 없습니다.

공지사항


뉴스광장


  • 현재 회원수 :  60,017 명
  • 현재 강좌수 :  35,690 개
  • 현재 접속자 :  220 명