강좌
클라우드/리눅스에 관한 강좌입니다.
자격증 분류

NCE 자격증 이론정리 67편- Analytics 분야 -Pig 핵심요약

작성자 정보

  • 관리자 작성
  • 작성일

컨텐츠 정보

본문

Pig 핵심요약

 

-피그는 Map-Reduce에서 처리할 수 없는 조인과 같은 연산을 지원하는 스크립트 언어

 

-대용량 데이터셋을 좀 더 쉽게 분석하려고 야후의 연구원과 엔지니어들이 만듬

 

-대규모 병렬 처리에 대응할 수 있는 구조를 가지고 있으며 이 특징 때문에 대규모 데이터 셋을 처리 할 수 있음.

 

-피그는 2개로 이루어져있음

 

  1) 피그 라틴 : 데이터의 흐름을 표현하기 위해 사용하는 텍스트 기반 언어(http://wiki.apache.org/pig/PigLatin)

 

  2) 피그 라틴을 수행하는 실행 환경. 현재 단일 JVM에서의 로컬 실행 환경과 하둡 클러스터 상의 분산 실행 환경을 제공함.

 

-하나의 피그라틴 프로그램은 입력 데이터에 적용되어서 출력을 생성하는 일련의 연산 또는 변환으로 구성되어 있음.

 

-연산은 데이터의 흐름을 설명함.

 

-피그 실행환경은 이를 실행가능한 표현으로 번역하여 수행함.

 

관련자료

댓글 0
등록된 댓글이 없습니다.

공지사항


뉴스광장


  • 현재 회원수 :  59,982 명
  • 현재 강좌수 :  35,541 개
  • 현재 접속자 :  113 명