클라우드

[KT클라우드]Big Data > Data Lake 프로젝트 브라우저 App

빅데이터 프로젝트는 다양한 작업의 연결을 통해 이루어 집니다. 대략적인 작업의 흐름을 보면 다음과 같습니다.

실제 프로젝트 수행시에는 각 항목별로 수십에서 수백개의 요소가 생성되므로 업무 측면 혹은 각 기능 측면으로 각 요소를 잘 분류하고 찾아내는 기능이 필요합니다.

프로젝트 브라우저는 사용자가 정의한 업무 분류 기준을 토대로 관련 빅데이터 프로젝트용 App 링크를 구조화 할 수 있는 기능을 제공합니다.

한가지 예를 들어보자면 다음과 같은 폴더 구조를 만들고 내부에 관련 App 링크를 배치할 수 있습니다.

- ProjectA

|-Biz1

|- notebook

|- nt_etl

|- nt_martA

|- nt_prediction_model_biz1

|- workflow

|- wf_etl_to_model

....

위 예시는 가장 상위에 ProjectA 프로젝트 디렉터리를 생성하고 하위에 App 별로 디렉터리를 생성한 후 해당하는 App 링크를 만들었습니다.

폴더구조의 경우 표준화된 분류체계가 없으므로 개인이나 프로젝트 팀의 기호에 따라 분류 기준을 정하고 App 링크를 배치할 수 있습니다.

초기 기준을 잡기 어렵다면 위의 예시처럼 프로젝트 > 비즈니스 도메인 > App > App 링크 순으로 정의하고 사용해보시기 바랍니다.

화면 구조 설명

프로젝트 브라우저는 아래와 같이 구성되어 있습니다.

화면은 크게 헤더 bar, 좌측 컨트롤 영역, 메인 컨텐츠 영역으로 구성됩니다. 각 영역의 역할은 다음과 같습니다.
• 헤더 bar : 통합 검색을 할 수 있는 입력 창을 제공하므로 전역적인 내용 검색을 원하는 경우 사용할 수 있습니다. 상세한 설명은 통합 검색 부분을 참고하시기 바랍니다.
• 좌측 컨트롤 영역 : 즐겨찾기, 노트북, 워크플로우, 대시보드 등 아이템 타입 별 필터 기능을 제공합니다. 하단의 프로젝트 브라우저 트리를 통해 전체 디렉토리의 구조를 파악하고 이동할 수 있습니다.
• 컨텐츠 영역 : 프로젝트 브라우저 내부 검색, 폴더 구조 테이블을 제공해 각 경로를 트래킹하는 기능을 제공합니다.
이제부터는 프로젝트 브라우저 App이 제공하는 기능을 살펴봅니다.

목록 활용 및 검색

프로젝트 브라우저에 정의된 디렉터리와 App 링크는 테이블로 표현됩니다.

예시 화면을 기준으로 목록의 사용방법에 대해 알아보겠습니다.

테이블 목록의 한 행은 좌측에 체크 박스를 우측에 수정 및 즐겨찾기 아이콘을 가집니다.

각각의 상세 사용 방법은 이어지는 절을 참조하세요.

목록에서 디렉터리로 진입하거나 App 링크를 활성화하려면 이름을 클릭합니다.
만약, 프로젝트 브라우저 내에서 특정 디렉터리나 App 링크를 찾고 싶다면 목록 상단의 검색 영역에 키워드를 입력하고 엔터 키를 입력하면 이름 혹은 설명을 기준으로 검색이 이뤄지고 결과가 테이블에 표시됩니다.

필터 및 폴더 바로가기

프로젝트 브라우저 화면의 좌측 영역의 메뉴를 통해 화면에 보여지는 목록을 필터링하거나, 전체 계층(폴더) 구조를 확인할 수 있습니다.

필터링 가능한 목록은 다음과 같습니다.

• 즐겨찾기 : 사용자가 즐겨찾기에 등록한 폴더 또는 아이템을 표시합니다.

• 노트북 : 노트북 유형의 아이템을 폴더 구조 없이 목록 형태로 표시합니다.

• 워크플로우 : 워크플로우 유형의 아이템을 폴더 구조 없이 목록 형태로 표시합니다.

• 대시보드 : 시각화 대시보드 유형의 아이템을 폴더 구조 없이 목록 형태로 표시합니다.

전체 폴더의 계층 구조는 가용한 필터 목록 하단에 트리 형태로 출력합니다.

각 디렉토리를 펼쳐서 계층 구조를 확인하거나, 폴더 이름을 클릭해 해당 폴더로 이동할 수 있습니다.

디렉터리 및 App 링크 신규 생성

처음 프로젝트 브라우저에 진입하면 아무런 목록도 표시되지 않습니다.

위에 설명했던 구조를 만들기 위해서는 새로운 디렉터리나 App 링크를 생성하는 기능을 제공하는 우측 컨텐츠 영역의 + 아이템 생성 버튼을 클릭해야 합니다.

버튼을 클릭하면 아래와 같은 화면이 표시됩니다.

모달 화면의 사용 순서는 다음과 같습니다.
1. 생성하고자 하는 아이템 타입 을 선택합니다.
• 디렉터리 : 하위에 디렉터리 혹은 다른 App 링크를 가질 수 있는 디렉터리를 만들고자 할때 선택합니다.
• 노트북 : Scala, SQL, R, python을 이용해 코드를 작성할 수 있는 노트북 링크를 생성할 때 선택합니다.
• 워크플로우 : 노트북, 대시보드를 연결해 흐름을 정의하는 워크플로우 링크를 생성할 때 선택합니다.
• 대시보드 : 스파크 테이블을 기준으로 사용자 정의 대시보드를 생성하는 대시보드 링크를 생성할 때 선택합니다.
2. 사용자가 알아볼 수 있는 규칙을 가지는 디렉터리 혹은 App 링크의 이름을 이름 영역에 입력합니다. 참고할만한 prefix 예시는 다음과 같으나 각 프로젝트의 규칙에 맞게 사용해야 합니다.
• 노트북 : NT
• 워크플로우 : WF
• 대시보드 : DSB
3. 각 디렉터리나 App 링크의 역할, 목적등의 정보를 설명 영역에 입력합니다.
4. 해당 디렉터리나 App 링크를 저장할 경로를 결정하는 방식을 선택합니다.
• off 상태 : +아이템 생성 버튼을 클릭한 폴더내에 생성됩니다.
• on 상태 : 우측에 경로 지정 화면이 아래와 같이 추가로 표시됩니다. 원하는 경로를 클릭 해 이동한 후 위치를 지정합니다.