클라우드 분류
[KT클라우드]Big Data > Data Lake 환경 설정 및 현황 App
작성자 정보
- 관리자 작성
- 작성일
컨텐츠 정보
- 1,381 조회
- 0 추천
-
목록
본문
시스템 사용에 필요한 기초 정보를 관리할 수 있는 환경설정 및 현황 App입니다.
이 App에서는 가장 근간이되는 사용자, 역할관리부터 데이터 카달로그 제품 관리까지의 다양한 기능을 제공합니다.
이 App은 모든 사용자가 접근할 수 있지만, 사용자의 메뉴 접근 권한에 따라 우측 메뉴 영역에 표시되는 메뉴의 갯수가 달라집니다.
특정 메뉴에 접근하고자 한다면, 관리자에게 메뉴 접근 권한을 요청해 권한을 받고 접근할 수 있습니다.
서비스 대시보드
서비스 대시보드 화면에서는 각 서비스를 배포하거나 서비스의 현재 상태를 확인하고, 설정 정보를 변경할 수 있습니다.
라이선스 입력 후 자동으로 해당 화면으로 이동하며, 사용자는 각 서비스가 필요로 하는 자원을 할당하고 설정 정보를 편집한 뒤 서비스를 배포합니다.
최초 배포가 완료되면 서비스 사용 시작 버튼을 클릭합니다.
대시보드 화면 구성
| 구성 요소 | 설명 |
| 서비스 이름 | 서비스의 Full Name |
| 상태 | 서비스의 현재 상태 |
| 버전 | 서비스의 버전 정보 |
| 기능 | 서비스 설정 정보 입력, 서비스 배포, 서비스 기동 및 중지 기능 수행 아이콘 |
| 확장 | 배포된 서비스의 목록 표시 |
서비스 상태 확인
카테고리별로 서비스의 목록과 상태를 확인할 수 있으며, 상단의 카테고리 이름을 클릭하면 해당하는 서비스 목록으로 이동합니다.
각 서비스의 상태는 다음과 같이 총 5개의 값을 가집니다.
- 배포 안됨: 배포되지 않은 상태입니다. 설정값 입력을 확인한 후 배포 버튼을 눌러 서비스를 배포할 수 있습니다.
- 배포 완료: 서비스가 배포 중인 상태입니다.
- 실행 중: 서비스가 기동 중인 상태입니다. 서비스의 인스턴스 수와 실행 중인 TASK 수를 확인합니다.
- 배포 중단: 서비스가 기동 중지된 상태입니다. 서비스의 인스턴스 수와 실행 중인 TASK 수를 확인합니다.
- none: 서비스의 상태를 확인할 수 없습니다.
서비스 제어
각 서비스 목록의 우측에 서비스 제어에 필요한 기능을 아이콘 버튼으로 제공합니다.
서비스 설정
서비스를 구동하는 데 필요한 각종 설정 정보를 입력합니다.
화면 우측의 ‘서비스 속성’ 버튼을 클릭하면 설정 정보를 입력할 수 있는 팝업 화면이 출력됩니다.
설정 정보는 서비스가 필요로 하는 설정 파일 별로 입력할 수 있으며, 키 값으로 검색이 가능합니다.
한 번 입력한 설정 정보는 이후 수정이 가능하며, 서비스 특성에 따라 재기동이 필요할 수 있습니다.
※ 모든 서비스는 공통 설정 정보를 가집니다. 화면 상단의 오케스트레이터 정보 버튼을 클릭하여 공통 설정 정보를 먼저 입력하는 것이 좋습니다.
서비스 배포
- 사용자가 입력한 설정 정보를 바탕으로 서비스를 배포합니다.
- 서비스에 따라 하나 혹은 복수의 서비스를 배포 가능하며, 우측에 있는 메뉴인 확장 버튼을 클릭하여 배포된 서비스 목록을 확인할 수 있고, 기동 및 중지로 혹은 서비스 속성 버튼을 통하여 배포된 서비스의 설정을 관리할 수 있습니다.
<주의사항>
- 특정 서비스는 구동하기 위해 다양한 의존성을 갖고 있습니다.
- 예를 들어, Constantine Management Service를 배포하기 위해서는 [Zookeeper, Hadoop Distributed File System, ElasticSearch, Kafka] 애플리케이션들이 먼저 배포되어야 합니다.
- 이러한 의존성을 만족하지 못하면 서비스 배포 버튼을 클릭했을 때 에러 메시지를 출력하고 배포를 중지합니다.
서비스 사용 시작
- 현재 배포된 서비스들을 기반으로 Data Lake를 시작합니다.
- 서비스 사용 시작 버튼을 클릭해서 전체 기능을 활성화 할 수 있으며, 사용 시작 후 홈 화면으로 이동 여부를 선택할 수 있습니다.
- 서비스 사용 시작은 최초 1회 진행됩니다.
서비스 기동 및 중지
서비스를 배포하면 화면 우측에 기동 및 중지 버튼이 생깁니다.
서비스의 상태에 따라, 각 버튼이 활성화되거나 비활성화됩니다. 각 버튼을 클릭하여 서비스를 기동 및 중지할 수 있습니다.
<주의사항>
- 서비스를 중지하면 해당 서비스에 의존성을 가진 다른 서비스에 영향을 줄 수 있습니다.
- ※ 서비스의 기동 및 중지는 서비스 배포 후에 가능합니다.
이벤트 코드 목록
이 솔루션은 사용자용 서비스(Data Engineering Service 등), 빅데이터 처리에 필요한 에코 서비스(Hadoop, Zeppelin등) 그리고 운영에 필요한 기반 서비스(percona XtraDB, Zookeeper등)으로 구성됩니다.
이벤트 코드 목록에서는 이중 사용자용 서비스에 해당하는 유저 이벤트에 대한 목록을 제공합니다.
- 이 화면은 조회전용 화면이므로 사용법이 매우 단순합니다.
- 상단의 검색어 입력창에 원하는 문구를 입력하면 “이벤트 템플릿”, “이벤트 코드”, “이벤트 이름” 컬럼을 대상으로 검색을 수행한 결과가 테이블에 표시됩니다.
- 그리고, 테이블 상의 컬럼중 “이벤트 템플릿”의 대괄호 내용은 사용자에게 전달시 상황에 맞게 변경되는 부분을 의미합니다.
- 가령 “{0} 사용자가 로그인 했습니다.” 라는 템플릿은 “IAMUSER 사용자가 로그인 했습니다.”로 변경되어 전달됩니다.
서비스 로그 통합 검색
이 솔루션은 다양한 유형의 서비스가 연결되어 동작하는 구조를 가집니다.
이런 동작 특성으로 인해 특정 서버나 서비스에 장애가 발생한 경우 원인 추적에 매우 어려움을 겪을 수 있습니다.
특히나 컨테이너 오케스트레이션 환경(DC/OS, kubernetes등)을 활용하는 상황이라면 원인 파악의 난이도가 더 높아집니다.
이 메뉴는 각 서비스의 오류 로그를 추적하는 과정을 지원하고자 Prometheus 나, loki 같은 전문 모니터링 및 로그 검색 도구를 함께 설치합니다.
하지만, 이런 모니터링 서비스 화면으로 이동하지 않은채로 각 서비스 수행시 발생하는 서버측 로그를 검색하고 싶다면 이 메뉴을 사용할 수 있습니다.
이 메뉴를 통해 서비스의 오류 발생 시점과 서비스를 식별하고 전문 도구를 통해 원인을 추적하는 순서로 사용할 수 있습니다.
서비스 로그 검색하기
화면 상단에는 검색어 입력창과 검색 기준 일시(시작, 끝)를 설정하는 영역이 있습니다.
각 서비스의 로그중 찾고자 하는 로그 내용을 입력하고 검색 기준 일시를 입력한 후 검색 버튼을 클릭하면 사전에 인덱싱되어 있던 로그중 내용의 일부분이 일치하는 로그만 검색 할 수 있습니다.
한가지 사용 예를 들어보자면 검색어에 NullPointerException 을 입력하고 검색 기준일을 2019-12-12 00:00:00 ~ 2019-12-12 01:00:00 으로 입력하고 검색 버튼을 클릭합니다.
서비스 로그 필터링하기
특정 서비스에서 발생한 이벤트만 보고 싶은 경우 서비스 로그 검색 후 우측의 필터링 영역에서 원하는 서비스를 선택합니다.
각 서비스의 우측에는 검색결과의 건수를 나타내는 라벨이 붙어 있으므로 해당 서비스에 몇개의 결과가 있는지 클릭전에 알수 있습니다.
서비스 상세보기
서비스 로그는 매우 긴 문자열로 되어 있으므로 목록상에 모두 표시할 수 없는 경우가 많습니다.
만약 더 자세한 오류 로그를 보고 싶다면 목록의 가장 우측에 위치한 상세보기 아이콘을 클릭합니다.
아이콘을 클릭하면 아래 예시와 같은 모달 창에 전체 로그 메시지가 표시됩니다.
"무단배포금지: 클라우드포털(www.linux.co.kr)의 모든 강좌는 저작권에 의해 보호되는 콘텐츠입니다. 무단으로 복제하여 배포하는 행위는 금지되어 있습니다."
관련자료
-
링크
-
이전
-
다음
댓글 0
등록된 댓글이 없습니다.
