클라우드

[KT클라우드]Big Data > Data Lake 워크벤치 App

빅데이터 분야에서 코드를 통하여 데이터 처리 과정을 명시하는 것이 빠르게 일반화되어가고 있습니다.

노트북 App과 같이 여러 개발 프로그래밍 언어 제공하는 고급 최적화 기술을 할 수는 없지만, SQL만으로도 빅데이터 처리를 해낼 수 있습니다.

워크벤치 App은 이러한 환경을 위해 데이터 엔지니어가 SQL을 기반으로 하여 조금 더 친숙하게 접근할 수 있는 SQL 에디터 서비스를 제공하고, 이를 이용하여 더 쉽게 빅데이터를 관리할 수 있도록 방법을 제공합니다.

이 장에서는 워크벤치 App을 사용하는 방법에 대하여 설명합니다.

워크벤치 화면 구성

워크벤치는 다음 그림과 같은 화면 구조를 가지고 있습니다.

워크벤치 설정

워크벤치는 노트북 App과 동일하게 제플린을 기반으로 동작합니다.

최초 진입 시 자동으로 제플린 서비스를 배포하고, 서비스가 배포가 완료되는 시점부터 워크벤치 서비스를 이용할 수 있습니다.

워크벤치에 대한 기본적인 설정은 세 가지로 구성되어 있습니다.

- 풀스크린 : 에디터 크기를 화면 최대크기로 늘립니다. 단축키 “F11”로 활성화 “ESC”로 풀스크린 모드를 종료할 수 있습니다.
- 내보내기 / 불러오기 : 기능을 이용하여 미리 작성된 .sql 파일을 불러오거나 저장할 수 있습니다. (최대 65,000 Line)
- 테마 / 폰트 크기 : 정의된 에디터의 테마를 변경하고 폰트 크기를 지정할 수 있습니다. ( 기본, Ayu-dark, Midnight, Monokai )

워크벤치 작성

워크벤치 에디터는 사용자가 작성한 SQL 쿼리를 로컬스토리지에 저장하여 작성 중인 쿼리를 유지할 수 있도록 지원하며 semi-colon(;) 구분으로 여러 쿼리를 동시에 작성 및 동시 실행이 가능합니다.

워크벤치 실행

쿼리 작성을 완료했다면 실행 버튼 혹은 에디터 단축키를 이용하여 쿼리를 실행할 수 있습니다.

실행 요청은 비동기 형식으로 이루어지기 때문에 사용자는 에디터 내에서 추가적인 쿼리를 작성 가능하며 수정된 쿼리 혹은 새로운 쿼리에 대한 요청을 미리 실행할 수 있습니다.

쿼리 실행이 완료된 경우 후술에 설명한 실행 이력 화면에 표시합니다.

- 쿼리 실행이 완료되기 전까지 프로그래스 바가 활성화됩니다. 쿼리가 추가될 때 프로그래스 바는 가장 최근에 실행된 쿼리에 대한 상태를 표시합니다.
- 설정에서 상술한 내용과 같이 워크벤치는 제플린을 기반으로 동작하기 때문에 제플린이 활성화되기 전에는 쿼리 실행이 불가합니다.
- 쿼리 실행 이후 사용자는 쿼리 실행이 완료되기 전까지 작성된 쿼리를 실행 후 잘못된 내용이 있다면 후술할 실행 이력 화면에서 실시간으로 쿼리를 중지할 수 있습니다.

워크벤치 실행 이력

사용자가 실행한 쿼리에 대한 결과는 실행이 완료된 경우( 실행 완료 / 실행 오류 ) 실행 이력 화면에서 해당 행을 클릭하여 확인이 가능합니다.

쿼리 실행 상태는 6가지로 분류됩니다.