[KT클라우드]Big Data > Data Lake MinIO를 활용한 데이터 업로드

본문

최저가 서버호스팅 제공 : 85,000원/월

MinIO 설치 개요

---

MinIO는 클라우드 Object Storage와 호환되는 오픈소스 기반의 서버/클라이언트 도구입니다.

MC(MinIO Client)는 Command Line S3 관리도구로 Windows, Mac, Linux 를 지원합니다.

MinIO는 KT Data Lake 서비스에서 파일 업로드 등 관리를 위해서 사용할 수 있습니다. (GB급 파일 업로드 가능)

MinIO 다운로드 (Window 용)

[Link] https://min.io/

[Link] Quick Start Guide : https://docs.min.io/docs/minio-client-quickstart-guide.html

• - 위 그림의 좌측 하단 Download 버튼을 클릭하여 이동

• - ① Widows 선택 ② 다운로드 클릭 진행

MC(MinIO Client) 사용

[Link] MinIO Quick Start Guide 문서 참고 (https://docs.min.io/docs/minio-client-quickstart-guide.html)

MinIO Client 기본 사용법

---

MinIO Client는 Command Line 명령어를 사용하여 Host/Bucket/Object를 관리 할 수 있습니다.

Configuration 설정

- 명령어 형식 : mc config host add host_name URL:port accesskey secretkey

- 올바른 응답 예시 :

- Configuration 설정에 필요한 accesskey와 secretkey는 KT Cloud 콘솔→Storage 3.0→API Key에서 확인할 수 있습니다.

Host 관리(Host List Segments)

- 명령어 형식 : mc config host ls

버킷 & 디렉토리 만들기(Make Bucket & Directory)

- 명령어 형식 : mc mb host_name/bucket_name (예시: host_name: TEST_01, bucket_name : a-bucket)

- 올바른 응답 예시 :

- 디렉토리는 버킷 내에 mb 명령어를 사용하여 만들 수 있습니다.

. 명령어 형식 : mc mb host_name/bucket_name/directory_name

. a-bucket내에 a-dir 디렉토리를 생성합니다.

• . a-bucket내에 a-dir이 생성되었음을 확인 할 수 있습니다.

버킷 & Object 리스트 확인(List Segments)

- 명령어 형식 : mc ls host_name

- 올바른 응답 예시 :

• . 리스트에서 a-bucket 버킷이 생성되었음을 확인할 수 있습니다

- Object 리스트도 ls 명령어를 통해 확인할 수 있습니다.

. 명령어 형식 : mc ls host_name/bucket_name

버킷 & 디렉토리 삭제(Remove Bucket & Directory)

- 명령어 형식 : mc rb host_name/bucket_name

- 올바른 응답 예시 :

- 버킷 리스트 확인하여 해당 버킷(a-bucket)이 존재하지 않음을 확인합니다.

- 단, 버킷 내에 Directory 또는 Object가 존재하여 버킷이 비어 있지 않을 경우 rb 명령어를 사용하여 직접 버킷을 삭제할 수 없습니다.

포털을 통해 삭제하거나 mc rb -–force host_name/bucket_name 명령어를 사용하여 강제로 버킷을 삭제할 수 있습니다. (주의 필요)

파일 올리기(Copy Object)

- 명령어 형식 : mc cp object_name host_name/bucket_name

• . TEST_object.csv 파일을 a-bucket 버킷에 업로드 합니다

- 올바른 응답 예시 :

. 아래와 같이 a-bucket 버킷에 TEST_object.csv 파일이 업로드 되었음을 확인합니다.

파일 삭제하기(Remove Object)

- 명령어 형식 : mc rm host_name/bucket_name/object_name

- 올바른 응답 예시 :

- 리스트에서 csv Object가 존재하지 않음을 확인합니다.

KT 클라우드 포털에서 확인 및 관리하기 (Storage 3.0)

---

MinIO Client를 통해 생성한 버킷, 업로드한 Object 파일 등은 모두 KT Cloud 콘솔 Storage 3.0에서 확인 및 삭제할 수 있습니다. 과정은 아래와 같습니다.

<예시>

MinIO Client를 사용하여 다음과 같은 데이터를 생성합니다.

Host명 : KT_SS1 / 버킷명 : a-bucket / Object 명 : TEST_object.csv

TEST_object.csv 파일의 경로는 KT_SS1/a-bucket/TEST_object.csv 입니다.

포털에서 해당 파일을 확인해봅니다.

• - KT Cloud 포탈(cloud.kt.com) 접속 후 로그인을 합니다.

• - 클라우드 콘솔로 접속하여 Storage 3.0을 클릭합니다.

국내 최저가 네이버클라우드 서버 제공 : 88,000원/월

관련자료

• 링크
  https://cloud.kt.com/portal/user-guide/bigdata-bigdataintro-0112_Storagetool 323 회 연결
• 이전
  [KT클라우드]Big Data > Data Lake KT 통신데이터 기반 상권지역 분석 예시 (BigSight-GrIP)

  작성일 2022.01.20 12:09
• 다음
  [KT클라우드]Big Data > Data Lake 이벤트 목록

  작성일 2022.01.20 12:09