티스토리 뷰

데이터베이스/Big Data

[Big Data] Hadoop Erasure Coding(EC) 사용법

Reference M1 2019. 12. 7. 00:31

 

Hadoop 3.0에서의 신규로 추가된 주요 기능 중 하나인 Erascre Coding(EC) 적용 방법에 대해 알아보자.

Hadoop은 기본적으로 데이터 유실에 대비하여 데이터 복제를 한다. 기본 복제 단위가 3이어서, 파일 1개당 2개의 복제본을 가지게 된다. 이로 인해 1GB 데이터 저장에 3GB의 저장소를 사용하게 된다. Erascre Coding(EC)은 1개의 데이터에 0.5개의 패리티 비트를 이용하여 저장하기 때문에 1GB 데이터 저장에 1.5GB의 저장소를 사용하게 되어 효율성이 증가한다.

 

ec policy 리스트

hdfs ec -listPolices

policy enable

hdfs ec -enablePolicy -policy RS-6-3-1024k

policy 적용

hdfs ec -setPolicy -path [path] -policy RS-6-3-1024k

policy 적용 확인

hdfs ec -getPolicy -path [path]

policy 제거

hdfs ec -unsetPolicy -path [path]

 

'데이터베이스 > Big Data' 카테고리의 다른 글

[Big Data] Hive SemanticException Unable to fetch table null  (0) 2019.11.27
[Big Data] Hive SemanticException Unable to fetch table TableName  (0) 2019.11.22
[Big Data] Hive 날짜 계산 및 마지막 파티션 구하기  (0) 2019.11.04
[Big Data] Hive Failed to recognize predicate 'group'. Failed rule: 'identifier' in table or column identifier  (0) 2019.11.01
[Big Data] Hive Create Table  (0) 2019.10.10
댓글
공지사항
최근에 올라온 글
최근에 달린 댓글
링크
TAG more
«   2025/04   »
일 월 화 수 목 금 토
1 2 3 4 5
6 7 8 9 10 11 12
13 14 15 16 17 18 19
20 21 22 23 24 25 26
27 28 29 30
글 보관함