티스토리 뷰
Hadoop 3.0에서의 신규로 추가된 주요 기능 중 하나인 Erascre Coding(EC) 적용 방법에 대해 알아보자.
Hadoop은 기본적으로 데이터 유실에 대비하여 데이터 복제를 한다. 기본 복제 단위가 3이어서, 파일 1개당 2개의 복제본을 가지게 된다. 이로 인해 1GB 데이터 저장에 3GB의 저장소를 사용하게 된다. Erascre Coding(EC)은 1개의 데이터에 0.5개의 패리티 비트를 이용하여 저장하기 때문에 1GB 데이터 저장에 1.5GB의 저장소를 사용하게 되어 효율성이 증가한다.
ec policy 리스트
hdfs ec -listPolicespolicy enable
hdfs ec -enablePolicy -policy RS-6-3-1024kpolicy 적용
hdfs ec -setPolicy -path [path] -policy RS-6-3-1024kpolicy 적용 확인
hdfs ec -getPolicy -path [path]policy 제거
hdfs ec -unsetPolicy -path [path]
'데이터베이스 > Big Data' 카테고리의 다른 글
| [Big Data] Hive SemanticException Unable to fetch table null (0) | 2019.11.27 |
|---|---|
| [Big Data] Hive SemanticException Unable to fetch table TableName (0) | 2019.11.22 |
| [Big Data] Hive 날짜 계산 및 마지막 파티션 구하기 (0) | 2019.11.04 |
| [Big Data] Hive Failed to recognize predicate 'group'. Failed rule: 'identifier' in table or column identifier (0) | 2019.11.01 |
| [Big Data] Hive Create Table (0) | 2019.10.10 |
댓글
공지사항
최근에 올라온 글
최근에 달린 댓글
링크
TAG
- 리액트 16
- React
- Linux 명령어
- sort algorithm
- Eclipse
- 개발환경
- 회고
- 프로그래머
- 오라클 내장 함수
- 소프트웨어공학
- Maven
- 자바스크립트
- 제주도 3박4일 일정
- SQL
- 오라클
- 리눅스 명령어
- 이직
- spring
- javascript
- effective java
- 자바
- 경력관리
- 제주도 여행
- 프로그래머스
- 성능분석
- 리액트
- Collection
- 정렬 알고리즘
- Tomcat
- Java
| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | 4 | |||
| 5 | 6 | 7 | 8 | 9 | 10 | 11 |
| 12 | 13 | 14 | 15 | 16 | 17 | 18 |
| 19 | 20 | 21 | 22 | 23 | 24 | 25 |
| 26 | 27 | 28 | 29 | 30 | 31 |
글 보관함
