[Big Data] Hadoop Erasure Coding(EC) 사용법
Hadoop 3.0에서의 신규로 추가된 주요 기능 중 하나인 Erascre Coding(EC) 적용 방법에 대해 알아보자. Hadoop은 기본적으로 데이터 유실에 대비하여 데이터 복제를 한다. 기본 복제 단위가 3이어서, 파일 1개당 2개의 복제본을 가지게 된다. 이로 인해 1GB 데이터 저장에 3GB의 저장소를 사용하게 된다. Erascre Coding(EC)은 1개의 데이터에 0.5개의 패리티 비트를 이용하여 저장하기 때문에 1GB 데이터 저장에 1.5GB의 저장소를 사용하게 되어 효율성이 증가한다. ec policy 리스트 hdfs ec -listPolices policy enable hdfs ec -enablePolicy -policy RS-6-3-1024k policy 적용 hdfs ec -se..
데이터베이스/Big Data
2019. 12. 7. 00:31
공지사항
최근에 올라온 글
최근에 달린 댓글
링크
TAG
- 개발환경
- 리눅스 명령어
- 오라클
- Eclipse
- Maven
- 리액트 16
- 제주도 여행
- 자바
- Java
- Linux 명령어
- 경력관리
- 리액트
- 소프트웨어공학
- 제주도 3박4일 일정
- javascript
- 프로그래머
- 정렬 알고리즘
- 오라클 내장 함수
- SQL
- 프로그래머스
- spring
- effective java
- Collection
- 자바스크립트
- Tomcat
- 이직
- React
- sort algorithm
- 회고
- 성능분석
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | |||
5 | 6 | 7 | 8 | 9 | 10 | 11 |
12 | 13 | 14 | 15 | 16 | 17 | 18 |
19 | 20 | 21 | 22 | 23 | 24 | 25 |
26 | 27 | 28 | 29 | 30 | 31 |
글 보관함