'하둡' 태그의 글 목록

빅데이터 프로젝트를 하게되면 항상 마주하게 되는 하둡(Hadoop)에 대한 이야기이다.빅데이터를 새롭게 구축 하는 일을 마주하게 되면 제일 먼저 큰 데이터를 저장 할 저장소와 저장한 데이터를 처리할 CPU 의 자원이 필요하다. 우리는 Apache Hadoop을 왜 쓰게 되었을까?큰 데이터를 처리하기에 기존 방식은 너무 비싸다.애플리케이션/트랜잭션 로그 정보는 매우 크다. ▶ 대용량 파일을 저장할 수 있는 분산 파일 시스템을 제공한다.I/O 집중적이면서 CPU도 많이 사용한다.▶ 멀티 노드로 부하를 분산시켜 처리한다.데이터베이스는 하드웨어 추가 시 성능 향상이 선형적이지 않다.▶ 장비를 증가시킬수록 성능이 선형적으로 향상된다. 데이터베이스는 소프트웨어와 하드웨어가 비싸다.▶ Apache Hadoop은 무료..