[Big Data] 자주 사용하는 Hadoop 명령어

티스토리 뷰

데이터베이스/Big Data

Reference M1 2019. 9. 25. 23:54

hadoop fs -ls <hdfsPath>
#hdfsPath 디렉터리 정보 출력

hadoop fs -ls -R <hdfsPath>
#hdfsPath 하위 디렉터리를 포함한 정보 출력

hadoop fs -mkdir <hdfsPath>
#hdfsPath 디렉터리 생성

hadoop fs -mkdir -p <hdfsPath>
#hdfsPath 디렉터리 생성 (미 생성된 상위 부모 디렉터리까지)

hadoop fs -rm <hdfsPath>
#hdfsPath 파일 또는 디렉터리 삭제 (디렉터리는 반드시 비어 있어야)

hadoop fs -rm -r <hdfsPath>
#hdfsPath 파일 또는 디렉터리 삭제 (파일이 존재해도 삭제 주의!)

hadoop fs -mv <hdfsPath> <hdfsPath>
#hdfsPath 파일 또는 디렉터리 이동

hadoop fs -cp <hdfsPath> <hdfsPath>
#hdfsPath 파일 또는 디렉터리 복사

hadoop fs -cp -f <hdfsPath> <hdfsPath>
#hdfsPath 파일 또는 디렉터리 복사 (대상이 존재하면 덮어쓰기)

hadoop fs -put <localPath> <hdfsPath>
#localPath 파일 또는 디렉터리를 목적지 디렉터리(hdfsPath)에 복사 (목적지 디렉터리가 없으면 생성)

hadoop fs -get <hdfsPath> <localPath>
#hdfsPath 파일 또는 디렉터리를 목적지 디렉터리(localPath)에 복사 (목적지 디렉터리가 없으면 생성)

hadoop fs -du <hdfsPath>
#hdfsPath 디렉터리 파일 정보 출력

hadoop fs -du -s <hdfsPath>
#hdfsPath 디렉터리 전체 파일 정보 출력

hadoop fs -du -s -h <hdfsPath>
#hdfsPath 디렉터리 전체 파일 정보 출력 (사람이 읽기 쉬운 형태)

hadoop fs -cat <hdfsPath>
#hdfsPath 파일 내용 출력

hadoop fs -tail <hdfsPath>
#hdfsPath 파일 내용 마지막 내용 출력

hadoop fs -tail -f <hdfsPath>
#hdfsPath 파일 내용 마지막 내용 출력 (파일 내용이 증가함에 따라 출력)

hadoop fs -count <hdfsPath>
#hdfsPath 아래의 디렉터리, 파일, 바이트 수 출력(DIR_COUNT, FILE_COUNT, CONTENT SIZE, FILE_NAME 순서)

hadoop fs -touchz <hdfsPath>
#hdfsPath 0바이트 파일을 생성

hadoop fs -chmod <hdfsPath>
#hdfsPath 디렉터리 또는 파일 권한 변경

hadoop fs -chmod -R <hdfsPath>
#hdfsPath 디렉터리 또는 파일 권한 변경 (하위 디렉터리 까지)

hadoop fs -chown <소유자> <hdfsPath>
#hdfsPath 디렉터리 또는 파일 소유권 변경

hadoop fs -chown -R <소유자> <hdfsPath>
#hdfsPath 디렉터리 또는 파일 소유권 변경 (하위 디렉터리 까지)

[Big Data] Hive Create Table (0)	2019.10.10
[Big Data] Hive crontab을 사용하여 hive partition 만들기 (0)	2019.10.03
[Big Data] hadoop fs dfs 어떻게 다른가? (0)	2019.09.25
[Big Data] 자주 사용하는 Hive 명령어 (0)	2019.09.18
[Big Data] 하둡(Hadoop) 기본 구성요소 (0)	2019.02.08

공지사항

최근에 올라온 글

최근에 달린 댓글

링크

글 보관함