레퍼런스 마이닝

Hive를 사용하다 보면 테이블 생성 시 컬럼에 group이라는 예약어가 있으면 아래와 같이 에러가 발생한다. group 뿐만이 아니다 모든 예약어에 대한 에러이다. Failed to recognize predicate 'group'. Failed rule: 'identifier' in table or column identifier 에러를 해결하는 방법은 3가지가 있다. 첫번째(set) set hive.support.sql11.reserved.keywords=false; 두 번째(back quote) `group` 세번째(hive-site.xml) hive.support.sql11.reserved.keywords false 부득이한 상황이 아니라면 명령어에 예약어 사용을 지양하자.

교육용으로 만들었던 게시판 모델링 스크립트이다. 필요에 따라 수정하여 사용하면 된다. DROP TABLE EVT_USER_BAS; CREATE TABLE EVT_USER_BAS ( USER_ID VARCHAR(64) NOT NULL COMMENT '사용자ID', USER_NM VARCHAR(20) NOT NULL COMMENT '사용자명', USER_PASS VARCHAR(100) NOT NULL COMMENT '사용자비밀번호', CNTAC_NO VARCHAR(11) COMMENT '연락처번호', EMAIL_ADDR VARCHAR(300) NOT NULL COMMENT '이메일주소', DEL_YN VARCHAR(1) COMMENT '삭제여부', FRST_REG_DATE DATETIME NOT NULL C..

무결성 데이터 무결성은 데이터 값이 정확하고 완전해야 한다는 의미이다. 즉 말이 안 되는 데이터가 있으면 안 된다는 뜻이다. 정합성 데이터 정합성은 서로 모순이 없이 일관되게 일치해야 한다는 의미이다. 즉 어떤 데이터들의 값이 서로 일치해야 한다.

Hive에서 테이블은 HDFS 상에 저장된 파일과 디렉터리 구조에 대한 메타 정보라고 할 수 있다. 실제 저장된 파일 구조에 대한 정보와 저장 위치, 입력 포멧, 출력 포멧, 파티션 정보, 프로퍼티에 대한 정보 등 다양한 정보를 가지고 있다. 테이블 타입 MANAGED 테이블 생성 시 옵션을 따로 설정하지 않으면 MANAGED 테이블로 생성된다. 세션이 종료되어도 테이블의 데이터와 파일은 유지된다. 테이블을 DROP 하면 파일도 함께 삭제된다. EXTERNAL EXTERNAL 옵션은 MANAGED 테이블과 파일 삭제 정책을 제외하고 동일하다. EXTERNAL 테이블은 DROP 하면 파일은 그대로 유지되어, 사용자의 실수로 인한 파일 삭제를 방지할 수 있어 EXTERNAL 테이블로 관리하는 것이 좋다. T..

crontab은 주기적으로 지정한 시간에 지정한 작업을 하도록 설정할 수 있다. 이런 기능을 활용하여 지정한 시간에 hive partition 만들기를 적용해 보자. 아래 명령어를 통해 contab을 편집해보자. crontab -e 00 01 * * 0 /home/hadoop/cluster/env.sh /home/hadoop/cluster/hive_partition/add_partition_table_1w.sh > /tmp/add_partition_table_1w.log 2>&1 매주 일요일 01시에 add_partition_table_1w.sh을 실행하게 했으며 add_partition_table_1w.log 파일에 로그를 적재하도록 설정하였다. add_partition_table_1w.sh /home..

TEMP 테이블 DBMS 종류에 따른 분할 쿼리 방식은 조금씩 다르다. 페이징을 하거나, 데이터를 끊어 읽을 때 사용된다. Oracle 변수 처리 시 start, end로 데이터를 제한하여 분할하면 된다. ex) WHERE TOTAL.RNUM > start AND TOTAL 0 AND TOTAL.RNUM 0 AND TOTAL.RNUM

psql 접속 #psql 접속 psql -U postgres -d userName #psql 비밀번호 접속 PGPASSWORD=password psql -U postgres -d userName #psql 비밀번호 접속 sql 파일 query 실행 PGPASSWORD=password psql -U postgres -d userName -f query.sql #psql 원격 접속 psql -h 100.100.100.100 -U postgres -d userName #psql 원격 비밀번호 접속 PGPASSWORD=password psql -h 100.100.100.100 -U postgres -d userName #psql 원격 query 실행 PGPASSWORD=password psql -h 100.10..

hadoop fs -ls #hdfsPath 디렉터리 정보 출력 hadoop fs -ls -R #hdfsPath 하위 디렉터리를 포함한 정보 출력 hadoop fs -mkdir #hdfsPath 디렉터리 생성 hadoop fs -mkdir -p #hdfsPath 디렉터리 생성 (미 생성된 상위 부모 디렉터리까지) hadoop fs -rm #hdfsPath 파일 또는 디렉터리 삭제 (디렉터리는 반드시 비어 있어야) hadoop fs -rm -r #hdfsPath 파일 또는 디렉터리 삭제 (파일이 존재해도 삭제 주의!) hadoop fs -mv #hdfsPath 파일 또는 디렉터리 이동 hadoop fs -cp #hdfsPath 파일 또는 디렉터리 복사 hadoop fs -cp -f #hdfsPath 파일 또..

hadoop fs hadoop fs는 local, hdfs 등과 같은 파일 시스템을 가리킬 수 있는 일반 파일 시스템과 관련이 있다. hadoop dfs hadoop dfs는 hdfs에만 해당된다. 이것은 더이상 사용되지 않으며 hdfs dfs를 사용해야 한다. hdfs dfs hdfs dfs는 hdfs에만 해당된다. hadoop dfs 대신 권장되는 명령어이다. FS(File system) 쉘에는 HDFS(Hadoop Distributed File System)와 직접 상호 작용하여 다양한 명령과 Local FS, WebHDFS, S3 FS 등과 같은 hadoop이 지원하는 다른 파일 시스템이 포함되어 있다. 간단히 정리하면 hadoop fs는 hadoop을 포함한 여러 파일 시스템과 상호작용할 수 있..

TEMP 테이블 DMBS 종류에 따른 rownum 방식은 조금씩 다르다. 가장 자주 사용하는 DBMS는 머리속에 있겠지만 어쩌다 사용하거나 처음 사용하는 DBMS는 찾아보기 마련이다. 정리하는 차원에서 포스팅을 한다. Oracle SELECT ROW_NUMBER() OVER(ORDER BY EMP_ID ASC) AS RNUM , EMP_ID , EMP_NAME FROM TEMP; SELECT ROWNUM AS RNUM , EMP_ID , EMP_NAME FROM TEMP ORDER BY EMP_ID ASC; MySQL SELECT @RNUM := @RNUM + 1 AS RNUM , A.EMP_ID , A.EMP_NAME FROM (SELECT EMP_ID , EMP_NAME FROM TEMP ORDER ..