레퍼런스 마이닝

DELETE, TRUNCATE, DROP 명령어 모두 삭제하는 명령어이지만 중요한 차이점이 있다. DELETE 데이터는 지워지지만 테이블 용량이 줄어들지 않는다. 원하는 데이터만 지울 수 있고 삭제 후 COMMIT 이전에 ROLLBACK을 통해 되돌릴 수 있다. ROLLBACK 정보를 기록하므로 TRUNCAT에 비해 느리다. 삭제 시 행수를 반환한다. TRUCATE 용량이 줄어들고, 인덱스 등도 삭제된다. 테이블은 삭제되지 않고, 데이터만 삭제한다. 원하는 데이만 지울 수 없고 전체 삭제만 가능하다. 삭제 후 되돌릴 수 없다. 삭제 행수를 반환하지 않는다. DROP 테이블 전체를 삭제, 공간, 객체를 삭제한다. 삭제 후 되돌릴 수 없다. 구분 테이블 정의 저장 공간 작업속도 SQL 구분 DELETE 존재..

TCL(Transaction Control Language) DCL(Data Control Language) 데이터를 제어하는 명령어에서 트랜잭션을 제어하는 명령어인 COMMIT, ROLLBACK, SAVEPOINT 만을 따로 분리해서 TCL 이라고 표현한다. 트랜잭션 개념 데이터베이스에서는 데이터의 일관성과 무결성을 보장하기 위해서는 반드시 트랜젝션 관리가 필요하다. 트랜잭션이란 데이터베이스 내에서 하나의 그룹으로 처리되어야 하는 명령문들을 모아 놓은 작업 단위이다. 예를들어 그룹이 하나 이상의 SQL문장으로 구성되어 있다고 가정할 경우 4개의 SQL문장이 하나의 그룹으로 묶여진 작업단위의 경우 4개의 SQL문장이 완전히 처리되거나 All-OR-Nothing방식으로 처리된다. 1. COMMIT INSE..

DML(Data Manipulation Language) 데이터 조작 언어 DB 사용자 또는 애플리케이션이 DB에 대해 데이터 검색, 등록, 수정, 삭제를 하기 위한 데이터베이스 명령어이다. SELECT, INSERT, UPDATE, DELETE Auto Commit 미적용 1. 레코드 삽입 INSERT INTO USER (USER_ID, USER_NAME, ORG_ID, TEL_NO) VALUES ('U00001','홍길동','000000','01011112222'); // INSERT 구문으로 삽입할 칼럼명과 값을 입력 // 문자열은 반드시 '' 로 감싸고 NUMBER는 그냥 숫자로 입력 // 전체 칼럼을 입력할 때는 굳이 칼럼명은 없이 VALUES 이후에 순서대로 입력 2. 레코드 수정 UPDATE..

DDL(Data Definition Language) 데이터 정의 언어, 데이터 정의어, 데이터 기술 언어로 주로 테이블의 생성, 수정, 삭제를 할 수 있는 명령어이다. CREATE, DROP, ALTER, RENAME Auto Commit 적용 1. 테이블 생성 CREATE TABLE USER( USER_ID CHAR(7) NOT NULL, USER_NAME VARCHAR2(20) NOT NULL, ORG_ID CHAR(6) NOT NULL, TEL_NO NUMBER(11), CONSTRAINT USER_PK PRIMARY KEY (USER_ID), CONSTRAINT USER_FK FOREIGN KEY (ORG_ID) REFERENCES TEAM(ORG_ID) ); // 대소문자 구분 안함 CONST..

HDFS(Apache Hadoop Distributed File System)Apache Hadoop은 분산 파일 시스템과 MapReduce 패러다임을 이용한 대용량 데이터를 분산 처리할 수 있는 오픈소스 프레임워크이다.원래 너치(루씬을 기반으로 하여만든 오픈 소스 검색 엔진)의 분산처리를 지원하기 위해 개발된 것으로, 아파치 루씬의 하부 프로젝트이다. 분산처리 시스템인 구글 파일 시스템을 대체할 수 있는 하둡 파일 시스템과 맵리듀스를 구현한 것이다. HDFS 특징1. 데이터 Recoverability- 시스템의 컴포넌트가 fail 하더라도 시스템을 통해 작업을 지속적으로 수행되어야 한다. failure로 인해 어떠한 데이터의 손실도 발생해서는 안된다.2. 컴포넌트 Recovery- 시스템의 컴포넌트가 ..

빅데이터 프로젝트를 하게되면 항상 마주하게 되는 하둡(Hadoop)에 대한 이야기이다.빅데이터를 새롭게 구축 하는 일을 마주하게 되면 제일 먼저 큰 데이터를 저장 할 저장소와 저장한 데이터를 처리할 CPU 의 자원이 필요하다. 우리는 Apache Hadoop을 왜 쓰게 되었을까?큰 데이터를 처리하기에 기존 방식은 너무 비싸다.애플리케이션/트랜잭션 로그 정보는 매우 크다. ▶ 대용량 파일을 저장할 수 있는 분산 파일 시스템을 제공한다.I/O 집중적이면서 CPU도 많이 사용한다.▶ 멀티 노드로 부하를 분산시켜 처리한다.데이터베이스는 하드웨어 추가 시 성능 향상이 선형적이지 않다.▶ 장비를 증가시킬수록 성능이 선형적으로 향상된다. 데이터베이스는 소프트웨어와 하드웨어가 비싸다.▶ Apache Hadoop은 무료..

정의빅데이터는 큰 사이즈의 데이터로부터 유의미한 지표를 분석해내는 것으로 정의할 수 있다.다양한 형태의 데이터를 수집, 처리, 저장하여 목적에 맞게 분석함으로써 필요 지식을 추출하고, 의사결정에 사용하거나, 비즈니스 모델, 또는 서비스 모델의 개발 및 개선, 수행에 이용하는 제반 행위를 포괄적으로 일컫는다.데이터를 추출해서 저장하고 분석해서 활용하는 일련의 과정 전체를 빅데이터라고 정의하는 것이 가능 적합하다. 빅데이터 출현 배경소셜 네트워크 서비스(SNS)의 급격한 확산과 비정형 데이터멀티미디어 콘텐츠 사용 정보 증가각종 센서로부터 데이터 수집, 저장 - IOT기업의 고객 데이터 트래킹/수집 행위 증가데이터 저장매체 가격 하락 이런 여러 가지 출현 배경으로 인하여 정보의 바다에서 정보의 홍수로 변화하게..