[Retrospectives] 2014년 회고

2014년 회고

---

2014년에는 운영 업무 위주로 프로젝트가 진행되었다. 지금도 많은 곳에 빅데이터가 사용되지만 2014년 당시에는 대기업 위주 또는 선구적인 기업에서 빅데이터 프로젝트가 진행되었다. 진행했던 프로젝트는 통신사 가입자의 빅데이터 분석 및 운영 업무였는데 간단한 관리자 화면과 관련 API를 고치면서 주 업무는 Hadoop 운영이었다. 50여 대의 데이터 노드를 관리하였다. 데이터 노드들이 죽기도 하고 또는 새로운 데이터 노드를 추가하기도 하고 데이터 문제로 replication까지 운영 업무를 하면서 하둡의 기본지식과 설정 방법들을 알게 되었다.

하둡과 더불어 모니터링에 필요한 nagios, ganglia를 사용하였으며, Tajo, Hive, Pig와 같은 에코시스템을 사용하여 개발이 진행되었다. 특히 Tajo 같은 경우에는 그 당시 Apache High Level에 등재되면서 상당한 인기를 끌었지만 Tajo를 선택한 것은 잘못이었다고 생각한다. 프로젝트 기간 내내 Tajo 버그 테스트를 하는 느낌이었다.

1년 가까운 운영업무를 하면서 뭔가 많이 배운 거 같은 느낌이 없었다. 운영 업무가 맞지 않은 것에 하둡과 연관 지어 빅데이터까지 싫어지게 되는 계기가 되었다. 지금은 하둪 및 빅데이터에 대한 생각을 180도 바꿨지만 그 당시에는 너무 재미가 없어 흥미가 생기지 않았다.

운영 업무가 종료된 후 2014년 말에 하이닉스로 개발업무를 하게 들어가게 된다.