레퍼런스 마이닝

[Etc] Sonarqube 코드 품질 향상

Reference M1 — Thu, 25 Jul 2024 09:59:44 +0900

이슈, 결함, 코드 복잡성등을 분석하여 코드의 품질을 평가하고 개선하여 코드 품질 향상에 목적을 하고 있다.
지속적인 코드 품질 관리를 통해 개발 초기에 코드 문제를 해결하고 자동화된 코드 감사를 통해 최신 상태의 코드 문제를 확인할 수 있다.

정적 코드 분석
코드 품질 중앙화 관리
DevOps 통합
다중 언어 분석

데모

https://sonarcloud.io/projects

https://next.sonarqube.com/sonarqube/projects

품질요소

Code Smells(Maintainability)
심각한 이슈는 아니지만 사소한 이슈들로 모듈성(modularity), 이해가능성(understandability), 변경가능성(changeability), 테스트 용의성(testability), 재사용성(reusability) 등이 포함된다.
Bugs(Reliability)
일반적으로 잠재적인 버그 혹은 실행시간에 예상되는 동작을 하지 않는 코드를 나타낸다.
Vulnerabilities(Security)
해커들에게 잠재적인 약점이 될 수 있는 보안상의 이슈를 말한다. SQL 인젝션, 크로스 사이트 스크립팅과 같은 보안 취약성을 찾아낸다.
Duplications
코드 중복은 코드의 품질을 저해시키는 가장 큰 요인 중 하나이다.
Unit Tests
단위테스트 커버리지를 통해 단위 테스트의 수행 정도와 수행한 테스트의 성공/실패 정보를 제공한다.
Complexity
순환복잡도, 인지복잡도 측정
Size
소스코드 사이즈와 관련된 다양한 지표를 제공한다. (코드 라인수, 전체 라인수, 구문, 함수, 클래스, 파일, 디렉토리, 주석 수, 코멘트 비율)

Clean Code

소프트웨어 품질
보안, 신뢰성, 유지 관리성이라는 세 가지 측면을 Sonar 솔루션에서는 소프트웨어 품질이라고 부르며, 이는 소프트웨어의 장기적인 가치에 기여한다.

보안(Security)
보안은 무단 액세스, 사용 또는 파괴로부터 소프트웨어를 보호하는 것이다.
신뢰성(Reliability)
소프트웨어가 명시된 기간 동안 명시된 조건에서 성능을 유지할 수 있는 방법을 측정하는 것이다.
유지 관리성(Maintainability)
유지 관리성은 소프트웨어 코드를 쉽게 수정, 개선 및 이해할 수 있음을 의미한다.

[Etc] Gradle 버전에 따른 lombok 설정

Reference M1 — Mon, 8 Jul 2024 09:40:05 +0900

최근에 이전 작성 했던 코드를 참고해 볼 일이 있어 확인하던 중 Gradle Build가 되지 않아 해결하는 과정에서 알게 된 정보를 공유하고자 한다. 우선 현재 Gradle 버전을 확인해 보자.

Gradle 버전을 확인 했다면 5.x 버전 기준으로 의존성 주입 방법이 달라진다.

5.x 미만

dependencies {
  implementation 'org.projectlombok:lombok'
}

5.x 이상

dependencies {
  compileOnly 'org.projectlombok:lombok'
  annotationProcessor 'org.projectlombok:lombok'
}

Gradle Java 호환성

https://docs.gradle.org/current/userguide/compatibility.html

Compatibility Matrix

The sections below describe Gradle’s compatibility with several integrations. Versions not listed here may or may not work.

docs.gradle.org

[Etc] Jenkins Spread load evenly by using rather than

Reference M1 — Thu, 4 Jul 2024 08:19:06 +0900

Jenkins

- 플러그인을 통해 지속적으로 구축, 테스트 및 배포를 목적으로 대표적인 빌드 배포 툴이다.
- Jenkins 등장 이후 많은 변화가 있었지만, 핵심적인 설정은 아직도 큰 틀에서 유지되고 있다.

Jenkins 빌드 유발(Build Triggers)을 설정할 때 나타나는 경고 문구에 대해 알아보자.

Build Triggers 테스트는 Poll SCM, Build Periodically에서 확인이 가능하다.
- Jenkins는 지정된 간격으로 변경 사항을 자동으로 확인하고 감지되면 빌드를 트리거 한다.
- 이때 지정된 간격을 설정하는 방법을 Cron 구문이라고 한다.

Example

*/30 * * * *

30분 주기로 동작하기 위해 위와 같이 설정 시 아래와 같은 경고를 확인 할 수 있다.

Spread load evenly by using ‘H/30 * * * *’ rather than ‘*/30 * * * *’

일반적으로 동일한 시간에 크론 작업을 설정하면 동시에 여러 개의 작업이 수행되어 순간적으로 장비의 리소스 사용이 급격히 늘어 부하가 발생한다. 하지만 Jenkins에서는 여러 개의 작업이 꼭 동일한 시간에 작업해야 될 필요가 없을 때에는 Hash 값을 사용하여 작업을 적절하게 분배하여 동작시켜 준다. 그러므로 제한된 리소스를 가진 환경에서 더욱 유용하다.

‘H(1-10) * * * *’ 와 같이 해시값에 조건을 줄 수도 있습니다. (1 ~ 10분 사이에서 동작)

‘H(30-30) * * * *’
꼭 매시 30분에 동작해야 하는 경우는 아래와 같이 설정해 준다.

[Etc] 웹훅(Webhook) 알아보기

Reference M1 — Mon, 11 Dec 2023 08:54:41 +0900

웹훅 개요

웹훅이란 웹앱에서 발생하는 특정 이벤트를 커스텀 콜백으로 변환 해주는 방법이다. 쉽게 말해 데이터가 변경되었을 때 실시간으로 알림을 받을 수 있는 기능이다. HTTP 기반의 웹 특징과 훅(Hook) 기능을 합친 용어이다.

API

API는 클라이언트가 요청을 한다. 필요한 데이터를 특정한 API로 호출하고 응답을 받게 된다.
행위의 주체가 클라이언트가 데이터를 당겨온다. PULL

웹훅

웹훅은 클라이언트가 데이터를 요청하지 않아도, 필요할 때 알아서 데이터를 준다. 미리 이벤트를 지정해두고, 해당 이벤트가 발생되면
나에게 데이터를 보내줘라는 의미이다.
행위의 주체가 웹훅이 데이터를 밀어 준다. PUSH

웹훅을 통해 Gitlab과 Jenkins 사이의 파이프라인 구성도 가능하다.

정리

API 폴링은 데이터를 줄 때까지 계속 전화를 거는 것과 같다, 웹훅은 시간이 되면 연락을 달라고 메모를 남기는 것과 같다. API 폴링으로는 실시간 데이터를 처리하는데 한계가 있다. 주기를 길게 하면 업데이트가 느리고, 주기를 짧게 한다면 서버는 과부하가 발생 수도 있다. API와 웹훅의 특징을 파악하여 각 상황에 맞게 연동방식을 선정하여 구현해야 한다.

[오라클] ORA-01795 IN 절에 사용가능한 값의 개수 제한

Reference M1 — Tue, 19 Sep 2023 11:38:48 +0900

List로 주어진 여러 개의 조건 값을 IN 형태로 조건을 경우가 생긴다. 일반적인 상황이라면은 문제가 없지만 1000건 이상으로 IN절을 구성할 때는 ORA-01795 오류를 확인할 수 있다.

ORA-01795: 목록에 지정 가능한 식의 최대 수는 1000입니다 (maximum number of expressions in a list is 1000)

<select id="selectItems">
    SELECT *
      FROM TBL
     WHERE CDN IN
        <foreach collection="items" item="item" open="(" close=")" separator=", ">
                #{item.val}
        </foreach>
</select>

해결 방법

1. OR 연산자 1000건씩 분리

<select id="selectItems">
    SELECT *
      FROM TBL
     WHERE
        <foreach collection="partitionedItems" item="partition" separator="OR">
            CDN IN
            <foreach collection="partition" item="item" open="(" close=")" separator=", ">
                #{item.val}
            </foreach>
        </foreach>
</select>

List<List<T>> partitionedItems = new ArrayList<>(
    items.stream()
    .collect(Collectors.groupingBy(item -> item / 1000))
    .values()
);

2. IN절 내부 SubQuery

텍스트 파라미터는 1000개 제한이 있지만 SubQeury는 제한이 없다.

<select id="selectItems">
    SELECT *
      FROM TBL
     WHERE CDN IN
        <foreach collection="items" item="item" open="(" close=")" separator="UNION ALL">
                SELECT #{item.val} FROM DUAL
        </foreach>
</select>

[SQL] 오라클(Oracle) 성능 개선

Reference M1 — Wed, 2 Aug 2023 08:50:16 +0900

1. SELECT 시에는 꼭 필요한 COLUMN만 조회한다.

-- BAD
SELECT *
  FROM TABLE;
-- GOOD
SEELECT COLUMN1
      , COLUMN2
   FROM TABLE;

2. WHERE 절에는 연산을 하지 않는다.

-- BAD
SEELECT COLUMN1
      , COLUMN2
   FROM TABLE
  WHERE FLOOR(COLUMN3) = 2;
-- GOOD
SEELECT COLUMN1
      , COLUMN2
   FROM TABLE
  WHERE COLUMN3 = BETWEEN 4 AND 5;

3. LIKE 조회 시 와일드카드 %는 가급적 뒤에만 사용한다.

-- BAD
SEELECT COLUMN1
      , COLUMN2
   FROM TABLE
  WHERE COLUMN3 LIKE '%DF%';
-- GOOD
SEELECT COLUMN1
      , COLUMN2
   FROM TABLE
  WHERE COLUMN3 LIKE 'DF%';

4. SELECT DISTINCT, UNION 과 같이 중복을 제거하는 연산은 자제한다.

중복을 제거하는 연산은 시간이 많이 걸린다. DISTINCT는 원하는 컬럼에 대해서 중복을 제거하는 것이 아니라 SELECT 해온 모든 ROW에서 중복을 제거하므로 속도가 느리다. EXIST, GROUP BY를 활용하는게 좋다.

5. CHAR VS VARCHAR

4byte 이하는 CHAR, 그 이상은 VARCHAR로 선언한다.

6. BLOB VS TEXT

많은 양의 데이터 저장, 디폴트 값 지정불가 등 공통점이 있다. 차이점으로는 BOLB은 대소문자 구분, TEXT는 구분하지 않는다.

7. PRIMARY KEY, UNIQUE KEY

자동으로 인덱스가 생성된다.

8. INNER JOIN

3개 이상의 테이블을 INNER JOIN 할 때 크기가 가장 큰 테이블을 FROM절에 배치하고 INNER JOIN 절에 남은 테이블을 작은 순서대로 배치하는 것이 좋다.

9. EXPLAIN 실행 계획을 확인한다.

성능이 낮은 것 부터 높은 순으로 정렬하였다.

ALL : 테이블을 처음부터 끝까지 탐색하여 데이터를 찾음 (TABLE FULL SCAN)
INDEX : 인덱스를 처음부터 끝까지 탐색하여 데이터를 찾는 방식 (INDEX FULL SCAN)
RANGE : 특정 범위 내에서 인덱스를 사용하여 원하는 데이터를 추출, 데이터가 방대하지 않다면 준수함. (INDEX RANGE SCAN)
REF : 조인 할 때 PRIMARY KEY 혹은 UNIQUE Key 가 아닌 KEY로 매칭한 경우
EQ_REF : 조인 할 때 PRIMARY KEY로 매칭

[Etc] 모바일웹, 웹앱, 하이브리드앱, 네이티브앱 차이점

Reference M1 — Sun, 2 Jul 2023 12:26:31 +0900

개발 방법과 내부 기능에 따라 다양한 유형의 애플리케이션(앱)이 있다. 개발에 필요한 기본적인 웹 서비스의 종류와 차이점을 알아보자.

1. 모바일 웹(Moblie Web)

개념	모바일 화면에 맞게 구성한 웹
특징	단순히 웹 페이지를 모바일 화면에 맞게 줄인 형태 개발(웹 페이지) 실행(웹 브라우저)
장점	유비보수 용이 브라우저 접근 미설치 스토어 심사 불필요
단점	네이티브 엑세스 불가

2. 웹 앱(Web App)

개념	모바일 웹처럼 보이지만 구동방식이 앱처럼 보이게 한 앱
특징	겉모습, 구동방식을 네이티브 앱처럼 구성 개발(웹 페이지) 실행(웹 브라우저)
장점	비용, 시간 절감 스토어 심사 불필요
단점	네이티브 엑세스 불가

3. 하이브리드 앱(Hybrid App)

개념	컨텐츠 영역은 웹 앱으로 개발하고, 앱 배포에 필요한 패키징 처리
특징	겉모습, 구동방식을 네이티브 앱처럼 구성 개발(모바일 웹 앱을 모바일 OS로 패키징) 실행(스토어)
장점	네이티브 , 브라우저 API를 사용해 다양한 개발 가능 이티브 앱 보다 개발 비용, 시간 절감 네이티브 앱 보다 유지보수 용이 디바이스 엑세스 가능
단점	스토어 심사 필요 웹 및 네이티브 개발 지식 모두 필요 브라우저 성능에 따라 앱 성능 영향

4. 네이티브 앱(Native App)

개념	모바일 기기에 최적화된 네이티브 언어로 개발된 앱
특징	개발(OS별 운영체제 언어로 개발) 실행(스토어)
장점	디바이스 엑세스 가능 높은 퍼포먼스 빠른 속도 및 안정성
단점	스토어 심사 필요 높은 개발, 운영 비용

개발 목적이 무엇인지에 따라, 개발 방식을 선택하는데 도움이 된다. 자금, 인력, 시간을 종합적으로 판단하여 알맞은 개발방식을 선택한다.

[Etc] Spring Framework & Spring Boot With Java Support

Reference M1 — Fri, 9 Jun 2023 17:48:36 +0900

지난 포스팅에 brew로 Java를 설치하는 방법에서 Java LTS 버전을 언급한 적이 있다.

[프로그래밍/Etc] - [Etc] Mac Java 설치 및 관리 with Brew

[Etc] Mac Java 설치 및 관리 with Brew

Mac에서의 Java 설치 및 여러 가지 Java버전을 관리하는 방법을 알아보자. Java 설치의 일반적인 방법은 직접 다운로드하는 방법이 있지만, Mac에서는 Brew를 통해 손쉽게 설치가 가능하다. Java 외의 모

reference-m1.tistory.com

오래된 시스템을 보면 개발, 스테이징, 운영서버 등이 버전이 다른 경우가 있다. 고도화 작업뿐만 아니라 모든 프로젝트가 착수되기 전에 각 버전에 맞는 선정 작업이 필요하다.

이번에는 Spring Framework & Spring Boot에 지원되는 Java 버전(LTS)에 대해 확인하고 사용하자.

https://github.com/spring-projects/spring-framework/wiki/Spring-Framework-Versions

Spring Framework Versions

Spring Framework. Contribute to spring-projects/spring-framework development by creating an account on GitHub.

github.com

https://github.com/spring-projects/spring-boot/wiki/Supported-Versions

Supported Versions

Spring Boot. Contribute to spring-projects/spring-boot development by creating an account on GitHub.

github.com

[Back end] Spring Boot Quartz Scheduler

Reference M1 — Thu, 18 May 2023 13:33:38 +0900

Quartz

Quartz는 미리 결정된 시간 또는 예약된 시간에 작업을 예약하고 실행하는데 사용할 수 있는데 오픈 소스 라이브러리이다. 간단한 interval , Cront 표현식을 사용하여 작업할 수 있다.

장점

in-Memory, JDBC 방식 제공
스케줄러 간 클러스터링
시스템 Fail-over(Random 방식의 로드 분산처리)
기본 플러그인 제공(ShutdownHookPlugin, LoggingHistoryPlugin)

단점

완벽한 로드 분산처리 불가(Random 방식)
GUI 환경 미지원
스케줄러 실행에 대한 히스토리 보관 미지원
fixed delay 미지원

Quartz Maven Dependency

<!-- https://mvnrepository.com/artifact/org.quartz-scheduler/quartz -->
<dependency>
    <groupId>org.quartz-scheduler</groupId>
    <artifactId>quartz</artifactId>
    <version>2.3.2</version>
</dependency>

Quartz Gradle Dependency

// https://mvnrepository.com/artifact/org.quartz-scheduler/quartz
implementation 'org.quartz-scheduler:quartz:2.3.2'

1. Quartz

Scheduler

- 스케줄러 관리

Job

- 스케줄러에 의해 실행

JobDataMap

- Job을 동작시키는데 필요한 Parameter 정보

JobDetail

- Job을 실행하기 위핸 실행 정보(그룹, 이름, JobDataMap)

Trigger

- Job 실행 조건
- Job(1) = Trigger(N) 구조 가능
- SimpleTrigger : 반복 횟수( 카운트 + 1 수행), 반복 간격(ms)
- CronTrigger : Cron 표현식

2. 공통 속성

모든 트리거 유형에는 추적하기 위한 키 속성이 있다. 그 외에도 공통적인 트리거 속성은 아래와 같다.

jobKey : 트리거가 실행되는 작업ID
startTime : 트리거의 일정이 처음 적용되는 시간
endTime : 트리거의 일정이 더 이상 적용되지 않는 시간

Priority(우선순위)

트리거가 많이 있거나 트리거를 체크하는 워크스레드가 부족한 경우 Quartz가 같은 시간에 지정된 모든 트리거를 실행이 불가한 경우, priority 속성을 통해 지정할 수 있다. (디폴트 5)
트리거의 실행 시간이 동일한 경우에만 우선순위 비교
트리거의 작업이 복구 시 원래 트리거와 동일한 우선순위로 설정

Misfire(불발)

불발 시 Job이 실행되어야 하는 시간을 의미
스케줄러가 다운되어 작동하지 못할 때, 스레드 풀에 사용 가능한 스레드가 없는 경우 발생

3. SimpleTrigger

작업을 특정 시점에 정확히 한번 실행하거나 특정 시점에 특정 간격으로 반복해서 실행하는 경우에 사용
시작 시간, 종료 시간, 반복 횟수, 반복 간격이 포함
반복 횟수는 0 또는 양의 정수
반복 간격은 milliseconds

4. CronTrigger

필드	필수	값	허용 특수문자
초(Seconds)	Y	0 ~ 59	, - * /
분(Minutes)	Y	0 ~ 59	, - * /
시(Hours)	Y	0 ~ 23	, - * /
일(Day-of-Month)	Y	1 ~ 31	, - * / ? L W
월(Month)	Y	0 ~ 11 or JAN ~ DEC	, - * /
요일(Day-of-Week)	Y	1 ~ 7 or SUN ~ SAT	, - * / ? L #
년(Year)	N	empty or 1979 ~ 2099	, - * /

'*' 모든 값 의미(매일, 매월, 매주 등)
'?' 특정 값이 없음을 의미(일, 요일에서 사용가능)
'-' 범위를 의미(MON-WED 값은 월요일에서 수요일)
',' 여러 개의 값을 의미(MON, WED, FRI 값은 월, 수, 금)
'/' 증분을 의미, 분이라고 할 때 3/20 - 20분마다 3분에 시작을 의미 (3, 23, 43)
'L' 일 및 요일 필드에 허용되며 마지막을 의미 (마지막 일, 마지막 주)
'W' 주어진 요일에 가장 가까운 평일을 지정하는데 사용 (15W 값은 매월 15일에서 가장 가까운 평일)
'#' 해당 월의 n번째 요일을 지정하는데 사용 (6#3 또는 FRI#3 값은 매월 3번째 금요일)
일 1~31의 값이 될 수 있지만 주어진 달이 며칠인지 주의 필요

Cron 표현식	설명
0 0/5 * * * ?	5분 마다 실행
0 0 12 * * ?	매일 12시에 실행
10 0/5 * * * ?	10초를 기점으로 5분 마다 실행(10:00:10, 10:05:10 ...)
0 30 10-13 ? * WED,FRI	매주 수요일, 금요일 10~13시 30분에 실행(10:30, 11:30, 12:30, 13:30)
0 0/30 8-9 5,20 * ?	매월 5,20일에 8~9시 30분 마다 실행(8:30, 9:00, 9:30)
0 0 12 ? * WED	매주 수요일 12시에 실행

Cron Maker를 이용하여 표현식을 공부하거나, 검증하는데 사용하면 좋다

http://www.cronmaker.com/

CronMaker

www.cronmaker.com

5. SchedulerListeners

스케줄러 자체 내에서 이벤트에 대한 알림을 수신(작업/트리거 추가, 제거, 오류, 종료 등)

6. Job Stores

RAM JobStore : 손쉬운 사용과 성능이 우수하지만 종료 시 모든 스케줄 정보가 유실(휘발성)
JDBC JobStore : JDBC를 통해 스케줄 정보를 데이터베이스에 보관이 가능하지만, RAMJobStore에 비해 구성이 복잡하고 빠르지 않다. (Quartz가 사용할 DataSource 이름 지정 필요)

7. Clustering

JDBC JobStore에서만 클러스터링 지원(부하 분산 및 작업 장애 조치)

8. Quartz Table

QRTZ_LOCKS : 작업 실행 인스턴스

QRTZ_JOB_DETAILS : 실행될 Job 정보(이름, 그룹, 클래스 등)
QRTZ_TRIGGERS : Job을 실행할 스케줄 Trigger 정보(Trigger 종류 구분 및 시간)

QRTZ_CRON_TRIGGERS : Cron Trigger 정보(Cron Expression, Time Zone)
QRTZ_SIMPLE_TRIGGERS : Simple Trigger 정보(반복 횟수, 간격)
QRTZ_CALENDARS : 달력 형태 스케줄러 정보(특정 범위에 스케줄을 동작시키지 않을 때 사용)

QRTZ_SCHEDULER_STATE : 스케줄러 상태 확인(LAST_CHECKIN_TIME이 CHECKIN_INTERVAL 간격으로 갱신)
QRTZ_FIRED_TRIGGERS : 실행된 Trigger 정보
QRTZ_PAUSED_TRIGGER_GRPS : 정지된 Trigger 정보

[Back end] Spring Boot @Autowired null 에러

Reference M1 — Tue, 22 Nov 2022 10:38:00 +0900

Thread를 통해 Service를 호출하려고 하면 @Autowired null 관련 에러가 발생한다. Thread 클래스가 Bean으로 등록된 클래스가 아니어서 IOC Container를 통해 자동 주입되지 않는다. @Autowired는 Bean으로 등록된 클래스에서만 사용 가능하다.

이럴 때는 Bean을 수동으로 주입하면 해결 가능하다.

ApplicationContextProvider

import org.springframework.beans.BeansException;
import org.springframework.context.ApplicationContext;
import org.springframework.context.ApplicationContextAware;
import org.springframework.stereotype.Component;

@Component
public class ApplicationContextProvider implements ApplicationContextAware {

  private static ApplicationContext applicationContext;

  @Override
  public void setApplicationContext(ApplicationContext ctx) throws BeansException {
    applicationContext = ctx;
  }

  public static ApplicationContext getApplicationContext() {
    return applicationContext;
  }
}

BeanUtils

import org.springframework.context.ApplicationContext;

import com.skcc.kw.common.ApplicationContextProvider;

public class BeanUtils {
  public static Object getBean(String bean) {
    ApplicationContext applicationContext = ApplicationContextProvider.getApplicationContext();
    return applicationContext.getBean(bean);
  }
}

Example

@Service
public class UserService {
  ...
}

public class UserThread implements Runnable {

  // Bean 주입
  UserService userService = (UserService) BeanUtils.getBean("userService");
  
  ...
  
}