[도커] 도커 최적화 - 도커 레이어 캐싱을 활용해서 시간 줄이기! (Layered jar, bootjar, 멀티스테이지 빌드)

 

현재 시스템에서는 도커를 사용해 빌드하고 이미지를 생성해, EC2에 배포한다.
앞으로 수없이 배포가 반복될텐데, 이미지 사이즈를 줄이고 빌드시간을 단축하는 것이 시간과 컴퓨팅 자원의 낭비를 줄일 것이다!

 

환경: java 21, 스프링부트3.4

 

결과적으로는,

도커의 캐싱을 활용해서 시간을 65초->40초로 약 35%개선을 할 수 있었다!

 

1. 현재 도커파일

# 빌드 단계
#베이스 이미지 생성. 도커 컨테이너를 특정 초기 이미지를 기반으로 세팅.
FROM eclipse-temurin:21-jdk AS builder
WORKDIR /back
COPY . .
RUN ./gradlew clean build 

# 실행 단계 
FROM eclipse-temurin:21-jre
WORKDIR /back
COPY --from=builder /back/build/libs/weddy-0.0.1-SNAPSHOT.jar /back/weddy.jar 
# 도커 컨테이너가 8080포트를 사용할 것임을 선언 
EXPOSE 8080 
# 도커 컨테이너가 시작될 때 실행될 기본 명령어
CMD ["java", "-Dspring.profiles.active=local", "-jar", "weddy.jar"]

 

지금 도커파일을 보면 단순하다.

빌드 후 이미지 크기가 342MB정도 됐다.

그리고 도커는 레이어별 캐싱을 한다고 하는데, 그런 것들을 적용해보고자 했다.

 

---

 

2. 우선 크기 줄이기

 

베이스 이미지를 

FROM eclipse-temurin:21-jre

에서

FROM eclipse-temurin:21-jre-alpine

 

로 변경하여 

용량을 342MB -> 260MB로 줄였다!

 

참고: https://doublejune.tistory.com/77

[도커] 도커 최적화 - 베이스 이미지 크기를 줄이면 무조건 좋을까?(alpine, musl libc, JNI)

 

 

---

 

3. 본격적으로 빌드 시간 줄이기 - 레이어 분리

 

현재는 소스코드가 한 줄만 수정되더라도 의존성을 다시 받아야하는 문제가 있다.

 

기존 코드의 COPY . . 부분은

프로젝트 전체를 내가 builder라 이름 붙인 스테이지(하나의 독립된 이미지 단위) 내부로 복사한다.

 

복사를 할 때, 프로젝트가 이전과 달라진 부분이 없다면 도커 캐시에 저장된 것을 사용하기 때문에 시간이 절약된다.

하지만, 소스코드 한 줄 이라도 수정이 된다면 전체를 다시 복사해온다. 그리고, COPY . . 레이어 이후의 모든 레이어는 다시 빌드된다.

 

즉, 소스코드가 한 줄만 수정되더라도 의존성을 다시 받아야하는 문제가 발생한다.

 

그래서, 레이어를 분리했다.

전:

#빌드 단계
FROM eclipse-temurin:21-jdk AS builder
WORKDIR /back
COPY . .
RUN ./gradlew clean build

 

후 :

# 빌드 단계
FROM eclipse-temurin:21-jdk-alpine AS builder
WORKDIR /back
COPY gradlew .
COPY gradle gradle
COPY build.gradle settings.gradle ./
RUN ./gradlew dependencies --no-daemon

COPY src src
RUN ./gradlew clean bootJar --no-daemon

 

의존성(gradle 관련 파일)을 먼저 COPY하고, 빌드한다.

그러면 도커에서는 소스코드(src)가 변경되었더라도, 의존성은 변경되지 않았기 때문에

 

COPY gradlew .
COPY gradle gradle
COPY build.gradle settings.gradle ./
RUN ./gradlew dependencies --no-daemon

 

에서 모두 도커 캐시 HIT 하게 된다.(=의존성을 다시 다운로드할 필요 없다. 기존의 것을 사용한다.)

 

---

 

4. 시간 좀 더 줄이기 - spring boot의 jar 레이어 분리

 

우리는 위에서 레이어를 잘게 쪼갤 수록, 도커 캐싱을 통해 효율성을 높일 수 있음을 알았다. (잘게 쪼개면, 변경된 부분만 업데이트하면 되니까)

 

그래서, Spring Boot 서버를 빌드한 결과인 jar파일도 쪼개본다.

 

Layered jar
: 계층형 JAR. JAR 파일을 분리하여 모듈화할 수 있는 기술.

공식문서 

 

Layerd jar를 사용하면 앱을 더 빠르게 시작할 수 있다. 필요한 모듈만 로드하므로 메모리 사용량이 줄어들고, 배포 및 업데이트가 더 쉬워진다.

 

*Layered JAR는 Java 9부터 도입된 모듈 시스템(Java Module System)의 일부 기능이다. 따라서 Layered JAR를 사용하려면 Java 9 이상의 버전이 필요하다.
*그리고 spring boot 2.3.0 이상부터 layer 기능을 지원한다.

Layerd jar는 크게 4가지 영역으로 구분되어있다.

 

- application: 애플리케이션 소스 코드
- snapshot-dependencies: 프로젝트 클래스 경로에 존재하는 스냅샷 종속성 jar 파일
- spring-boot-loader: jar 로더와 런처
- dependencies: 프로젝트 클래스 경로에 존재하는 라이브러리 jar 파일

 

위로 갈수록 변경이 잦은 레이어다.

 

보면, 도커의 레이어구조가 떠오른다.

도커는 레이어별로 캐시를 관리한다. 

그러니 변경이 안된 레이어는 캐싱을 당할 수 있도록 Layered jar를 이용한다.

 

# JAR 레이어 추출 단계
FROM eclipse-temurin:21-jre-alpine AS extractor
WORKDIR /back
COPY --from=builder /back/build/libs/weddy-0.0.1-SNAPSHOT.jar weddy.jar
RUN java -Djarmode=layertools -jar weddy.jar extract


# 실행 단계
FROM eclipse-temurin:21-jre-alpine
WORKDIR /back
COPY --from=extractor /back/dependencies/ ./
COPY --from=extractor /back/spring-boot-loader/ ./
COPY --from=extractor /back/snapshot-dependencies/ ./
COPY --from=extractor /back/application/ ./

 

위는 변경 후 코드다.

RUN java -Djarmode=layertools -jar weddy.jar extract

를 통해 4개의 분리된 레이어가 만들어진다.

 

그 후,

FROM eclipse-temurin:21-jre-alpine
WORKDIR /back
COPY --from=extractor /back/dependencies/ ./
COPY --from=extractor /back/spring-boot-loader/ ./
COPY --from=extractor /back/snapshot-dependencies/ ./
COPY --from=extractor /back/application/ ./

 

이렇게 잘 변경되지 않는 레이어 부터 COPY한다.

 

도커는 하위 레이어가 변경될 경우, 그 위의 레이어부터는 전부 다시 생성(초기화)하기 때문이다. 변경이 적은 레이어부터 쌓아야 캐싱을 잘 당할 수 있다.

 

---

 

5. 최종 완성본

# 빌드 단계
FROM eclipse-temurin:21-jdk-alpine AS builder
WORKDIR /back
COPY gradlew .
COPY gradle gradle
COPY build.gradle settings.gradle ./
RUN ./gradlew dependencies --no-daemon

COPY src src
RUN ./gradlew clean bootJar --no-daemon

# JAR 레이어 추출 단계
FROM eclipse-temurin:21-jre-alpine AS extractor
WORKDIR /back
COPY --from=builder /back/build/libs/weddy-0.0.1-SNAPSHOT.jar weddy.jar
RUN java -Djarmode=layertools -jar weddy.jar extract


# 실행 단계
FROM eclipse-temurin:21-jre-alpine
WORKDIR /back
COPY --from=extractor /back/dependencies/ ./
COPY --from=extractor /back/spring-boot-loader/ ./
COPY --from=extractor /back/snapshot-dependencies/ ./
COPY --from=extractor /back/application/ ./
# 도커 컨테이너가 8080포트를 사용할 것임을 선언
EXPOSE 8080
# 도커 컨테이너가 시작될 때 실행될 고정 명령어
ENTRYPOINT ["java", "-Dspring.profiles.active=local", "org.springframework.boot.loader.launch.JarLauncher"]

 

결과적으로는,

도커의 캐싱을 활용해서 시간을 65초->40초로 약 35%개선을 할 수 있었다!

 

• 변경 전
  

  

• 변경 후
  

  

 

 

추가로 

- gradle build 대신 bootjar를 사용해서 시간을 단축했다.

: build는 내부 동작이 더 많다. test코드 실행, 프로덕션 아티팩트 생성 및 문서 생성을 포함한 여러가지가 포함된다. bootjar는 단순히 프로젝트의 jar파일만을 만드는데 목적을 가지고 있다.

 

- bootjar시 clean bootjar를 했다. 시간은 좀 더 걸릴 수 있지만.

clean은 /build에 있는빌드 결과물(컴파일 결과물, 클래스파일등) 모든 빌드 산출물을 삭제한다. clean을 사용해 혹시 발생할 수 있는 문제를 예방하고자 했다. ex. 오래된 클래스파일 유지 등 불일치 문제.

 

 

 

참조

https://velog.io/@ssol_916/Gradle-Layered-Jar-%EA%B7%B8%EB%A6%AC%EA%B3%A0-Dockerbuild-%EC%B5%9C%EC%A0%81%ED%99%94

Gradle, Layered Jar 그리고 Dockerbuild 최적화

https://velog.io/@noyohanx/Spring-bootjar%EA%B3%BC-%EA%B7%B8%EB%83%A5-build%EC%9D%98-%EC%B0%A8%EC%9D%B4

[Spring] bootjar과 그냥 build의 차이