zeniuus/our-map-server

계단정복지도 서버 프로젝트

our-map-server's Issues

엔티티 자동으로 entityManagerFactory에 등록시키기

지금은 HibernateJpaConfiguration.getManagedClassNames()에 엔티티 이름을 직접 입력해주고 있는데, #2 처럼 자동으로 등록되면 좋겠음.

liquibase 도입

• 지금은 hibernate의 autoddl 기능을 사용하고 있는데(create-drop), 실제 서비스 운영을 하려면 이러면 당연히 안 되고 형상관리 툴을 사용해야 함.

ktlint에 incremental build 적용

ktlint 돌릴 때 속 터진다.

IoC 컨테이너에 등록 편하게 하기

현재는 Angular처럼 각 서비스 / 레포지토리 등을 직접 KoinApplication에 넣어주고 있는데, Spring의 @ComponentScan 같은 게 있으면 좋겠다.

• @DependencyInjected 같은 어노테이션 만들기
• @DependencyInjected 달린 클래스를 스캔해서 module을 만들고 startKoin { }에 등록하기
  • 어노테이션 프로세서로 해야 하는가? 아니면 리플렉션이면 충분한가? -> Spring도 리플렉션을 사용하는 것 같으니 리플렉션으로 충분할 듯 하다.

main 브랜치에 대해 CI 적용하기

이제 테스트는 짰으니 github action을 사용하면 빨리 돌릴 수 있을 것 같다. 근데 이거 하려면 #4 를 해야 함.

CI/CD 최적화

아티팩트 저장 기능을 잘 활용하면 CI 과정에서 나온 빌드 결과물을 CD로 넘겨서 CD에서 한 번 더 빌드를 안 해도 되는 것으로 보인다.

서버 메트릭 수집

• 1단계 - CPU & 메모리 사용량 & network I/O pressure 등의 기본적인 하드웨어 메트릭 수집
• 2단계 - 어플리케이션 커스텀 메트릭 수집

트랜잭션 관리 고도화

#6 에서 대충 구현하긴 했는데, 아직 몇 가지 문제가 남아 있음.

• isolation level 조절 안 됨
• nested transaction을 연 경우 맨 안쪽의 트랜잭션이 종료되면 commit 되어버림

다른 프로젝트원이 쿼리를 날려 데이터 분석을 할 수 있는 방법 찾기

AWS 인증 방법을 알려드리는 건 오바인 것 같다.

collate / charset 때문에 fk 추가 안 되는 문제 해결

첫 번째 liquibase script에서 charset = utf8mb4 / collate = utf8mb4_unicode_ci가 SQL 문에 박혀 있어서 몇 개 테이블이 utf8mb4로 이미 형성이 되어 있다. 이 때 1. 실제 DB 상의 our_map 데이터베이스의 기본 charset / collate가 이게 아니고, 2. jdbc URL에 charset / collate를 지정해도 이상하게 먹질 않아서 새로 생긴 테이블은 utf8mb4가 아니라 utf8(아마?)로 생기고, 이것 때문에 FK를 지정하면 liquibase 실행이 실패한다. 그래서 임시로 FK를 제거한 상황.

lint 적용

제곧내

어드민에 GraphQL 사용하기?

나도 한 번 써보자

테라폼 리팩토링

테라폼이 모듈화가 안 되어 있어서 지난 번에 region 옮기는 작업을 했을 때 좀 고생했다. 모듈로 만들고, variable로 region / default vpc id / default subnet id를 받도록 변경하자.

서버를 안정적으로 배포할 수 있는 방법 찾기

• 1단계 - 현재 docker run으로 서버를 띄우고 있는데, 한 번 프로세스가 죽으면 다시 자동으로 복구가 안 되는 개복치다. 서버를 띄운 채로 유지할 수 있는 방법을 찾아보자. (막 던지는 소리: systemd나 docker compose 같은 걸 찾아본다?)
• 2단계 - 무중단 배포가 가능한 방법을 찾아보자. 왠지 docker compose로 가능할 것 같기도?

CD 다시 살리기

CD를 하면 아래 에러가 나면서 실행이 안 된다. 대충 읽어봤을 때는 ./gradlew installDist 할 때의 자바 버전이랑 해당 jar를 실행하는 도커 이미지 베이스의 자바 버전이 안 맞아서 그런 듯?

15:21:17.701 [eventLoopGroupProxy-4-1] ERROR exception.OurMapExceptionHandler - ourMap/protocol/SearchPlacesParams has been compiled by a more recent version of the Java Runtime (class file version 55.0), this version of the Java Runtime only recognizes class file versions up to 52.0
java.lang.UnsupportedClassVersionError: ourMap/protocol/SearchPlacesParams has been compiled by a more recent version of the Java Runtime (class file version 55.0), this version of the Java Runtime only recognizes class file versions up to 52.0
	at java.lang.ClassLoader.defineClass1(Native Method)
	at java.lang.ClassLoader.defineClass(ClassLoader.java:756)
	at java.security.SecureClassLoader.defineClass(SecureClassLoader.java:142)
	at java.net.URLClassLoader.defineClass(URLClassLoader.java:468)
	at java.net.URLClassLoader.access$100(URLClassLoader.java:74)
	at java.net.URLClassLoader$1.run(URLClassLoader.java:369)
	at java.net.URLClassLoader$1.run(URLClassLoader.java:363)
	at java.security.AccessController.doPrivileged(Native Method)
	at java.net.URLClassLoader.findClass(URLClassLoader.java:362)
	at java.lang.ClassLoader.loadClass(ClassLoader.java:418)
	at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:352)
	at java.lang.ClassLoader.loadClass(ClassLoader.java:351)
	at route.SearchPlacesKt$searchPlaces$1.invokeSuspend(SearchPlaces.kt:67)
	at route.SearchPlacesKt$searchPlaces$1.invoke(SearchPlaces.kt)
	at io.ktor.util.pipeline.SuspendFunctionGun.loop(SuspendFunctionGun.kt:248)
	at io.ktor.util.pipeline.SuspendFunctionGun.proceed(SuspendFunctionGun.kt:116)
	at io.ktor.util.pipeline.SuspendFunctionGun.execute(SuspendFunctionGun.kt:136)
	at io.ktor.util.pipeline.Pipeline.execute(Pipeline.kt:79)
	at io.ktor.routing.Routing.executeResult(Routing.kt:155)
	at io.ktor.routing.Routing.interceptor(Routing.kt:39)
	at io.ktor.routing.Routing$Feature$install$1.invokeSuspend(Routing.kt:107)
	at io.ktor.routing.Routing$Feature$install$1.invoke(Routing.kt)
	at io.ktor.routing.Routing$Feature$install$1.invoke(Routing.kt)
	at io.ktor.util.pipeline.SuspendFunctionGun.loop(SuspendFunctionGun.kt:248)
	at io.ktor.util.pipeline.SuspendFunctionGun.proceed(SuspendFunctionGun.kt:116)
	at io.ktor.features.ContentNegotiation$Feature$install$1.invokeSuspend(ContentNegotiation.kt:145)
	at io.ktor.features.ContentNegotiation$Feature$install$1.invoke(ContentNegotiation.kt)
	at io.ktor.features.ContentNegotiation$Feature$install$1.invoke(ContentNegotiation.kt)
	at io.ktor.util.pipeline.SuspendFunctionGun.loop(SuspendFunctionGun.kt:248)
	at io.ktor.util.pipeline.SuspendFunctionGun.proceed(SuspendFunctionGun.kt:116)
	at io.ktor.features.StatusPages$interceptCall$2.invokeSuspend(StatusPages.kt:102)
	at io.ktor.features.StatusPages$interceptCall$2.invoke(StatusPages.kt)
	at io.ktor.features.StatusPages$interceptCall$2.invoke(StatusPages.kt)
	at kotlinx.coroutines.intrinsics.UndispatchedKt.startUndispatchedOrReturn(Undispatched.kt:89)
	at kotlinx.coroutines.CoroutineScopeKt.coroutineScope(CoroutineScope.kt:264)
	at io.ktor.features.StatusPages.interceptCall(StatusPages.kt:101)
	at io.ktor.features.StatusPages.access$interceptCall(StatusPages.kt:18)
	at io.ktor.features.StatusPages$Feature$install$2.invokeSuspend(StatusPages.kt:142)
	at io.ktor.features.StatusPages$Feature$install$2.invoke(StatusPages.kt)
	at io.ktor.features.StatusPages$Feature$install$2.invoke(StatusPages.kt)
	at io.ktor.util.pipeline.SuspendFunctionGun.loop(SuspendFunctionGun.kt:248)
	at io.ktor.util.pipeline.SuspendFunctionGun.proceed(SuspendFunctionGun.kt:116)
	at io.ktor.util.pipeline.SuspendFunctionGun.execute(SuspendFunctionGun.kt:136)
	at io.ktor.util.pipeline.Pipeline.execute(Pipeline.kt:79)
	at io.ktor.server.engine.DefaultEnginePipelineKt$defaultEnginePipeline$2.invokeSuspend(DefaultEnginePipeline.kt:124)
	at io.ktor.server.engine.DefaultEnginePipelineKt$defaultEnginePipeline$2.invoke(DefaultEnginePipeline.kt)
	at io.ktor.server.engine.DefaultEnginePipelineKt$defaultEnginePipeline$2.invoke(DefaultEnginePipeline.kt)
	at io.ktor.util.pipeline.SuspendFunctionGun.loop(SuspendFunctionGun.kt:248)
	at io.ktor.util.pipeline.SuspendFunctionGun.proceed(SuspendFunctionGun.kt:116)
	at io.ktor.util.pipeline.SuspendFunctionGun.execute(SuspendFunctionGun.kt:136)
	at io.ktor.util.pipeline.Pipeline.execute(Pipeline.kt:79)
	at io.ktor.server.netty.NettyApplicationCallHandler$handleRequest$1.invokeSuspend(NettyApplicationCallHandler.kt:123)
	at io.ktor.server.netty.NettyApplicationCallHandler$handleRequest$1.invoke(NettyApplicationCallHandler.kt)
	at io.ktor.server.netty.NettyApplicationCallHandler$handleRequest$1.invoke(NettyApplicationCallHandler.kt)
	at kotlinx.coroutines.intrinsics.UndispatchedKt.startCoroutineUndispatched(Undispatched.kt:55)
	at kotlinx.coroutines.BuildersKt__Builders_commonKt.startCoroutineImpl(Builders.common.kt:194)
	at kotlinx.coroutines.BuildersKt.startCoroutineImpl(Unknown Source)
	at kotlinx.coroutines.AbstractCoroutine.start(AbstractCoroutine.kt:134)
	at kotlinx.coroutines.BuildersKt__Builders_commonKt.launch(Builders.common.kt:56)
	at kotlinx.coroutines.BuildersKt.launch(Unknown Source)
	at io.ktor.server.netty.NettyApplicationCallHandler.handleRequest(NettyApplicationCallHandler.kt:43)
	at io.ktor.server.netty.NettyApplicationCallHandler.channelRead(NettyApplicationCallHandler.kt:34)
	at io.netty.channel.AbstractChannelHandlerContext.invokeChannelRead(AbstractChannelHandlerContext.java:379)
	at io.netty.channel.AbstractChannelHandlerContext.access$600(AbstractChannelHandlerContext.java:61)
	at io.netty.channel.AbstractChannelHandlerContext$7.run(AbstractChannelHandlerContext.java:370)
	at io.netty.util.concurrent.AbstractEventExecutor.safeExecute(AbstractEventExecutor.java:164)
	at io.netty.util.concurrent.SingleThreadEventExecutor.runAllTasks(SingleThreadEventExecutor.java:472)
	at io.netty.channel.nio.NioEventLoop.run(NioEventLoop.java:500)
	at io.netty.util.concurrent.SingleThreadEventExecutor$4.run(SingleThreadEventExecutor.java:989)
	at io.netty.util.internal.ThreadExecutorMap$2.run(ThreadExecutorMap.java:74)
	at io.ktor.server.netty.EventLoopGroupProxy$Companion.create$lambda-1$lambda-0(NettyApplicationEngine.kt:251)
	at io.netty.util.concurrent.FastThreadLocalRunnable.run(FastThreadLocalRunnable.java:30)
	at java.lang.Thread.run(Thread.java:748)
15:21:17.715 [eventLoopGroupProxy-4-1] ERROR Application - Unhandled: POST - /searchPlaces
java.lang.UnsupportedClassVersionError: ourMap/protocol/Model$OurMapError has been compiled by a more recent version of the Java Runtime (class file version 55.0), this version of the Java Runtime only recognizes class file versions up to 52.0
	at java.lang.ClassLoader.defineClass1(Native Method)
	at java.lang.ClassLoader.defineClass(ClassLoader.java:756)
	at java.security.SecureClassLoader.defineClass(SecureClassLoader.java:142)
	at java.net.URLClassLoader.defineClass(URLClassLoader.java:468)
	at java.net.URLClassLoader.access$100(URLClassLoader.java:74)
	at java.net.URLClassLoader$1.run(URLClassLoader.java:369)
	at java.net.URLClassLoader$1.run(URLClassLoader.java:363)
	at java.security.AccessController.doPrivileged(Native Method)
	at java.net.URLClassLoader.findClass(URLClassLoader.java:362)
	at java.lang.ClassLoader.loadClass(ClassLoader.java:418)
	at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:352)
	at java.lang.ClassLoader.loadClass(ClassLoader.java:351)
	at exception.OurMapExceptionHandler.handleUnexpectedError(OurMapExceptionHandler.kt:48)
	at exception.OurMapExceptionHandler.handle(OurMapExceptionHandler.kt:21)
	at OurMapServerKt$ourMapModule$3$1.invokeSuspend(OurMapServer.kt:70)
	at OurMapServerKt$ourMapModule$3$1.invoke(OurMapServer.kt)
	at io.ktor.features.StatusPages.interceptCall(StatusPages.kt:107)
	at io.ktor.features.StatusPages.access$interceptCall(StatusPages.kt:18)
	at io.ktor.features.StatusPages$interceptCall$1.invokeSuspend(StatusPages.kt)
	at kotlin.coroutines.jvm.internal.BaseContinuationImpl.resumeWith(ContinuationImpl.kt:33)
	at kotlinx.coroutines.internal.ScopeCoroutine.afterResume(Scopes.kt:43)
	at kotlinx.coroutines.AbstractCoroutine.resumeWith(AbstractCoroutine.kt:106)
	at kotlin.coroutines.jvm.internal.BaseContinuationImpl.resumeWith(ContinuationImpl.kt:46)
	at io.ktor.util.pipeline.SuspendFunctionGun.resumeRootWith(SuspendFunctionGun.kt:194)
	at io.ktor.util.pipeline.SuspendFunctionGun.access$resumeRootWith(SuspendFunctionGun.kt:15)
	at io.ktor.util.pipeline.SuspendFunctionGun$continuation$1.resumeWith(SuspendFunctionGun.kt:89)
	at kotlin.coroutines.jvm.internal.BaseContinuationImpl.resumeWith(ContinuationImpl.kt:46)
	at io.ktor.util.pipeline.SuspendFunctionGun.resumeRootWith(SuspendFunctionGun.kt:194)
	at io.ktor.util.pipeline.SuspendFunctionGun.access$resumeRootWith(SuspendFunctionGun.kt:15)
	at io.ktor.util.pipeline.SuspendFunctionGun$continuation$1.resumeWith(SuspendFunctionGun.kt:89)
	at kotlin.coroutines.jvm.internal.BaseContinuationImpl.resumeWith(ContinuationImpl.kt:46)
	at io.ktor.util.pipeline.SuspendFunctionGun.resumeRootWith(SuspendFunctionGun.kt:194)
	at io.ktor.util.pipeline.SuspendFunctionGun.loop(SuspendFunctionGun.kt:165)
	at io.ktor.util.pipeline.SuspendFunctionGun.proceed(SuspendFunctionGun.kt:116)
	at io.ktor.util.pipeline.SuspendFunctionGun.execute(SuspendFunctionGun.kt:136)
	at io.ktor.util.pipeline.Pipeline.execute(Pipeline.kt:79)
	at io.ktor.routing.Routing.executeResult(Routing.kt:155)
	at io.ktor.routing.Routing.interceptor(Routing.kt:39)
	at io.ktor.routing.Routing$Feature$install$1.invokeSuspend(Routing.kt:107)
	at io.ktor.routing.Routing$Feature$install$1.invoke(Routing.kt)
	at io.ktor.routing.Routing$Feature$install$1.invoke(Routing.kt)
	at io.ktor.util.pipeline.SuspendFunctionGun.loop(SuspendFunctionGun.kt:248)
	at io.ktor.util.pipeline.SuspendFunctionGun.proceed(SuspendFunctionGun.kt:116)
	at io.ktor.features.ContentNegotiation$Feature$install$1.invokeSuspend(ContentNegotiation.kt:145)
	at io.ktor.features.ContentNegotiation$Feature$install$1.invoke(ContentNegotiation.kt)
	at io.ktor.features.ContentNegotiation$Feature$install$1.invoke(ContentNegotiation.kt)
	at io.ktor.util.pipeline.SuspendFunctionGun.loop(SuspendFunctionGun.kt:248)
	at io.ktor.util.pipeline.SuspendFunctionGun.proceed(SuspendFunctionGun.kt:116)
	at io.ktor.features.StatusPages$interceptCall$2.invokeSuspend(StatusPages.kt:102)
	at io.ktor.features.StatusPages$interceptCall$2.invoke(StatusPages.kt)
	at io.ktor.features.StatusPages$interceptCall$2.invoke(StatusPages.kt)
	at kotlinx.coroutines.intrinsics.UndispatchedKt.startUndispatchedOrReturn(Undispatched.kt:89)
	at kotlinx.coroutines.CoroutineScopeKt.coroutineScope(CoroutineScope.kt:264)
	at io.ktor.features.StatusPages.interceptCall(StatusPages.kt:101)
	at io.ktor.features.StatusPages.access$interceptCall(StatusPages.kt:18)
	at io.ktor.features.StatusPages$Feature$install$2.invokeSuspend(StatusPages.kt:142)
	at io.ktor.features.StatusPages$Feature$install$2.invoke(StatusPages.kt)
	at io.ktor.features.StatusPages$Feature$install$2.invoke(StatusPages.kt)
	at io.ktor.util.pipeline.SuspendFunctionGun.loop(SuspendFunctionGun.kt:248)
	at io.ktor.util.pipeline.SuspendFunctionGun.proceed(SuspendFunctionGun.kt:116)
	at io.ktor.util.pipeline.SuspendFunctionGun.execute(SuspendFunctionGun.kt:136)
	at io.ktor.util.pipeline.Pipeline.execute(Pipeline.kt:79)
	at io.ktor.server.engine.DefaultEnginePipelineKt$defaultEnginePipeline$2.invokeSuspend(DefaultEnginePipeline.kt:124)
	at io.ktor.server.engine.DefaultEnginePipelineKt$defaultEnginePipeline$2.invoke(DefaultEnginePipeline.kt)
	at io.ktor.server.engine.DefaultEnginePipelineKt$defaultEnginePipeline$2.invoke(DefaultEnginePipeline.kt)
	at io.ktor.util.pipeline.SuspendFunctionGun.loop(SuspendFunctionGun.kt:248)
	at io.ktor.util.pipeline.SuspendFunctionGun.proceed(SuspendFunctionGun.kt:116)
	at io.ktor.util.pipeline.SuspendFunctionGun.execute(SuspendFunctionGun.kt:136)
	at io.ktor.util.pipeline.Pipeline.execute(Pipeline.kt:79)
	at io.ktor.server.netty.NettyApplicationCallHandler$handleRequest$1.invokeSuspend(NettyApplicationCallHandler.kt:123)
	at io.ktor.server.netty.NettyApplicationCallHandler$handleRequest$1.invoke(NettyApplicationCallHandler.kt)
	at io.ktor.server.netty.NettyApplicationCallHandler$handleRequest$1.invoke(NettyApplicationCallHandler.kt)
	at kotlinx.coroutines.intrinsics.UndispatchedKt.startCoroutineUndispatched(Undispatched.kt:55)
	at kotlinx.coroutines.BuildersKt__Builders_commonKt.startCoroutineImpl(Builders.common.kt:194)
	at kotlinx.coroutines.BuildersKt.startCoroutineImpl(Unknown Source)
	at kotlinx.coroutines.AbstractCoroutine.start(AbstractCoroutine.kt:134)
	at kotlinx.coroutines.BuildersKt__Builders_commonKt.launch(Builders.common.kt:56)
	at kotlinx.coroutines.BuildersKt.launch(Unknown Source)
	at io.ktor.server.netty.NettyApplicationCallHandler.handleRequest(NettyApplicationCallHandler.kt:43)
	at io.ktor.server.netty.NettyApplicationCallHandler.channelRead(NettyApplicationCallHandler.kt:34)
	at io.netty.channel.AbstractChannelHandlerContext.invokeChannelRead(AbstractChannelHandlerContext.java:379)
	at io.netty.channel.AbstractChannelHandlerContext.access$600(AbstractChannelHandlerContext.java:61)
	at io.netty.channel.AbstractChannelHandlerContext$7.run(AbstractChannelHandlerContext.java:370)
	at io.netty.util.concurrent.AbstractEventExecutor.safeExecute(AbstractEventExecutor.java:164)
	at io.netty.util.concurrent.SingleThreadEventExecutor.runAllTasks(SingleThreadEventExecutor.java:472)
	at io.netty.channel.nio.NioEventLoop.run(NioEventLoop.java:500)
	at io.netty.util.concurrent.SingleThreadEventExecutor$4.run(SingleThreadEventExecutor.java:989)
	at io.netty.util.internal.ThreadExecutorMap$2.run(ThreadExecutorMap.java:74)
	at io.ktor.server.netty.EventLoopGroupProxy$Companion.create$lambda-1$lambda-0(NettyApplicationEngine.kt:251)
	at io.netty.util.concurrent.FastThreadLocalRunnable.run(FastThreadLocalRunnable.java:30)
	at java.lang.Thread.run(Thread.java:748)

인프라를 IaC 도구로 관리하기

빨리 서버를 띄워야 해서 일단 AWS 리소스를 손으로 만들 건데, 나중에 IaC 도구로 옮겨야 함.

역시 테라폼? ㅋㅋ

서버 메트릭 visualize

grafana 좋던데, prometheus 말고도 쓸 수 있는 방법이 있으려나?

HTTPS 적용

ALB TLS termination + AWS ACM Certificate?

트랜잭션 & entity manager 관리

• JpaTransactionManager 같이 트랜잭션과 entity manager를 관리하는 기능이 필요함.
• 트랜잭션을 편하게 열고 닫을 수 있는 기능이 필요함.

모든 엔티티에 대해 createdAt 필드 추가

데이터 분석의 기본

main 브랜치에 대해 CD 적용하기

CD 해보고 싶다. 근데 EC2 인스턴스 안에서 docker run으로 배포하고 있는데, 이런 방식에서 배포가 자동화될 수 있나?

에러 로깅

• OurMapExceptionHandler에서 Error 내려주기 전에 에러 로깅하기
• 센트리 같은 걸로 에러 관리

배포할 때 application.properties를 별도로 지정할 수 있게 하기

지금은 배포할 때마다 our-map/src/resources/application.properties 파일을 배포용으로 따로 바꿔줘야 해서 매우 귀찮다.

테스트 실행 시 MySQL 컨테이너 띄우기

• CI를 하려면 로컬 DB에 붙는 방식이 아니라 도커로 임시 MySQL 컨테이너를 띄워서 붙어야 함.

Hibernate & MySQL 붙이기

• Hibernate 붙이기
• MySQL 붙이기
• Repository 인터페이스 구현
  • Spring Data JPA를 사용하지 않고 편하게 구현할 수 있을까?

Hibernate enable_lazy_load_no_trans 옵션 끄기?

bcf61b6 의 searchPlaces API에서 트랜잭션이 없는데 result.place.building이 lazy loading 되는 것 같아 보인다.

에러 핸들링

1. 비즈니스 로직 상에서 던져진 에러는 500 에러가 아니라 400 에러로 내려줘야 한다.
2. 어떤 에러가 발생하든 적당한 ErrorDTO를 내려주어 클라이언트가 적절한 대응을 할 수 있게 해야 한다.

로컬에서 gradle dockerPushOurMap을 두 번 해야 수정사항이 푸시가 되는 문제 해결

왜 첫 번째 dockerPush에서는 새로운 레이어가 푸시가 안 되지? 🤔