WIL - 실무 중심의 대용량 데이터 읽기 최적화 전략 구현

주간 학습 회고 (Weekly I Learned)

이번 주에는 실무에서 자주 마주치는 대용량 데이터 읽기 성능 문제를 해결하기 위한 최적화 전략을 집중적으로 학습하고, 단순한 이론 학습을 넘어서 카디널리티 분석부터 캐시 전략 설계까지, 성능과 데이터 정합성 사이의 균형점을 찾는 데 집중한 의미 있는 한 주였습니다.

---

🧠 이번 주 학습 성과

- 데이터베이스 최적화 전략

• 카디널리티 분석을 통한 인덱스 설계: 실제 데이터 분포를 분석하여 복합 인덱스의 컬럼 순서 결정
• 반정규화를 통한 성능 개선: 조인 비용 vs 저장 공간 트레이드오프 분석 및 적용
• 쿼리 실행 계획 분석: EXPLAIN을 활용한 병목 지점 식별과 개선

- 성능 테스트 및 모니터링

• 부하 테스트 시나리오 설계: K6를 활용한 다양한 트래픽 패턴 시뮬레이션
• 메트릭 수집 및 분석: 응답 시간, 처리량, 에러율 등 핵심 지표 모니터링

 

- 캐시 아키텍처 설계

• 다층 캐시 전략: Redis와 로컬 캐시의 적절한 조합 설계
• 캐시 무효화 정책: Write-Through, Write-Behind 패턴 비교 분석
• 캐시 워밍업 전략: 서비스 시작 시 필수 데이터 사전 로딩 로직 구현

 

🤔 아쉬웠던 점과 개선할 부분

- 더미 데이터 생성의 한계

• 문제점 : 실제 프로덕션과 유사한 데이터 분포를 만들지 못해 테스트 결과의 신뢰성이 떨어졌습니다.
• 개선 방안: 실제 서비스 로그 분석을 통한 데이터 패턴 파악, 통계적 분포를 고려한 테스트 데이터 생성 도구 활용

 

- 모니터링 도구 활용 미숙

• 문제점: Grafana, Prometheus 등의 시각화 도구 사용법이 익숙하지 않아 원하는 대시보드 구성에 시간이 과도하게 소요되었습니다.
• 개선 방안: 모니터링 도구별 기본 템플릿 학습, 단계별 대시보드 구축 프로세스 정립

 

- 캐시 전략의 깊이 부족

• 문제점: 기본적인 캐시 패턴은 이해했지만, 실제 장애 상황에서의 대응 전략이나 분산 캐시 환경에서의 일관성 보장 방법에 대한 이해가 부족했습니다.
• 개선 방안: 캐시 스탬피드 현상 대응, 점진적 캐시 워밍업 전략 학습

 

- 학습 내용 정리 미완료

• 문제점: 배운 내용이 방대해 블로그 포스팅을 완료하지 못했습니다. 지식의 체계화와 공유가 이루어지지 않아 아쉬웠습니다.
• 개선 방안: 학습과 동시에 핵심 포인트 메모, 주제별 작은 단위로 포스팅 분할

 

🚀 다음 주 도전 과제

- PG(Payment Gateway) 연동 대응: 외부 결제 시스템과의 안정적인 연동을 위한 아키텍처 설계

• 결제 요청/응답 처리 플로우 설계
• 결제 상태 동기화 전략 수립

 

- Resilience 패턴 구현: 시스템 장애 상황에서의 복원력 강화

• Circuit Breaker: 외부 서비스 장애 전파 차단
• Fallback 메커니즘: 대체 서비스 로직 구현
• Retry with Backoff: 지수적 백오프를 활용한 재시도 로직

 

- 결제와 주문 로직의 명확한 책임 분리: 결제와 주문 로직의 명확한 책임 분리

• 도메인 경계 식별 및 API 인터페이스 설계
• 분산 트랜잭션 처리 방안 검토
• 서비스 간 통신 패턴(동기/비동기) 결정