WIL - Kafka 기반 이벤트 파이프라인

주간 학습 회고 (Weekly I Learned)

이번 주는 Kafka 기반 이벤트 처리 시스템 구현에 집중했습니다. 특히 이벤트 기반 아키텍처를 통한 감사, 캐시 무효화, 집계 시스템을  구현했습니다.

---

🧠 이번주 학습 성과

 

 

1. Kafka 이벤트 시스템 구축

• 단순한 성능 향상을 넘어선 관심사의 분리
• 장애 격리와 시스템 복원력 향상
• Consumer Group을 통한 확장 가능한 이벤트 처리
• 이벤트 스키마 설계 시 하위 호환성 고려

2.  멱등성의 중요성

• 분산 시스템에서는 중복이 당연히 발생
• 애플리케이션 레벨에서 반드시 처리해야 함

3. Partition Key의 중요성

• 파티션키 설계가 메시지 순서 보장의 핵심

---

🤔 아쉬웠던 점과 개선할 부분

1. DLQ(Dead Letter Queue) 미구현

• 현재는 실패한 메시지가 무한 재시도
• 독성 메시지 처리 방안 필요

2. 모니터링 부족

• 메시지 처리 지연, 실패율 등 관측 가능성 부족

 

3. 테스트 커버리지 확장

• 이벤트 기반 시스템의 통합 테스트 보강
• Kafka 이벤트 처리 실패 시나리오 테스트 추가
• 동시성 처리에 대한 더 많은 테스트 케이스 필요

---

🚀 다음 주 도전 과제

• Redis ZSET
• Realtime Ranking