파이의 꿈

    2023/06 1

    Kafka Batch Listener를 활용하여 성능 개선하기

    Kafka Consumer를 운영하는 서비스에서 메시지를 개별적으로 처리하면, 각 메시지를 가져오고 처리하는데 필요한 네트워크 오버헤드와 CPU 사용량이 늘어난다. 특히, 각 메시지에 대해 별도의 트랜잭션을 시작하고 커밋하는 것은 비용이 많이 든다. DB와의 네트워크 통신, 트랜잭션 로그의 쓰기, 디스크 I/O 등에 의한 오버헤드가 각 메시지마다 발생하므로 메시지 처리 성능이 저하될 수 있다. 뿐 만 아니라 각 메시지 처리에 대해 별도 DB Connection Pool이 고갈되어, 새로운 트랜잭션을 생성할 수 없게된다. 이러한 경우 배치 처리를 사용하면 여러 메시지를 하나의 트랜잭션으로 쉽게 묶어 처리할 수 있다. 그럼 Batch Listener를 구현하는 방법에 대해 알아보자. 1. Kafka List..

    Kafka 2023.06.18
    이전
    1
    다음
    더보기
    프로필사진

    • 분류 전체보기 (65)
      • 우아한테크캠프 PRO (9)
        • 우아한테크캠프 회고록 (9)
      • IntelliJ Platfrom Plugin (0)
      • Spring Framework. (5)
      • JPA. (3)
      • Spring Data JDBC (1)
      • MSA. (0)
      • Kafka (3)
      • DevOps. (31)
        • AWS (3)
        • Docker (14)
        • Kubernetes (10)
        • Infra (4)
      • Database. (3)
      • 이슈 해결과정 기록 (3)

    Tag

    우테캠 pro, 우아한테크캠프 우수수료, 우아한테크캠프 5기, 우아한테크캠프 pro, 우아한테크캠프, 우아한테크캠프 PRO 5기,

    최근글과 인기글

    • 최근글
    • 인기글

    최근댓글

    공지사항

    페이스북 트위터 플러그인

    • Facebook
    • Twitter

    Archives

    Calendar

    «   2023/06   »
    일 월 화 수 목 금 토
    1 2 3
    4 5 6 7 8 9 10
    11 12 13 14 15 16 17
    18 19 20 21 22 23 24
    25 26 27 28 29 30

    방문자수Total

    • Today :
    • Yesterday :

    Copyright © Kakao Corp. All rights reserved.

    티스토리툴바