반응형 Kafka6 Kafka 의 Acknowledgement (AcksMode) 줄여서 ack 라고도 하는 acknowledgement 에 대해서 알아볼 것이다. 공식 홈페이지는 아래에서 확인할수 있다. https://docs.spring.io/spring-kafka/api/org/springframework/kafka/support/Acknowledgment.html Acknowledgment (Spring for Apache Kafka 3.1.1 API) Negatively acknowledge the record at an index in a batch - commit the offset(s) of records before the index and re-seek the partitions so that the record at the index and subsequent re.. 2024. 2. 23. [kafka] 컨슈머 그룹이란? 이전 포스팅에서 kafka에 대해서 다룬 글이 있다. kafka 에 대한 설명은 참고 포스팅을 먼저 참고 바란다. kafka를 사용하다보니 group 이라는 개념이 등장하였다. 기존에는 그냥 단순 push하고 consume에서는 받아오는게 전부였는데 group이라는게 생소해서 정리해보려고 한다. 컨슈머 그룹(Consumer Group) 카프라의 개별 컨슈머 인스턴스 들을 하나로 묶는 논리적 그룹 단위 이다. 사용하는 이유는 1. 장애 내성 -> 특정 컨슈머에 문제가 생길경우 동일 그룹의 다른 컨슈머가 계속해서 파티션에서 데이터를 읽을수 있다. 2. offset 관리 등이 있다. 아래 그림을 보면 이해가 갈것이다. 단일 그룹일 경우엔 이렇게 하나의 컨슈머에서 모든 작업을 이루어진다. 만약 여러개의 그룹이 .. 2024. 2. 11. [Docker] Kafka docker 에 대한 설명과 kafka 에 대한 설명은 아래 참고 포스팅 참고 바란다. 1. 도커 명령어로 kafka 이미지 받아오기 -kafka 는 테스트를 하기 위해서는 zookeeper 도 필요하기에 두개의 이미지를 받아오고 둘다 띄워야한다. https://hub.docker.com/r/bitnami/kafka Docker hub.docker.com https://hub.docker.com/r/bitnami/zookeeper Docker hub.docker.com 2. 도커를 띄우기 위한 docker-compose.yml 파일 생성 version: "2" services: zookeeper: container_name: zookeeper image: docker.io/bitnami/zookeeper.. 2023. 9. 8. kafka 실습 (springboot에서 활용) 저번 포스팅에서 로컬 피시에 카프카를 설치 했다면 이번 포스팅에서는 springboot에서 직접 활용할수 있도록 셋팅을 해볼것이다. 실제로 개발을 하게 된다면 kafka서버는 어느 pod나 container 에 설치가 되어서 해당 서버와 토픽 주제만 알고 있다면, 이번 포스팅이 더욱 도움이 될것이다. 설치에 대해서는 아래 참고 포스팅을 참고 바란다. 먼저 카프카를 호출할 controller 를 만들었다. @Slf4j @CrossOrigin("*") @RestController @RequestMapping(value = "/kafka/test") public class KafkaController { private final KafkaProducer producer; @Autowired KafkaContr.. 2023. 6. 5. kafka 실습 (설치) 이전 포스팅에서 kafka 에 대한 내용을 다룬적이 있다. 자세한 내용은 아래 참고 포스팅 참고 바란다. 이번 포스팅에서는 피시에 카프카를 설치를 하고 직접 springboot 에서 테스트 해보는 코드를 작성해볼 것이다. kafka는 zookeeper를 사용해서 mac 에 설치를 하였다. https://kafka.apache.org/downloads Apache Kafka Apache Kafka: A Distributed Streaming Platform. kafka.apache.org 설치가 된 후 과정은 아래와 같다. 1. bin/zookeeper-server-start.sh config/zookeeper.properties 를 하여 zookeeper 를 실행한다. 2. bin/kafka-server.. 2023. 6. 4. Apache Kafka 란? Apache Kafka 에 대해서 알아보려고 한다. 카프카(Kafka)는 2011년 미국 링크드인(Linkedin)에서 개발했다. 카프카 이전에는 다음 그림과 같이 모든 것들이 서로 연관되어서 결합력이 높았다. 하지만 결합력을 낮추는 요즘 추세에서 처럼 이 방식 역시 확장성이 떨어지고 코드의 이해도와 복잡성이 어려워서 관리가 어려운것이 단점이었다. 그래서 나오게 된것이 카프카이다. 카프카는 위 그림처럼 기능이 단순해졌다. 각각 단어 설명을 하기 앞서 결론을 먼저 말하면 프로듀서에서 카프카로 메세지를 보내면 컨슈머에서 자기에게 해당하는 메세지를 당겨와서 받는 대규모 메시지 데이터를 빠르게 처리하도록 개발된 메시징 플랫폼 이다. 용어는 producer / consumer / broker / topic / p.. 2022. 7. 7. 이전 1 다음 반응형
