Search
Ask A Question
In Process
Avatar
0
Hihi Teacher
Asked At: 1664177577000 In: Message Queue
Hihi Teacher Asked At: 1664177577000 In: Message Queue
Đa luồng với Kafka Consumer
Tks a vì câu trả lời !

Em có dùng @KafkaListener để nhận tin nhắn sau đó gửi gmail (tốn nhiều thời gian) cho user.Em dùng đa luồng cho chức năng này để giải quyết vấn đề treo thread khi xử lý trong listener (do listener mặc định có 1 thread )

Em có 2 lựa chọn :

  1. Như em nói ở trên dùng @Async và ThreadPool
  2. Cấu hình số luồng của listener thông qua setConcurrency (như bên dưới)
<span>@Bean</span>
public KafkaListenerContainerFactory<ConcurrentMessageListenerContainer<<span>String</span>, <span>String</span>>> kafkaListenerContainerFactory() {
    ConcurrentKafkaListenerContainerFactory<<span>String</span>, <span>String</span>> <span>factory</span> = <span>new</span> ConcurrentKafkaListenerContainerFactory<>();
    <span>factory</span>.setConsumerFactory(consumerFactory());
    <span>factory</span>.setConcurrency(<span>5</span>);
    ......
}

Anh cho em hỏi 2 cách này có em nên dùng cách nào hiệu quả hơn và vì sao ạ hoặc n ếu anh có cách nào hay hơn  thì mong anh recommend cho em với ạ.

  • 2 Answers
  • 494 Views
  • Answer
kafka
Remain: 5
2 Answers
Avatar
tvd12 Teacher
Added an answer at: 1664179149000
tvd12 Teacher
Added an answer at: 1664179149000
  1. Anh vẫn chưa tưởng tượng ra em dùng @Async và ThreadPool kiểu gì, nhưng theo tư duy của anh thì sẽ kiểu thế này: record sẽ được liên tục lấy ra và nhồi vào ThreadPool, như anh đã nói là nếu như việc xử lý message của em bị chậm, thì queue sẽ bị đầy, RAM sẽ liên tục tăng và giả sử server bị start thì có thể các bản ghi ở trong queue (RAM) sẽ chưa được xử lý và mất hết. Trừ khi spring đã xử lý là nếu trong queue vẫn còn record thì sẽ lấy từ kafka nữa. Thực tế thì anh cũng đang dùng cách này bởi vì mục tiêu của anh là muốn giảm tải cho kafka broker, và các consumer của anh cũng sẽ hướng đến việc xử lý I/O tương đối nhanh. Nếu có xử lý logic nặng, có lẽ anh sẽ lưu tạm dữ liệu vào DB và sau đó có luồng xử lý riêng.

  1. Em có thể nhìn vào đây và thấy rằng cái concurrency này về bản chất sẽ luôn nhỏ hơn hoặc bằng số lượng partition của 1 topic như vậy cho dù em có set lớn bao nhiêu cũng không có tác dụng gì. Anh thấy cách này cũng ổn, mỗi 1 thread sẽ care 1 partition, và nếu chưa xử lý xong record thì nó có thể chưa lấy record mới từ kafka và dữ liệu sẽ an toàn đổi lại thì kafka broker sẽ chịu áp lực rất lớn khi phải lưu giữ record.
  • 0
  • Reply
Cảm ơn anh vì câu trả lời rất chi tiết ạ !

Ví dụ : Em có 1 con Kafka hay RabbitMQ (em gọi chung là MQ) và có 1 service sẽ nhận message từ MQ đó => gửi mail.

Vấn đề:  Theo luồng thông thường thì mail service sẽ nhận từng tin nhắn một => sau đó bắt đầu  gửi mail (giả định mất 1 phút để gửi thành công) => Nếu số lượng message lớn thì các message gửi sau sẽ rất lâu mới được gửi xử lý.

=> Vì ấn đề em nêu trên nên em đưa ra cách xử lý là sẽ tận dụng cơ chế đa luồng trong Java để có thể gửi mail trên nhiều thread cùng 1 lúc (2 hướng đi của đa luồng em nghĩ ra em có nêu ở trên phần câu hỏi này) => vì việc gửi mail mỗi thread là xử lý riêng biệt nên không ảnh hưởng, liên quan đến nhau  => cách này em thấy oke.
  1. Vấn đề ở trên em nghĩ là trên thực tế các project sẽ phải gặp thì hướng giải quyết người ta sẽ là như thế nào ạ ?
  2. Có phải tư dưy của người ta là sẽ config đa luồng như em đã làm hay không ?
  3. Hay thêm 1 con Consumer mới ở 1 server khác (chung group_id với Consumer ban đầu ) để 2 các Consumer này cùng xử lý việc gửi mail.Hay bất cứ 1 cách nào khác mong anh chia sẻ.

Do em ko có nhiều kinh nghiệm nên câu hỏi có hơi loằn ngoằn xíu, mong anh thông cảm.

 –  Hihi 1664250589000
Avatar
tvd12 Teacher
Added an answer at: 1664262084000
tvd12 Teacher
Added an answer at: 1664262084000
  1. Như dự án anh làm thực tế thì anh sẽ lưu mail vào trong db trước, để lấy nhanh mail và giải phóng tài nguyên cho kafka broker (thực tế có những dự án anh còn chẳng dùng kafka cho đơn giản). Sau đó anh sẽ có 1 thread lấy mail ra và dùng kiểu này để gửi mail: 

mails.parallelStream().forEach(sendMail);

public void sendMail(mail) {
  try {
    send mail
  } catch(e) {
   lưu lại mail lỗi để retry sau
  }
}

  1. Mỗi người có 1 cách suy nghĩ khác nhau, nhưng anh thấy là sẽ có người tư duy như em thôi, tuỳ thuộc vào bài toán thực tế.

  1. Thực tế sinh ra nhiều consumer để cùng làm 1 nhiệm vụ là gửi mail cũng không phải là 1 thiết kế tốt, vì như anh nói, khi mail lỗi, thì việc xử lý sẽ phức tạp, trong khi đó gửi mail đơn thuần là I/O vậy nên nhiều consumer chưa chắc đã nhanh hơn 1 consumer em ạ.
  • 0
  • Reply
Wow.Cảm ơn những chia sẻ của anh, đối với em thì nó rất quý báu a ạ !.  –  Hihi 1664266054000
Ok em, tiếp tục hỏi em nhé.  –  tvd12 1664266373000
Ask A Question
  • Questions 993
  • Answers 2.1K
  • Best Answers 126
  • Users 449

Related Questions

Recent Activities

Show All Activities

Top Members

Trending Tags

.net .net core .net oop #formatdate abstract class access app access token ai android ansible anti-flooding apache poi api app architecture artificial intelligence assembly async asyncawait atomicboolean authentication backend backend nestjs background bash script batch bean big project binding bitcoin blockchain blog boot-nodes branch btree bucket4j buffered build bundle c# c# .net cache caching callback career career path cast câu hỏi centos chat cloud cloud reliability commit communication computer science concurrent config-css connection pool content-disposition contract controllerservice convert date to number cookie cors cosmos cosmos-sdk crawl data cron css database database migration datasource datastructure datetime deadlock debug decentralized exchange deep learning deploy contract design patterns design-pattern devops dex di distraction programing dns đồ án tốt nghiệp docker download draw.io du học dữ liệu lớn duration eclip editor elasticsearch email erc20 erc721 estimation eth ethereum ethereum login excel excel-object-mapper exception exception handle exception handler executor export compliance extensions exyfox ezyfox ezyfox-boot ezyfox-server ezyfoxserver ezyhttp ezymq-kafka ezyplatform ezyredis facebook fe filter floating point flutter format json freetank front-end frontend fullstack fulltextsearch future gallery game game-box game-room game-server gateway get get file zip git glide go golang gorilla graduation thesis graphql grapql grpc guide h2 database handy terminal hazelcast hibernate hibernateconfig html http https hyperloglog image index indexing integration-test intellij interface io ioc ipfs isolate issue it java java core java spring java web javacore javascript javaw jenkins jetbrains job join jotform jpa jquery js json json file json to object jsonproperty jsp jsp &amp; servlet junit-test jvm jwt kafka keep promise kerberos keycloak kotlin languague laravel library list load balancer load-balancing lock log log4j log4j-core login lỗi font lưu trữ machine learning macos mail mail template main map maria db math maven merge message queue messaging metamask microservice microservices migration mobile model mongo monitoring mq msgpack multi-threading multiple tenant multithread multithreading mysql n naming naming convention nan netcore netty network networking nft nft game nginx nio node.js nodejs non-blocking io null oop opensource optimize oracle orm otp message paginaiton pagination pancakeswap panic partition pdf pgpool phỏng vấn php plugin pointer postgresql postman pre private_key procedure profile programming programming-language project management promise properties push message android push notification push-noti python python unicode qr qrcode question queue rabbitmq react-native reactive reactjs reactjs download readmoretextview recyclerview redis refactor refresh token regex replica repository request resilence4j resource rest restful resttemplate roadmap room database ropssten ropsten round robin rust rxjava s3 schedule scheduled scheduled spring boot search security send email send mail serialization server servlet session shift jis singleton sjis slack smart contract soap socket socket server soft delete solution sosanh spring spring aop spring boot spring data jpa spring redis spring security spring websocket spring websocket cors spring-boot-test spring-jpa springboot springsecurity springwebflux mysql sql sql server sse ssl ssl email stackask storage stream stream api stress test stresstest structure trong spring boot study synchronize synchronized system environment variables tcp test thiết kế tầng trong dự án thread thread pool threadjava threadpool thymeleaf tomcat totp tracking location transaction transfer transfer git udp uniswap unit test unity upload upload file utf-8 file validate validate date vector video call vietqr view volatile vue vue cli vuejs watermark web web3 web3 client webassembly webflux webpack webrtc websocket windows 11 winforms wordpress work xss zip file zookeeper