Home/ Questions/Q 3513
Next
In Process
hieuthai642
  • 0
Beginner
Asked: 2021-12-07T03:21:16+00:00 In:

Thiết kế API limit rate như thế nào

  • 0

Mọi người cho em hỏi, trong những sản phẩm thực tế thì có dùng API limit rate không ạ?

Nếu có thì sẽ thiết kế giải pháp như thế nào, (ngoài việc dùng API Gateway build sẵn) nếu thiết kế service riêng cho chuyện này cần làm những công việc chính gì

Em có thấy 1 bài blog của Kong về thuật toán dùng trong rate limit https://konghq.com/blog/how-to-design-a-scalable-rate-limiting-algorithm/

Em hiểu là có thể thiết kế 1 service để limit rate (single entry point), service này sẽ áp dụng thuật toán nào đó để limit rate rồi route traffic tới các service khác trong hệ thống. như vậy có đúng không?

Khi nói đến limit rate là mình chỉ giới hạn ở HTTP, hay các giao thức khác ở tầng application cũng có thể áp dụng như AMQP, MQTT, hay rộng hơn là traffic từ tầng transport (TCP, UDP) ạ

question
Share

4 Answers

  1. Enlightened
    This answer was edited.

    1. Từ khi đi làm tới giờ anh chưa bao giờ thấy dùng rate limit kiểu này, đa phần các dự án đều dùng round robin cho phần HTTP thôi em ạ, làm như vậy mới đảm bảo được tận dụng tối đa tài nguyên của các node, không thì một node thì sấp mặt, 1 node thì ngồi chơi thì hơi dở. Và nó còn liên quan đến HA. Giả sử 1 node code tèo thì cả hệ thống cũng không sao và tỉ lệ request bị ảnh hưởng cũng thấp. Còn nếu bỏ hết request vào 1 node, mà node đó bị hỏng thì node tiếp theo cho dù được sử dụng đến nhưng cũng không thể nào khôi phục được request đã mất.
    2. Có riêng trong bài toán liên quan đến socket game, hay một số bài toàn liên quan đến live streaming, thì vì bị giới hạn về số lượng port, và các logic đòi hỏi bắt buộc user phải tìm được phòng chơi và chơi chung phòng với nhau nên áp dụng phương pháp gần giống kiểu rate này, nghĩa là cho user vào hết 1 server, đến 1 số lượng nào đó giới hạn thì cho user vào server kế tiếp.
    3. Về cơ bản là HTTP hay AMQP, MQTT … đều có thể áp dụng được kiểu rate limit này. Tuy nhiên vẫn là liên quan đến bài toán nghiệp vụ và hạ tầng mà em có quyết định dùng hay không nhé.

    • 1
  2. Enlightened

    1. Anh thấy aws có dịch vụ autoscale, vậy có thể nó cũng là dạng dịch vụ dựa vào rate limit, anh chỉ đoán vậy thôi em ạ, vì anh cũng không phải chuyên gia về aws
    2. Nếu em muốn tự dựng thì anh nghĩ là em phải tự viết lại server LB, em có thể fork nginx về và viết thêm code của em vào. Em sẽ tự quản lý các node, số lượng request đến và số lượng request còn tồn (chưa được xử lý) trên các node là bao nhiêu để sẽ tiến hành các bước tiếp theo.
    3. Ví dụ về socket game thì anh có 1 bài viết, em có thể tham khảo nhé.
    4. Về phần hạ tầng thì e giả sử deploy service này bằng k8s trên cluster … Đúng rồi em ạ

    • 1

You must login to add an answer.

Need An Account,