Search
Ask A Question
In Process
Avatar
0
hieuthai642 Beginner
Asked At: 1638822076000 In: DevOps
hieuthai642 Beginner Asked At: 1638822076000 In: DevOps
Thiết kế API limit rate như thế nào
Mọi người cho em hỏi, trong những sản phẩm thực tế thì có dùng API limit rate không ạ?
Nếu có thì sẽ thiết kế giải pháp như thế nào, (ngoài việc dùng API Gateway build sẵn) nếu thiết kế service riêng cho chuyện này cần làm những công việc chính gì
Em có thấy 1 bài blog của Kong về thuật toán dùng trong rate limit https://konghq.com/blog/how-to-design-a-scalable-rate-limiting-algorithm/
Em hiểu là có thể thiết kế 1 service để limit rate (single entry point), service này sẽ áp dụng thuật toán nào đó để limit rate rồi route traffic tới các service khác trong hệ thống. như vậy có đúng không?
Khi nói đến limit rate là mình chỉ giới hạn ở HTTP, hay các giao thức khác ở tầng application cũng có thể áp dụng như AMQP, MQTT, hay rộng hơn là traffic từ tầng transport (TCP, UDP) ạ
  • 2 Answer(s)
  • 2084 Views
  • Answer
question
Remain: 5
2 Answers
Avatar
monkey Enlightened
Added an answer at: 1638823579000
monkey Enlightened
Added an answer at: 1638823579000
  1. Từ khi đi làm tới giờ anh chưa bao giờ thấy dùng rate limit kiểu này, đa phần các dự án đều dùng round robin cho phần HTTP thôi em ạ, làm như vậy mới đảm bảo được tận dụng tối đa tài nguyên của các node, không thì một node thì sấp mặt, 1 node thì ngồi chơi thì hơi dở. Và nó còn liên quan đến HA. Giả sử 1 node code tèo thì cả hệ thống cũng không sao và tỉ lệ request bị ảnh hưởng cũng thấp. Còn nếu bỏ hết request vào 1 node, mà node đó bị hỏng thì node tiếp theo cho dù được sử dụng đến nhưng cũng không thể nào khôi phục được request đã mất.
  2. Có riêng trong bài toán liên quan đến socket game, hay một số bài toàn liên quan đến live streaming, thì vì bị giới hạn về số lượng port, và các logic đòi hỏi bắt buộc user phải tìm được phòng chơi và chơi chung phòng với nhau nên áp dụng phương pháp gần giống kiểu rate này, nghĩa là cho user vào hết 1 server, đến 1 số lượng nào đó giới hạn thì cho user vào server kế tiếp.
  3. Về cơ bản là HTTP hay AMQP, MQTT ... đều có thể áp dụng được kiểu rate limit này. Tuy nhiên vẫn là liên quan đến bài toán nghiệp vụ và hạ tầng mà em có quyết định dùng hay không nhé.
  • 1
  • Reply
Em cảm ơn anh, ý số 2 và 3 thì em rõ rồi ạ.
Nhưng ý số 1 thì em chưa hiểu lắm, phần mà anh đề cập tới hình như là giai đoạn trước em 1 bước. Em có đọc thấy round robin là 1 phương pháp distribute request tới các server khác nhau, còn ý em muốn hỏi là kiểu giống ý số 2,
vd aws ses & ec2 thì giới hạn số lượng api trong 1 giây https://docs.aws.amazon.com/ses/latest/dg/quotas.html
https://docs.aws.amazon.com/AWSEC2/latest/APIReference/throttling.html
Giả sử e muốn dựng các dịch vụ tương tự thì cách tiếp cận rate limit như thế nào a nhỉ, mình xử lý luôn trong code hay tạo 1 service để reuse lại ở nhiều nơi. Trong ví dụ về socket game & dịch vụ livestream, anh có thể chia sẻ 1 tí về cách thực hiện được không ạ
Về phần hạ tầng thì e giả sử deploy service này bằng k8s trên cluster, nginx sẽ chạy round robin để distribute request tới các pod, như vậy chắc là đúng với ý 1 của anh về HA rồi nhỉ
  –  hieuthai642 1638842393000
Avatar
tvd12 Enlightened
Added an answer at: 1638866310000
tvd12 Enlightened
Added an answer at: 1638866310000
  1. Anh thấy aws có dịch vụ autoscale, vậy có thể nó cũng là dạng dịch vụ dựa vào rate limit, anh chỉ đoán vậy thôi em ạ, vì anh cũng không phải chuyên gia về aws
  2. Nếu em muốn tự dựng thì anh nghĩ là em phải tự viết lại server LB, em có thể fork nginx về và viết thêm code của em vào. Em sẽ tự quản lý các node, số lượng request đến và số lượng request còn tồn (chưa được xử lý) trên các node là bao nhiêu để sẽ tiến hành các bước tiếp theo.
  3. Ví dụ về socket game thì anh có 1 <a href="https://tvd12.com/scale-socket-server/" target="_blank" rel="noopener nofollow ugc">bài viết</a>, em có thể tham khảo nhé.
  4. Về phần hạ tầng thì e giả sử deploy service này bằng k8s trên cluster ... Đúng rồi em ạ
  • 1
  • Reply
Em cảm ơn anh, bài viết hay quá anh ạ, với số CCU như thế thì công ty em đang làm không bao giờ đạt đến được mất
Em đang nghiên cứu thử hướng plugin cho nginx còn modify source code có vẻ hard core quá
  –  hieuthai642 1638950566000
Ask A Question
  • Question(s) 1.1K
  • Answer(s) 2.2K
  • Best answer(s) 136
  • User(s) 541

Related Questions

Recent Activities

Show All Activities

Top Members

Trending Tags

.net .net core .net oop #formatdate abstract class access app access token ai android ansible anti-flooding apache poi api app architecture artificial intelligence assembly async asyncawait atomicboolean authentication backend backend nestjs background bash script batch bean big project binding bitcoin blockchain blog boot-nodes branch btree bucket4j buffered build bundle c# c# .net cache caching callback career career path cast câu hỏi centos chat cloud cloud reliability combobox commit communication computer science concurrent config-css connection pool content-disposition contract controllerservice convert date to number cookie cors cosmos cosmos-sdk crawl data cron css database database migration datasource datastructure datetime deadlock debug decentralized exchange deep learning deploy contract design patterns design-pattern dev devops dex di distraction programing dns đồ án tốt nghiệp docker download draw.io du học dữ liệu lớn duration eclip editor elasticsearch email erc20 erc721 error estimation eth ethereum ethereum login excel excel-object-mapper exception exception handle exception handler executor export compliance extensions exyfox ezydata ezyfox ezyfox-boot ezyfox-server ezyfoxserver ezyhttp ezyjpa ezymq-kafka ezyplatform ezyredis facebook fe filter floating point flutter format json freetank front-end frontend fullstack fulltextsearch future gallery game game-box game-room game-server gateway get get file zip git glide go golang gorilla graduation thesis graphql grapql grpc guide h2 database handy terminal hazelcast hibernate hibernateconfig html http https hyperloglog image index indexing integration-test intellij interface io ioc ipfs isolate issue it java java core java spring java web javacore javascript javaw jenkins jetbrains job join jotform jpa jpql jquery js json json file json to object jsonproperty jsp jsp &amp; servlet junit-test jvm jwt kafka keep promise kerberos keycloak kotlin languague laravel library list load balancer load-balancing lock log log4j log4j-core login lỗi font lưu trữ machine learning macos mail mail template main map maria db markdown math maven merge mermaid message queue messaging metamask microservice microservices migration mobile model mongo monitoring mq msgpack multi-threading multiple tenant multithread multithreading mysql n naming naming convention nan netcore netty network networking nft nft game nginx nio node.js nodejs non-blocking io null odoo oop opensource optimize oracle orm otp message paginaiton pagination pancakeswap panic partition pdf pgpool phỏng vấn php plugin pointer postgresql postman pre private_key procedure profile programming programming-language project management promise properties push message android push notification push-noti python python unicode qr qrcode question queue rabbitmq react-native reactive reactjs reactjs download readmoretextview recyclerview redis refactor refresh token regex replica repository request resilence4j resource rest restful resttemplate roadmap room database ropssten ropsten round robin rust rxjava s3 schedule scheduled scheduled spring boot search security send email send mail serialization server servlet session shift jis singleton sjis slack smart contract soap socket socket server soft delete solution sosanh spring spring aop spring boot spring data jpa spring redis spring security spring websocket spring websocket cors spring-boot-test spring-jpa springboot springsecurity springwebflux mysql sql sql server sse ssl ssl email stackask storage stream stream api stress test stresstest structure trong spring boot study synchronize synchronized system environment variables tcp test thiết kế tầng trong dự án thread thread pool threadjava threadpool thymeleaf tomcat totp tracking location transaction transfer transfer git udp ui uniswap unit test unity upload upload file utf-8 file validate validate date vector video call vietqr view volatile vue vue cli vuejs watermark web web3 web3 client webassembly webflux webpack webrtc websocket windows 11 winforms wordpress work xss zip file zookeeper