Nhưng ý số 1 thì em chưa hiểu lắm, phần mà anh đề cập tới hình như là giai đoạn trước em 1 bước. Em có đọc thấy round robin là 1 phương pháp distribute request tới các server khác nhau, còn ý em muốn hỏi là kiểu giống ý số 2,

vd aws ses & ec2 thì giới hạn số lượng api trong 1 giây https://docs.aws.amazon.com/ses/latest/dg/quotas.html

Giả sử e muốn dựng các dịch vụ tương tự thì cách tiếp cận rate limit như thế nào a nhỉ, mình xử lý luôn trong code hay tạo 1 service để reuse lại ở nhiều nơi. Trong ví dụ về socket game & dịch vụ livestream, anh có thể chia sẻ 1 tí về cách thực hiện được không ạ

Về phần hạ tầng thì e giả sử deploy service này bằng k8s trên cluster, nginx sẽ chạy round robin để distribute request tới các pod, như vậy chắc là đúng với ý 1 của anh về HA rồi nhỉ