Mọi người thường dùng cách nào để sync data giữa CSDL lên ES? Hiện tại em đang tạo một async job để thực hiện việc này. Nhưng trong trường hợp job fail thì dữ liệu sẽ không đươc đồng bộ sửa 2 bên. Mọi người hay dùng cách nào có thể chia sẻ cùng em nhé
Share
Bọn anh thường tổ chức các consumer (batch server riêng biệt) để chạy sync data từ db sang ES, nếu 1 con tèo thì sử dụng cơ chế HA để bật con khác lên. Zookeeper là 1 lựa chọn phù hợp em ạ.
nếu hệ thống lớn thì dùng message broker để hỗ trợ pub/sub ạ. em build-in pub/sub dùng Golang thôi anh. Sau này cần scale thì sẽ nghiên cứu thêm ạ. Cảm ơn anh đã chia sẻ để em bớt hoang mang
ok em.