Avatar
1
Cesc Nguyễn Beginner
Cesc Nguyễn Beginner
Làm thế nào để đồng bộ dữ liệu từ RDMS tới Elaticsearch
Mọi người thường dùng cách nào để sync data giữa CSDL lên ES? Hiện tại em đang tạo một async job để thực hiện việc này. Nhưng trong trường hợp job fail thì dữ liệu sẽ không đươc đồng bộ sửa 2 bên. Mọi người hay dùng cách nào có thể chia sẻ cùng em nhé
  • Answer
Remain: 5
1 Answer
Avatar
monkey Beginner
monkey Beginner
Bọn anh thường tổ chức các consumer (batch server riêng biệt) để chạy sync data từ db sang ES, nếu 1 con tèo thì sử dụng cơ chế HA để bật con khác lên. Zookeeper là 1 lựa chọn phù hợp em ạ.
  • 0
  • Reply
nếu hệ thống lớn thì dùng message broker để hỗ trợ pub/sub ạ. em build-in pub/sub dùng Golang thôi anh. Sau này cần scale thì sẽ nghiên cứu thêm ạ. Cảm ơn anh đã chia sẻ để em bớt hoang mang  –  Cesc Nguyễn 1639017264000
ok em.  –  monkey 1639017439000