Search
Ask A Question
In Process
Avatar
0
e2al3qakmdd1okym Beginner
Asked At: 1714658408000 In: Programming
e2al3qakmdd1okym Beginner Asked At: 1714658408000 In: Programming
Một cách tối ưu để thực hiện delta-load trong ETL
Em đang tìm hiểu về delta-load trong ETL, em đang có 1 mô hình producer-consumer.
  • Consumer sẽ thực hiện logic trên tất cả dữ liệu được publish bởi producer
  • Producer sẽ thực hiện incremetal write cho tập dữ liệu nhận được. Vấn đề là producer sẽ đóng vai trò như 1 framework và tự động đánh giá nội dung để cho rằng 1 Object có bị thay đổi hay không.

Em muốn hỏi là coó 1 cách tối ưu nhất để Producer tự extract những Object bị modified không?

  • Giải pháp hiện tại của em là serialize Object sang byte và thực hiện hash trên byte array đó (giống như commit hash) để lưu trữ state Object đó, tuy nhiên em đang không biết 1 hàm hash hiệu quả cho việc này, xin nhờ mọi người giúp.
  • 1 Answers
  • 243 Views
  • Answer
Remain: 5
1 Answer
Avatar
tvd12 Beginner
Added an answer at: 1714663021000
tvd12 Beginner
Added an answer at: 1714663021000
Hash không bao giờ hiệu quả vì nó có tỉ lệ bị trùng: https://en.wikipedia.org/wiki/Hash_collision

Ví dụ: 

public class HashCodeCollision {
    public static void main(String[] args) {
        String str1 = "FB";
        String str2 = "Ea";

        System.out.println("hashCode của "FB": " + str1.hashCode());
        System.out.println("hashCode của "Ea": " + str2.hashCode());
        System.out.println("Các chuỗi có hashCode trùng nhau: " + (str1.hashCode() == str2.hashCode()));
    }
}

Để tránh bị trùng em có thể tạo id cho từng đối tượng, để khắc phục hoàn toàn việc trùng id thì em sẽ cần tạo ra 1 service chuyên cấp id, có thể dùng mysql. Nếu không thì em cũng có thể dùng UUID tỉ lệ trùng cũng là siêu siêu thấp.

  • 0
  • Reply
Ví dụ em sử dụng 1 key (String) cho 1 Object để lưu vào 1 HashTable (được implement theo open address hashing)
  • hash(key) -> int32, hash(object) -> int32, lúc này tỉ lệ là rất nhỏ và mình chấp chận việc mất delta-load cho 1 vài trường hợp hiếm như thế ổn không anh nhỉ. Tại vì em đang không muốn Producer của mình biết trước là sẽ dùng 1 field nào để so sánh giữa 2 state
  –  e2al3qakmdd1okym 1714663676000
không ổn em nhé, làm phần mềm không thể trông chờ vào may mắn và xác suất được em ạ, không hiểu sao nhưng cứ triển khai thật là các vấn đề mà em nghĩ nó sẽ ít xảy ra thì lại xảy ra rất nhiều.  –  tvd12 1714666111000
Okay, thanks anh đã dành thời gian khai thông ánh sánh cho em :)  –  e2al3qakmdd1okym 1714670875000
Ask A Question
  • Questions 1.0K
  • Answers 2.1K
  • Best Answers 129
  • Users 454

Related Questions

Recent Activities

Show All Activities

Top Members

Trending Tags

.net .net core .net oop #formatdate abstract class access app access token ai android ansible anti-flooding apache poi api app architecture artificial intelligence assembly async asyncawait atomicboolean authentication backend backend nestjs background bash script batch bean big project binding bitcoin blockchain blog boot-nodes branch btree bucket4j buffered build bundle c# c# .net cache caching callback career career path cast câu hỏi centos chat cloud cloud reliability commit communication computer science concurrent config-css connection pool content-disposition contract controllerservice convert date to number cookie cors cosmos cosmos-sdk crawl data cron css database database migration datasource datastructure datetime deadlock debug decentralized exchange deep learning deploy contract design patterns design-pattern devops dex di distraction programing dns đồ án tốt nghiệp docker download draw.io du học dữ liệu lớn duration eclip editor elasticsearch email erc20 erc721 estimation eth ethereum ethereum login excel excel-object-mapper exception exception handle exception handler executor export compliance extensions exyfox ezyfox ezyfox-boot ezyfox-server ezyfoxserver ezyhttp ezymq-kafka ezyplatform ezyredis facebook fe filter floating point flutter format json freetank front-end frontend fullstack fulltextsearch future gallery game game-box game-room game-server gateway get get file zip git glide go golang gorilla graduation thesis graphql grapql grpc guide h2 database handy terminal hazelcast hibernate hibernateconfig html http https hyperloglog image index indexing integration-test intellij interface io ioc ipfs isolate issue it java java core java spring java web javacore javascript javaw jenkins jetbrains job join jotform jpa jquery js json json file json to object jsonproperty jsp jsp & servlet junit-test jvm jwt kafka keep promise kerberos keycloak kotlin languague laravel library list load balancer load-balancing lock log log4j log4j-core login lỗi font lưu trữ machine learning macos mail mail template main map maria db math maven merge message queue messaging metamask microservice microservices migration mobile model mongo monitoring mq msgpack multi-threading multiple tenant multithread multithreading mysql n naming naming convention nan netcore netty network networking nft nft game nginx nio node.js nodejs non-blocking io null oop opensource optimize oracle orm otp message paginaiton pagination pancakeswap panic partition pdf pgpool phỏng vấn php plugin pointer postgresql postman pre private_key procedure profile programming programming-language project management promise properties push message android push notification push-noti python python unicode qr qrcode question queue rabbitmq react-native reactive reactjs reactjs download readmoretextview recyclerview redis refactor refresh token regex replica repository request resilence4j resource rest restful resttemplate roadmap room database ropssten ropsten round robin rust rxjava s3 schedule scheduled scheduled spring boot search security send email send mail serialization server servlet session shift jis singleton sjis slack smart contract soap socket socket server soft delete solution sosanh spring spring aop spring boot spring data jpa spring redis spring security spring websocket spring websocket cors spring-boot-test spring-jpa springboot springsecurity springwebflux mysql sql sql server sse ssl ssl email stackask storage stream stream api stress test stresstest structure trong spring boot study synchronize synchronized system environment variables tcp test thiết kế tầng trong dự án thread thread pool threadjava threadpool thymeleaf tomcat totp tracking location transaction transfer transfer git udp uniswap unit test unity upload upload file utf-8 file validate validate date vector video call vietqr view volatile vue vue cli vuejs watermark web web3 web3 client webassembly webflux webpack webrtc websocket windows 11 winforms wordpress work xss zip file zookeeper