Search
Ask A Question
In Process
Avatar
0
a83raljj7lgom9gm Beginner
Asked At: 1729093239000 In: Spring
a83raljj7lgom9gm Beginner Asked At: 1729093239000 In: Spring
Tối ưu xử lý
Em có câu query cần Union All 2 bảng lại để lấy data trả về 1 chuỗi data của các cột nối nhau bằng dấu |

ví dụ: username|code|name|.....

Số lượng reocord lúc query ra thì 1M record. Em đang dùng Spring boot. Theo anh thì nên giới hạn số lượng mỗi lần query lên rồi gọi nhiều lần xuống DB. Hay là gọi 1 lần thì hơn ạ. Data em bắt buộc lấy đủ . Và em nên nối chuỗi bằng câu native query hay là lấy dữ liệu lên rồi xử lý bằng Java hơn ạ.

Em đang dùng EntityManager và tạo câu query native. trả về kiểu Stream để xử lý và zip lại thành file data trả về luôn. Hướng xử lý tối ưu nhất là gì ạ a.

  • 1 Answers
  • 339 Views
  • Answer
Remain: 5
1 Answer
Avatar
tvd12 Beginner
Added an answer at: 1729133020000
tvd12 Beginner
Added an answer at: 1729133020000
  1. Database là trái tim của hệ thống vậy nên nó cần nhanh chóng được giải phóng khỏi các công việc nặng nề để còn phục vụ được nhiều yêu cầu khác có thể nếu không hệ thống có thể bị nghẽn.
  2. Vậy nên em cần lấy số lượng nhỏ các bản ghi, nên tối đa tầm 500 bản ghi 1 lần thay vì lấy toàn bộ, em có thể cache dữ liệu trên disk thay vì RAM để tránh bị tràn RAM hoặc em lấy được bao nhiêu bản ghi thì trả về client luôn thì không phải cache.
  3. Em nên xử lý logic ví dụ như cộng chuỗi bằng java thay vì db để giải phóng cho DB sớm nhất có thể.
  • 0
  • Reply
dạ về ý 2 thì e lấy data e chưa trả về client mà cần cho vào file txt zip nó lại mới trả file zip luôn đc ko a. Dùng Stream thì nó có làm tốn Ram ko ạ  –  a83raljj7lgom9gm 1729178949000
Đúng rồi em nhé, zip như em nói là hợp lý  –  tvd12 1729214378000
Ask A Question
  • Questions 1.0K
  • Answers 2.2K
  • Best Answers 132
  • Users 489

Related Questions

Recent Activities

Show All Activities

Top Members

Trending Tags

.net .net core .net oop #formatdate abstract class access app access token ai android ansible anti-flooding apache poi api app architecture artificial intelligence assembly async asyncawait atomicboolean authentication backend backend nestjs background bash script batch bean big project binding bitcoin blockchain blog boot-nodes branch btree bucket4j buffered build bundle c# c# .net cache caching callback career career path cast câu hỏi centos chat cloud cloud reliability commit communication computer science concurrent config-css connection pool content-disposition contract controllerservice convert date to number cookie cors cosmos cosmos-sdk crawl data cron css database database migration datasource datastructure datetime deadlock debug decentralized exchange deep learning deploy contract design patterns design-pattern dev devops dex di distraction programing dns đồ án tốt nghiệp docker download draw.io du học dữ liệu lớn duration eclip editor elasticsearch email erc20 erc721 estimation eth ethereum ethereum login excel excel-object-mapper exception exception handle exception handler executor export compliance extensions exyfox ezyfox ezyfox-boot ezyfox-server ezyfoxserver ezyhttp ezyjpa ezymq-kafka ezyplatform ezyredis facebook fe filter floating point flutter format json freetank front-end frontend fullstack fulltextsearch future gallery game game-box game-room game-server gateway get get file zip git glide go golang gorilla graduation thesis graphql grapql grpc guide h2 database handy terminal hazelcast hibernate hibernateconfig html http https hyperloglog image index indexing integration-test intellij interface io ioc ipfs isolate issue it java java core java spring java web javacore javascript javaw jenkins jetbrains job join jotform jpa jquery js json json file json to object jsonproperty jsp jsp & servlet junit-test jvm jwt kafka keep promise kerberos keycloak kotlin languague laravel library list load balancer load-balancing lock log log4j log4j-core login lỗi font lưu trữ machine learning macos mail mail template main map maria db math maven merge message queue messaging metamask microservice microservices migration mobile model mongo monitoring mq msgpack multi-threading multiple tenant multithread multithreading mysql n naming naming convention nan netcore netty network networking nft nft game nginx nio node.js nodejs non-blocking io null oop opensource optimize oracle orm otp message paginaiton pagination pancakeswap panic partition pdf pgpool phỏng vấn php plugin pointer postgresql postman pre private_key procedure profile programming programming-language project management promise properties push message android push notification push-noti python python unicode qr qrcode question queue rabbitmq react-native reactive reactjs reactjs download readmoretextview recyclerview redis refactor refresh token regex replica repository request resilence4j resource rest restful resttemplate roadmap room database ropssten ropsten round robin rust rxjava s3 schedule scheduled scheduled spring boot search security send email send mail serialization server servlet session shift jis singleton sjis slack smart contract soap socket socket server soft delete solution sosanh spring spring aop spring boot spring data jpa spring redis spring security spring websocket spring websocket cors spring-boot-test spring-jpa springboot springsecurity springwebflux mysql sql sql server sse ssl ssl email stackask storage stream stream api stress test stresstest structure trong spring boot study synchronize synchronized system environment variables tcp test thiết kế tầng trong dự án thread thread pool threadjava threadpool thymeleaf tomcat totp tracking location transaction transfer transfer git udp uniswap unit test unity upload upload file utf-8 file validate validate date vector video call vietqr view volatile vue vue cli vuejs watermark web web3 web3 client webassembly webflux webpack webrtc websocket windows 11 winforms wordpress work xss zip file zookeeper