- em muốn hỏi là thường các big tech khi có bài toán download file dung lượng lớn bị timeout họ sẽ giải quyết theo kiểu nào ạ.
- một câu hỏi nữa em muốn hỏi là khi lượng request nhiều cùng call vào api xuất file lớn đó thì giải pháp thường dùng nhất của họ tránh chết hệ thống là gì, mọi người có thể giải thích chi tiết một chút giúp em được không ạ, em cảm ơn.
Share & grow the worlds knowledge!
We want to connect the people who have knowledge to the people who need it, to bring together people with different perspectives so they can understand each other better, and to empower everyone to share their knowledge.
giải quyết bài toán file lớn
xin chào mọi người,
Remain: 5
1 Answer
tvd12
Enlightened
tvd12
Enlightened
The Best Answer
1. Sẽ có 2 cách tiếp cận em ạ:
a. Không cho tiếp tục download, cái này người dùng phải tải từ đầu.
b. Cho phép người dùng tiếp tục tải, thì đầu client sẽ phải lưu lại số bytes mà mình đã nhận được và sau đó gửi lại request đến server với header byte range, em có thể tham khảo tại đây: https://developer.mozilla.org/en-US/docs/Web/HTTP/Range_requests
2. Em tham khảo phương pháp này nhé: https://youngmonkeys.org/ezyhttp/guides/ezyhttp-download-file
-
0
- Reply
em cảm ơn ạ, anh cho e hỏi thêm ở câu hỏi một em có tham khảo được 1 cách là để tránh timeout không hoàn thành tải xong file thì có một hướng là tạo 1 thread ngay khi api export đó được call, nghĩa là request ở api đó sẽ hết còn cái thread đó vẫn chạy ngầm bên dưới đảm bảo xuất file thành công, sau khi xuất thành công file đó sẽ được save ở một folder và sẽ thông báo lại với người dùng file đã sẵn sàng được tải thì hướng đó có phải là một giải pháp ổn hay không và nếu ổn thì đó có phải là một hướng mà a liệt kê còn thiếu không ạ, em cảm ơn.
–
Shi Shi
1712588223000
em cảm ơn ạ,
anh cho e hỏi thêm ở câu hỏi một em có tham khảo được 1 cách là để tránh timeout không hoàn thành tải xong file thì có một hướng là tạo 1 thread ngay khi api export đó được call, nghĩa là request ở api đó sẽ hết còn cái thread đó vẫn chạy ngầm bên dưới đảm bảo xuất file thành công, sau khi xuất thành công file đó sẽ được save ở một folder và sẽ thông báo lại với người dùng file đã sẵn sàng được tải thì hướng đó có phải là một giải pháp ổn hay không và nếu ổn thì đó có phải là một hướng mà a liệt kê còn thiếu không ạ, em cảm ơn.
–
Shi Shi
1712588279000
Không thể làm thế được em ạ, số thread là hữu hạn, cùng lắm đến 1000 thread là cùng, vậy nếu theo cách này thì server chỉ đáp ứng được 1000 người thôi. Mà file đã có sẵn thì tại sao tạo ra 1 thread để lưu file vào chỗ nào đó nữa là sao em nhỉ?
–
tvd12
1712588898000
à không phải file có sẵn mà ý e là call api để api đó export data thành file , rồi file đó sẽ được lưu vào 1 folder để những lần sau cứ vậy vào folder đó dow file đã có về chứ không cần phải thực thi lại quá trình export nữa ạ, với số lượng thread giới hạn 1000 cái này e có thể đọc được ở nguồn nào để hiểu sâu hơn ạ, em cảm ơn.
–
Shi Shi
1712590008000
mục đích e dùng thread để nó pass cái timeout của request ạ tức là file vẫn cứ được download khi api đó đã ngắt do timeout rồi ạ, còn thread đó chạy ngầm bên dưới khi nào export xong thành file thì sẽ lưu file vào folder và sẽ thông báo tới người dùng.
–
Shi Shi
1712590165000
Có vẻ em đang nói đến giải pháp ở phía client em nhỉ? Vậy em có thể tạo 1 thread chạy ngầm để liên tục gọi lên server để tạo lại client và đến khi nào nhận đủ file rồi cũng ok em ạ.
–
tvd12
1712590575000
dạ vâng anh, em còn một thắc mắc nếu em làm như thế như anh nói thì chỉ phục vụ được 1000 user nếu lượng thread hữu hạn là 1000 nhưng đó là trong cùng 1 thời điểm đúng không anh, còn sau khi thread e dùng xong e sẽ giải phóng tài nguyên, vậy thì nếu yêu cầu bài toán chỉ cần trong cùng một thời điểm dùng đến 1000 request là chấp nhận được thì cách đó vẫn ổn chứ ạ, liệu nó còn có nhược điểm gì không ạ, em cảm ơn a.
–
Shi Shi
1712591163000
Nếu giải pháp em vừa nói là dùng cho client thì server không cần sinh thread mới thì ok em ạ. Trên server nó dùng cách như anh đã đề cập trong bài viết này: https://youngmonkeys.org/ezyhttp/guides/ezyhttp-download-filenó sẽ chỉ tạo ra một lượng hữu hạn các thread thôi nên không vấn đề gì em ạ
–
tvd12
1712591699000
Cách anh đề cập (https://youngmonkeys.org/ezyhttp/guides/ezyhttp-download-file)
có giống với việc ở server mình set up 1 task queue để thực thi long-running tasks ko anh ?
–
Quốc Hưng Hoàng
1713340655000
- Question(s) 1.1K
- Answer(s) 2.2K
- Best answer(s) 136
- User(s) 552
-
Lâm Tấn Lộc added an answer <ul class="markdown-list"><li class="markdown-list-item"> Đầ... 1768014969000 -
-
Related Questions
Recent Activities
-
Voted up question. January 9, 2023 at 2:54 pm
-
Voted up question. January 9, 2023 at 2:54 pm
-
Voted up question. January 9, 2023 at 2:54 pm
-
Voted up question. January 9, 2023 at 2:54 pm
-
Voted up question. January 9, 2023 at 2:54 pm
Top Members
Trending Tags
.net
.net core
.net oop
#formatdate
abstract class
access app
access token
ai
android
ansible
anti-flooding
apache poi
api
app
architecture
artificial intelligence
assembly
async
asyncawait
atomicboolean
authentication
backend
backend nestjs
background
bash script
batch
bean
big project
binding
bitcoin
blockchain
blog
boot-nodes
branch
btree
bucket4j
buffered
build
bundle
c#
c# .net
cache
caching
callback
career
career path
cast
câu hỏi
centos
chat
cloud
cloud reliability
combobox
commit
communication
computer science
concurrent
config-css
connection pool
content-disposition
contract
controllerservice
convert date to number
cookie
cors
cosmos
cosmos-sdk
crawl data
cron
css
database
database migration
datasource
datastructure
datetime
deadlock
debug
decentralized exchange
deep learning
deploy contract
design patterns
design-pattern
dev
devops
dex
di
distraction programing
dns
đồ án tốt nghiệp
docker
download
draw.io
du học
dữ liệu lớn
duration
eclip
editor
elasticsearch
email
erc20
erc721
error
estimation
eth
ethereum
ethereum login
excel
excel-object-mapper
exception
exception handle
exception handler
executor
export compliance
extensions
exyfox
ezydata
ezyfox
ezyfox-boot
ezyfox-server
ezyfoxserver
ezyhttp
ezyjpa
ezymq-kafka
ezyplatform
ezyredis
facebook
fe
filter
floating point
flutter
format json
freetank
front-end
frontend
fullstack
fulltextsearch
future
gallery
game
game-box
game-room
game-server
gateway
get
get file zip
git
glide
go
golang
gorilla
graduation thesis
graphql
grapql
grpc
guide
h2 database
handy terminal
hazelcast
hibernate
hibernateconfig
html
http
https
hyperloglog
image
index
indexing
integration-test
intellij
interface
io
ioc
ipfs
isolate
issue
it
java
java core
java spring
java web
javacore
javascript
javaw
jenkins
jetbrains
job
join
jotform
jpa
jpql
jquery
js
json
json file
json to object
jsonproperty
jsp
jsp & servlet
junit-test
jvm
jwt
kafka
keep promise
kerberos
keycloak
kotlin
languague
laravel
library
list
load balancer
load-balancing
lock
log
log4j
log4j-core
login
lỗi font
lưu trữ
machine learning
macos
mail
mail template
main
map
maria db
markdown
math
maven
merge
mermaid
message queue
messaging
metamask
microservice
microservices
migration
mobile
model
mongo
monitoring
mq
msgpack
multi-threading
multiple tenant
multithread
multithreading
mysql
n
naming
naming convention
nan
netcore
netty
network
networking
nft
nft game
nginx
nio
node.js
nodejs
non-blocking io
null
odoo
oop
opensource
optimize
oracle
orm
otp message
paginaiton
pagination
pancakeswap
panic
partition
pdf
pgpool
phỏng vấn
php
plugin
pointer
postgresql
postman
pre
private_key
procedure
profile
programming
programming-language
project management
promise
properties
push message android
push notification
push-noti
python
python unicode
qr
qrcode
question
queue
rabbitmq
react-native
reactive
reactjs
reactjs download
readmoretextview
recyclerview
redis
refactor
refresh token
regex
replica
repository
request
resilence4j
resource
rest
restful
resttemplate
roadmap
room database
ropssten
ropsten
round robin
rust
rxjava
s3
schedule
scheduled
scheduled spring boot
search
security
send email
send mail
serialization
server
servlet
session
shift jis
singleton
sjis
slack
smart contract
soap
socket
socket server
soft delete
solution
sosanh
spring
spring aop
spring boot
spring data jpa
spring redis
spring security
spring websocket
spring websocket cors
spring-boot-test
spring-jpa
springboot
springsecurity
springwebflux mysql
sql
sql server
sse
ssl
ssl email
stackask
storage
stream
stream api
stress test
stresstest
structure trong spring boot
study
synchronize
synchronized
system environment variables
tcp
test
thiết kế tầng trong dự án
thread
thread pool
threadjava
threadpool
thymeleaf
tomcat
totp
tracking location
transaction
transfer
transfer git
udp
ui
uniswap
unit test
unity
upload
upload file
utf-8 file
validate
validate date
vector
video call
vietqr
view
volatile
vue
vue cli
vuejs
watermark
web
web3
web3 client
webassembly
webflux
webpack
webrtc
websocket
windows 11
winforms
wordpress
work
xss
zip file
zookeeper