Share & grow the worlds knowledge!
We want to connect the people who have knowledge to the people who need it, to bring together people with different perspectives so they can understand each other better, and to empower everyone to share their knowledge.
Deploy spark, pytorch, fastapi lên docker
Cho mình hỏi là mình có dự án sử model face recognition để trích xuất đặc trưng của ảnh, sau đó sẽ dùng đặc trưng trích xuất được truy vấn thông tin bằng model LSH với pyspark. Mình sẽ sử dụng fastapi để tạo api nhận ảnh đầu vào và trả ra kết quả truy vấn được. Mình muốn deploy các phần trên vào một docker container thì có được không ạ
Remain: 5
1 Answer
tvd12
Beginner
tvd12
Beginner
Được bạn nhé, vì cái này chính xác nó là 1 dịch vụ độc lập để phân lớp ảnh.
-
0
- Reply
Mình đang bị khó ở phần deploy spark. Nên để spark ở 1 container riêng và kết nối pyspark đến container đó hay là mình sẽ để tất cả vào 1 container ạ. Nếu được bạn có thể cho mình một số gợi ý để thực hiện nó đc không
–
v5b8jb3zbjd2o0nj
1715046690000
Theo quan điểm cá nhân của mình thì để hết vào 1 container sẽ dễ vận hành hơn nhiều, sau có clone ra nếu tải lớn cũng đơn giản, ko hiểu là bạn đang gặp khó về devops hay là gặp khó về mặt tư tưởng thiết kế nhỉ?
–
tvd12
1715079453000
Về mặt thiết kế ạ. Mình chạy ở local thì 1 request sẽ mất khoảng 20s để đi qua các bước trích xuất đặc trưng, truy vấn thông tin, nhất là ở bước truy vấn. Không biết có phải do mình chạy trên window hay không mà spark chạy khá chậm. Nên mình cảm thấy flow hệ thống của mình đang khá có vấn đề ạ.
–
v5b8jb3zbjd2o0nj
1715132159000
Tải CPU, GPU của 1 container có cao không bạn nhỉ? Hay chỉ bị chậm về mặt thời gian thôi?
–
monkey
1715143338000
Không cao ạ, chỉ bị chậm về mặt thời gian ạ.
result = loaded_model.approxNearestNeighbors(df, key, 10)
list_id = result.select(f.collect_list('id')).first()[0]
Đây là lệnh truy vấn và get thông tin bằng pyspark. Các bước như nhận diện khuôn mặt, trích xuất đặc trưng, truy vấn đều trong troảng 1 2s. Chỉ có bước select ở trên là tốn tầm 10s hơn ạ tuy là trong kết quả trả về chỉ có 10 dòng dữ liệu
– v5b8jb3zbjd2o0nj 1715238621000
Vậy thì việc sử dụng 1 container không phải vấn đề, kể cả khi bạn tách thành 2 container, 1 cho việc trích xuất vector đặc trưng, 1 để đoán phân lớp thì cũng chỉ chuyển việc chậm từ chỗ này sang chỗ kia, thậm chí là lúc đó việc tổ chức hệ thống còn phức tạp hơn nhiều, nên cá nhân mình nghĩ bạn nên tối ưu phục vụ trên 1 container là hợp lý, ko thể tối ưu được thì scale theo chiều ngang, là duplicate ra là ok
–
tvd12
1715313406000
- Questions 1.0K
- Answers 2.2K
- Best Answers 132
- Users 488
Related Questions
Recent Activities
-
Voted up question. January 9, 2023 at 2:54 pm
-
Voted up question. January 9, 2023 at 2:54 pm
-
Voted up question. January 9, 2023 at 2:54 pm
-
Voted up question. January 9, 2023 at 2:54 pm
-
Voted up question. January 9, 2023 at 2:54 pm
Top Members
Trending Tags
.net
.net core
.net oop
#formatdate
abstract class
access app
access token
ai
android
ansible
anti-flooding
apache poi
api
app
architecture
artificial intelligence
assembly
async
asyncawait
atomicboolean
authentication
backend
backend nestjs
background
bash script
batch
bean
big project
binding
bitcoin
blockchain
blog
boot-nodes
branch
btree
bucket4j
buffered
build
bundle
c#
c# .net
cache
caching
callback
career
career path
cast
câu hỏi
centos
chat
cloud
cloud reliability
commit
communication
computer science
concurrent
config-css
connection pool
content-disposition
contract
controllerservice
convert date to number
cookie
cors
cosmos
cosmos-sdk
crawl data
cron
css
database
database migration
datasource
datastructure
datetime
deadlock
debug
decentralized exchange
deep learning
deploy contract
design patterns
design-pattern
devops
dex
di
distraction programing
dns
đồ án tốt nghiệp
docker
download
draw.io
du học
dữ liệu lớn
duration
eclip
editor
elasticsearch
email
erc20
erc721
estimation
eth
ethereum
ethereum login
excel
excel-object-mapper
exception
exception handle
exception handler
executor
export compliance
extensions
exyfox
ezyfox
ezyfox-boot
ezyfox-server
ezyfoxserver
ezyhttp
ezyjpa
ezymq-kafka
ezyplatform
ezyredis
facebook
fe
filter
floating point
flutter
format json
freetank
front-end
frontend
fullstack
fulltextsearch
future
gallery
game
game-box
game-room
game-server
gateway
get
get file zip
git
glide
go
golang
gorilla
graduation thesis
graphql
grapql
grpc
guide
h2 database
handy terminal
hazelcast
hibernate
hibernateconfig
html
http
https
hyperloglog
image
index
indexing
integration-test
intellij
interface
io
ioc
ipfs
isolate
issue
it
java
java core
java spring
java web
javacore
javascript
javaw
jenkins
jetbrains
job
join
jotform
jpa
jquery
js
json
json file
json to object
jsonproperty
jsp
jsp & servlet
junit-test
jvm
jwt
kafka
keep promise
kerberos
keycloak
kotlin
languague
laravel
library
list
load balancer
load-balancing
lock
log
log4j
log4j-core
login
lỗi font
lưu trữ
machine learning
macos
mail
mail template
main
map
maria db
math
maven
merge
message queue
messaging
metamask
microservice
microservices
migration
mobile
model
mongo
monitoring
mq
msgpack
multi-threading
multiple tenant
multithread
multithreading
mysql
n
naming
naming convention
nan
netcore
netty
network
networking
nft
nft game
nginx
nio
node.js
nodejs
non-blocking io
null
oop
opensource
optimize
oracle
orm
otp message
paginaiton
pagination
pancakeswap
panic
partition
pdf
pgpool
phỏng vấn
php
plugin
pointer
postgresql
postman
pre
private_key
procedure
profile
programming
programming-language
project management
promise
properties
push message android
push notification
push-noti
python
python unicode
qr
qrcode
question
queue
rabbitmq
react-native
reactive
reactjs
reactjs download
readmoretextview
recyclerview
redis
refactor
refresh token
regex
replica
repository
request
resilence4j
resource
rest
restful
resttemplate
roadmap
room database
ropssten
ropsten
round robin
rust
rxjava
s3
schedule
scheduled
scheduled spring boot
search
security
send email
send mail
serialization
server
servlet
session
shift jis
singleton
sjis
slack
smart contract
soap
socket
socket server
soft delete
solution
sosanh
spring
spring aop
spring boot
spring data jpa
spring redis
spring security
spring websocket
spring websocket cors
spring-boot-test
spring-jpa
springboot
springsecurity
springwebflux mysql
sql
sql server
sse
ssl
ssl email
stackask
storage
stream
stream api
stress test
stresstest
structure trong spring boot
study
synchronize
synchronized
system environment variables
tcp
test
thiết kế tầng trong dự án
thread
thread pool
threadjava
threadpool
thymeleaf
tomcat
totp
tracking location
transaction
transfer
transfer git
udp
uniswap
unit test
unity
upload
upload file
utf-8 file
validate
validate date
vector
video call
vietqr
view
volatile
vue
vue cli
vuejs
watermark
web
web3
web3 client
webassembly
webflux
webpack
webrtc
websocket
windows 11
winforms
wordpress
work
xss
zip file
zookeeper