Search
Ask A Question
In Process
Avatar
0
v5b8jb3zbjd2o0nj Beginner
Asked At: 1714980017000 In: Python
v5b8jb3zbjd2o0nj Beginner Asked At: 1714980017000 In: Python
Deploy spark, pytorch, fastapi lên docker
Cho mình hỏi là mình có dự án sử model face recognition để trích xuất đặc trưng của ảnh, sau đó sẽ dùng đặc trưng trích xuất được truy vấn thông tin bằng model LSH với pyspark. Mình sẽ sử dụng fastapi để tạo api nhận ảnh đầu vào và trả ra kết quả truy vấn được. Mình muốn deploy các phần trên vào một docker container thì có được không ạ
  • 1 Answers
  • 1124 Views
  • Answer
Remain: 5
1 Answer
Avatar
tvd12 Beginner
Added an answer at: 1714993813000
tvd12 Beginner
Added an answer at: 1714993813000
Được bạn nhé, vì cái này chính xác nó là 1 dịch vụ độc lập để phân lớp ảnh.
  • 0
  • Reply
Mình đang bị khó ở phần deploy spark. Nên để spark ở 1 container riêng và kết nối pyspark đến container đó hay là mình sẽ để tất cả vào 1 container ạ. Nếu được bạn có thể cho mình một số gợi ý để thực hiện nó đc không  –  v5b8jb3zbjd2o0nj 1715046690000
Theo quan điểm cá nhân của mình thì để hết vào 1 container sẽ dễ vận hành hơn nhiều, sau có clone ra nếu tải lớn cũng đơn giản, ko hiểu là bạn đang gặp khó về devops hay là gặp khó về mặt tư tưởng thiết kế nhỉ?  –  tvd12 1715079453000
Về mặt thiết kế ạ. Mình chạy ở local thì 1 request sẽ mất khoảng 20s để đi qua các bước trích xuất đặc trưng, truy vấn thông tin, nhất là ở bước truy vấn. Không biết có phải do mình chạy trên window hay không mà spark chạy khá chậm. Nên mình cảm thấy flow hệ thống của mình đang khá có vấn đề ạ.  –  v5b8jb3zbjd2o0nj 1715132159000
Tải CPU, GPU của 1 container có cao không bạn nhỉ? Hay chỉ bị chậm về mặt thời gian thôi?  –  monkey 1715143338000
Không cao ạ, chỉ bị chậm về mặt thời gian ạ.

result = loaded_model.approxNearestNeighbors(df, key, 10)

list_id = result.select(f.collect_list('id')).first()[0]

Đây là lệnh truy vấn và get thông tin bằng pyspark. Các bước như nhận diện khuôn mặt, trích xuất đặc trưng, truy vấn đều trong troảng 1 2s. Chỉ có bước select ở trên là tốn tầm 10s hơn ạ tuy là trong kết quả trả về chỉ có 10 dòng dữ liệu

 –  v5b8jb3zbjd2o0nj 1715238621000
Vậy thì việc sử dụng 1 container không phải vấn đề, kể cả khi bạn tách thành 2 container, 1 cho việc trích xuất vector đặc trưng, 1 để đoán phân lớp thì cũng chỉ chuyển việc chậm từ chỗ này sang chỗ kia, thậm chí là lúc đó việc tổ chức hệ thống còn phức tạp hơn nhiều, nên cá nhân mình nghĩ bạn nên tối ưu phục vụ trên 1 container là hợp lý, ko thể tối ưu được thì scale theo chiều ngang, là duplicate ra là ok  –  tvd12 1715313406000
Ask A Question
  • Questions 1.0K
  • Answers 2.2K
  • Best Answers 132
  • Users 489

Related Questions

Recent Activities

Show All Activities

Top Members

Trending Tags

.net .net core .net oop #formatdate abstract class access app access token ai android ansible anti-flooding apache poi api app architecture artificial intelligence assembly async asyncawait atomicboolean authentication backend backend nestjs background bash script batch bean big project binding bitcoin blockchain blog boot-nodes branch btree bucket4j buffered build bundle c# c# .net cache caching callback career career path cast câu hỏi centos chat cloud cloud reliability commit communication computer science concurrent config-css connection pool content-disposition contract controllerservice convert date to number cookie cors cosmos cosmos-sdk crawl data cron css database database migration datasource datastructure datetime deadlock debug decentralized exchange deep learning deploy contract design patterns design-pattern dev devops dex di distraction programing dns đồ án tốt nghiệp docker download draw.io du học dữ liệu lớn duration eclip editor elasticsearch email erc20 erc721 estimation eth ethereum ethereum login excel excel-object-mapper exception exception handle exception handler executor export compliance extensions exyfox ezyfox ezyfox-boot ezyfox-server ezyfoxserver ezyhttp ezyjpa ezymq-kafka ezyplatform ezyredis facebook fe filter floating point flutter format json freetank front-end frontend fullstack fulltextsearch future gallery game game-box game-room game-server gateway get get file zip git glide go golang gorilla graduation thesis graphql grapql grpc guide h2 database handy terminal hazelcast hibernate hibernateconfig html http https hyperloglog image index indexing integration-test intellij interface io ioc ipfs isolate issue it java java core java spring java web javacore javascript javaw jenkins jetbrains job join jotform jpa jquery js json json file json to object jsonproperty jsp jsp & servlet junit-test jvm jwt kafka keep promise kerberos keycloak kotlin languague laravel library list load balancer load-balancing lock log log4j log4j-core login lỗi font lưu trữ machine learning macos mail mail template main map maria db math maven merge message queue messaging metamask microservice microservices migration mobile model mongo monitoring mq msgpack multi-threading multiple tenant multithread multithreading mysql n naming naming convention nan netcore netty network networking nft nft game nginx nio node.js nodejs non-blocking io null oop opensource optimize oracle orm otp message paginaiton pagination pancakeswap panic partition pdf pgpool phỏng vấn php plugin pointer postgresql postman pre private_key procedure profile programming programming-language project management promise properties push message android push notification push-noti python python unicode qr qrcode question queue rabbitmq react-native reactive reactjs reactjs download readmoretextview recyclerview redis refactor refresh token regex replica repository request resilence4j resource rest restful resttemplate roadmap room database ropssten ropsten round robin rust rxjava s3 schedule scheduled scheduled spring boot search security send email send mail serialization server servlet session shift jis singleton sjis slack smart contract soap socket socket server soft delete solution sosanh spring spring aop spring boot spring data jpa spring redis spring security spring websocket spring websocket cors spring-boot-test spring-jpa springboot springsecurity springwebflux mysql sql sql server sse ssl ssl email stackask storage stream stream api stress test stresstest structure trong spring boot study synchronize synchronized system environment variables tcp test thiết kế tầng trong dự án thread thread pool threadjava threadpool thymeleaf tomcat totp tracking location transaction transfer transfer git udp uniswap unit test unity upload upload file utf-8 file validate validate date vector video call vietqr view volatile vue vue cli vuejs watermark web web3 web3 client webassembly webflux webpack webrtc websocket windows 11 winforms wordpress work xss zip file zookeeper