Search
Ask A Question
Answered
Avatar
0
minhvd Beginner
Asked At: 1692715630000 In: Programming
minhvd Beginner Asked At: 1692715630000 In: Programming
Hỏi về good practice khi thiết kế hệ thống upload và đọc ảnh lưu trữ trên Amazon S3
Em đang xây dựng tính năng cho phép người dùng úp ảnh sản phẩm lên, và những ảnh này sẽ được lưu trên Amazon S3. Hiện em đang làm như sau: mỗi lần upload thì generate ra presigned url có thời hạn valid 5 phút, và lưu đường dẫn file url vào trong database. Tuy vậy, các lần sau khi user vào lại trang (ví dụ trang danh sách sản phẩm), thì phía server lại cần chạy for loop để generate lại các presigned url từ file url đã lưu trong db để trả về cho người dùng. Vậy em muốn hỏi việc xử lý như này có tốt không? hay cách thiết kế nào là tốt với việc up ảnh và đọc ảnh từ s3 ạ? ở đây em không muốn set bucket trên S3 là public
  • 3 Answers
  • 517 Views
  • Answer
Remain: 5
3 Answers
Avatar
tvd12 Beginner
Added an answer at: 1692716768000
tvd12 Beginner
Added an answer at: 1692716768000
  1. Việc lưu ảnh trên s3 là một phương pháp hợp lý vì em có thể có nhiều server, s3 giống như 1 cdn quản lý tài nguyên tập trung sẽ dễ dàng hơn rất nhiều.
  2. Tuy nhiên, nếu anh là em anh sẽ không làm như vậy, anh sẽ lưu ảnh rồi lấy đường dẫn vĩnh viễn là được, vì rõ ràng là cách ảnh liên quan đến sản phẩm chẳng có gì là bí mật và cũng chẳng để bán nên rốt cuộc làm phức tạp ra để làm gì nhỉ?

Vậy nên anh nghĩ là em nên lưu ảnh lên s3, lấy đường dẫn cố định, như vậy là ổn rồi em ạ.

  • 0
  • Reply
anh có thể chỉ em cách lưu ảnh vĩnh viễn mà không cần public cái bucket s3 được k ạ? em hỏi ví dụ là ảnh sản phẩm thôi tuy nhiên sau này có những ảnh khác như ảnh cmnd chả hạn thì sao ạ  –  minhvd 1692717927000
Avatar
tvd12 Beginner
Added an answer at: 1692718443000
tvd12 Beginner
The Best Answer
Added an answer at: 1692718443000
Việc public đường dẫn s3 ra bên ngoài rõ ràng là không được vì liên quan đến bảo mật, vậy nên em sẽ có thể làm 1 cách sau:
  1. Tạo một API trên server của em, khi người dùng gọi lấy media thì em sẽ gọi lên s3 để lấy ảnh, mã nguồn minh hoạ sẽ như sau:
s3InputStream =. ..
webOutputStream =. ..
byte[] bytes = new byte[1024];
while(true) {
   int readBytes = s3InputStream.read(bytes);
  if (readBytes <= 0) {
    break;
  }
  webOutputStream.write(bytes, readBytes);
}
  1. Em có thể dụng 1 load balancer đóng vai trò là proxy server để gọi đến s3, em có thể tham khảo sử dụng nginx hoặc các dịch vụ LB của amazon xem sao.
  • 0
  • Reply
Avatar
Kiet Thanh Vo Beginner
Added an answer at: 1693231606000
Kiet Thanh Vo Beginner
Added an answer at: 1693231606000
Ngoài cách @tvd12 đã nêu, còn vài phương án sau:
  • Dùng CloudFront trỏ vào S3, như vậy không cần public S3 mà vẫn access được, chưa kẻ giá bandwidth CloudFront rẻ hơn S3 khá nhiều, content sẽ còn dc cache nơi gần nhất nữa
  • Dùng CloudFront trỏ vào server của mình, rồi từ server vào S3, cách này cũng gần như tương tự ở trên, nhưng thêm vài thứ hay như có thể resize hình ảnh theo nhu cầu từ frontend, vì hình ảnh không nhất thiết phải load full size mọi nơi. Ví dụ trong detail thì hiện full size, còn bên ngoài list chỉ cần 200x200 là đủ. Do dc cache tại CloudFront rồi, nên số lượng request vào server cũng không còn nhiều, đỡ tải hơn rất nhiều so với dùng server trực tiếp
  • 0
  • Reply
Ask A Question
  • Questions 997
  • Answers 2.1K
  • Best Answers 129
  • Users 451

Related Questions

Recent Activities

Show All Activities

Top Members

Trending Tags

.net .net core .net oop #formatdate abstract class access app access token ai android ansible anti-flooding apache poi api app architecture artificial intelligence assembly async asyncawait atomicboolean authentication backend backend nestjs background bash script batch bean big project binding bitcoin blockchain blog boot-nodes branch btree bucket4j buffered build bundle c# c# .net cache caching callback career career path cast câu hỏi centos chat cloud cloud reliability commit communication computer science concurrent config-css connection pool content-disposition contract controllerservice convert date to number cookie cors cosmos cosmos-sdk crawl data cron css database database migration datasource datastructure datetime deadlock debug decentralized exchange deep learning deploy contract design patterns design-pattern devops dex di distraction programing dns đồ án tốt nghiệp docker download draw.io du học dữ liệu lớn duration eclip editor elasticsearch email erc20 erc721 estimation eth ethereum ethereum login excel excel-object-mapper exception exception handle exception handler executor export compliance extensions exyfox ezyfox ezyfox-boot ezyfox-server ezyfoxserver ezyhttp ezymq-kafka ezyplatform ezyredis facebook fe filter floating point flutter format json freetank front-end frontend fullstack fulltextsearch future gallery game game-box game-room game-server gateway get get file zip git glide go golang gorilla graduation thesis graphql grapql grpc guide h2 database handy terminal hazelcast hibernate hibernateconfig html http https hyperloglog image index indexing integration-test intellij interface io ioc ipfs isolate issue it java java core java spring java web javacore javascript javaw jenkins jetbrains job join jotform jpa jquery js json json file json to object jsonproperty jsp jsp &amp; servlet junit-test jvm jwt kafka keep promise kerberos keycloak kotlin languague laravel library list load balancer load-balancing lock log log4j log4j-core login lỗi font lưu trữ machine learning macos mail mail template main map maria db math maven merge message queue messaging metamask microservice microservices migration mobile model mongo monitoring mq msgpack multi-threading multiple tenant multithread multithreading mysql n naming naming convention nan netcore netty network networking nft nft game nginx nio node.js nodejs non-blocking io null oop opensource optimize oracle orm otp message paginaiton pagination pancakeswap panic partition pdf pgpool phỏng vấn php plugin pointer postgresql postman pre private_key procedure profile programming programming-language project management promise properties push message android push notification push-noti python python unicode qr qrcode question queue rabbitmq react-native reactive reactjs reactjs download readmoretextview recyclerview redis refactor refresh token regex replica repository request resilence4j resource rest restful resttemplate roadmap room database ropssten ropsten round robin rust rxjava s3 schedule scheduled scheduled spring boot search security send email send mail serialization server servlet session shift jis singleton sjis slack smart contract soap socket socket server soft delete solution sosanh spring spring aop spring boot spring data jpa spring redis spring security spring websocket spring websocket cors spring-boot-test spring-jpa springboot springsecurity springwebflux mysql sql sql server sse ssl ssl email stackask storage stream stream api stress test stresstest structure trong spring boot study synchronize synchronized system environment variables tcp test thiết kế tầng trong dự án thread thread pool threadjava threadpool thymeleaf tomcat totp tracking location transaction transfer transfer git udp uniswap unit test unity upload upload file utf-8 file validate validate date vector video call vietqr view volatile vue vue cli vuejs watermark web web3 web3 client webassembly webflux webpack webrtc websocket windows 11 winforms wordpress work xss zip file zookeeper