Cách xây dựng Model deep learning Resnet18
Dạ anh ơi cho em hỏi, em đang làm đồ án về xây dựng mô hình phát hiện tấn công botnet bằng công nghệ AI và dùng dataset ISOT HTTP Botnet, thầy em hướng em dùng CNN resnet18 có sẵn (đã luyện trước trên tập ảnh CIFAR10) để finetuning cho nhanh. Vì tập ISOT HTTP Botnet thường ở dạng PCAP (Packet Capture) nên em đã dùng CICFlowMeter để chuyển về file csv được 82 cột. Em đang vướng chỗ tiền xử lý dữ liệu: biến target là cột "Label" có 9 loại: 'citadel.botnet.isot', 'gaudox.botnet.isot', 'zeus.botnet.isot', 'blue.botnet.isot', 'benign', 'blackout.botnet.isot', 'blackenergy.botnet.isot', 'zyklon.botnet.isot', 'liphyra.botnet.isot'. Còn các cột còn lại chứa dữ liệu là số nhưng chênh lệnh nhau khá lớn và có 2 cột là "Src IP" và "Dst IP" là chứa dữ liệu chuỗi. Em có dùng LabelEncoder để mã hóa cho cột Label, và dùng OneHotEncoder để mã hóa cho 2 cột "Src IP" và "Dst IP". Sau đó em dùng StandardScaler để scale những cột chứa giá trị số. Em không biết em làm vầy đã đúng logic chưa, mong anh cho em lời khuyên với ạ. Sau khi tiền xử lý dữ liệu như trên thì thầy có yêu cầu là chuyển mỗi hàng (record) thành một ảnh rồi phân chia thành các tập train, val, test để huấn luyện. Em cũng đang bị vướng khúc này, không biết nên dùng cách nào để chuyển cho phù hợp với mô hình resnet18, em có thử dùng dataloader nhưng khi train mô hình nó ra kết quả ko khả quan, em cũng ko biết là do cách em chuyển ảnh sai hay do mô hình em chưa ổn nữa, anh cho em lời khuyên với ạ. Em cám ơn anh, hy vọng sẽ sớm nhận được phản hồi từ anh.
Định hướng cho dev trên 35 tuổi trong tương lai
Nếu k làm PM, em có thể làm vị trí gì để kiếm thêm thu nhập ạ, em có hướng làm Youtuber chia sẻ KN cho các bạn trẻ nhưng view về mặt công nghệ k nhiều<p>
Càng lớn sức khỏe giảm sút, thời gian vợ con bố mẹ, vậy lấy đâu thời gian để update bản thân trong khi cong nghệ thay đổi 1 cách liên tục ạ, có thể thấy rõ nhất sự xuất hiện chatgot, code colipot , ... đang đe dọa chúng ta,
</p>
RAG, LVM trong Ezy
Em lâu r không lên stackask vì bận cv, em muốn hỏi hiện sắp tới có sử dụng RAG, LVM làm con chatbot k ạ, bên em đang tích hợp để làm bot cho cửa hàng
Mất tài khoản cũ link tới fb, làm sao em tìm đc ạ
em tìm theo tên "nguyễn thái sơn" tài khoản cũ tuy nhiên em k thấy ạ, làm sao tìm user trên stackask ạ
Hỏi về ALB routing traffic
Anh Dũng cho em hỏi tại sao ALB không hỗ trợ routing traffic dựa trên HTTP Body
Tại sao lại cần EzyJPA, framework phân trang trong khi đã có hibernate?
Tại sao lại cần EzyJPA, framework phân trang trong khi đã có hibernate?
Có sự khác biệt lớn giữa Modular monolith với Microservice hay không
Cho em hỏi giữa modular monolith với microservice có khác biệt lớn hay không nhỉ hay chỉ khác biệt giữa cách triển khai. Ví dụ trong modular monolith em cũng module hoá từng service riêng biệt và giao tiếp thông qua grpc/http/message queue, mỗi service cũng có db riêng, giống với concept của microservice nhưng em lại để chung trong 1 solution (.net) hoặc chung trong 1 docker compose, và chỉ deploy solution hoặc file docker compose đó lên thôi. Nếu em tách từng service cho từng solution rồi deploy riêng biệt độc lập cho từng service thì nó có được coi là microservice hay không, hay microservice còn hơn thế nữa.
So sánh giữa websocket vs long polling
Trong một cuộc trang luận với đồng nghiệp của mình, có 2 luồng ý kiến:
<ul>
<li>websocket /long polling là 1, chỉ là 1 cái của p.tây, 1 cái của các pháp sư trung hoa.</li>
<li>websocket với long polling là 2 giao thức có cơ chế hoàn toàn khác nhau</li></ul>
<p>
Mình tạo câu hỏi này muốn ý kiến của mọi người xem cái nào là đúng
</p>
<p>
Có 1 câu hỏi nữa là giữa websocket, long polling, sses thì cái nào tốn ít tài nguyên của server hơn
</p>
Config nhiều datasource
Em đang dùng spring boot 2.7. x. e cần config 2 data source vào ạ. Một DB em dùng mặc định config như bình thường ở properties và map với entity và repo của em. Một DB em chỉ dùng map với1 tới 2 DAO gọi native query. Anh có config sample cho em xin hướng dẫn với ạ. Có phải em chỉ cần config 1 cái cho datasource phụ thôi, còn cái default chính của em thì spring boot cũng đã config và ưu tiên cái đó không ạ. Em cũng muốn config trong properties và java. Không config xml ạ
Tối ưu xử lý
Em có câu query cần Union All 2 bảng lại để lấy data trả về 1 chuỗi data của các cột nối nhau bằng dấu |<p>
ví dụ: username|code|name|.....
</p>
<p>
Số lượng reocord lúc query ra thì 1M record. Em đang dùng Spring boot. Theo anh thì nên giới hạn số lượng mỗi lần query lên rồi gọi nhiều lần xuống DB. Hay là gọi 1 lần thì hơn ạ. Data em bắt buộc lấy đủ . Và em nên nối chuỗi bằng câu native query hay là lấy dữ liệu lên rồi xử lý bằng Java hơn ạ.
</p>
<p>
Em đang dùng EntityManager và tạo câu query native. trả về kiểu Stream<String> để xử lý và zip lại thành file data trả về luôn. Hướng xử lý tối ưu nhất là gì ạ a.
</p>
Kiểm tra tối đa request trong ngày trên 1 thiết bị
Em có làm 1 web không yêu cầu login, nhưng khi đẩy form xuống BE thì BE phải check là tối đa 1 thiết bị trong 1 ngày chỉ được 3 request. Có cách nào check vấn đề này được ko ạ. nếu em dùng tab ẩn danh, hay ip động hay có cách nào khác nó có thể spam được không ạ. Em chưa có hướng code cho đoạn này.