Avatar
1
Xuan Trang Beginner
Xuan Trang Beginner
Cách xây dựng Model deep learning Resnet18
Dạ anh ơi cho em hỏi, em đang làm đồ án về xây dựng mô hình phát hiện tấn công botnet bằng công nghệ AI và dùng dataset ISOT HTTP Botnet, thầy em hướng em dùng CNN resnet18 có sẵn (đã luyện trước trên tập ảnh CIFAR10) để finetuning cho nhanh. Vì tập ISOT HTTP Botnet thường ở dạng PCAP (Packet Capture) nên em đã dùng CICFlowMeter để chuyển về file csv được 82 cột. Em đang vướng chỗ tiền xử lý dữ liệu: biến target là cột "Label" có 9 loại: 'citadel.botnet.isot', 'gaudox.botnet.isot', 'zeus.botnet.isot', 'blue.botnet.isot', 'benign', 'blackout.botnet.isot', 'blackenergy.botnet.isot', 'zyklon.botnet.isot', 'liphyra.botnet.isot'. Còn các cột còn lại chứa dữ liệu là số nhưng chênh lệnh nhau khá lớn và có 2 cột là "Src IP" và "Dst IP" là chứa dữ liệu chuỗi. Em có dùng LabelEncoder để mã hóa cho cột Label, và dùng OneHotEncoder để mã hóa cho 2 cột "Src IP" và "Dst IP". Sau đó em dùng StandardScaler để scale những cột chứa giá trị số. Em không biết em làm vầy đã đúng logic chưa, mong anh cho em lời khuyên với ạ. Sau khi tiền xử lý dữ liệu như trên thì thầy có yêu cầu là chuyển mỗi hàng (record) thành một ảnh rồi phân chia thành các tập train, val, test để huấn luyện. Em cũng đang bị vướng khúc này, không biết nên dùng cách nào để chuyển cho phù hợp với mô hình resnet18, em có thử dùng dataloader nhưng khi train mô hình nó ra kết quả ko khả quan, em cũng ko biết là do cách em chuyển ảnh sai hay do mô hình em chưa ổn nữa, anh cho em lời khuyên với ạ. Em cám ơn anh, hy vọng sẽ sớm nhận được phản hồi từ anh.
Answer
Avatar
0
Quoc Manh Nguyen Beginner
Tiền xử lý dữ liệu Pytorch
Chào mọi người, mình đang train 1 model lstm để nhận dạng hành động của bàn tay. Mình đã sử dụng mediapipe để lưu dữ liệu là tọa độ của 21 điểm hand point vào 2 file, mỗi file (csv) - tương ứng với 1 hành bao gồm tọa độ của 600 time_step mỗi time_step là tọa độ của 21 point . <p> Mình muốn hỏi là làm sao để xư lý dữ liệu và đưa vào train ning model </p> <p> Dư liệu mình muốn đưa vào model là 1 matran với 10 time_step </p>
Answer