Với bài toán phân loại, vd nhận diện khuôn mặt hay chó mèo, thì giai đoạn training là mình đang muốn mạng của chúng ta có khả năng tạo ra các vector "khác" nhau nhất có thể (Vd phân biệt mặt người thì sẽ muốn vector người A khác vector người B, người C nhất có thể | phân biệt chó mèo gà thì sẽ muốn vector 1 chú chó khác mèo hay gà nhất có thể).

Thường thì người ta sẽ quy bài toán trên về bài toán tối ưu của 1 hàm loss function, loss function này đại diện cho mục tiêu đạt được, vì vậy loss function thường là tổng thể của tất cả mục tiêu nhỏ mà ta muốn đạt được. Training là quá trình đi tìm cực tiểu của loss function này.

Như phân loại chó/mèo/gà thì phải bao gồm cả chó != mèo, chó != gà, gà != mèo

Để quá trình training diễn ra nhanh hơn thì e để ý người ta thường cố xây dựng cho hàm loss này càng "dốc" càng tốt (vì training bản chất là đi ngược chiều đạo hàm nên càng dốc thì đi càng nhanh), tức là những kq sai sẽ bị "trừng phạt" nặng (làm giá trị của loss function tăng nhiều)

Còn về việc xây dựng hàm loss function thì em nghĩ cosine similarity cũng là 1 cách, nhưng em thấy người ta thường chuộng cross entrophy loss hơn, vì hàm này sẽ "trừng phạt" rắt nặng nếu mà 2 gía trị thật & predict khác nhau. Hình như trong pytorch thì đây cũng là default loss function. Em có hỏi 1 người bạn đang học ML ở Hàn, thì tùy vào bài toán mà sẽ xây dựng hàm loss khác nhau, vd bạn e thì thường dùng cross entrophy loss trong hầu hết mọi training, do đặc thù của ngành bạn e nên trong 1 số trường hợp thì nó dùng thêm kull-back divergence loss

Em có thấy 1 bài báo nói sơ về 1 số loss function trong keras, còn nếu đi sâu về mặt toán thì chắc phải tìm trong các sách hàn lâm hơn