Kỹ thuật học chuyển giao (TL- Transfer Learning) [87] được thúc đẩy bởi thực tế là con người có thể áp dụng một cách thông minh tri thức đã học trước đây để giải quyết các vấn đề mới nhanh hơn hoặc với các giải pháp tốt hơn. Động lực chính của học chuyển giao trong lĩnh vực học máy là nhu cầu về các phương pháp học máy dài hạn có thể duy trì và tái sử dụng tri thức đã học trước đây, để các thiết bị thông minh có thể thích nghi với môi trường mới hoặc các
tác vụ mới một cách hiệu quả với ít sự giám sát của con người. Về mặt toán học có thể định nghĩa học chuyển giao như sau:
Định nghĩa học chuyển giao [87]: Cho 𝒟𝑆 là lĩnh vực học nguồn, 𝑇𝑆 là
một tác vụ học nguồn, 𝒟𝑇là lĩnh vực học đích, 𝑇𝑇 là một tác vụ học đích, trong đó 𝒟𝑆 ≠ 𝒟𝑇 hoặc 𝑇𝑆 ≠ 𝑇𝑇 . Học chuyển giao nhằm cải thiện hàm dự đoán đích
𝑓𝑇(∙) trong lĩnh vực 𝒟𝑇 sử dụng các tri thức trong 𝒟𝑆 và 𝑇𝑆
Trong định nghĩa 1 mỗi lĩnh vực được biểu diễn bằng một cặp 𝒟 = {𝑋, 𝑃(𝑥)}, điều kiện 𝒟𝑆 ≠ 𝒟𝑇 có nghĩa 𝑋𝑆 ≠ 𝑋𝑇 hoặc 𝑃(𝑥𝑆) ≠ 𝑃(𝑥𝑇) , tương tự mỗi tác vụ được 𝑇 = {𝑌, 𝑃(𝑦|𝑥)} và điều kiện 𝑇𝑆 ≠ 𝑇𝑇 có nghĩa 𝑌𝑆 ≠ 𝑌hoặc
𝑃(𝑦𝑆|𝑥𝑆) ≠ 𝑃(𝑦𝑇|𝑥𝑇).
Học chuyển giao trong các mô hình học sâu: Các mạng nơ-ron sâu dùng
đòi hỏi lượng dữ liệu huấn luyện lớn để chúng có thể tổng quát hóa tốt. Tuy nhiên, trong các tình huống thực tế, có một số lĩnh vực dữ liệu huấn luyện đầy đủ không có sẵn ví dụ như trong phân tích ảnh y tế, do đó việc chuyển tri thức từ lĩnh vực này sang lĩnh vực khác đã trở thành một kỹ thuật được sử dụng phổ biến trong các phương pháp học sâu. Ý tưởng đằng sau của các kỹ thuật học chuyển này là mặc dù tập dữ liệu ảnh lĩnh vực đích có thể khác với tập dữ liệu ảnh lĩnh vực nguồn, nhưng các đặc trưng mức thấp (ví dụ: góc cạnh, bề mặt, hình dáng, và các kết cấu của vật thể) là phổ biến cho hầu hết các tác vụ phân vùng ảnh. Do đó, chuyển giao các tham số (tức là trọng số của các mạng nơ-ron sâu) có thể coi là một tập hợp các đặc trưng mạnh giúp giảm nhu cầu về một tập dữ liệu huấn luyện được gán nhãn lớn cũng như rút ngăn thời gian huấn luyện và chi phí tính toán.
Với các mô hình học sâu các kỹ thuật học chuyển giao có thể được phân loại theo hai hướng tiếp cận sau: (1) trích rút đặc trưng (Feature-extraction) từ dữ liệu lĩnh vực nguồn sử dụng cho tác vụ ở lĩnh vực đích. (2) tinh chỉnh (fine- tuning) mạng tiền huấn luyện bằng dữ liệu lĩnh vực nguồn để thực hiện tác vụ ở lĩnh vực đích [81]
(1) Học chuyển giao theo cách tiếp cận trích rút các đặc trưng sử dụng cho các tác vụ ở lĩnh vực đích: Cách tiếp cận này sử dụng mô hình CNN được
huấn luyện tốt trên một tập dữ liệu lớn (ví dụ: ImageNet) làm công cụ trích xuất đặc trưng cho tác vụ của lĩnh vực đích.
Một số mạng CNN dựng sẵn (pre-trained CNN) phổ biến
Pre-trained CNN là một mạng nơ-ron tích chập dùng cho phân loại ảnh CNN được huấn luyện tốt trên một tập dữ liệu lớn (ví dụ: ImageNet) và bỏ đi lớp phân loại cuối để thành một bộ trích rút đặc trưng (feature extractor). Mô số mạng pre-trained CNN tiêu biểu có thể kể ra là: MobileNet [63], các mạng Resnet [25] và họ các mạng EfficientNets [80].
(2) Học chuyển giao theo cách tiếp cận tinh chỉnh trọng số mạng tiền huấn luyện để thực hiện tác vụ trên lĩnh vực đích: trong phương pháp này tác vụ nguồn, và tác vụ đích là giống nhau (ví dụ cùng là tác vụ phân vùng ngữ nghĩa ảnh), mạng tiền huấn luyện trên lĩnh vực nguồn được thay đổi và tinh chỉnh lại trên dữ liệu của lĩnh vực đích.