3 Học chuyển giao dựa trên đặc trưng
4.3 Học chuyển giao qua chính quy hóa
Trong phần này, chúng ta mô tả các vấn đề thiết lập học tập đa nhiệm, cũng như trình bày các trường hợp cụ thể của máy học đa tác vụ, tập trung vào các công thức đó là hấp dẫn cho sinh học tính toán. Từ góc độ lịch sử, học chuyển giao đa nhiệm dựa trên chính quy được dựa trên giảm thiểu rủi ro và các phương pháp học có giám sát như máy vec-tơ hỗ trợ (SVM) hoặc hồi quy logistic. Trong việc giảm thiểu rủi ro, chúng tôi nhắm đến việc tính toán một mô hìnhwbằng cách giảm thiểu một mục tiêuJ(w)
bao gồm một mất mát L ghi nhận lỗi liên quan đến dữ liệu huấn luyện(X, Y)vàΩlà trả giá về độ phức tạp của mô hình.
J(w) =L(w|X, Y) + Ω(w)
Phương pháp phổ biến Sau đây, chúng tôi biểu thị các mẫu đào tạo bởi (xi, yi), i = 1, . . . , n mỗi mẫu trong số đó được liên kết với một nhiệm vụτ(i) ∈1, . . . , T. Chúng tôi biểu thị tập hợp các chỉ số của các điểm đào tạo của nhiệm vụ thứ t bởiIt:=i∈1, . . . , n:τ(i) =t và số của chúng bằngnt:=It. Một
trong những công việc đầu tiên trên học đa nhiệm dựa trên chính quy là của Evgeniou và Pontil, trong đó tại thời điểm tối ưu hóa, tất cả các vectơ tham số được kéo theo hướng trung bìnhw=T1 PT
t=1wt,
ΩM T L(w1, ..., wT) = 1
2kwt−wk2
Lưu ý rằng tất cả các nhiệm vụ được xử lý như nhau trong công thức trên; tuy nhiên, chúng tôi thường được cung cấp thông tin tiên nghiệm rằng một số nhiệm vụ có liên quan nhiều hơn với nhau hơn những cái còn lại. Để xác định sự trả giá về sự khác biệt giữa các vectơ tham số tương ứng, ở trên cài đặt được mở rộng thành: ΩM T L(w1, ..., wT) =1 2 T X s=1 T X t=1 Astkws−wtk2
trong đó ma trận kềA= (Ast), thể hiện sự tương đồng về nhiệm vụ. Chúng ta có thể viết lại công thức trên bằng biểu đồ LaplaceL= (Lst),
ΩM T L(w1, ..., wT) = 1 2 T X s=1 T X t=1 LstwTswt trong đóL=D−A,Ds,t=δs,tP
kAs,k. Cuối cùng, nó có thể được chỉ ra rằng điều này làm phát sinh hạt nhân đa nhiệm ở dạng kép tương ứng:
K(x, s),(z, t) =Hst+KB(x, z)
trong đó KB là hạt nhân được xác định trên các mẫu và H+ = (Hst+) biểu thị nghịch đảo giả của
H :=I+L, trong đó I là ma trận danh tính. Một công thức liên quan chặt chẽ đã được sử dụng thành công trong bối cảnh tính toán Sinh học, trong đó một hạt nhân trong các nhiệm vụ KT được sử dụng thay vì giả nghịch đảo, làm phát sinh
K(x, s),(z, t) =KT(s, t)KB(x, z)
Lưu ý rằng không gian tính năng khớp tương ứng giữa tác vụtvà vectơ đặc trưng x có thể được viết dưới dạngφ(t, x) =φT(t) ˙φB(x).
Kết luận
Báo cáo đã trình bày khá đầy đủ về Học chuyển giao. Cụ thể:
Trình bày được các khái niệm cơ bản, các vấn đề trong học chuyển giao và ứng dụng của nó.
Trình bày được các hình thức học chuyển giao, bao gồm học chuyển giao dựa trên mẫu, học chuyểnn giao dựa trên đặc trưng và học chuyển giao dựa trên mô hình.
Học chuyển giao mang đến những mô hình mới với độ chính xác cao trong thời gian ngắn, hầu hết các mô hình dùng học chuyển giao được sử dụng trong các nghiên cứu về thị giác máy tính ( Computer Vision), chú trọng vào việc trích xuất các đặc trưng từ ảnh hoặc video một cách hiệu quả như một cách thay thế cho các phương pháp cũ (AKAZE, ORB, BRISK, . . . ) và kết hợp những ý tưởng mới để tận dụng cácđặc trưng này.
Học chuyển giao cũng được sử dụng rất nhiều trong xử lí ngôn ngữ tự nhiên ( Natural Language Processing). Trên thực tế thì: nếu thị giác máy tính dùng Convolutional Network để trích xuất các đặc trưng từ ảnh thì xử lí ngôn ngữ tự nhiên dùng Word Embeddings như một cách để trích xuất các đặc trưng từ các từ thành những ve tơ. Hiệu quả thực tiễn của Word Embeddings cao hơn hẳn one-hot encodings về khả năng biểu diễn thông tin.
Hướng mở rộng nghiên cứu, phát triển:
• Tìm hiểu và triển khai thêm các ứng dụng trong thị giác máy tính
• Tìm hiểu và triển khai thêm các ứng dụng trong xử lí ngôn ngữ tự nhiên
Báo cáo được thực hiện nhờ sự chỉ dẫn tận tình của thầy Lê Chí Ngọc cùng sự cố gắng của tất cả thành viên trong nhóm. Tuy nhiên, trong quá trình làm báo cáo khó tránh những sai sót, chúng em mong nhận được những ý kiến đóng góp của thầy để báo cáo được hoàn hiện hơn.
Tài liệu tham khảo
[1] Qiang Yang, Yu Zhang, Wenyuan Dai, Sinno Jialin Pan, Transfer Learning, Cambridge University Press.
[2] D. J. Sarkar, A comprehensive hands on guide to transfer learning with real world applications in deep learning, Access June 2019
[3] S. J. Pan and Q. Yang, A Survey on Transfer Learning, IEEE Transaction on Knowledge and Data Engineering, 2010