hỗ trợ quyết định học chuyển giao

TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI VIỆN TOÁN ỨNG DỤNG VÀ TIN HỌC ——————–o0o——————– Báo cáo cuối kì Hệ hỗ trợ định HỌC CHUYỂN GIAO Giảng viên hướng dẫn: Nhóm sinh viên thực hiện: TS Lê Chí Ngọc Nhóm Nguyễn Đình Minh 20162727 Lê Hồng Phượng 20163268 Lê Đình Lập 20162342 Đặng Thị Ngọc Linh 20162384 HÀ NỘI - 2020 Hệ hỗ trợ định Học chuyển giao Mục lục Lời nói đầu Giới thiệu 1.1 Khái niệm 1.1.1 AI, máy học học chuyển giao 1.1.2 Các vấn đề nghiên cứu học 1.2 Ứng dụng học chuyển giao 1.2.1 Hiểu hình ảnh 1.2.2 Tin sinh học hình ảnh sinh học 1.2.3 Hệ thống đề xuất lọc cộng tác 1.2.4 Robotics ô tô tự hành 1.2.5 NLP Khai thác văn 1.2.6 Ghi lịch sử chuyển giao 1 5 6 Học chuyển giao dựa mẫu 2.1 Giới thiệu 2.2 Phương pháp phi quy nạp 2.2.1 Phân biệt liệu nguồn đích 2.2.2 Phương pháp nhân phù hợp 2.3 Phương pháp quy nạp 2.3.1 Tích hợp miền nguồn tổn thất 2.3.2 Phương pháp Boosting-Style 2.3.3 Phương pháp tạo hệ miền 8 10 10 11 11 13 14 15 15 16 16 18 19 19 20 21 21 22 đích Học chuyển giao dựa đặc trưng 3.1 Giới thiệu 3.2 Sai lệch tối thiểu miền 3.2.1 Sai lệch trung bình tối đa 3.2.2 Khoảng cách Bregman dựa Regularization 3.2.3 Đo lường với giả định phân phối cụ thể 3.2.4 Đo lường chênh lệch miền phụ thuộc liệu 3.3 Tìm hiểu đặc trưng phổ biến 3.3.1 Học mã hóa universal 3.3.2 Đặc trưng universal sâu 3.4 Đặc trưng tăng cường Nhóm Toán Tin K61 ĐHBKHN Hệ hỗ trợ định Học dựa mơ hình 4.1 Giới thiệu 4.2 Chuyển giao qua thành phần chung 4.2.1 Học chuyển giao thơng qua q trình Gauss 4.2.2 Chuyển giao thơng qua mơ hình Bayes 4.3 Học chuyển giao qua quy hóa Học chuyển giao 24 24 25 26 27 27 Kết luận 29 Tài liệu tham khảo 30 Nhóm Tốn Tin K61 ĐHBKHN Hệ hỗ trợ định Học chuyển giao Lời nói đầu Ngày nay,cùng với phát triển kinh tế xã hội, khơng phủ nhận vai trị đặc biệt AI tiến cơng nghệ đại AI có mặt lĩnh vực từ y tế,ngân hàng tới giải trí Ngày đa phần cơng việc máy móc, phần mềm hay quy trình tự động hóa đảm trách Do đó,máy học phát triển từ mơn học tối nghĩa thành lực lượng cơng nghiệp thống việc tự động hóa định từ thương mại trưc tuyến hướng đến giáo dục, chăm sóc sức khỏe Mặc dù mơ hình máy học thực để có chất lượng cao mắc lỗi, đặc biệt mơ hình áp dụng cho kịch khác từ mơi trường đào tạo Điều dẫn đến hiệu suất giảm cho thấy mơ hình bị lỗi thời cần cập nhật có tình xảy Cần phải cập nhật chuyển mơ hình từ kịch sang kịch khác vô quan trọng Bài báo cáo nghiên cứu nội dung Học chuyển giao Nội dung báo cáo trình bày phần Phần 1: Giới thiệu : Giới thiệu khái quát học chuyển giao bao gồm khái niệm, vấn đề nghiên cứu bản, ứng dụng học chuyển giao Phần 2: Học chuyển giao dựa mẫu: Giới thiệu phương pháp học chuyển giao dựa mẫu Phần 3: Học chuyển giao dựa đặc trưng: Giới thiệu học chuyển giao dựa đặc trưng, sai lệch tối thiểu miền tìm hiểu đặc trưng phổ biến Phần 4: Học chuyển giao dựa mơ hình: Giới thiệu học chuyển giao dựa mơ hình chuyển giao qua thành phần chung Trong trình thực báo cáo với giúp đỡ, bảo tận tình thầy Lê Chí Ngọc, nhóm chúng em có hiểu biết Học chuyển giao Q trình làm báo cáo khơng thể tránh khỏi sai sót, chúng em nhận đóng góp từ thầy để báo cáo hồn thiện Chúng em xin chân thành cảm ơn Nhóm Tốn Tin K61 ĐHBKHN Hệ hỗ trợ định Học chuyển giao Chương Giới thiệu 1.1 1.1.1 Khái niệm AI, máy học học chuyển giao AI tầm nhìn Alan Turing khởi xướng anh đặt câu hỏi tiếng: "Máy móc có nghĩ khơng?" Câu hỏi thúc đẩy hệ nhà nghiên cứu khám phá cách để khiến máy móc hoạt động thông minh Trong suốt lịch sử gần đây, Al trải qua nhiều thăng trầm, phần lớn số phát triển xung quanh câu hỏi thường gặp cách máy móc thu nhận kiến thức từ giới bên ngồi Nỗ lực làm cho máy móc nghĩ người chặng đường dài, từ sở tri thức giống quy tắc bắt buộc học máy từ liệu Do đó, máy học phát triển từ mơn học tối nghĩa thành lực lượng cơng nghiệp thống việc tự động hóa định từ thương mại trực tuyến hướng đến giáo dục chăm sóc sức khỏe Học máy trở thành công nghệ chung cho giới nhờ khả mạnh mẽ để cung cấp kiến thức cho máy móc cách cho phép chúng học thích nghi thông qua liệu dán nhãn không nhãn Máy học tạo mơ hình dự đốn từ liệu, thường yêu cầu liệu xác định rõ ràng giáo viên dạy liệu để giúp điều chỉnh mơ hình thống kê Các mẫu liệu ví dụ đào tạo thường "dán nhãn", điều có nghĩa quan sát kết dự đoán cung liệu đào tạo kết hợp tương quan Các ví dụ sau sử dụng làm "giáo viên" thuật toán máy học để "đào tạo" mơ hình áp dụng cho liệu Người ta tìm thấy nhiều ví dụ minh họa học máy giới thực Một ví dụ lĩnh vực nhận dạng khn mặt phân tích hình ảnh dựa máy tính Giả sử chúng tơi thu kho ảnh lớn chụp nhà Sau đó, hệ thống máy học sử dụng liệu để huấn luyện mơ hình báo cáo xem ảnh có tương ứng với người xuất nhóm hay khơng Một ứng dụng mơ hình hệ thống an ninh cổng cho tịa nhà, nhiệm vụ xác định xem khách truy cập có phải nhân viên tổ chức hay khơng Mặc dù mơ hình máy học thực để có chất lượng cao, mắc lỗi, đặc biệt mơ hình áp dụng cho kịch khác từ môi trường đào tạo Ví dụ: ảnh chụp từ mơi trường ngồi trời với cường độ ánh sáng mức độ nhiễu khác bóng, ánh sáng từ thiên thần khác tắc nghẽn người qua đường, khả nhận dạng hệ thống giảm mạnh Điều mơ hình đào tạo hệ thống máy học Nhóm Tốn Tin K61 ĐHBKHN Hệ hỗ trợ định Học chuyển giao áp dụng cho kịch "khác" Hiệu suất giảm cho thấy mơ hình bị lỗi thời cần cập nhật có tình xảy Cần phải cập nhật chuyển mô hình từ kịch sang kịch khác có tầm quan trọng Nhu cầu học chuyển giao khơng giới hạn việc hiểu hình ảnh Một ví dụ khác hiểu tin nhắn văn Twitter kỹ thuật xử lý ngôn ngữ tự nhiên (NLP) Giả sử muốn phân loại tin nhắn Twitter thành tâm trạng người dùng khác vui hay buồn theo nội dung Khi mơ hình xây dựng cách sử dụng tập hợp thơng điệp Twitter sau áp dụng cho liệu mới, hiệu suất giảm đáng kể cộng đồng người khác đưa ý kiến khác Điều xảy có thiếu niên nhóm trưởng thành nhóm khác Như ví dụ trước chứng minh, thách thức lớn việc thực hành học tập nhiều ứng dụng mơ hình khơng hoạt động tốt lĩnh vực nhiệm vụ Lý chúng khơng hoạt động tốt nhiều lý do: thiếu liệu đào tạo thách thức liệu nhỏ, thay đổi hệ thống thay đổi nhiệm vụ Ví dụ, tình mới, liệu đào tạo chất lượng cao bị thiếu hụt không thường lấy để đào tạo lại mơ hình, trường hợp chẩn đốn y khoa liệu hình ảnh y tế Mơ hình học máy khơng thể làm tốt khơng có đủ liệu đào tạo Thu thập ghi nhãn liệu thường tốn nhiều công sức tài nguyên miền ứng dụng mới, trở ngại lớn việc thực hóa Al giới thực Có hệ thống AI thiết kế tốt mà không cần liệu đào tạo cần thiết giống có xe thể thao mà không cần lượng Cuộc thảo luận nêu bật rào cản lớn việc đưa máy học vào giới thực tế: thu thập số lượng lớn liệu miền trước áp dụng học máy Ở chúng tơi tóm tắt số lý để phát triển phương pháp học chuyển giao sau: Nhiều ứng dụng có liệu nhỏ: thành cơng việc học máy phụ thuộc vào sẵn có lượng lớn liệu dán nhãn Tuy nhiên, liệu dán nhãn chất lượng cao thường bị thiếu Các phương pháp học máy truyền thống thường khái quát tốt cho kịch mới, dẫn đến tượng “overfitting” thất bại nhiều trường hợp Các mơ hình học máy cần phải mạnh mẽ: học máy truyền thống gồm mười người đưa giả định liệu đào tạo kiểm tra rút từ phân phối Tuy nhiên, giả định mạnh để nắm giữ nhiều kịch thực tế Trong nhiều trường hợp, phân phối thay đổi theo thời gian không gian khác tình huống, chúng tơi khơng có quyền truy cập vào liệu đào tạo để phân phối thử nghiệm Trong tình khác với liệu huấn luyện, mơ hình đào tạo cần điều chỉnh trước chúng sử dụng Cá nhân hóa chun mơn hóa vấn đề quan trọng điều quan trọng cung cấp dịch vụ cá nhân hóa cho người dùng theo thị hiếu nhu cầu cá nhân Trong nhiều ứng dụng giới thực, chúng tơi thu thập liệu cá nhân từ người dùng cá nhân Kết là, phương pháp nghiêng máy truyền thống bị vấn đề khởi động lạnh cố gắng thích ứng mơ hình chung với tình cụ thể Quyền riêng tư bảo mật liệu người dùng vấn đề quan trọng: thường ứng dụng chúng tôi, phải làm việc với tổ chức khác cách tận dụng nhiều liệu Thông thường liệu có chủ sở hữu khác tiết lộ cho quyền riêng tư bảo mật Khi xây dựng mơ hình nhau, chúng tơi mong muốn trích xuất "bản chất" liệu điều chỉnh chúng việc xây dựng mơ hình Ví dụ: điều chỉnh mơ hình chung "cạnh" mạng thiết bị, liệu lưu trữ thiết bị không cần phải tải lên để nâng cao mơ hình chung, đó, đảm bảo quyền riêng tư thiết bị cạnh Các mục tiêu cho hệ thống thông minh thúc đẩy phát triển học chuyển, Tóm lại, chuyển giao liên quan đến mơ hình học máy thuật tốn trích xuất kiến thức từ nhiều bối Nhóm Tốn Tin K61 ĐHBKHN Hệ hỗ trợ định Học chuyển giao cảnh ứng dụng để giúp tăng hiệu suất học tập kịch mục tiêu So với học máy thơng thường, địi hỏi lượng lớn liệu đào tạo xác định rõ làm đầu vào, học chuyển hiểu mơ hình học tập mới, phần cịn lại sách đề cập chi tiết Học chuyển giao động lực để giải gọi cố thưa thớt liệu vấn đề bắt đầu lạnh nhiều quy mô lớn ứng dụng (ví dụ, liệu xếp hạng người dùng gắn nhãn hệ thống khuyến nghị trực tuyến q phép hệ thống trực tuyến xây dựng mức cao hệ thống giới thiệu chất lượng) Học chuyển giúp thúc đẩy Al lĩnh vực ứng dụng phát triển, khu vực địa lý phát triển mặt kỹ thuật khơng có nhiều liệu cung cấp lĩnh vực Ví dụ: giả sử chúng tơi muốn xây dựng hệ thống giới thiệu sách ứng dụng mua sắm trực tuyến Giả sử tên miền sách mới, chúng tơi khơng có nhiều giao dịch ghi lại tài liệu Nếu chúng tơi tn theo phương pháp rút gọn có giám sát Khi xây dựng mơ hình dự đốn sử dụng liệu đào tạo không đủ miền mới, chúng tơi khơng thể có mơ hình dự đoán đáng tin cậy cho lần mua người dùng Tuy nhiên, với việc học chuyển, người ta tìm đến miền liên quan, phát triển tốt khác để giúp đỡ, chẳng hạn miền đề xuất phim có Khai thác kỹ thuật học chuyển, người ta tìm thấy tương đồng khác biệt sách lĩnh vực phim Ví dụ, số tác giả biến sách họ thành phim phim sách thu hút nhóm người dùng tương tự Nhận thấy điểm tương đồng Định nghĩa 1.1.1 (Học chuyển giao) Cho miền nguồn Ds nhiệm vụ học Ts , miền mục tiêu Dt nhiệm vụ học Tt , học chuyển giao nhằm cải thiện việc học hàm dự đoán mục tiêu ft (.) cho miền đích sử dụng kiến thức Ds Ts với Ds = Dt Ts = Tt Một trình học chuyển giao minh họa Hình 1.1 Quá trình bên trái tương ứng với trình học máy truyền thống Quá trình bên phải tương ứng với trình học chuyển Như thấy, học chuyển giao không sử dụng liệu miền nhiệm vụ đích làm đầu vào cho học thuật, mà cịn cho trình học tập miền nguồn, bao gồm liệu đào tạo, mơ hình Nhóm Tốn Tin K61 ĐHBKHN Hệ hỗ trợ định Học chuyển giao mơ tả nhiệm vụ Hình cho thấy khái niệm học chuyển: cho thấy thiếu hụt vấn đề liệu đào tạo mục tiêu với nhiều kiến thức thu từ miền nguồn Vì miền chứa thành phần D = X, P x điều kiện Ds = Dt nghiã Xs = Xt PsX = PTX Tương tự tác vụ định nghĩa cặp thành phần T = Y, P Y /X điều kiện Ts = Tt nghĩa Ys = Yt P Ys /Xs = P Yt /Xt Khi miền đích miền nguồn giống nghĩa Ds = Dt nhiệm vụ học nhau, Ts = Tt , vấn đề học trở thành học truyền thống Định nghĩa 1.1.2 (Học chuyển giao đồng nhất) Cho miền nguồn Ds nhiệm vụ học Ts , miền mục tiêu Dt nhiệm vụ học Tt , học chuyển giao đồng nhằm cải thiện việc học hàm dự đoán mục tiêu ft (.) cho Dt sử dụng kiến thức Ds Ts với Xs ∩ Xt = ∅ Ys = Yt PsX = PtX P Ys /Xs = P Yt /Xt Định nghĩa 1.1.3 Học chuyển giao không đồng nhất) Cho miền nguồn Ds nhiệm vụ học Ts , miền mục tiêu Dt nhiệm vụ học tập Tt , học tập chuyển giao khơng đồng nhằm mục đích giúp cải thiện việc học chức dự đoán mục tiêu ft (.) cho Dt sử dụng kiến thức Ds Ts , Xs ∩ Xt = ∅ Ys = Yt Học chuyển giao bao gồm: học chuyển giao bán giám sát, học chuyển giao có giám sát học chuyển giao khơng giám sát.Trong học chuyển giao có giám sát, có liệu dán nhãn có sẵn miền mục tiêu để đào tạo không sử dụng liệu không phép để đào tạo Đối với việc học chuyển khơng giám sát, có liệu khơng cung cấp miền đích Trong học chuyển giao bán giám sát, liệu chưa gắn nhãn vài liệu dán nhãn cho có sẵn miền đích 1.1.2 Các vấn đề nghiên cứu học chuyển giao Có ba vấn đề nghiên cứu học chuyển, có tên "chuyển gì", "cách chuyển" "khi cần chuyển" Vì mục đích việc học chuyển chuyển kiến thức qua miền khác nhau, câu hỏi hỏi kiến thức miền chuyển để tăng hiệu suất khái qt hóa miền đích, gọi "chuyển gì" vấn đề Sau xác định kiến thức chuyển, câu hỏi làm để mã hóa kiến thức thành thuật toán học để chuyển, tương ứng với vấn đề "làm để chuyển" Vấn đề "khi cần chuyển" hỏi xem trường hợp việc học chuyển nên thực thực cách an toàn Một câu hỏi nghiên cứu đằng sau ba vấn đề làm để đo "khoảng cách" cặp miền nhiệm vụ Với thước đo khoảng cách miền tác vụ, người ta xác định kiến thức phổ biến tác vụ sử dụng để giảm khoảng cách miền tác vụ, nghĩa chuyển tìm cách giảm khoảng cách miền tác vụ dựa xác định kiến thức chung, nghĩa làm để chuyển Hơn nữa, với thước đo khoảng cách miền tác vụ, người ta xác định cách hợp lý "khi cần chuyển": khoảng cách lớn, không nên tiến hành học chuyển Do đó, câu hỏi là: khái niệm đo khoảng cách nên dạng nào? Theo truyền thống, có nhiều loại biện pháp thống kê khác cho khoảng cách hai phân phối xác suất Các biện pháp điển hình số bao gồm phân kỳ Kulback-Leibler, khoảng cách A (đo khoảng cách chính) chênh lệch trung bình tối đa (MMD), để đặt tên cho số Hãy nhớ lại miền chứa hai thành phần: không gian đặc trưng phân phối khả thăm dò cận biên tác vụ chứa hai thành phần: không gian nhãn phân phối xác suất có điều kiện Do đó, biện pháp thống kê khoảng cách phân phối xác suất sử dụng để đo lường khác biệt miền tác vụ cách giả sử Nhóm Tốn Tin K61 ĐHBKHN Hệ hỗ trợ định Học chuyển giao miền nguồn (tác vụ) miền đích (tác vụ) chia sẻ khơng gian tính (nhãn) Tuy nhiên, có số hạn chế việc sử dụng biện pháp khoảng cách thống kê cho việc học chuyển Đầu tiên, người tìm kiếm lại thấy biện pháp khoảng cách dựa phân phối chung thường q thơ để phục vụ mục đích tốt việc đo khoảng cách độ xuyên sáng hai miền tác vụ Thứ hai, miền có khơng gian tính / khơng gian nhãn khác nhau, trước tiên người ta phải chiếu liệu lên tính / khơng gian nhãn, sau áp dụng thước đo khoảng cách thống kê bước Do đó, cần có nhiều nghiên cứu khái niệm chung khoảng cách hai miền nhiệm vụ 1.2 1.2.1 Ứng dụng học chuyển giao Hiểu hình ảnh Nhiều nhiệm vụ hiểu hình ảnh từ nhận dạng đối tượng đến nhận dạng hoạt động xem xét Thơng thường, tác vụ thị giác máy tính yêu cầu nhiều liệu yêu cầu để huấn luyện mơ hình, chẳng hạn sử dụng liệu ImageNet tiếng Tuy nhiên, tình thị giác máy tính thay đổi chút, chẳng hạn thay đổi từ nhà trời từ máy ảnh tĩnh sang máy ảnh chuyển động, mơ hình cần phải điều chỉnh để tính tốn cho tình Học chuyển kỹ thuật thường sử dụng để giải vấn đề thích ứng Trong phân tích hình ảnh, nhiều cơng trình gần kết hợp kiến trúc leaming sâu với học chuyển Ví dụ, Long et al (2015) khám phá kiến trúc học tập sâu khoảng cách miền giảm thiểu miền nguồn miền đích Trong báo xuất Facebook (Mahajan et al., 2018), Mahajan et al áp dụng học chuyển sang phân loại hình ảnh Cách tiếp cận liên quan đến việc đào tạo mơ hình học tập sâu dựa liệu hình ảnh lớn Mơ hình xử lý trước sau tinh chỉnh cho tác vụ cụ thể miền đích, bao gồm lượng nhỏ liệu dán nhãn tương đối Mơ hình mạng lưới tích chập sâu đào tạo cho nhiệm vụ phân loại dựa hashtag gán cho hàng tỷ xã hội hình ảnh phương tiện, nhiệm vụ mục tiêu nhận dạng đối tượng phân loại hình ảnh Phân tích họ cho thấy điều quan trọng vừa tăng kích thước tập liệu tiền xử lý chọn không gian nhãn liên quan chặt chẽ tác vụ nguồn đích Quan sát cho thấy việc học chuyển giao đòi hỏi phải thiết kế phương pháp "kỹ thuật không gian nhãn" để phù hợp với nhiệm vụ học tập nguồn đích Cơng việc họ cho thấy cải tiến nhiệm vụ mục tiêu đạt cách tăng độ phức tạp mơ hình nguồn kích thước tập liệu Học chuyển cho phép phân tích hình ảnh đóng vai trị quan trọng ứng dụng có tác động xã hội lớn Trong cơng việc Xie et al (2016), tác giả từ Khoa học Trái đất Đại học Stanford áp dụng học tập chuyển giao để dự đoán tỷ lệ nghèo trái đất dựa hình ảnh vệ tinh Đầu tiên, họ sử dụng hình ảnh ban ngày để dự đốn hình ảnh ánh sáng ban đêm Mơ hình kết sau chuyển sang dự đốn nghèo Điều dẫn đến mơ hình dự đốn xác địi hỏi nỗ lực ghi nhãn người nhiều so với phương pháp dựa khảo sát truyền thống 1.2.2 Tin sinh học hình ảnh sinh học Trong sinh học, nhiều thí nghiệm tốn liệu Các ví dụ bao gồm hình ảnh sinh học bác sĩ cố gắng sử dụng máy tính để phát bệnh tiềm ẩn mơ hình phần mềm sử dụng để quét chuỗi DNA protein phức tạp để tìm mẫu để bệnh phương pháp chữa trị cụ thể Học chuyển sử dụng cách hiệu để giúp tận dụng kiến thức từ miền sang miền khác để giải khó khăn mà liệu dán nhãn sinh học tốn Ví dụ, Xu Yang (2011) đưa khảo sát sớm học chuyển học đa nhiệm ứng dụng tin sinh học, Xu et al (2011) trình bày quy trình tìm hiểu chuyển giao để xác định cấu trúc tế bào protein miền mục tiêu nơi liệu dán nhãn bị thiếu Trong phân tích hình ảnh y sinh, Nhóm Tốn Tin K61 ĐHBKHN Hệ hỗ trợ định Học chuyển giao vấn đề khó khăn thu thập đủ liệu đào tạo để đào tạo mơ hình xác định mẫu hình ảnh định bệnh ung thư Nhận dạng đòi hỏi lượng lớn liệu đào tạo Tuy nhiên, liệu thường tốn để có chúng đòi hỏi chuyên gia nhân lực tốn để dán nhãn Hơn nữa, liệu cho mơ hình sàng lọc trước mơ hình tương lai thường từ phân phối khác Những vấn đề truyền cảm hứng cho nhiều công trình nghiên cứu để áp dụng học tập chuyển đổi để thích ứng mơ hình dự phịng nhiệm vụ Ví dụ, tác phẩm Shin et al (2016), mơ hình xử lý trước dựa liệu ImageNet mơ hình miền nguồn, sau chuyển giaođể sử dụng lĩnh vực hình ảnh y tế để phát hạch bạch huyết ngực phân loại bệnh phổi kẽ, với thành công lớn 1.2.3 Hệ thống đề xuất lọc cộng tác Thông thường, hệ thống đề xuất sản phẩm trực tuyến khó thiết lập cố khởi động nguội Vấn đề giảm bớt phát tương đồng tên miền điều chỉnh mơ hình đề xuất từ miền xác sang miền Điều thường tiết kiệm thời gian tài nguyên khiến cho nhiệm vụ khơng thể thành cơng Ví dụ, Li et al (2009b) Pan et al (2010b) cung cấp cho tài khoản sớm việc áp dụng học chuyển đổi cho việc sửa đổi trực tuyến Trong ứng dụng họ, hệ thống đề xuất tên miền chéo chuyển mơ hình tùy chọn người dùng từ miền có (giả sử, miền giới thiệu sách) sang miền (giả sử, miền khuyến nghị phim) Kịch tương ứng với trường hợp kinh doanh trang web thương mại trực tuyến mở ngành kinh doanh mong muốn nhanh chóng triển khai mơ hình đề xuất cho hoạt động ngành kinh doanh Để làm vậy, phải khắc phục vấn đề thiếu liệu giao dịch ngành nghề kinh doanh Một dịng cơng việc khác tích hợp hệ thống học tập đề xuất củng cố phép mục khuyến nghị vừa xác theo lịch sử vừa qua người dùng đa dạng để làm phong phú thêm lợi ích người dùng Lấy ví dụ, Liu et al (2018) trình bày thuật tốn tên cướp cân độ xác đề xuất chủ đềGiới thiệu đa dạng, phép hệ thống khám phá chủ đề phục vụ cho lựa chọn gần người dùng Liên quan đến học tập chuyển giao, cơng trình cho thấy chiến lược khuyến nghị việc cân thăm dò khai thác thực chuyển giao hai lĩnh vực 1.2.4 Robotics ô tô tự hành Trong việc thiết kế robot ô tô tự trị, học từ mô phương pháp hữu ích đặc biệt Đây ví dụ tương tác phần cứng, tốn để thu thập liệu dán nhãn để đào tạo mô hình học tập củng cố mơ hình học tập siêu thị Taylor Stone (2007) mô tả cách học chuyển giao giúp cách cho phép nhà nghiên cứu xây dựng mơ hình mơ miền lý tưởng nhiều, miền nguồn sau tìm hiểu sách để đối phó với kiện dự đốn miền đích Mơ hình miền đích xử lý nhiều trường hợp giới thực để xử lý thêm liệu ồn khó lường Khi mơ-đun thích nghi tốt, nhiều lao động nhiều tài nguyên lưu từ việc đào tạo lại mơ hình miền đích Trong tác phẩm Tai et al (2017), công cụ lập kế hoạch chuyển động khơng có đồ thiết kế dựa kết phạm vi thưa thớt mười chiều đào tạo thuật toán học tăng cường sâu từ đầu đến cuối Sau đó, người lập kế hoạch học chuyển sang giới thực cách khái qt hóa thơng qua mẫu giới thực 1.2.5 NLP Khai thác văn Khai thác văn ứng dụng tốt cho thuật toán học chuyển Khai thác văn nhằm mục đích khám phá kiến thức cấu trúc hữu ích từ văn áp dụng cho mục đích khác Trong số tất vấn đề khai thác văn bản, phân loại văn nhằm mục đích gắn nhãn tài liệu văn với Nhóm 6 Tốn Tin K61 ĐHBKHN Hệ hỗ trợ định Học chuyển giao cao tất miền Loại thứ ba phương pháp tiếp cận dựa “đặc trưng mở rộng” miền, tìm cách mở rộng không gian đặc trưng cách xem xét mối tương quan học từ liệu 3.2 Sai lệch tối thiểu miền Trong nhiều ứng dụng thực tế, thực thể có số chiều liệu quan sát lớn thường điều khiển tập yếu tố thành phần tiềm ẩn miền Những yếu tố tiềm ẩn gọi đặc trưng Sự khác biệt miền tập đặc trưng gây sử dụng chúng để làm thực thể liệu đại diện cho miền, sau dùng để huấn luyện phân lớp xác miền đích từ lieju huấn luyện miền liệu nguồn với đặc trưng đại diện Vì vậy, làm tìm hiểu đặc trưng bất biến miền làm có để học cách ánh xạ đặc trưng miền,{ϕs (.), ϕt (.)}, để ánh xạ thực thể miền khác vào không gian chung đặc trưng bất biến miền, tiêu chí để học chuyển giao dựa đặc trưng Một vấn đề nghiên cứu việc tìm hiểu đặc trưng bất biến miền làm để đo “ tính bất biến miền” Cho đến nay, số tiêu trí đề xuất để đo lường tính bất biến miền việc học đặc trưng, nghiên cứu, trình bày phần sau 3.2.1 Sai lệch trung bình tối đa Sai lệch trung bình tối đa (MMD) tiêu trí khơng tham số để đo khoảng cách phân phối dựa kernel embedding tái tạo kernel không gian Hilbert Lấy hai miền mẫu Xs (miền nguồn) Xt (miền đích), rút hai phân phối tương ứng, khoảng cách MMD ước lượng theo kinh nghiệm sau: n 1 s (3.1) φ(xsi ) − φ(xti ) , M M D(Xs , Xt ) = ns i=1 n H Trong đó, φ(x) ánh xạ thực thể vào khơng gian Hilbert H liên kết với kernel k(xi , xj ) = φ(xi )T φ(xj ) ns , nt kích thước mẫu miền nguồn miền đích tương ứng Bằng cách sử dụng kernel trich, khoảng cách MMD (3.1) đơn giản hóa sau: M M D(Xs , Xt ) = tr(KL) (3.2) Ks,s Ks,t ∈ R(ns +nT )×(ns +nT ) ma trận hợp ma trận kernel Ks,s , Kt,t Ks,t T Ks,t Kt,t tương ứng nguồn, miền đích, hai miền ma trận L với thành phần thứ (i,j) định  miền xi , xj ∈ Xs   n2s xi , xj ∈ Xt nghĩa li,j = n2   − t trường hợp lại ns nt K= MMD Embedding Với khồng cách MMD, có thuật tốn giảm chiều liệu MMD Embedding (MMDE) cho học chuyển giao, dựa ý tưởng xây dựng sau: M M D(ϕ(XS ), ϕ(XT )) + λΩ(ϕ) ϕ (3.3) với điều kiện ràng buộc cho ϕ(XS ) ϕ(XT ), ϕ ánh xạ cần học, ánh xạ liệu gốc vào khơng gian có số chiều thấp thông qua miền Số hạng cơng thức (3.3) mục đích để cực tiểu khoảng cách MMD Nhóm 16 Tốn Tin K61 ĐHBKHN Hệ hỗ trợ định Học chuyển giao phân phối miền liệu nguồn miền liệu đích, Ω(ϕ) số hạng quy ánh xạ ϕ ràng buộc để đảm bảo tính chất liệu gốc bảo toàn Dựa định nghĩa khoảng cách MMD, (3.3) viết lại sau: tr(KL) + λΩ(ϕ) (3.4) ϕ với điều kiện ràng buộc ϕ(XS ) ϕ(XT ), K ma trận kernel chứa hàm kernel k(xi , xj ) = ψ(xi )T ψ(xj ), ψ(.) định nghĩa ψ(x) = φ(ϕ(x)) ψ = φϕ Tối ưu hóa (3.4) tính tốn hàm kernel k(xj , xj ) hàm phi tuyến ánh xạ ϕ(.), không xác định dùng để học Để làm cho tính tốn được, Pan et al (2008b) đề xuất trước tiên chuyển đổi tối ưu hóa (3.4) cho toán học ma trận kernel sau: tr(KL) − λtr(K) K≥0 (3.5) với điều kiện Ki,i + Kj,j − 2Ki,j = d2ij , K1 = 0, λ tham số quy Số hạng hàm mục tiêu (3.5) để cực tiểu khoảng cách MMD miền liệu nguồn miền liệu đích đề xuất, số hạng thứ hai dùng để tối đa hóa ma trận trace K nhằm mục đích trì thay đổi không gian đặc trưng thay đổi màu trải dài tối đa (MVU) (Weinberger, 2004) Ràng buộc trì cặp khoảng cách ràng buộc thứ hai đảm bảo liệu nhúng (embedded) đặt vào trung tâm Sau giải (3.5), phân tích thành phần (PCA) ứng dụng vào K để lấy vec tơ đặc trưng để tái cấu trúc mong muốn ánh xạ miền liệu nguồn miền liệu đích Một nhược điểm MMDE phương pháp học chuyển đổi, khái quát cho tất mẫu liệu Hơn nữa, tốn tối ưu hóa (3.5) tốn semi-definite programming (SDP), cần tính tốn tốn để giải Phân tích thành phần chuyển đổi Để khắc phục hạn chế MMDE, phân tích thành phần chuyển đổi (TCA) đề xuất Pan (2010) cách sử dụng kernel thực nghiệm sử dụng ma trận kernel từ đầu Cụ thể, TCA, ma trận kernel MMDE tách K = KW W T KL + λtr(W T W ) W (3.6) điều kiện W T KH KW = I llT ma trận trung tâm Tương tự với MMDE, số hạng biểu H = In1 +n2 − n1 +n thức để cực tiểu hóa khoảng cách MMD miền liệu nguồn miền liệu đích Số hạng thứ hai số hạng quy W Ràng buộc dùng để tối đa hóa phương sai liệu sau chiếu Nó dễ để tối ưu hóa phương pháp giải cho ta nghiệm đóng, ràng buộc W m vec tơ đầu (KLK + λI)−1 KH K So sánh với MMDE, TCA tránh giải tốn SDP hiệu Hơn nào, TCA dễ dàng xử lí trực tiếp liệu ngồi mẫu Bên cạnh đó, thay có hai bước MMDE, học ma trận kerel sau tiến hành PCA để thu liệu định dạng, TCA đạt liệu chuyển đổi với việc sử dụng W giai đoạn Kiến trúc sâu với MMD Trong nội dung học sâu, nhà nghiên cứu đề xuất sử dụng mạng nơ-ron để tiếp cận việc ánh xạ đặc trưng φ(.) chứa hàm kernel Ví dụ, Tzeng et al (2014) đề xuất mã hóa MMD để đo khoảng cách Nhóm 17 Toán Tin K61 ĐHBKHN Hệ hỗ trợ định Học chuyển giao đặc trưng ẩn học mạng nơ-ron tích chập (CNN) Theo cách này, mạng tự động học đại diện miền chéo cách tối đa hóa phụ thuộc vào nhãn có giảm thiểu bất biến miền Kiến trúc sâu minh họa hình (3.1) liệu đầu vào xS ∈ XS từ miền nguồn xT ∈ XT từ miền đích chuyển đổi vài tầng CNN Sự chuyển đổi với tầng xem cách tiếp cận ψ(.) MMDE Hình 3.1: CNN sâu cho phân loại bất biến miền, đường đứt nét có nghĩa số Tiếp nối công việc, Long (2015) đề xuất đa kernel MMD (MK-MMD) thay để tính toán khoảng cách MMD đo lường phân tán miền mơ hình học sâu Ý tưởng sử dụng nhiều kernel bán xác định dương để tính tốn khồng cách MMD, cho cung cấp thước đo khoảng cách linh hoạt mạnh mẽ cho mạng nơ-ron để học biểu diễn đặc trưng miền Để đưa thông tin nhãn vào đo khác biệt miền, Long et al (2017) đề xuất phân phối chênh lệch đồng thời phân phối đồng thời P (XS , YS ) từ miền nguồn P (XT , YT ) từ miền đích Kiến trúc mạng tương thích với kết thể hình (3.2) Như thấy hình, khơng tầng ẩn cuối cùng, mà tất lớp kết nối đầy đủ lớp đầu tham gia vào việc tính tốn tiêu chí JDD JAN 3.2.2 Khoảng cách Bregman dựa Regularization Bên cạnh việc sử dụng khoảng cách MMD để đo bất biến miền, Si (2010) đề xuất không gian chuyển đổi dựa khoảng cách Bregman regularization Hàm mục tiêu đề xuất xây dựng sau: F (ϕ) + λDw (ϕ(XS ) ϕ(Xt )), (3.7) ϕ Trong F (ϕ) định nghĩa mục tiêu cụ thể, ví dụ giảm thiểu lỗi phân loại Dw (φ(XS ) φ(Xt )) khoảng cách Bregman φ(XS ) φ(Xt ) Cho hàm ánh xạ U, đạo hàm cấp U’ nghịch đảo ξ = (U )−1 , khoảng cách Bregman định nghĩa là: DW (φ(XS ) φ(Xt )) = Nhóm φ(x) d(ξ(PS 18 φ(x) ), ξ(Pt ))dµ, Tốn Tin K61 ĐHBKHN Hệ hỗ trợ định Học chuyển giao Hình 3.2: Kiến trúc JAN (phỏng theo Long (2017) dựa vào AlexNet) đó: φ(x) d[ξ(PS φ(x) ], ξ[Pt φ(x) )] = {U [ξ(Pt φ(x) ] − U [ξ(Pt φ(XS ) )]} − PS φ(x) [ξ(PS φ(x) ) − ξ(Pt )], với dµ thước đo Lebesgue φ(x) mật độ xác suất miền nguồn miền đíhc khơng φ(x) φ(x) gian chiếu kí hiệu PS PT tương ứng 3.2.3 Đo lường với giả định phân phối cụ thể Bằng cách giả sử liệu tuân theo phân phối Gauss, Castrejon (2016) điều tra sử dụng thông tin thống kê hoạt động đặc trưng để học đại diện cross-modal scene học chuyển giao Phương pháp đề xuất cross-modal CNNs cho ảnh với kiểu khác multi layer preceptron (MLP) cho mơ hình ngơn ngữ họ có đại diện chia sẻ bất khả thi phương thứ Hơn nữa, phương pháp đề xuất giới thiệu regularization term kích hoạt để khuyến khích họ có số liệu thống kê tương tự phương thức lớp ẩn trung gian Cho Pi (h) phân phối kích hoạt tầng ẩn thứ i Sau đó, regularization term tính tốn R−lnPi (h; θi ) cách lấy logarit âm, θi siêu tham sô Bằng cách khởi tạo Pi phân phối chuẩn Pi (h; µ, ) ∼ N (µ, ), regularition term Ri (h) tính tốn sau: −1 ) = 1/2(h − µi )T Pi (h, µi , i (h − µi ) i Hơn nữa, hỗn hợp phân phối Gauss sử dụng để xác định Pi , linh hoạt phân phối Gauss 3.2.4 Đo lường chênh lệch miền phụ thuộc liệu Có nhiều tiêu chí để đo lường chênh lệch miền Tuy nhiên, khó khăn để thiết kế đo lường tổng quát phù hợp cho tất toán ứng dụng Để giải vấn đề này, nhà nghiên cứu nghiên cứu để đưa cơng thức cho tốn đánh giá tính bất biến miền vấn đề học tập Tzeng (2015) giới thiệu giảm nhầm lẫn miền để tìm hiểu đại diện miền bất biến, sử dụng tốt phân loại đào tạo từ liệu nguồn gắn nhãn Phương pháp đề xuất đơn giản thực phân loại nhị phân cách sử dụng nhãn miền Với đại diện đặc trưng cụ thể θrepr , đánh giá bất biến miền cách học phân loại miền tốt Q trình học thực cách tối ưu hóa hàm mục tiêu sau đây: LD (xS , xT , θrepr ; θD ) = − l(yD = d]ln(qd ), (3.8) d Nhóm 19 Tốn Tin K61 ĐHBKHN Hệ hỗ trợ định Học chuyển giao Hình 3.3: Các đại diện cấp thấp cụ thể cho phương thức (các yếu tố cùng) đại diện cấp cao chia sẻ tất phương thức (ánh sáng cao cùng)[chuyển thể từ Castrejon at al (2016)] T f 9x; θrepr ) yD biểu thị miền mà ví dụ rút Đối với miền phân q = sof tmax(θD lớp cụ thể θD , mát tìm kiếm để tối đa nhầm lẫn hai miền việc tính cross entropy nhãn đầu dự đoán phân phối nhãn miền định nghĩa như: LD (xS , xT , θrepr ; θD ) = − ln(qd ) (3.9) d (3.8) (3.9) cập nhập xen kẽ trình training Chú ý rằng, bên cạnh cơng việc đề cập, tồn nhiều cơng việc để tìm hiểu mơ hình phân loại ví dụ phân biệt miền nguồn miền đích sử dụng nhãn miền.Sau học, phân loại miền đóng vai trị phân biệt đối xử với mạng thần kinh tạo mẫu nhầm lẫn miền người tạo để chơi trò chơi max-min 3.3 Tìm hiểu đặc trưng phổ biến Hầu hết công việc đánh giá phần trước nhằm mục đích tìm hiểu tính bất biến miền miền nguồn miền đích Tồn nhánh khác phương pháp học tập đặc trưng, nhằm mục đích tìm hiểu đại diện đặc trưng phổ biến từ số lĩnh vực Vì đặc trưng ứng dụng cho miền xét, gọi "universal" Ý tưởng phần cảm hứng từ cơng việc tìm hiểu self-taught, nhằm mục đích tìm hiểu đại điện đặc trưng universal từ nhiều liệu không gắn nhãn mà nhãn tảng khác với nhiệm vụ mục tiêu Học self-taught áp dụng cho tốn phân loại ảnh Hầu hết phương pháp khơng hiệu bao gồm bước: (1) Học đặc trưng cấp cao từ liệu chưa gắn nhãn miền nguồn miền phụ; (2) biểu thị liệu gắn nhãn mục tiêu dựa đặc trưng cấp cao học; (3) train phân loại từ nhãn liệu miền đích với biểu diễn Chú ý rằng, đưa nhiều miền nguồn miền phụ, đại diện đặc trưng universal học từ việc thích ứng phương pháp học tập đa nhiệm Trong việc học đặc trưng đa nhiệm, đặc trưng chung học thông qua nhiệm vụ khác Các đặc trưng chung coi đặc trưng universal cho nhiệm vụ khác Nhóm 20 Toán Tin K61 ĐHBKHN Hệ hỗ trợ định 3.3.1 Học chuyển giao Học mã hóa universal Raina (2007) đề xuất áp dụng mã hóa thưa, phương pháp xây dựng đặc trưng không giám sát, để học đặc trưng universal cấp cao cho nhiệm vụ đích Ý tưởng cách tiếp cận bao gồm hai bước Bước thứ nhất, vec tơ sở cấp cao hơn, từ điểm mã hóa, b1 , , bns , học từ nhiều liệu chưa gắn nhãn, từ số miền nguồn bối cảnh học chuyển, sau: AB aji bj xSi − i s.t bj 2 + β , j ≤ ∀jin1, , nS , (3.10) = (a1i , , ani S )T đại diện ma trận sở B = (b1 , , bnS ) với xSi β tham số qua hóa Hàm mục tiêu (3.10) cân hai mục tiêu: (i) Mục tiêu thứ xây xSi kết hợp có trọng số sở {b1 , , bnS } với trọng số tương ứng aji ; (ii) mục tiêu thứ hai khuyến khích phải thưa Sau học B, Bước thứ hai nhằm mục đích học đặc trưng cấp cao cho liệu đích, từ miền đích nội dung học chuyển giao, cách giải toán sau: a ˆi = argmax xti − aij bj 2 + β (3.11) j Cuối cùng, học mơ hình dựa đại diện {ˆ } cho miển đích gắn nhãn 3.3.2 Đặc trưng universal sâu Được thúc đẩy việc sử dụng mã hóa thưa thớt để học dặc trưng universal, Glorot (2011) đề xuất áp dụng mã hóa tự động sâu để học đặc trưng cao đặc trưng universal Đặc biệt, cho đầu vào x, mã hóa sau f (.) ánh xạ tới mã ẩn h = f (x) giải mã sâu g(.) nhằm mục đích tái cấu trúc đầu vào với mã ẩn thông qua x ˆ = g(h) Vì mã hóa giải mã train với miền phụ khác nhau, đầu mã hóa, h, xem đại diện đặc trưng universal cho thực thể mã hóa tự động, cụ thể khử nhiễu tự động xếp chồng biên, để cải thiện hiệu tính hiệu cho việc tìm hiểu đặc trưng universal tồn miền Bên cạnh việc sử dụng tái cấu trúc tổn thất sử dụng mã hóa chống mã hóa thưa để học đặc trưng universal, số nhà nghiên cứu đề xuất sử dụng phân cụm tác vụ phụ để học đặc trưng universal So với tái cấu trúc tổn thất, phân cụm học không giám sát với trọng số nhỏ điều kiện phức tạp Nó làm tăng tính dễ hiểu đại diện học Như hình 3.4, Liao et al (2016) kiểm tra số kiểu hàm mát k − means phân cụm mẫu, phân cụm không gian đồng hóa Giả sử đại diện tầng mạng nơ-ron tensor 4D: Y ∈ RN ×C×H×W , N, C, H W kích thước mini-batch, số lượng đơn vị ẩn, chiều dài chiều rộng tương ứng đại diện (biểu diễn) Cụ thể, cách đưa trường hợp liệu thành ma trận T {N }×{H,W,C} , tổn thất cho phân cụm mẫu xác định: Rmau (Y, µ) = 2N CHW Nhóm N T {N }ì{H,W,C} (Y )n àzn (3.12) n=1 21 Toán Tin K61 ĐHBKHN Hệ hỗ trợ định Học chuyển giao Hình 3.4: (a) Phân cụm mẫu; (b) Phân cụm khơng gian Đại diện ví dụ coi "hình ảnh" kênh C Các pixel bao gồm kênh C phân cụm theo cụm khơng gian sau: Rspatial (Y, µ) = 2N CHW N HW T {N,H,W }×{C} (Y )i − µzi (3.13) i=1 Ngồi ra, phân cụm xác định kênh cách sử dụng tổn thất sau: Rspatial (Y, µ) = 2N CHW NC T {N,C}ì{H,W } (Y )i àzi (3.14) i=1 Trong Liao (2016), tác giả tập trung vào việc xác định xem đại diện cho phân cụm có áp dụng cho danh mục khơng nhìn thấy hay khơng, vấn đề học khơng có điểm nhấn Với đặc điểm đào tạo mát Với đặc trưng đào tạo mát (3.12), học embedding đầu E thơng qua SVM có cấu trúc mà khơng cần quy hóa như: E N N max n=1 y∈Y{0,∆(yn ,y)+xT n E[φ(y)−φ(yn )]} , (3.15) xn yn đặc trưng lớp nhãn mẫu thứ n, ∆ hàm tổn thất 0-1, φ ma trậng thuộc tính lớp cung cấp Caltech-UCSD (University of California, San Diego) tập liệu chịm với với mục cho biết khả thuộc tính có mặt lớp định 3.4 Đặc trưng tăng cường Daumé III (2007) đề xuất cách tiếp cận đơn giản cho việc thích ứng miền, làm tăng vectơ đặc trưng cho liệu miền nguồn liệu miền đích cách sử dụng thơng tin cụ thể miền coi chúng đầu vào cho việc học thuật toán Cho X Y không gian đầu vào đầura tương ứng Giả sử khơng gian vào ban đầu kí hiệu ˜ ∈ R3F Hàm ánh xạ Φs , Φt : X ∈ RF Phương pháp đề xuất tăng không gian đầu vào ban đầu X ˜ cho miền nguồn miền đích định nghĩa: X −→ X Φs (x) = x, x, , Φt (x) = x, 0, x , (3.16) biểu thị vec to ) không gian F chiều Phần đặc trưng tăng cường thể đặc trưng chung, tương ứng Nhóm 22 Tốn Tin K61 ĐHBKHN Hệ hỗ trợ định Học chuyển giao Thật dễ dàng để khái quát phương pháp thành phiên kernel Giả sử điểm liệu x chiếu tới RKHS với kernel tương ứng k : X × X −→ R, k viết lại tích hai vec tơ k(x, x ) = Φ(x), Φ(x ) X Chúng ta định nghĩa Φs Φt Φ: Φs (x) = Φ(x), Φ(x), , Φt (x) = Φ(x), 0, Φ(x) (3.17) ˜ x ).Khi x x miền, k(x, ˜ x ) = Φ(x), Φ(x ) X + Kí hiệu kernel mở rộng k(x, ˜ x ) = Φ(x), Φ(x ) X = k(x, x ) Φ(x), Φ(x ) X = 2k(x, x ) Khi x x hai miền khác nhau, k(x, Xem xét kernel đo lường cho tương đồng, công thức kernel thỏa mãn điểm liệu từ miền, vốn lớn gấp đôi so với điểm miền Xem xét thử nghiệm (testing) liệu đích, liệu huấn luyện (training) miền đích có ảnh hưởng gấp đôi so với điểm nguồn Chú ý phương pháp đặc trưng tăng cường này, phương pháp phân tách giả thuyết thành ba giả thuyết phụ h = hc , hs , ht , tương đương với việc học hai giả thuyết miền cụ thể: ws = hc + hs wt = hc + ht Phương pháp mở rộng cách tự nhiên sang cài đặt học bán giám sát cách giả sử x, s thỏa thuận ví dụ thống trị mục tiêu khơng gắn nhãn ws · xi ≈ wt · xi ⇐⇒ hc , hs , ht 0, xi − xi (3.18) Sau đó, phân loại học bán giám sát tiêu chuẩn áp dụng với đặc trưng ánh xạ xác định cho liệu gắn nhãn miền nguồn liệu miền đích gắn nhãn khơng nhãn Nhóm 23 Tốn Tin K61 ĐHBKHN Hệ hỗ trợ định Học chuyển giao Chương Học dựa mơ hình 4.1 Giới thiệu Học chuyển giao dựa mơ hình, cịn gọi học chuyển giao dựa tham số, giả định tác vụ nguồn tác vụ đích chia sẻ số kiến thức chung cấp độ mơ hình Điều có nghĩa kiến thức chuyển mã hóa thành tham số mơ hình trước kiến thức mơ hình Do đó, mục tiêu học chuyển giao dựa mơ hình khám phá phần mơ hình học miền nguồn giúp việc học mơ hình cho miền đích Tương tự học chuyển giao dựa mẫu học chuyển giao dựa đặc trưng, học chuyển giao dựa mơ hình tận dụng kiến thức miền nguồn Tuy nhiên, khác biệt quan trọng việc học chuyển giao dựa mơ hình thúc đẩy kiến thức cấp độ mơ hình thay mức độ mẫu đặc trưng Về mặt thực tế, việc sử dụng lại mơ hình đưa từ miền nguồn hiệu nắm bắt tồn diện kiến thức cấp cao liệu miền nguồn, người ta khơng cần phải lấy mẫu lại liệu đào tạo tiến hành suy luận quan hệ việc biểu diễn liệu phức tạp Với giả định mơ hình nguồn θs đào tạo tốt, học nhiều cấu trúc từ liệu, sau đó, mục tiêu liên quan khác, cấu trúc chuyển để học mơ hình thetat với mục tiêu xác hơn, với vài liệu dán nhãn miền đích Như hiển thị Hình 4.1 (a), với vài mẫu đào tạo từ miền đích, học mơ hình đơn giản để ngăn ngừa rủi ro phù hợp mức Tuy nhiên, với trợ giúp mơ hình nguồn đào tạo tốt, mơ hình mạnh thu cách sử dụng lượng mẫu giới hạn miền đích, Hình 4.1 Hầu hết thuật tốn học chuyển giao dựa mơ hình đề xuất thiết lập học chuyển giao quy nạp, số mẫu gắn nhãn giả sử có sẵn miền đích Lưu ý số phương pháp học chuyển giao dựa mơ hình có áp dụng từ phương pháp tiếp cận đa mục tiêu dựa mơ hình Hãy nhớ khác biệt học đa nhiệm học chuyển giao việc học đa nhiệm cố gắng tối ưu hóa hiệu suất nhiều nhiệm vụ mục tiêu cách đồng thời, học chuyển tập trung vào cải thiện hiệu suất miền mục tiêu cách khai thác kiến thức từ nhiệm vụ phụ trợ Ví dụ, Evgeniou Pontil (2004) đề xuất phương pháp học đa nhiệm thông thường dựa máy vectơ hỗ trợ (SVMs), mục tiêu tối ưu hóa giảm thiểu tổn thất cho tất nhiệm vụ Do đó, mơ hình học cuối có hiệu suất tổng thể tốt cân cho tất nhiệm vụ Tuy nhiên, kết khơng đảm bảo hiệu suất tối ưu cho nhiệm vụ mục tiêu mong muốn Trong thiết lập học chuyển giao, người ta tập trung vào hiệu suất nhiệm vụ đích Sự khác biệt loại bỏ cách thay đổi trọng số cho nhiệm vụ khác hàm mục Nhóm 24 Toán Tin K61 ĐHBKHN Hệ hỗ trợ định Học chuyển giao Hình 4.1: (a) Mơ hình nguồn (đường nét đứt) (b) Mơ hình đích (đường liền nét) với liệu đích hạn chế (đường chéo) (c) Mơ hình đích (đường liền nét) chuyển đổi với mơ hình nguồn (đường nét đứt) tiêu học đa mục tiêu, Trong chương này, thuật toán học đa mục tiêu có liên quan đề cập ngắn gọn chúng giới thiệu cụ thể Chương Dựa giả định cụ thể phương pháp học chuyển giao dựa mơ hình khác nhau, chúng tơi phân loại thuật toán thành hai loại: chuyển giao qua thành phần chung (Mục 4.2) chuyển giao qua quy hóa (Mục 4.3) Danh mục đầu tiên, chuyển giao qua thành phần chung, bao gồm thuật toán học chuyển giao thiết lập mơ hình đích cách sử dụng lại số thành phần mơ hình nguồn sử dụng lại số siêu tham số mơ hình nguồn Hơn nữa, có phương pháp học đồng thời mơ hình nguồn mơ hình đích Mục thứ hai nhằm chuyển giao qua quy hóa Chính quy hóa kỹ thuật sử dụng để giải vấn đề máy học xấu để ngăn chặn q mức mơ hình cách hạn chế tính linh hoạt mơ hình Trong thuật tốn học chuyển giao dựa mơ hình, quy sử dụng để hạn chế tham số dựa số giả thuyết trước SVM mơ hình sở thường sử dụng loại đặc tính tính tốn tốt hiệu tốt nhiều ứng dụng Với việc giới thiệu mơ hình, số cách tiếp cận chuyển tham số mơ hình học sâu sàng lọc từ tác vụ phụ trợ, tham số sử dụng để khởi tạo mơ hình miền đích 4.2 Chuyển giao qua thành phần chung Trước, viết tắt phân phối xác suất ưu tiên phân phối xác suất thể tin tưởng số kiện không chắn trước thấy chứng Ví dụ, xem xét bạn chơi trò chơi tung đồng xu với bạn bè bạn Nếu kết quăng bạn đặt cược, bạn thắng, không, bạn thua Trước tung, bạn phải đặt cược vào mặt đồng xu, sấp ngửa Có khả bạn tùy ý chọn bên, bạn biết xác suất xuất mặt sấp, ngửa Tuy nhiên, bạn biết ngửa có nhiều khả xảy ra, bạn có nhiều khả đặt cược vào ngửa Trong ví dụ này, ưu tiên xác suất mà đồng xu quay lại mặt ngửa Việc ưu tiên cung cấp cho bạn ước tính tốt hiệu trước bạn đưa định, bạn ném đồng xu nhiều lần để xem bên có nhiều khả xuất Tương tự, ứng dụng giới thực, áp dụng trước nhiệm vụ mới, có mơ hình hiệu suất thỏa đáng liệu huấn luyện bị hạn chế nhiệm vụ đích Với động lực này, nhiều thuật toán học chuyển giao dựa mơ hình đề xuất (Lawrence Platt, 2004; Schwaighofer cộng sự, 2005; Li cộng sự, 2006; Bonilla cộng sự, 2007; Tommasi cộng sự., 2010; Jie cộng sự, 2011; Ma cộng sự, 2014; Shu cộng sự, 2015; Bousmalis cộng sự, 2016; Chen cộng sự, 2016a; Ghifary cộng sự, 2016) Nhóm 25 Tốn Tin K61 ĐHBKHN Hệ hỗ trợ định 4.2.1 Học chuyển giao Học chuyển giao thông qua q trình Gauss Trước tiên, chúng tơi giới thiệu ngắn gọn trình Gaussian (GP) sau giới thiệu cách phương pháp đề xuất công việc Lawrence Platt (2004), Schwaighofer cộng (2005) Bonilla cộng (2007) sử dụng GP để chia sẻ kiến thức nhiệm vụ GP công cụ thường sử dụng để mơ hình hóa phân phối liệu với Gaussian trước GP q trình ngẫu nhiên cho tập hợp hữu hạn biến ngẫu nhiên có phân phối chuẩn nhiều biến Trong học tập có giám sát, sử dụng để dự đoán nhãn liệu chưa xuất dựa tương đồng với liệu đào tạo Cho nhãn liệu X = [x1 , x2 , x3 , , xN ]T , cách xác định biến ẩn z = [z1 , z2 , z3 , , zN ]T , phân phối ưu tiên biến số ẩn đưa Gaussian trước là: p(z|X, θ) = N (0, K) (4.1) θ biểu thị tham số K hàm hiệp phương sai, gọi hạt nhân, để mô tả phân phối chuẩn nhiều biến số K có dạng khác chẳng hạn hạt nhân tuyến tính K(x, x ) = xT x ) l σ bao gồm θ để hạt nhân hàm mũ bình phương K(x, x ) = σ exp(− x−x 2l2 ước tính Trong GP, biến y độc lập với X cho z Khả chung tổng thể liệu xác định là: N p(yi , zi ) p(y, z|X, θ) = p(z|X, θ) (4.2) i=1 xác suất có điều kiện p(yi |zi đưa mối quan hệ quan sát biến tiềm ẩn Giả sử có M ràng buộc nhiệm vụ khác nhau, nhiệm vụ mơ hình hóa T T ) GP liệu đào tạo tương ứng {(Xm , ym )} Phân phối xác suất cho y = (y1T , y2T , , yM là: M p(ym |Xm , θ) p(y|X, θ) = (4.3) m=1 Lưu ý θ chia sẻ tác vụ khác nghĩa GP đa nhiệm cách ràng buộc ma trận hiệp  K1   K2 K=   0 0 Lawrence Platt (2004) sử dụng (4.3) để định phương sai K thành ma trận đường chéo là:  0  0     Km sử dụng máy vectơ thông tin (IVM) để tìm ma trận đại diện vng để giảm bớt tính tốn tăng tốc độ đào tạo Schwaighofer cộng (2005) kết hợp việc học Bayesian phân cấp GP với để học đa nhiệm Trong thuật tốn này, mơ hình Bayes phân cấp học giá trị trung bình hàm hiệp phương sai GP Thuật tốn gồm bước: • học ma trận hạt nhân cộng tác từ liệu thơng qua thuật tốn tối đa hóa kỳ vọng (EM) đơn giản hiệu • tổng qt hóa ma trận hiệp phương sai cách sử dụng phương pháp Nystrăom tng quỏt Bonilla v cng s (2007) ni lng ràng buộc ma trận hiệp phương sai Lawrence Platt (2004) Nó sử dụng hiệp phương sai chung liệu ma trận hiệp phương sai dạng tự tác vụ khác để mô hình hóa phụ thuộc tác vụ, cho phép linh hoạt tốt Nhóm 26 Toán Tin K61 ĐHBKHN Hệ hỗ trợ định 4.2.2 Học chuyển giao Chuyển giao thông qua mô hình Bayes Các phương pháp nói tìm hiểu chung trước dựa GP, khi, trước chuyển giao từ miền nguồn Các mơ hình Bayes khác sử dụng cho học chuyển giao dựa mơ hình, mà chúng tơi xem xét phần Li cộng (2006) đề xuất thuật toán chuyển giao điều biết trước từ số miền nguồn (cụ thể thể loại trực quan) để ước tính phân phối tham số số đối tượng miền đích ảnh dựa phương pháp Bayes Bằng cách chuyển giao ưu tiên, thuật toán cho phép học danh mục cách sử dụng một vài mẫu Thông tin chung sử dụng từ điều học từ trước Cách tiếp cận Bayes suy luận thống kê, dựa ước tính xác suất sau xác suất có điều kiện đại lượng chưa biết đưa quan sát Phân phối sau trích xuất thơng tin liệu cung cấp tóm tắt đầy đủ khơng chắn điều chưa biết θ Kiến thức trước tham số tóm tắt đại lượng p(θ), khả p(y|θ) kiến thức cập nhật chứa đại lượng sau p(θ|y) định nghĩa định lý Bayes: p(θ|y) = p(y|θ)p(θ) p(y) Ảnh hưởng tương đối liệu trước liệu tin tưởng cập nhật sau dựa vào lượng liệu trao trước (mức độ thơng tin trước đó) độ lớn liệu Cận biên khả chứng mơ hình p(y) xác suất quan sát liệu y đưa mơ hình cụ thể theo nghiên cứu, xác suất cấu trúc ngẫu nhiên liệu mạng quan sát mơ hình xác định Thật khơng may, cận biên khả nói chung khó tính tốn giải pháp xác biết đến với lớp phân phối nhỏ Phân tích Bayes có nhiều ưu điểm: Nó cung cấp thơng tin chẩn đoán phong phú số lượng chưa biết, kiểm sốt việc thăm dị giả định trước tham số mơ hình Suy luận Bayes sử dụng khoảng xác suất (mật độ cao dựa lượng tử) gọi khoảng tin cậy để xác định xác suất tham số nằm hai điểm Cách tiếp cận thường xuyên theo kiểu cổ điển dự đoán giá trị thực tham số có xác suất cụ thể nằm khoảng tin cậy ước tính dựa liệu thu Tóm lại, ba bước suy luận Bayes tóm tắt sau: • Chỉ định mơ hình xác suất cho giá trị tham số chưa gồm số kiến thức trước tham số, • Cập nhật kiến thức tham số chưa biết cách điều chỉnh mơ hình xác suất liệu quan sát • Đánh giá phù hợp mơ hình với liệu độ nhạy kết luận với giả định 4.3 Học chuyển giao qua quy hóa Trong phần này, mơ tả vấn đề thiết lập học tập đa nhiệm, trình bày trường hợp cụ thể máy học đa tác vụ, tập trung vào công thức hấp dẫn cho sinh học tính tốn Từ góc độ lịch sử, học chuyển giao đa nhiệm dựa quy dựa giảm thiểu rủi ro phương pháp học có giám sát máy vec-tơ hỗ trợ (SVM) hồi quy logistic Trong việc giảm thiểu rủi ro, nhắm đến việc tính tốn mơ hình w cách giảm thiểu mục tiêu J(w) bao gồm mát L ghi nhận lỗi liên quan đến liệu huấn luyện (X, Y ) Ω trả giá độ phức tạp mơ hình J(w) = L(w|X, Y ) + Ω(w) Phương pháp phổ biến Sau đây, biểu thị mẫu đào tạo (xi , yi ), i = 1, , n mẫu số liên kết với nhiệm vụ τ (i) ∈ 1, , T Chúng biểu thị tập hợp số điểm đào tạo nhiệm vụ thứ t It := i ∈ 1, , n : τ (i) = t số chúng nt := It Một Nhóm 27 Tốn Tin K61 ĐHBKHN Hệ hỗ trợ định Học chuyển giao công việc học đa nhiệm dựa quy Evgeniou Pontil, T thời điểm tối ưu hóa, tất vectơ tham số kéo theo hướng trung bình w = T1 t=1 wt , ΩM T L (w1 , , wT ) = wt − w 2 Lưu ý tất nhiệm vụ xử lý công thức trên; nhiên, thường cung cấp thông tin tiên nghiệm số nhiệm vụ có liên quan nhiều Để xác định trả giá khác biệt vectơ tham số tương ứng, cài đặt mở rộng thành: T T ΩM T L (w1 , , wT ) = Ast ws − wt 2 s=1 t=1 ma trận kề A = (As t), thể tương đồng nhiệm vụ Chúng ta viết lại cơng thức biểu đồ Laplace L = (Ls t), ΩM T L (w1 , , wT ) = T T Lst wsT wt s=1 t=1 L = D − A, Ds,t = δs,t k As,k Cuối cùng, điều làm phát sinh hạt nhân đa nhiệm dạng kép tương ứng: + K(x, s), (z, t) = Hst KB (x, z) KB hạt nhân xác định mẫu H + = (Hs t+ ) biểu thị nghịch đảo giả H := I + L, I ma trận danh tính Một công thức liên quan chặt chẽ sử dụng thành cơng bối cảnh tính tốn Sinh học, hạt nhân nhiệm vụ KT sử dụng thay giả nghịch đảo, làm phát sinh K(x, s), (z, t) = KT (s, t)KB (x, z) Lưu ý khơng gian tính khớp tương ứng tác vụ t vectơ đặc trưng x viết dạng φ(t, x) = φT (t)φ˙ B (x) Nhóm 28 Tốn Tin K61 ĐHBKHN Hệ hỗ trợ định Học chuyển giao Kết luận Báo cáo trình bày đầy đủ Học chuyển giao Cụ thể: Trình bày khái niệm bản, vấn đề học chuyển giao ứng dụng Trình bày hình thức học chuyển giao, bao gồm học chuyển giao dựa mẫu, học chuyểnn giao dựa đặc trưng học chuyển giao dựa mơ hình Học chuyển giao mang đến mơ hình với độ xác cao thời gian ngắn, hầu hết mơ hình dùng học chuyển giao sử dụng nghiên cứu thị giác máy tính ( Computer Vision), trọng vào việc trích xuất đặc trưng từ ảnh video cách hiệu cách thay cho phương pháp cũ (AKAZE, ORB, BRISK, ) kết hợp ý tưởng để tận dụng cácđặc trưng Học chuyển giao sử dụng nhiều xử lí ngơn ngữ tự nhiên ( Natural Language Processing) Trên thực tế thì: thị giác máy tính dùng Convolutional Network để trích xuất đặc trưng từ ảnh xử lí ngơn ngữ tự nhiên dùng Word Embeddings cách để trích xuất đặc trưng từ từ thành ve tơ Hiệu thực tiễn Word Embeddings cao hẳn one-hot encodings khả biểu diễn thông tin Hướng mở rộng nghiên cứu, phát triển: • Tìm hiểu triển khai thêm ứng dụng thị giác máy tính • Tìm hiểu triển khai thêm ứng dụng xử lí ngơn ngữ tự nhiên Báo cáo thực nhờ dẫn tận tình thầy Lê Chí Ngọc cố gắng tất thành viên nhóm Tuy nhiên, q trình làm báo cáo khó tránh sai sót, chúng em mong nhận ý kiến đóng góp thầy để báo cáo hoàn Chúng em xin chân thành cảm ơn Nhóm 29 Tốn Tin K61 ĐHBKHN Hệ hỗ trợ định Học chuyển giao Tài liệu tham khảo [1] Qiang Yang, Yu Zhang, Wenyuan Dai, Sinno Jialin Pan, Transfer Learning, Cambridge University Press [2] D J Sarkar, A comprehensive hands on guide to transfer learning with real world applications in deep learning, Access June 2019 [3] S J Pan and Q Yang, A Survey on Transfer Learning, IEEE Transaction on Knowledge and Data Engineering, 2010 Nhóm 30 Tốn Tin K61 ĐHBKHN ... Hệ hỗ trợ định Học chuyển giao Kết luận Báo cáo trình bày đầy đủ Học chuyển giao Cụ thể: Trình bày khái niệm bản, vấn đề học chuyển giao ứng dụng Trình bày hình thức học chuyển giao, bao gồm học. .. thức Ds Ts , Xs ∩ Xt = ∅ Ys = Yt Học chuyển giao bao gồm: học chuyển giao bán giám sát, học chuyển giao có giám sát học chuyển giao không giám sát.Trong học chuyển giao có giám sát, có liệu dán... dụng cho nhiều ứng dụng học chuyển giao Chúng ta xem xét mơ hình học chuyển giao khác chương sau Nhóm 14 Toán Tin K61 ĐHBKHN Hệ hỗ trợ định Học chuyển giao Chương Học chuyển giao dựa đặc trưng 3.1