(Luận văn) một số áp dụng của giải tích toán học trong machine learning và deep learning

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC QUY NHƠN ĐẶNG HẢI TRIỀU lu an n va p ie gh tn to MỘT SỐ ÁP DỤNG CỦA GIẢI TÍCH TOÁN HỌC TRONG MACHINE LEARNING VÀ DEEP LEARNING d oa nl w a lu f an nv LUẬN VĂN THẠC SĨ TOÁN HỌC oi lm ul z at nh z om l.c gm @ n a Lu Bình Định - Năm 2020 n va ac th si BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC QUY NHƠN ĐẶNG HẢI TRIỀU lu an n va p ie gh tn to MỘT SỐ ÁP DỤNG CỦA GIẢI TÍCH TỐN HỌC TRONG MACHINE LEARNING VÀ DEEP LEARNING d oa nl w a lu Chuyên ngành : Mã số : Tốn Giải tích 8460102 oi lm ul f an nv Người hướng dẫn: TS MAI THÀNH TẤN z at nh z om l.c gm @ n a Lu n va ac th si Mục lục Trang Lời cam đoan Lời cảm ơn Danh mục hình vẽ Danh mục ký hiệu đồ thị iii iv v vi lu an n va Chương Một số kiến thức chuẩn bị 1.1 Lý thuyết độ đo 1.2 Giải tích hàm 1.3 Lý thuyết tối ưu 1.4 Một số thuật ngữ Machine learning 3 11 11 18 19 23 27 29 30 31 32 34 37 38 39 41 44 p ie gh tn to Lời nói đầu d oa nl w a lu Chương Mạng nơ-ron 2.1 Nơ-ron 2.2 Mạng nơ-ron 2.3 Mạng nơ-ron xấp xỉ phổ quát 2.4 Điều chỉnh trọng số lan truyền ngược 2.5 Ví dụ minh họa oi lm ul f an nv z at z nh Chương Hồi quy tuyến tính 3.1 Đặt vấn đề 3.2 Xây dựng hàm mát 3.3 Nghiệm hàm mát 3.4 Ví dụ minh họa @ gm om l.c n a Lu Chương Máy vector hỗ trợ 4.1 Tập liệu phân tách tuyến tính 4.2 Xây dựng toán tối ưu cho SVM 4.3 Bài toán đối ngẫu 4.4 Ví dụ minh họa n va ac th i si l Kết luận 45 Tài liệu tham khảo 46 lu an n va p ie gh tn to d oa nl w a lu oi lm ul f an nv z at nh z om l.c gm @ n a Lu n va ac th Trang ii si C.vT.Bg.Jy.Lj.Tai lieu Luan vT.Bg.Jy.Lj van Luan an.vT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.Lj Do an.Tai lieu Luan van Luan an Do an.Tai lieu Luan van Luan an Do an C.vT.Bg.Jy.Lj.Tai lieu Luan vT.Bg.Jy.Lj van Luan an.vT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.Lj Do an.Tai lieu Luan van Luan an Do an.Tai lieu Luan van Luan an Do an Lời cam đoan Tôi xin cam đoan kết đề tài: “ Một số áp dụng Giải tích tốn học Machine learning Deep learning ” cơng trình nghiên cứu độc lập hướng dẫn giảng viên: TS Mai Thành Tấn, ngồi khơng có chép người khác lu Đề tài, nội dung luận văn kết nỗ lực nghiên cứu thân tơi q trình học tập trường nơi làm việc Các tài liệu tham khảo, kế thừa trích dẫn liệt kê danh mục Tài liệu tham khảo an n va p ie gh tn to Tơi xin chịu hồn tồn trách nhiệm, kỷ luật môn nhà trường đề có vấn đề xảy Quy Nhơn, tháng năm 2020 d oa nl w Học viên a lu oi lm ul f an nv Đặng Hải Triều z at nh z om l.c gm @ n a Lu n va ac th Trang iii Stt.010.Mssv.BKD002ac.email.ninhd.vT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.Lj.dtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn.Stt.010.Mssv.BKD002ac.email.ninhddtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn Stt.010.Mssv.BKD002ac.email.ninhd.vT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.Lj.dtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn.Stt.010.Mssv.BKD002ac.email.ninhddtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn si C.vT.Bg.Jy.Lj.Tai lieu Luan vT.Bg.Jy.Lj van Luan an.vT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.Lj Do an.Tai lieu Luan van Luan an Do an.Tai lieu Luan van Luan an Do an C.vT.Bg.Jy.Lj.Tai lieu Luan vT.Bg.Jy.Lj van Luan an.vT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.Lj Do an.Tai lieu Luan van Luan an Do an.Tai lieu Luan van Luan an Do an Lời cảm ơn Luận văn hoàn thành nhờ hướng dẫn giúp đỡ tận tình thầy hướng dẫn TS Mai Thành Tấn, Trường Đại học Quy Nhơn Nhân dịp tơi xin bày tỏ kính trọng lòng biết ơn sâu sắc đến Thầy giúp đỡ tơi suốt q trình học tập thực luận văn lu Xin gửi lời cảm ơn đến quý Ban lãnh đạo Trường Đại học Quy Nhơn, Phòng Đào tạo Sau Đại học, Khoa Toán Thống kê tạo điều kiện thuận lợi cho tơi q trình học tập thực đề tài an n va p ie gh tn to Xin gửi cảm ơn đến FPT Software Quy Nhơn, team Trí Tuệ Nhân Tạo FWI.AAA tạo điều kiện cho làm việc mơi trường chun nghiệp, bên cạnh hỗ trợ cho tiếp xúc gần với ngành cơng nghiệp AI Nhờ giúp tơi hồn thiện tốt đề tài d oa nl w Xin bày tỏ lịng biết ơn tơi đến q thầy, giảng dạy lớp cao học Tốn Giải Tích số khóa 21, người dày cơng truyền đạt kiến thức đạo đức sư phạm cho chúng tơi suốt khóa học a lu Cuối cùng, xin gửi lời cảm ơn chân thành đến gia đình bạn bè tôi, người tạo điều kiện thuận lợi để tơi hồn thành tốt khóa học luận văn f an nv oi lm ul Quy Nhơn, tháng năm 2020 Đặng Hải Triều z at nh z om l.c gm @ n a Lu n va ac th Trang iv Stt.010.Mssv.BKD002ac.email.ninhd.vT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.Lj.dtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn.Stt.010.Mssv.BKD002ac.email.ninhddtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn Stt.010.Mssv.BKD002ac.email.ninhd.vT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.Lj.dtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn.Stt.010.Mssv.BKD002ac.email.ninhddtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn si C.vT.Bg.Jy.Lj.Tai lieu Luan vT.Bg.Jy.Lj van Luan an.vT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.Lj Do an.Tai lieu Luan van Luan an Do an.Tai lieu Luan van Luan an Do an C.vT.Bg.Jy.Lj.Tai lieu Luan vT.Bg.Jy.Lj van Luan an.vT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.Lj Do an.Tai lieu Luan van Luan an Do an.Tai lieu Luan van Luan an Do an Danh mục hình vẽ đồ thị Trang 1.1 Overfitting 10 lu 2.1 2.2 2.3 2.4 2.5 2.6 an n va Đồ thị hàm Logictis Đồ thị hàm Đồ thị hàm ReLu Mạng nơ-ron đơn giản với n nơ-ron đầu Mạng nơ-ron với đầu Mạng nơ-ron đa tầng vào m nơ-ron xử lý 14 14 14 18 18 25 p ie gh tn to 3.1 Biểu đồ liệu giá diện tích 35 3.2 Kết model 36 d oa nl w 4.1 Tập liệu phân tách tuyến tính 38 4.2 Siêu phẳng phân tách tập liệu 39 4.3 Support Vector 40 a lu oi lm ul f an nv z at nh z om l.c gm @ n a Lu n va ac th Trang v Stt.010.Mssv.BKD002ac.email.ninhd.vT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.Lj.dtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn.Stt.010.Mssv.BKD002ac.email.ninhddtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn Stt.010.Mssv.BKD002ac.email.ninhd.vT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.Lj.dtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn.Stt.010.Mssv.BKD002ac.email.ninhddtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn si C.vT.Bg.Jy.Lj.Tai lieu Luan vT.Bg.Jy.Lj van Luan an.vT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.Lj Do an.Tai lieu Luan van Luan an Do an.Tai lieu Luan van Luan an Do an C.vT.Bg.Jy.Lj.Tai lieu Luan vT.Bg.Jy.Lj van Luan an.vT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.Lj Do an.Tai lieu Luan van Luan an Do an.Tai lieu Luan van Luan an Do an Danh mục ký hiệu Ký hiệu Ý nghĩa A† Ma trận giả nghịch đảo A Ma trận đường chéo domf Miền xác định f A0 Ma trận A nửa xác định dương lu diag(λ1 , λ2 , , λr ) an n va jump (f, xi ) Bước nhảy f xi p ie gh tn to sgn Hàm dấu inf Cận Seq(X) Tập dãy X d oa nl w NN Neural Network Artificial Neural Network SVM Support Vector Machine a lu ANN oi lm ul f an nv z at nh z om l.c gm @ n a Lu n va ac th Trang vi Stt.010.Mssv.BKD002ac.email.ninhd.vT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.Lj.dtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn.Stt.010.Mssv.BKD002ac.email.ninhddtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn Stt.010.Mssv.BKD002ac.email.ninhd.vT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.Lj.dtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn.Stt.010.Mssv.BKD002ac.email.ninhddtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn si C.vT.Bg.Jy.Lj.Tai lieu Luan vT.Bg.Jy.Lj van Luan an.vT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.Lj Do an.Tai lieu Luan van Luan an Do an.Tai lieu Luan van Luan an Do an C.vT.Bg.Jy.Lj.Tai lieu Luan vT.Bg.Jy.Lj van Luan an.vT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.Lj Do an.Tai lieu Luan van Luan an Do an.Tai lieu Luan van Luan an Do an Lời nói đầu Trong tất ngành khoa học, tốn học đóng vai trị quan trọng việc phát triển ngành khoa học đặc thù Ví dụ tốn học xác xuất thống kê sinh học, toán học vật lý, tốn học hóa học, Đặc biệt lĩnh vực cơng nghệ thơng tin, tốn học trước mở đường cho ngành công nghệ thông tin Một số lĩnh vực toán học tiền đề, xương sống phát triển công nghệ thông tin lu an n va p ie gh tn to Trí tuệ nhân tạo (Artificial Intelligence - AI) trở thành thành phần cốt lõi hệ thống công nghệ cao Trong xã hội đại, bắt gặp AI khắp nơi AI ứng dụng kinh tế, y học, kỹ thuật quân sự, khoa học máy móc, thiết bị cơng nghệ phục vụ sinh hoạt ứng dụng giải trí Điển kĩnh vực chế tạo người máy, trò chơi điện tử, trợ lý ảo, nhà thông minh, công nghệ thực tế ảo VR, d oa nl w Machine Learning Deep Learning lĩnh vực Trí tuệ nhân tạo liên quan đến việc nghiên cứu xây dựng kỹ thuật cho phép hệ thống "tự học" tự động từ liệu để giải vấn đề cụ thể a lu Hiện tại, tơi có hội tiếp xúc làm thuật tốn, tìm hiểu thuật tốn thấy ý nghĩa, tầm quan trọng toán học với tin học lớn ngày lớn Gần ta nghe thấy nhiều lĩnh vực Trí tuệ nhân tạo từ ngữ phổ biến Trí tuệ nhân tạo lên chứng cách mạng công nghiệp lần thứ tư oi lm ul f an nv z at nh Luận văn: “ Một số ứng dụng giải tích machine learning deep learning ” nhằm tìm hiểu số vấn đề tốn học giải tích có ứng dụng lĩnh vực Machine Learning Deep Learning Nội dung luận văn gồm bốn chương: z gm @ Chương Một số kiến thức chuẩn bị om l.c Chương trình bày số kiến thức giải tích lồi, tốn tối ưu, giải tích ma trận a Lu Chương Mạng nơ-ron n Chương trình bày Mạng nơ-ron, thuật ngữ quan trọng AI, n va ac th Trang Stt.010.Mssv.BKD002ac.email.ninhd.vT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.Lj.dtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn.Stt.010.Mssv.BKD002ac.email.ninhddtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn Stt.010.Mssv.BKD002ac.email.ninhd.vT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.Lj.dtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn.Stt.010.Mssv.BKD002ac.email.ninhddtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn si C.vT.Bg.Jy.Lj.Tai lieu Luan vT.Bg.Jy.Lj van Luan an.vT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.Lj Do an.Tai lieu Luan van Luan an Do an.Tai lieu Luan van Luan an Do an C.vT.Bg.Jy.Lj.Tai lieu Luan vT.Bg.Jy.Lj van Luan an.vT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.Lj Do an.Tai lieu Luan van Luan an Do an.Tai lieu Luan van Luan an Do an kèm theo giải số vấn đề toán giải tích có liên quan trực tiếp Chương Hồi quy tuyến tính Chương trình bày số vấn đề tốn giải tích ma trận để giải số toán hồi quy Chương Support Vector Machine Chương trình bày số vấn đề tối ưu, đặc biệt tối ưu lồi để giải toán phân chia lớp liệu lu Mặc dù luận văn thực với tinh thần nghiêm túc với nỗ lực cố gắng thân, trình độ kiến thức kinh nghiệm nghiên cứu hạn chế nên luận văn khó tránh khỏi thiếu sót Chình thế, mong nhận góp ý quý thầy để luận văn hồn thiện an n va p ie gh tn to Quy Nhơn, tháng năm 2020 d oa nl w Tác giả a lu oi lm ul f an nv z at nh z om l.c gm @ n a Lu n va ac th Trang Stt.010.Mssv.BKD002ac.email.ninhd.vT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.Lj.dtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn.Stt.010.Mssv.BKD002ac.email.ninhddtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn Stt.010.Mssv.BKD002ac.email.ninhd.vT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.Lj.dtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn.Stt.010.Mssv.BKD002ac.email.ninhddtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn si C.vT.Bg.Jy.Lj.Tai lieu Luan vT.Bg.Jy.Lj van Luan an.vT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.Lj Do an.Tai lieu Luan van Luan an Do an.Tai lieu Luan van Luan an Do an C.vT.Bg.Jy.Lj.Tai lieu Luan vT.Bg.Jy.Lj van Luan an.vT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.Lj Do an.Tai lieu Luan van Luan an Do an.Tai lieu Luan van Luan an Do an chuẩn xác định     2 x1 y1 m  y   x  1 1X 2     (xi θ − yi )2 =   θ −   = kXθ − yk22 , J (θ) = 2     i=1 xm ym với y = [y1 , y2 , , ym ]T ∈ Rm , X = [x1 , x2 , , xm ] ∈ Rm×(n+1) Như J (θ) hàm số liên quan tới bình phương chuẩn l2 3.3 Nghiệm hàm mát lu Nhận thấy hàm mát J (θ) có gradient nơi Giá trị tối ưu θ tìm thơng qua việc giải phương trình đạo hàm J (θ) theo θ Gradient hàm số an n va p ie gh tn to
∇J (θ) = XT Xθ − y = XT Xθ − XT y ∇θ Giải phương trình gradient tương đương với d oa nl w ∇J (θ) = ⇔ XT Xθ = XT y ∇θ Nếu ma trận vuông XT X khả nghịch, phương trình có nghiệm
−1 T T θ= X X X y a lu oi lm ul f an nv Nếu ma trận XT X không khả nghịch, nghiệm đặc biệt phương trình có
† thể xác định dựa vào ma trận giả nghịch đảo, ký hiệu XT X Nghiệm đặc biệt xác định θ = XT X
† XT y nh z at Ma trận giả nghịch đảo ln tồn kể ma trận khơng vuông Khi ma trận vuông khả nghịch, giả nghịch đảo nghịch đảo Tổng quát, nghiệm toán
† T T z @ X y n A = UDVT , a Lu ma trận A biễu diễn dạng om A := XT X, l.c Với gm θ= X X n va ac th Trang 32 Stt.010.Mssv.BKD002ac.email.ninhd.vT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.Lj.dtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn.Stt.010.Mssv.BKD002ac.email.ninhddtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn Stt.010.Mssv.BKD002ac.email.ninhd.vT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.Lj.dtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn.Stt.010.Mssv.BKD002ac.email.ninhddtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn si C.vT.Bg.Jy.Lj.Tai lieu Luan vT.Bg.Jy.Lj van Luan an.vT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.Lj Do an.Tai lieu Luan van Luan an Do an.Tai lieu Luan van Luan an Do an C.vT.Bg.Jy.Lj.Tai lieu Luan vT.Bg.Jy.Lj van Luan an.vT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.Lj Do an.Tai lieu Luan van Luan an Do an.Tai lieu Luan van Luan an Do an U ∈ R(n+1)×(n+1) , V ∈ R(n+1)×(n+1) ma trận trực giao D = diag (λ1 , , λr , 0, , 0) với D ∈ R(n+1)×(n+1) , r = rankA λi > Đặt D† = diag (1/λ1 , , 1/λr , 0, , 0) Ma trận giả nghịch đảo A xác định A† = VD† UT lu ∗ Chú ý Có kỹ thuật nhỏ giúp tránh trường hợp XT X không khả nghịch an biến thành n va A = XT X + λI p ie gh tn to với λ số dương nhỏ I ∈ R(n+1) ma trận đơn vị Ma trận A khả nghịch ma trận xác định dương Thật vậy, với w 6= 0, ta có d oa nl w wT Aw = wT (XT X + λI)w = wT XT Xw + λwT w = kXwk22 + λkwk22 > Xét hàm mát a lu f an nv J (θ) =
kXT θ − yk22 + λkθk22 oi lm ul Phương trình gradient theo θ

∇J (θ) = ⇔ XT (Xθ − y) + λθ = ⇔ XT X + λI θ = XT y ∇θ z at nh Nghiệm J (θ)
−1 z θ = XT X + λI XT y gm @ om l.c Mơ hình machine learning với hàm mát gọi hồi quy ridge Ngồi việc giúp phương trình gradient theo hệ số khơng có nghiệm nhất, hồi quy ridge cịn giúp mơ hình tránh overfitting n a Lu n va ac th Trang 33 Stt.010.Mssv.BKD002ac.email.ninhd.vT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.Lj.dtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn.Stt.010.Mssv.BKD002ac.email.ninhddtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn Stt.010.Mssv.BKD002ac.email.ninhd.vT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.Lj.dtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn.Stt.010.Mssv.BKD002ac.email.ninhddtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn si C.vT.Bg.Jy.Lj.Tai lieu Luan vT.Bg.Jy.Lj van Luan an.vT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.Lj Do an.Tai lieu Luan van Luan an Do an.Tai lieu Luan van Luan an Do an C.vT.Bg.Jy.Lj.Tai lieu Luan vT.Bg.Jy.Lj van Luan an.vT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.Lj Do an.Tai lieu Luan van Luan an Do an.Tai lieu Luan van Luan an Do an 3.4 Ví dụ minh họa 3.4.1 Bài toán Bài toán ước lượng giá nhà Bạn làm cơng ty bất động sản, bạn có liệu diện tích giá nhà, có ngơi nhà bạn muốn ước tính xem giá ngơi nhà khoảng Trên thực tế giá nhà phụ thuộc nhiều yếu tố: diện tích, số phòng, gần trung tâm thương mại, toán đơn giản, giả sử giá nhà phụ thuộc vào diện tích nhà Bạn có liệu diện tích giá bán 30 nhà sau: lu an n va p ie gh tn to Diện tích (m2 ) Giá (triệu VNĐ) Diện tích (m2 ) Giá (triệu VNĐ) 30 448.524 66.2069 995.531 32.4138 509.248 68.6207 1069.78 34.8276 535.104 71.0345 1074.42 37.2414 551.432 73.4483 1103.88 39.6552 623.418 75.8621 1138.69 42.069 625.992 78.2759 1153.13 44.4828 655.248 80.6879 1240.27 46.8966 701.377 83.1034 1251.9 49.3101 701.377 85.5172 1287.97 51.7241 757.881 87.931 1320.47 54.1379 831.004 90.3448 1374.92 56.5517 855.409 92.7586 1410.16 58.9655 866.707 95.1724 1469.69 61.3793 902.545 97.5862 1478.54 63.7931 952.261 100 1515.28 d oa nl w a lu oi lm ul f an nv nh z at 3.4.2 Giải toán Python z import m a t p l o t l i b p y p l o t a s p l t import numpy a s np from s k l e a r n l i n e a r _ m o d e l import L i n e a r R e g r e s s i o n import pandas a s pd path_csv = " d a t a _ l i n e a r c s v " om l.c gm @ n a Lu data = pd read_csv ( path_csv ) v a l u e s N = data shape [ ] x = data [ : , ] r e s h a p e ( −1 , ) y = data [ : , ] r e s h a p e ( −1 , ) plt scatter (x , y) n va ac th Trang 34 Stt.010.Mssv.BKD002ac.email.ninhd.vT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.Lj.dtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn.Stt.010.Mssv.BKD002ac.email.ninhddtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn Stt.010.Mssv.BKD002ac.email.ninhd.vT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.Lj.dtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn.Stt.010.Mssv.BKD002ac.email.ninhddtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn si C.vT.Bg.Jy.Lj.Tai lieu Luan vT.Bg.Jy.Lj van Luan an.vT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.Lj Do an.Tai lieu Luan van Luan an Do an.Tai lieu Luan van Luan an Do an C.vT.Bg.Jy.Lj.Tai lieu Luan vT.Bg.Jy.Lj van Luan an.vT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.Lj Do an.Tai lieu Luan van Luan an Do an.Tai lieu Luan van Luan an Do an p l t x l a b e l ( ’ Met␣ vuong ’ ) p l t y l a b e l ( ’ Gia ’ ) x = np h s t a c k ( ( np o n e s ( (N, ) ) , x ) ) lu an n va p ie gh tn to d oa nl w Hình 3.1: Biểu đồ liệu giá diện tích a lu d f = pd read_csv ( " d a t a _ l i n e a r c s v " ) x = np a r r a y ( d f [ " Dien ␣ t i c h " ] ) y = np a r r a y ( d f [ " Gia " ] ) X_n = np a r r a y ( [ [ , x [ i ] ] fo r i in range ( len ( x ) ) ] ) X_n = np matrix (X_n) y = np expand_dims ( y , a x i s = −1) y = np matrix ( y ) oi lm ul f an nv z at nh w = np l i n a l g i n v (X_n T∗X_n) ∗X_n T∗y print ( "w␣=␣" , w) def p r e d i c t ( x , w ) : return int ( x∗w[ ] +w [ ] ) p r e d i c t ( ,w) z Kết chạy om l.c w = [[ −7.06426865] [15.2110908 ] ] gm @ p l t p l o t ( [ xmin , xmax ] , [ model ( xmin , w) , model ( xmax , w ) ] , c o l o r =" r e d " ) p l t s c a t t e r ( x , [ ya [ i ] [ ] f o r i in range ( len ( ya ) ) ] , ) n a Lu n va ac th Trang 35 Stt.010.Mssv.BKD002ac.email.ninhd.vT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.Lj.dtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn.Stt.010.Mssv.BKD002ac.email.ninhddtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn Stt.010.Mssv.BKD002ac.email.ninhd.vT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.Lj.dtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn.Stt.010.Mssv.BKD002ac.email.ninhddtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn si C.vT.Bg.Jy.Lj.Tai lieu Luan vT.Bg.Jy.Lj van Luan an.vT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.Lj Do an.Tai lieu Luan van Luan an Do an.Tai lieu Luan van Luan an Do an C.vT.Bg.Jy.Lj.Tai lieu Luan vT.Bg.Jy.Lj van Luan an.vT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.Lj Do an.Tai lieu Luan van Luan an Do an.Tai lieu Luan van Luan an Do an lu an n va p ie gh tn to Hình 3.2: Kết model d oa nl w a lu oi lm ul f an nv z at nh z om l.c gm @ n a Lu n va ac th Trang 36 Stt.010.Mssv.BKD002ac.email.ninhd.vT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.Lj.dtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn.Stt.010.Mssv.BKD002ac.email.ninhddtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn Stt.010.Mssv.BKD002ac.email.ninhd.vT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.Lj.dtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn.Stt.010.Mssv.BKD002ac.email.ninhddtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn si C.vT.Bg.Jy.Lj.Tai lieu Luan vT.Bg.Jy.Lj van Luan an.vT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.Lj Do an.Tai lieu Luan van Luan an Do an.Tai lieu Luan van Luan an Do an C.vT.Bg.Jy.Lj.Tai lieu Luan vT.Bg.Jy.Lj van Luan an.vT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.Lj Do an.Tai lieu Luan van Luan an Do an.Tai lieu Luan van Luan an Do an Chương MÁY VECTOR HỖ TRỢ lu Support Vector Machine - tạm dịch Máy vector hỗ trợ (Support Vector Machine - SVM) Thuật tốn SVM ban đầu tìm Vladimir N Vapnik dạng chuẩn sử dụng lề mềm tìm Vapnik Corinna Cortes năm 1995 an n va p ie gh tn to Support vector machine (SVM) khái niệm thống kê khoa học máy tính cho tập hợp phương pháp học có giám sát liên quan đến để phân loại phân tích hồi quy Các SVM sử dụng phổ biến vấn đề phân lớp SVM dạng chuẩn nhận liệu vào phân loại chúng vào hai lớp khác Do SVM thuật tốn phân loại nhị phân Với ví dụ luyện tập thuộc hai thể loại cho trước, thuật toán luyện tập SVM xây dựng mơ hình SVM để phân loại ví dụ khác vào hai thể loại Một mơ hình SVM cách biểu diễn điểm không gian lựa chọn ranh giới hai thể loại cho khoảng cách từ ví dụ luyện tập tới ranh giới xa Các ví dụ biểu diễn khơng gian thuật tốn dự đốn thuộc hai thể loại tùy vào ví dụ nằm phía ranh giới d oa nl w a lu f an nv oi lm ul Support Vector Machine xây dựng siêu phẳng tập hợp siêu phẳng không gian nhiều chiều vơ hạn chiều, sử dụng cho phân lớp, hồi quy nhiệm vụ khác Một cách trực giác, để phân loại tốt siêu phẳng nằm xa điểm liệu tất lớp tốt, nói chung lề lớn sai số tổng qt hóa thuật tốn phân loại bé Tóm lại, SVM dựa ý tưởng tìm siêu phẳng chia tốt tập liệu thành hai lớp cho lề tối ưu z at nh z gm @ om l.c Các kết chương chủ yếu tham khảo từ tài liệu [1], [3], [6], [8] trong: “ Danh mục tài liệu tham khảo ” n a Lu n va ac th Trang 37 Stt.010.Mssv.BKD002ac.email.ninhd.vT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.Lj.dtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn.Stt.010.Mssv.BKD002ac.email.ninhddtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn Stt.010.Mssv.BKD002ac.email.ninhd.vT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.Lj.dtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn.Stt.010.Mssv.BKD002ac.email.ninhddtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn si C.vT.Bg.Jy.Lj.Tai lieu Luan vT.Bg.Jy.Lj van Luan an.vT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.Lj Do an.Tai lieu Luan van Luan an Do an.Tai lieu Luan van Luan an Do an C.vT.Bg.Jy.Lj.Tai lieu Luan vT.Bg.Jy.Lj van Luan an.vT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.Lj Do an.Tai lieu Luan van Luan an Do an.Tai lieu Luan van Luan an Do an lu an Hình 4.1: Tập liệu phân tách tuyến tính n va p ie gh tn to 4.1 Tập liệu phân tách tuyến tính Cho siêu phẳng H ∈ Rn xác định d oa nl w Hw,a = {x ∈ Rn |x1 w1 + + xn wn = a} , w1 , , wn , a ∈ R siêu phẳng Hw,a xác định phương trình a lu wT x = a f an nv Ta biết khoảng cách từ điểm x0 ∈ Rn siêu phẳng Hw,a cho đẳng thức oi lm ul d(Hw,a , x0 ) = |wT x0 − a| kwk nh z at Giả sử có hai lớp liệu mơ tả vector đặc trưng không gian nhiều chiều Hơn nữa, hai lớp liệu tách biệt tuyến tính, tức tồn siêu phẳng phân chia xác hai lớp Hãy tìm siêu phẳng cho tất điểm thuộc lớp nằm phía siêu phẳng ngược phía với tồn điểm thuộc lớp cịn lại Chúng ta biết có vơ số siêu phẳng thực việc phân chia nhờ vào thuật toán Perceptron z om l.c gm @ n a Lu n va ac th Trang 38 Stt.010.Mssv.BKD002ac.email.ninhd.vT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.Lj.dtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn.Stt.010.Mssv.BKD002ac.email.ninhddtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn Stt.010.Mssv.BKD002ac.email.ninhd.vT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.Lj.dtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn.Stt.010.Mssv.BKD002ac.email.ninhddtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn si C.vT.Bg.Jy.Lj.Tai lieu Luan vT.Bg.Jy.Lj van Luan an.vT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.Lj Do an.Tai lieu Luan van Luan an Do an.Tai lieu Luan van Luan an Do an C.vT.Bg.Jy.Lj.Tai lieu Luan vT.Bg.Jy.Lj van Luan an.vT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.Lj Do an.Tai lieu Luan van Luan an Do an.Tai lieu Luan van Luan an Do an lu an n va Hình 4.2: Siêu phẳng phân tách tập liệu p ie gh tn to Có câu hỏi đặt ra: Trong vô số phẳng phân chia đó, đâu phẳng phân chia tốt ? d oa nl w Gọi khoảng cách nhỏ từ điểm thuộc lớp tới đường phân chia lề Ta cần tìm phẳng phân chia cho lề hai lớp phẳng phân chia Hơn nữa, độ rộng lề lớn khả xảy phân loại lỗi thấp Bài tốn tối ưu SVM tốn tìm đường phân chia cho lề rộng a lu f an nv 4.2 Xây dựng toán tối ưu cho SVM oi lm ul Giả sử liệu tập huấn luyện có kích thước m cặp vector z at nh s = ((x1 , y1 ), , (xm , ym )) , x1 , , xm ∈ Rn yi ∈ {−1; 1} với ≤ i ≤ m z gm @ Các liệu dương s cặp xi , yi cho yi = 1, cặp lại liệu âm om l.c Nhiệm vụ phẳng phân lớp tuyến tính xây dựng siêu phẳng Hw,a >0 để tách liệu s cho với liệu dương (xi , 1) xi ∈ Hw,a với