Xây dựng mô hình lai cho bài toán dự báo theo tiếp cận mờ hướng dữ liệu tt

ĐẠI HỌC HUẾ TRƯỜNG ĐẠI HỌC KHOA HỌC NGUYỄN ĐỨC HIỂN XÂY DỰNG MƠ HÌNH LAI CHO BÀI TỐN DỰ BÁO THEO TIẾP CẬN MỜ HƯỚNG DỮ LIỆU CHUYÊN NGÀNH: KHOA HỌC MÁY TÍNH MÃ SỐ: 9480101 LUẬN ÁN TIẾN SĨ KHOA HỌC MÁY TÍNH HUẾ - NĂM 2019 Cơng trình hồn thành tại: Trường Đại học Khoa học, Đại học Huế Người hướng dẫn khoa học: PGS.TS Lê Mạnh Thạnh Phản biện 1: GS.TS Vũ Đức Thi Viện Công nghệ thông tin, Đại học Quôc gia Hà Nội Phản biện 2: PGS.TS Trần Văn Lăng Viện Cơ học Tin học ứng dụng Phản biện 3: PGS.TS Nguyễn Tấn Khôi Trường Đại học Bách khoa, Đại học Đà Nẵng Luận án bảo vệ Hội đồng chấm luận án cấp Đại học Huế, họp Đại học Huế vào lúc …… …… ngày……tháng……năm 2019 Có thể tìm hiểu luận án tại: - Thư viện Quốc gia Việt Nam - Thư viện Trường Đại học Khoa học, Đại học Huế MỞ ĐẦU Tính cấp thiết đề tài Dự báo khoa học nghệ thuật tiên đoán việc xảy tương lai, sở phân tích khoa học liệu thu thập Thuật ngữ dự báo (forecasting) thường sử dụng ngữ cảnh q trình đưa dự đốn (prediction) tương lai dựa liệu khứ tại, nhiên nguyên tắc hồn tồn ứng dụng để dự đốn biến chéo Có hai loại kỹ thuật dự báo: kỹ thuật dự báo định tính kỹ thuật dự báo định lượng Kỹ thuật dự báo định lượng dựa việc phân tích liệu lịch sử để vẽ mơ hình hóa chiều hướng vận động đối tượng phù hợp với mô hình tốn học đó, đồng thời sử dụng mơ hình cho việc dự báo xu hướng tương lai Các kỹ thuật phân tích hồi quy cho phép xây dựng mơ hình hồi quy mơ tả mối quan hệ biến cần dự báo Y với biến độc lập X Các mơ hình máy học thống kê máy học véc-tơ hỗ trợ, mạng nơ-ron nhân tạo, … nhiều nhà khoa học nghiên cứu áp dụng với hy vọng xây dựng mơ hình dự báo có độ xác cao Những nghiên cứu xây dựng mơ hình dựa luật mờ (fuzzy rulebased models) hướng tiếp cận để xây dựng hệ thống hỗ trợ dự báo, dự báo điều khiển Thành phần cốt lõi, mô hình mờ sở tri thức mơ hình đó, mà cụ thể tập luật mờ lập luận hay suy diễn Về có hai cách xây dựng sở tri thức mơ hình mờ: Thứ nhất, thu thập tri thức dựa kinh nghiệm chuyên gia, phát biểu dạng luật, quy tắc, gọi chung tri thức chuyên gia; Thứ hai tích lũy, tổng hợp hoàn thiện sở tri thức dựa việc khám phá tri thức từ liệu thực tế, gọi tri thức liệu Những mơ hình mờ xây dựng theo hướng tiếp cận khám phá tri thức từ liệu gọi mơ hình mờ hướng liệu (data driven fuzzy models) Nhiều nghiên cứu cơng bố chứng tỏ mơ hình mờ hướng liệu mang lại hiệu việc giải tốn nhận dạng, điều khiển, phân tích dự đoán, … dựa vào kỹ thuật phân cụm, phân lớp, hay hồi quy Qua tổng hợp đánh giá kết nghiên cứu mơ hình mờ hướng liệu, giải pháp tích hợp kiểu khác tri thức tiên nghiệm để cải thiện mô hình, vấn đề xây dựng mơ hình mờ hướng liệu dựa máy học véc-tơ hỗ trợ, cho thấy: cần thiết phải nghiên cứu giải pháp tích hợp kiểu khác tri thức tiên nghiệm vào mơ hình mờ hướng liệu trích xuất từ SVM, đồng thời nghiên cứu xây dựng mơ hình lai ghép dựa mơ hình mờ hướng liệu để giải toán dự báo thực tế Mục tiêu đối tượng nghiên cứu Mục tiêu nghiên cứu luận án là: Xây dựng mơ hình mờ hướng liệu lai ghép dựa việc tích hợp tri thức tiên nghiệm với mơ hình mờ hướng liệu cho toán dự báo hồi quy Cụ thể, nghiên cứu nội dung chủ yếu sau: - Nghiên cứu phương pháp xây dựng mơ hình mờ từ liệu, cụ thể xây dựng mơ hình mờ dựa máy học véc-tơ hỗ trợ - Nghiên cứu phương thức cho phép tích hợp kiểu khác tri thức tiên nghiệm mơ hình mờ hướng liệu dựa máy học véc-tơ hỗ trợ - Đề xuất mơ hình lai ghép sở mơ hình mờ hướng liệu trích xuất từ máy học véc-tơ hỗ trợ cho toán dự báo hồi quy áp dụng để giải toán dự báo liệu chuỗi thời gian tài Cách tiếp cận phương pháp nghiên cứu Luận án tập trung tiếp cận phương pháp chính: Phương pháp tổng hợp phân tích; Phương pháp mơ hình hóa; Phương pháp thực nghiệm, đánh giá kết rút kết luận Phạm vi đối tượng nghiên cứu Luận án xác định phạm vi đối tượng nghiên cứu sau: - Nghiên cứu phương pháp xây dựng mơ hình mờ từ liệu o Các mơ hình dựa luật mờ (Fuzzy rule-based models): Mamdani, TSK; o Trích xuất mơ hình mờ TSK từ liệu dựa vào máy học véctơ hỗ trợ - thuật tốn f-SVM (SVM-based fuzzy models); o Tối ưu hóa tham số mơ hình mờ hướng liệu: thuật toán di truyền, thuật toán Gradient descent; o Triển khai thực nghiệm đánh giá mơ hình - Nghiên cứu giải pháp cải thiện hiệu mơ hình mờ hướng liệu cách tích hợp tri thức tiên nghiệm o Các kịch tích hợp tri thức có trước vào mơ hình máy học cho phép cải thiện hiệu mơ hình: Explanation-based learning (EBL), Relevance-based learning (RBL), Knowledge-based inductive learning (KBIL); o Xác định tri thức tiên nghiệm cụ thể để tích hợp vào mơ hình mờ dựa máy học véc-tơ hỗ trợ; o Đề xuất triển khai thực nghiệm thuật tốn trích xuất mơ hình mờ dựa máy học véc-tơ hỗ trợ có tích hợp tri thức tiên nghiệm – SVM-IF - Nghiên cứu giải pháp lai ghép kỹ thuật phân cụm (SOM, kMeans) với mơ hình mờ hướng liệu dựa máy học véc-tơ hỗ trợ để giải toán dự báo liệu chuỗi thời gian o Nghiên cứu xây dựng mơ hình mờ dự báo hồi quy cho toán dự báo liệu chuỗi thời gian; o Đề xuất mơ hình mờ lai ghép kỹ thuật phân cụm với mơ hình mờ hướng liệu để giải toán dự báo liệu chuỗi thời gian; o Áp dụng mơ hình lai ghép đề xuất để giải toán dự báo liệu chuỗi thời gian tài Đóng góp luận án Thứ nhất, đề xuất thuật toán f-SVM để trích xuất tập luật mờ từ liệu huấn luyện dựa vào máy học vé-tơ hỗ trợ hồi quy Quy trình trích xuất tập luật mờ có cho phép lựa chọn giá trị tham số epsilon phù hợp thông qua thực nghiệm cách sử dụng tập liệu xác thực Thứ hai, đề xuất thuật toán SVM-IF cho phép trích xuất tập luật mờ từ liệu huấn luyện dựa vào máy học véc-tơ hỗ tợ hồi quy có tích hợp tri thức tiên nghiệm Thuật tốn giải pháp tích hợp tri thức tiên nghiệm vào trình trích xuất tập luật mờ từ liệu để đảm bảo tính diễn dịch tập luật Thứ ba, đề xuất mơ hình lai ghép kỹ thuật phân cụm với mơ hình mờ hướng liệu dựa máy học véc-tơ hỗ trợ hồi quy để giải toán dự báo liệu chuỗi thời gian Mơ hình đề xuất áp dụng để giải toán dự báo liệu chuỗi thời gian tài Bố cục luận án Phần mở đầu luận án trình bày tổng quan nội dung nghiên cứu luận án, bao gồm nghiên cứu liên quan thách thức đặt vấn đề nghiên cứu Chương trình bày kết nghiên cứu xây dựng thuật tốn trích xuất tập luật mờ từ liệu dựa máy học véc-tơ hỗ trợ hồi quy (thuật toán f-SVM), có đề xuất giải pháp lựa chọn giá trị tham số epsilon tối cách sử dụng tập liệu xác thực Nội dung Chương liên quan đến kết nghiên cứu giải pháp tích hợp tri thức tiên nghiệm để cải thiện mơ hình mờ hướng liệu đề xuất thuật toán SVM-IF Chương trình bày mơ hình lai ghép kỹ thuật phân cụm với mơ hình mờ trích xuất từ liệu dựa vào máy học véc-tơ hỗ trợ để giải toán dự báo liệu chuỗi thời gian Phần kết luận trình bày tóm tắt đóng góp luận án ý nghĩa khoa học thực tiễn Đồng thời điểm tồn vấn đề nghiên cứu số định hướng nghiên cứu Chương TRÍCH XUẤT MƠ HÌNH MỜ HƯỚNG DỮ LIỆU DỰA TRÊN MÁY HỌC VÉC-TƠ HỖ TRỢ 1.1 Cơ logic mờ Lý thuyết tập mờ lần Lotfi A Zadeh giới thiệu cơng trình nghiên cứu vào năm 1965 Luật mờ “IF-THEN” phát triển dựa lý thuyết tập mờ ứng dụng thành công nhiều lĩnh vực 1.2 Mơ hình mờ hướng liệu Mơ hình mờ được xây dựng với phần cốt lõi sở tri thức gồm tập luật mờ chế suy luận mờ Có thể phân mơ hình mờ thành kiểu mơ hình mờ Mandani mơ hình mờ TSK Mơ hình mờ TSK gồm tập luật mờ “IF–THEN” dạng TSK, sở phép suy luận mờ Luật mờ TSK biểu diễn sau: 𝑗 𝑗 𝑗 𝑅𝑗 : 𝐼𝐹 𝑥1 𝑖𝑠 𝐴1 𝑎𝑛𝑑 𝑥2 𝑖𝑠 𝐴2 𝑎𝑛𝑑 … 𝑎𝑛𝑑 𝑥𝑝 𝑖𝑠 𝐴𝑝 𝑇𝐻𝐸𝑁 𝑦 = 𝑔𝑗 (𝑥1 , 𝑥2 , … , 𝑥𝑝 ) , 𝑣ớ𝑖 𝑗 = 1, 2, … , 𝑚 Trong 𝑥𝑖 (𝑖 = 1,2, … 𝑝) biến điều kiện đầu vào luật mờ 𝑅𝑗 ; 𝑦 biến định đầu ra, xác định hàm không 𝑗 mờ 𝑔𝑗 ( ) biến 𝑥𝑖 ; 𝐴𝑖 giá trị ngôn ngữ (những tập mờ) xác định hàm thành viên tương ứng 𝜇𝐴𝑗 (𝑥𝑖 ) 𝑖 Q trình suy luận theo mơ hình mờ TSK thực sau: Bước Kích hoạt giá trị thành viên Giá trị thành viên biến đầu vào tính tốn theo công thức nhân sau: 𝑝 ∏ 𝑖=1 𝜇𝐴𝑗 (𝑥𝑖 ) (1.15) 𝑖 Bước Tính kết đầu hàm suy luận mờ theo công thức sau: 𝑗 𝑓(𝑥) = 𝑝 ∑𝑚 𝑗=1 𝑧 (∏𝑖=1 𝜇𝐴𝑗 (𝑥𝑖 )) 𝑖 𝑝 ∑𝑚 𝑗=1 ∏𝑖=1 𝜇𝐴𝑗 (𝑥𝑖 ) (1.16) 𝑖 𝑗 Trong đó, 𝑧 giá trị đầu hàm 𝑔𝑗 ( ) tương ứng với luật mờ 𝑓(𝑥) gọi hàm định đầu mơ hình mờ TSK 1.3 Sinh luật mờ từ liệu Có nhiều giải pháp sinh luật mờ từ liệu nghiên cứu, kỹ thuật sử dụng máy học véc-tơ hỗ trợ nhiều tác giả đề xuất chứng minh tính hiệu quả, đặc biệt hiệu tốc độ học máy học véc-tơ hỗ trợ Tuy nhiên, vấn đề đảm bảo “tính diễn dịch được” tập luật thách thức chưa giải 1.4 Máy học véc-tơ hỗ trợ Máy học véc-tơ hỗ trợ lần giới thiệu giải toán phân lớp Sau phát triển mở rộng cho tốn dự báo hồi quy Trong trường hợp giải toán dự báo hồi quy, lý thuyết máy học véc-tơ hỗ trợ tóm tắt nhưu sau: Cho tập liệu huấn luyện {(𝑥1 , 𝑦1 ), … , (𝑥𝑙 , 𝑦𝑙 )} ⊂ 𝑅 𝑛 × 𝑅, 𝑅 𝑛 xác định miền liệu đầu vào Mục tiêu máy học véctơ hỗ trợ hồi quy ε-SVR (ε-Support Vector Regression) tìm hàm định siêu phẳng 𝑓(𝑥) tối ưu cho độ sai lệch tất 𝑦𝑖 tập liệu huấn luyện phải nhỏ giá trị sai số 𝜀 Trong trường hợp hồi phi tuyến tính, với hàm nhân kernel 𝐾(𝑥𝑖 , 𝑥𝑗 ) = 〈𝛷(𝑥𝑖 ), 𝛷(𝑥𝑗 )〉, hàm định 𝑓(𝑥) máy học véc-tơ hỗ trợ hồi quy có dạng: 𝑙 𝑓(𝑥) = ∑(𝛼𝑖 − 𝛼𝑖∗ ) 𝐾(𝑥𝑖 , 𝑥) + 𝑏 (1.35) 𝑖=1 Begin Input: - Tập liệu huấn luyện H - Tham số lỗi ɛ Khởi tạo tham số SVM: C, ɛ, σ Huấn luyện SVM để trích xuất véc-tơ hỗ trợ: Centers: ci , i=1,2, ,m Variances: σi , i=1,2,…,m Trích xuất luật mờ dựa vào véc-tơ hỗ trợ: IF x is Gaussmf(ci ,σi) THEN y is B Tối ưu hóa tham số hàm thành viên Output: Mơ hình mờ TSK End Hình 1.6 Sơ đồ khối thuật tốn trích xuất mơ hình mờ TSK từ máy học véc-tơ hỗ trợ 1.5 Trích xuất mơ hình mờ TSK từ máy học véc-tơ hỗ trợ Các bước thực trích xuất tập luật mờ từ tập liệu huấn luyện đầu vào thể Hình 1.6 1.6 Lựa chọn tham số Tham số hàm thành viên mờ tối ưu hóa phương pháp Gradient descent Giá trị tham số ε điều chỉnh để nhận mơ hình tối ưu Việc lựa chọn giá trị tham số ε tối ưu thực thông qua thực nghiệm tập liệu xác thực Luận án đề xt thuật tốn f-SVM cho phép trích xuất mơ hình mờ TSK từ máy học véc-tơ hỗ trợ, thể Hình 1.8 Thuật tốn f-SVM Input: - Tập liệu huấn luyện H, Tham số lỗi 𝜀 Output: Mơ hình mờ với hàm đầu 𝑓(𝑥) Khởi tạo giá trị tham số: 𝐶, 𝜀, 𝜎; Huấn luyện SVM: 𝑓(𝑥) = ∑𝑙𝑖=1(𝛼𝑖 − 𝛼𝑖∗ ) 𝐾(𝑥𝑖 , 𝑥) + 𝑏 ; Trích xuất 𝑆𝑉 = {(𝛼𝑖 − 𝛼𝑖∗ ): (𝛼𝑖 − 𝛼𝑖∗ ) ≠ 0, 𝑖 ∈ {0, … , 𝑙}}; ′ ′ Điều chỉnh ma trận kernel: 𝐻 ′ = [ 𝐷 ′ −𝐷′ ] ; −𝐷 𝐷 〈𝜑(𝑥𝑖 ),𝜑(𝑥𝑗 )〉 ′ với 𝐷𝑖𝑗 = ∑ 〈𝜑(𝑥 ),𝜑(𝑥 ; 𝑗 𝑖 𝑗 )〉 Sinh tập luật mờ từ tập SV với hàm nhân Gauss; Tối ưu hóa tham số hàm thành viên : 𝜎𝑖 (𝑡 + 1) = 𝜎𝑖 (𝑡) + 𝛿𝜀1,𝑖 [ 𝑐𝑖 (𝑡 + 1) = (𝑥−𝑐)2 𝑒𝑥𝑝 (− (𝑥−𝑐)2 )] , 𝜎3 2𝜎 (𝑥−𝑐)2 −(𝑥−𝑐) 𝑐𝑖 (𝑡) + 𝛿𝜀1,𝑖 [ 𝑒𝑥𝑝 (− )] 𝜎 2𝜎 𝑙 ∗ ∑𝑖=1(𝛼𝑖 −𝛼𝑖 )𝐾(𝑥𝑖 ,𝑥) return 𝑓(𝑥) = ∑𝑙𝑖=1 𝐾(𝑥𝑖 ,𝑥) Hình 1.8 Thuật tốn f-SVM ; 12 lĩnh vực dự báo phân tích tập luật cách dễ dàng, từ đánh giá tập luật mờ qua có giải pháp để tối ưu hóa tập luật Chương TÍCH HỢP TRI THỨC TIÊN NGHIỆM VÀO MƠ HÌNH MỜ HƯỚNG DỮ LIỆU 2.1 Tri thức tiên nghiệm Tri thức tiên nghiệm hiểu tri thức có trước học Đối với vấn đề xây dựng mơ hình mờ từ liệu tri thức tiên nghiệm thường liên quan đến vấn đề như: tầm quan trọng liệu, hành vi máy học mục tiêu máy học 2.2 Vai trò tri thức tiên nghiệm việc học mơ hình mờ Theo lý thuyết học máy vai trò tri thức tiên nghiệm q tình học máy thể theo kịch bản, bao gồm: EBL, RBL KBIL 2.3 Xác định tri thức tiên nghiệm để tích hợp vào mơ hình mờ trích xuất từ máy học véc-tơ hỗ trợ Trong vấn đề học mơ hình mờ dựa máy học véc-tơ hỗ trợ, tích hợp tri thức liên quan cấu trúc mơ hình để cải thiện tính “có thể diễn dịch được” mơ hình 2.4 Tích hợp tri thức tiên nghiệm vào mơ hình mờ trích xuất từ máy học véc-tơ hỗ trợ Thuật toán SVM-IF(H, sim, 𝜀, tol) Input: Tập liệu huấn luyện H, Ngưỡng độ đo tương tự hàm thành viên sim, Tham số lỗi 𝜀; Output: Mơ hình mờ với hàm định đầu 𝑓(𝑥); Khởi tạo giá trị tham số: 𝐶, 𝜀, 𝜎, 𝑠𝑡𝑒𝑝; Huấn luyện SVM: 𝑓(𝑥) = ∑𝑙𝑖=1(𝛼𝑖 − 𝛼𝑖∗ ) 𝐾(𝑥𝑖 , 𝑥) + 𝑏 ; 13 Trích xuất 𝑆𝑉 = {(𝛼𝑖 − 𝛼𝑖∗ ): (𝛼𝑖 − 𝛼𝑖∗ ) ≠ 0, 𝑖 ∈ {0, … , 𝑙}}; InterpretabilityTest(c, σ, sim); ′ Điều chỉnh ma trận kernel: 𝐻 ′ = [ 𝐷 ′ −𝐷 −𝐷′ ], 𝐷′ 〈𝜑(𝑥𝑖 ),𝜑(𝑥𝑗 )〉 ′ với 𝐷𝑖𝑗 = ∑ 〈𝜑(𝑥 ),𝜑(𝑥 𝑗 𝑖 𝑗 )〉 ; Sinh tập luật mờ từ tập SV với hàm nhân Gauss; Tối ưu hóa tham số hàm thành viên : 𝜎𝑖 (𝑡 + 1) = 𝜎𝑖 (𝑡) + 𝛿𝜀1,𝑖 [ 𝑐𝑖 (𝑡 + 1) = 𝑐𝑖 (𝑡) + 𝛿𝜀1,𝑖 [ return 𝑓(𝑥) = (𝑥−𝑐)2 𝜎3 𝑒𝑥𝑝 (− (𝑥−𝑐)2 2𝜎 )] (𝑥−𝑐)2 −(𝑥−𝑐) 𝑒𝑥𝑝 (− )] 𝜎 2𝜎 ∑𝑙𝑖=1(𝛼𝑖 −𝛼𝑖∗ )𝐾(𝑥𝑖 ,𝑥) ∑𝑙𝑖=1(𝛼𝑖 −𝛼𝑖∗) Hình 2.4 Thuật tốn SVM-IF Thuật toán InterpretabilityTest Tập véc-tơ hỗ trợ 𝑐, Tham số xác định độ lệch chuẩn 𝜎, Input: Tham số ngưỡng độ tương tự cho trước sim; Output: Tập véc-tơ hỗ trợ rút gọn; repeat Tính độ đo tương tự cặp tập mờ 𝐴𝑖 , 𝐴𝑗 : − 𝑆 𝐺 (𝐴𝑖 , 𝐴𝑗 ) = 𝑑2 𝑒 𝜎2 𝑑2 − 2−𝑒 𝜎2 Lựa chọn cặp tập mờ 𝐴∗𝑖 𝐴𝑗∗ cho: 𝑆 𝐺 (𝐴∗𝑖 , 𝐴𝑗∗ ) = 𝑚𝑎𝑥𝑖,𝑗 {𝑆 𝐺 (𝐴𝑖 , 𝐴𝑗 )} if 𝑆 𝐺 (𝐴∗𝑖 , 𝐴𝑗∗ ) > 𝑠𝑖𝑚 then Gộp cặp tập mờ 𝐴∗𝑖 𝐴𝑗∗ thành tập mờ 𝐴𝑘 ; end if 𝑣ớ𝑖 𝑑 = √(𝑐𝑖 − 𝑐𝑗 ) +(𝜎𝑖 − 𝜎𝑗 ) 14 until khơng căp tập mờ có 𝑆 𝐺 (𝐴𝑖 , 𝐴𝑗 ) > 𝑠𝑖𝑚; Return Hình 2.5 Thuật toán InterpretabilityTest Các tham số 𝜺 , tol sim chọn lựa dựa vào thực nghiệm tập liệu xác thực theo Qui trình Hình 2.6 Begin Input: - Tập liệu huấn luyện H - Tham số lỗi ɛ - Ngưỡng sai số tol, k Khởi tạo tham số SVM: C, ɛ, σ Huấn luyện SVM để trích xuất véc-tơ hỗ trợ: Centers: ci , i=1,2, m Variances: σi , i=1,2, m Kiểm tra gộp hàm thành viên có độ tương tự lớn ngưỡng k Trích xuất luật mờ dựa vào véc-tơ hỗ trợ: IF x is Gaussmf(ci ,σi) THEN y is B Tối ưu hóa tham số hàm thành viên Dự đoán tập liệu xác thực tính giá trị sai số error Thay đổi giá trị tham số ɛ True error>tol False Output: Mơ hình mờ TSK với tham số tối ưu End Hình 2.6 Quy trình trích xuất mơ hình mờ TSK từ máy học véc-tơ hỗ trợ có tích hợp tri thức tiên nghiệm 15 2.5 Tổ chức thực nghiệm 2.5.1 Mô tả thực nghiệm Hệ thống thực nghiệm triển khai dựa công cụ Matlab 2.5.2 Bài tốn hồi quy phi tuyến Hình 2.7 Kết mơ hình tối ưu hóa (RMSE = 0.0183) Bảng 2.2 So sánh kết mơ hình qua thơng số RMSE Số luật mờ/Số véc-tơ hỗ trợ 50 Mơ hình áp dụng ANFIS