NGHIÊN CỨU ỨNG DỤNG MÔ HÌNH MÁY HỌC VÉC- TƠ TỰA (SVM) TRONG VIỆC PHÂN TÍCH DỮ LIỆU ĐIỂM SINH VIÊN

Công Nghệ Thông Tin, it, phầm mềm, website, web, mobile app, trí tuệ nhân tạo, blockchain, AI, machine learning - Công Nghệ Thông Tin, it, phầm mềm, website, web, mobile app, trí tuệ nhân tạo, blockchain, AI, machine learning - Công nghệ thông tin ĐẠI HỌC ĐÀ NẴNG TRƯỜNG CĐ CÔNG NGHỆ THÔNG TIN BÁO CÁO TỔNG KẾT ĐỀ TÀI KHOA HỌC VÀ CÔNG NGHỆ CẤP CƠ SỞ NGHIÊN CỨU ỨNG DỤNG MÔ HÌNH MÁY HỌC VÉC-TƠ TỰA (SVM) TRONG VIỆC PHÂN TÍCH DỮ LIỆU ĐIỂM SINH VIÊN Mã số: T2013-07-01 Xác nhận của cơ quan chủ trì đề tài Chủ nhiệm đề tài Nguyễn Đức Hiển Đà Nẵng, 122013 i MỤC LỤC C C .............................................................................................................................. i NH C H NH ....................................................................................................... iii NH C NG I .................................................................................................. iv NH C C C I ....................................................................................... v HÔNG IN K Q NGHIÊN CỨ ............................................................................ vi Ở ĐẦ ............................................................................................................................... 1 1. ổng quan ................................................................................................................... 1 2. ính cấp thiết của đề tài .............................................................................................. 2 3. ục tiêu đề tài ............................................................................................................ 3 4. Cách tiếp cận và phương pháp nghiên cứu ................................................................. 3 5. Đối tượng và phạm vi nghiên cứu .............................................................................. 4 6. Nội dung nghiên cứu .................................................................................................. 5 Chương C Ở H HỌC C- À Ô H NH ............. 6 1.1. á h c c-tơ t a ................................................................................................ 6 1.2. á h c c-tơ t a ch ài t án tối ưu hóa hồi qui .............................................. 7 1.3. h nh m ............................................................................................................. 9 Chương NG Ô H NH CH HỌC ... 10 tương đương gi a má h c và m h nh m ............................................... 10 huật t án thích uất uật m t d i u d a t ên ết hợp má h c và m h nh m ............................................................................................................................ 11 3 Cài đặt thuật t án f- ử dụng thư vi n i .............................................. 12 3 hư vi n i ............................................................................................. 13 3 huật t án f-SVM .............................................................................................. 15 4 hử nghi m thuật t án f- d đ án d i u chuỗi th i gian .............................. 18 ii Chương 3 Ô H NH CH I ĐI INH IÊN ...... 21 3 h nh t ích uất uật m t d i u đi m inh viên d a t ên thuật t án f-SVM ... 21 3 a ch n thuộc tính d i u đ u và ................................................................. 22 3 iền ử d i u đ u và ................................................................................. 24 3 3 n uất uật m d a và thuật t án -SVM .................................................... 25 3 p dụng m h nh đề uất đ ph n tích d i u đi m inh viên t ư ng Ca đ ng C ng ngh h ng tin ....................................................................................................... 26 3 h n tích d i u th c tế .................................................................................... 26 3 Đánh giá ết qu th c nghi m ........................................................................... 28 K N À KI N NGHỊ ............................................................................................. 29 ÀI I H KH O ...................................................................................................... i iii DANH MỤC HÌNH VẼ Hình 1. Hình ảnh phân lớp với SVM ............................................................................. 6 Hình 2. Sự tương đương giữa SVM và Mô hình mờ .................................................. 10 Hình 3. Sơ đồ khối thuật toán f-SVM ........................................................................... 12 Hình 4. Thuật toán f-SVM ............................................................................................. 17 Hình 5. Kết quả dự đoán trên 200 mẫu dữ liệu thử nghiệm (RMSE = 0.0092) ..... 19 Hình 6. Mô hình Khai phá luật mờ t dữ liệu đi m a inh viên .................................. 22 iv DANH MỤC BẢNG BIỂU ng Tập luật trí h xuất đượ 800 mẫu dữ liệu huấn luyện ................................ 18 ng So ánh hiệu quả a á mô hình (RMSE) ................................................. 20 ng 3 Bảng dữ liệu kết quả họ tập a inh viên trên ex el ................................ 23 ng 4 Cá thuộ tính lựa họn .................................................................................. 23 ng 5 Bảng dữ liệu đi m inh viên đã đượ rút gọn .............................................. 24 ng 6 Bảng dữ liệu au khi đã đượ tiền xử lý........................................................ 25 ng 7 Ví dụ tập á luật trí h xuất đượ ................................................................. 25 ng 8 Một phần tập á luật ản xuất đượ ............................................................ 27 ng 9 Diễn dị h á luật trí h xuất đượ trong bảng 8 ......................................... 27 v DANH MỤC CÁC TỪ VIẾT TẮT SVM Support Vector Machine SOM Self Organizing Map GA Genetic Algorithm SMO Sequential Minimal Optimization RMSE Root Mean Squared Error NMSE Normalized Mean Squared Error MAE Mean Absolute Error SVs Support vectors CĐ Ca đ ng CNTT C ng ngh h ng tin vi ĐẠI HỌC ĐÀ NẴNG CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM TRƯỜNG CĐ CÔNG NGHỆ THÔNG TIN Độc lập – Tự do – Hạnh phúc THÔNG TIN KẾT QUẢ NGHIÊN CỨU 1. Thông tin chung: - ên đề tài: NGHIÊN CỨU ỨNG DỤNG MÔ HÌNH MÁY HỌC VÉC- TƠ TỰA (SVM) TRONG VIỆC PHÂN TÍCH DỮ LIỆU ĐIỂM SINH VIÊN - ã ố: T2013-07-01 - Chủ nhi m: NG ỄN ĐỨC HI N - Thành viên tham gia: không có - Cơ quan chủ t : Ư NG CĐ CÔNG NGH HÔNG IN - h i gian th c hi n: 012013 – 122013 2. Mục tiêu:  ục tiêu : nghiên cứu m h nh má h c c-tơ t a ( ) và uzz m de ing ứng dụng t ng hai phá t i thức t cơ ở d i u  ục tiêu : vận dụng m h nh đ hai phá các qui tắc t i u đi m h c tập của inh viên t ư ng Ca đ ng CN nhằm hỗ t ợ ch c ng tác cố vấn h c tập 3. Tính mới và sáng tạo:  d ng thuật t án f- t ên cơ ở tích hợp m h nh má h c ch ài t án tối ưu hóa hồi qu và m h nh m a agi-Sugeno.  Đề uất một m h nh cụ th gồm 3 giai đ ạn, đ t ích uất tập uật m t d i u đi m inh viên ử dụng thuật t án f- ; đồng th i thử nghi m ph n tích và đánh giá cụ th t ên d i u đi m inh viên t ư ng Ca đ ng C ng ngh h ng tin 4. Tóm tắt kết quả nghiên cứu:  Đối với thu ết má h c và uzz m de ing, đề tài đã nghiên cứu nh ng thu ết t án h c cơ n của má h c ch ài t án ph n ớp và ài t án tối ưu hóa hồi qu , thu ết t án h c của m h nh m a agi- ugen , và tương đương về mặt t án h c của hai m h nh nà  Đối với thuật t án t ích út uật m d a t ên vi c ết hợp và Fuzzy modelling, đề tài nghiên cứu c ng cụ at a và thư vi n i và t đó d ng được vii thuật t án f- ; ng ài a đề tài cũng đã thử nghi m t ên d i u chuỗi th i gian đ đánh giá hi u qu của thuật t án  Đối với m h nh ứng dụng t ích uất uật m t d i u đi m inh viên, đề tài đưa a một m h nh cụ th gồm 3 giai đ ạn đ t ích uất tập uật m t d i u đi m inh viên; đồng th i thử nghi m ph n tích và đánh giá cụ th t ên d i u đi m inh viên t ư ng Ca đ ng C ng ngh h ng tin 5. Tên sản phẩm:  ài á h a h c đăng t ên ỷ ếu Hội th nghiên cứu h a h c: CÔNG NGH HÔNG IN À ỨNG NG CÔNG NGH HÔNG IN ONG C C ĨNH C – ẦN HỨ , và đăng t ên ạp chí Kh a h c C ng ngh Đại h c Đà Nẵng ên ài á : Ứng dụng m h nh má h c c-tơ t a ( ) t ng ph n tích d i u đi m inh viên  ột thuật t án (f- ) và một m h nh h thống t ích uất uật m t d i u đi m sinh viên  ột á cá tổng ết đề tài nghiên cứu h a h c 6. Hiệu quả, phương thức chuyển giao kết quả nghiên cứu và khả năng áp dụng:  Hi u qu về mặt giá dục - đà tạ : ột gi i pháp dạng m h nh đ có th định hướng ch inh viên ngành tin h c phát t i n các ứng dụng t ng ĩnh v c H chuyên gia và khai phá t i thức; đặc i t à hai phá t í thức dạng uật t d i u đi m inh viên, phục vụ ch vi c cố vấn và định hướng h c tập  Hi u qu về mặt h a h c: đóng góp của đề tài à đề uất một thuật t án và một m h nh ứng dụng và uzz m de ing t ng vi c hai phá các qui tắc m t d i u đi m h c tập của inh viên  ề n phẩm ứng dụng: huật t án, h nh h thống và ập qui tắc m hai phá được có th được ử dụng đ d ng cơ ở t i thức, d ng h thống hỗ t ợ ph n tích d i u đi m t động, h chu ên gia về Cố vấn h c tập 7. Hình ảnh, sơ đồ minh họa chính viii Hình. ơ đồ hối thuật t án f-SVM.L a n thu c nh d li u đ u o f-SVM D li u Đi m sinh viên T p Lu t m Ti n x d li u o Hình. Mô hình Khai phá luật mờ t dữ liệu đi m a inh viên. Bảng 9. Trí h một phần tập luật mờ trí h xuất đượ uật Chi tiết R1 IF x1 xấp xỉ 0.98 and x2 xấp xỉ -0.30 and x3 xấp xỉ -0.29 THEN y=0.57 R2 IF x1 xấp xỉ 0.32 and x2 xấp xỉ -0.32 and x3 xấp xỉ -0.36 THEN y=0.03 R3 IF x1 xấp xỉ 0.21 and x2 xấp xỉ -0,29 and x3 xấp xỉ 0.30 THEN y=-0.20 Begin Khởi tạ các tham ố của Centers : Variances : ích uất uật m t IF x is Gaussmf( ) THEN y is B ối ưu hóa End ix R4 IF x1 xấp xỉ 0.89 and x2 xấp xỉ -0.33 and x3 xấp xỉ 0.41 THEN y=0.68 R5 IF x1 xấp xỉ -0.99 and x2 xấp xỉ -1.00 and x3 xấp xỉ -0.30 THEN y=-0.12 R6 IF x1 xấp xỉ 0.30 and x2 xấp xỉ 0.97 and x3 xấp xỉ -0.35 THEN y=0.09 R7 IF x1 xấp xỉ 0.25 and x2 xấp xỉ -0.96 and x3 xấp xỉ -1.00 THEN y=0.26 R8 IF x1 xấp xỉ 0.45 and x2 xấp xỉ -1.00 and x3 xấp xỉ -0.36 THEN y=0.19 R9 IF x1 xấp xỉ 0.26 and x2 xấp xỉ -0.36 and x3 xấp xỉ -0.99 THEN y=0.03 R10 IF x1 xấp xỉ -0.32 and x2 xấp xỉ 0.28 and x3 xấp xỉ 0.29 THEN y=-0.23 Đà Nẵng, ngày 15 tháng 12 năm 2103 Cơ quan chủ trì Chủ nhiệm đề tài NGUYỄN ĐỨC HIỂN 1 MỞ ĐẦU 1. Tổng quan Cùng với phát t i n chóng mặt của c ng ngh th ng tin và ứng dụng của nó t ng đ i ống inh tế - ã hội, c n ngư i ngà càng đòi hỏi nh ng chiếc má tính ph i th ng minh hơn, với nh ng h năng vượt ậc hơn, đ có th phục vụ nhiều hơn n a ch c n ngư i t ng c ng vi c cũng như cuộc ống hàng ngà ột t ng nh ng ĩnh v c há nóng hi n na của c ng ngh th ng tin đó à t í tu nh n tạ và ứng dụng của nó, nh ng ứng dụng t ng ĩnh v c nà ẽ giúp ch má tính có h năng ử th ng tin, hỗ t ợ a qu ết định một cách t động, à ch a hóa của h thống má tính th ng minh, của nền c ng nghi p t i thức gia th a của í tu nh n tạ và tu ết thống ê đã mở a một ch n t i mới ch phát t i n của h a h c và ứng dụng t í tu nh n tạ , nh ng m h nh má h c thống ê đã được nhiều nhà h a h c nghiên cứu, đề uất và đã chứng tỏ được hi u qu t ng vi c phát t i n các ứng dụng Bài toán khai phá t i thức t d i u ( ata mining) đã và đang được ất nhiều nhà h a h c, tổ chức t ên thế giới nghiên cứu và phát t i n ứng dụng Nhiều ỹ thuật mới đã được nghiên cứu và đề uất như Neu a Netw , h nh m ( uzz modeling), Support Vector Machine (SVM), Self Organizing Map (SOM), Lý thu ết tập th ( ugh et ), các thuật t án h n cụm, h n ớp, Hồi qu ,…1234. Đặc i t g n, đ u hướng nghiên cứu c i tiến và tích hợp nhiều c ng cụ hác nhau nhằm n ng ca hi u năng của các gi i pháp đang được nhiều nhà h a h c t ên thế giới quan t m; ví dụ như vi c ết hợp gi a Neural Network và Fuzzy modelling, SVM và Fuzzy modeling, SOM và SVM, Rough Sets và , h ặc ết hợp Gi i thuật di t u ền (G ) với các thuật t án h n cụm, h n ớp,… 2356101214. Nh ng m h nh d đ án d a t ên ỹ thuật hai phá t i thức t d i u được nhiều tác gi nghiên cứu và đề uất ứng dụng t ng nhiều ĩnh v c hác nhau, như: 2 tài chính, th i tiết, hi u năng mạng, d đ án ết qu h c tập của h c inh, inh viên… Ở i t Nam cũng có ất nhiều tác gi nghiên cứu về vấn đề hai phá d i u và ứng dụng t ng nh ng ài t án d đ án, d á ấn đề ứng dụng m h nh m ch ài t án d á chuỗi th i gian đã được tác gi Ngu ễn C ng Điều đề cập và nghiên cứu 13, cụ th à tác gi đã nghiên cứu một ố thuật t án mới ch m h nh chuỗi th i gian m heu i tic t ng d á giá chứng h án ấn đề h u diễn m - w n và ứng dụng t ng ĩnh v c d á chỉ ố tài chính, chứng h án cũng được nhóm tác gi ùi C ng Cư ng và hạm ăn Chiến nghiên cứu 12. h nh ết hợp phương pháp ph n cụm K-mean và phương pháp ph n ớp đ n ng ca hi u qu gi i qu ết ài t án ph n ớp d đ án giá cổ phiếu cũng được nhóm tác gi Ngu ễn H àng ú nh nghiên cứu và á cá năm 0 14. 2. Tính cấp thiết của đề tài Ngày na hai phá d i u ( ata mining) đã và đang t ở thành một t ng nh ng vấn đề được quan t m nghiên cứu và phát t i n ứng dụng Có nhiều ỹ thuật đã được đề uất đ có th hai thác t i thức t d i u, t ng đó mô hình má h c Véc- tơ t a ( – Support Vect achine) ết hợp với uzz m de ing được đề uất như à một t ng nh ng gi i pháp mang ại hi u qu ca Nh ng nghiên cứu về vi c ứng dụng ỹ thuật hai phá d i u đ d ng các h thống ứng dụng đang thu hút nhiều quan t m của các nhà h a h c t ng Đặc i t đối với h thống ứng dụng t ng t ư ng h c, nh ng nghiên cứu g n đ chủ ếu tập t ung và vi c d đ án ết qu h c tập của inh viên và tư vấn ộ t nh h c tập ch inh viên,… Hi n na , h u như tất c các t ư ng Đại h c và Ca đ ng t ng c nước đã chu n đổi m h nh ang đà tạ the h c chế tín chỉ; đối với m h nh đà tà the h c chế tín chỉ, vấn đề a ch n các m n h c đưa và chương t nh đà tạ , công tác cố vấn h c tập, tư vấn ch inh viên chiến ược a ch n m n h c hợp , ố tín chỉ đăng phù hợp,… à nh ng êu c u há ức thiết hi n na Nh ng inh nghi m, qui tắc the u nghĩ chủ quan của nhà t ư ng, của cố vấn h c tập, của n th n inh viên,… có th h ng phù hợp, h ặc à chưa hách quan và đ đủ; bên 3 cạnh đó, vi c ph n tích h d i u hổng ồ một cách thủ c ng cũng à một gi i pháp h ng h thi; chính v vậ , vi c nghiên cứu đưa a nh ng gi i pháp t ích uất nh ng uật m d a và nh ng d i u ịch ử một cách hi u qu , và t đó d ng các h thống ph n mềm H chu ên gia, H hỗ t ợ a qu ết định, d á , d đ án,… t ên cơ ở ử dụng các tập uật m h c được t cơ ở d i u à một t ng nh ng êu c u ức thiết hi n na . 3. Mục tiêu đề tài  ục tiêu : nghiên cứu m h nh má h c c-tơ t a ( ) và uzz m de ing ứng dụng t ng hai phá t i thức t cơ ở d i u  ục tiêu : vận dụng m h nh đ hai phá các qui tắc t i u đi m h c tập của inh viên t ư ng Ca đ ng C ng ngh h ng tin nhằm hỗ t ợ ch c ng tác cố vấn h c tập 4. Cách tiếp cận và phương pháp nghiên cứu 4.1. Cách tiếp cận:  iếp cận the hướng hàn m: d a và tài i u và các c ng ố h a h c  iếp cận the hướng mục tiêu: d a và mục tiêu đề tài Đề tài ẽ được th c hi n the 4 giai đ ạn:  Giai đ ạn : Nghiên cứu m h nh má h c thống ê c-tơ t a ( ) , Fuzzy modeling, và tương đương của chúng  Giai đ ạn : hiết ế thuật t án t ích út uật m t d i u d a t ên ết hợp SVM và Fuzzy modelling  Giai đ ạn 3: ận dụng m h nh t ích út uật m d a t ên đ ph n tích d i u đi m inh viên  Giai đ ạn 4: h c nghi m, đánh giá ết qu và viết á cá tổng ết đề tài 4 hương pháp nghiên cứu: 4 Đề tài ử dụng phương pháp nghiên cứu thu ết, cơ ở t án h c, ết hợp với th c nghi m Cụ th à: t ên cơ ở nghiên cứu các tài i u và c ng ố h a h c mới nhất về vấn đề h nh m và má h c đ d ng m h nh h thống, thu thập và ph n tích d i u đi m inh viên tại t ư ng Ca đ ng C ng ngh h ng tin đ áp dụng m h nh và t ích út a các uật m 5. Đối tượng và phạm vi nghiên cứu 5 Đối tượng nghiên cứu: Đề tài tập t ung và 3 đối tượng nghiên cứu cơ n au:  h nh má h c c-tơ t a và uzz m de ing  huật t án t ích út uật m d a t ên vi c ết hợp và uzz modelling, c ng cụ m phỏng m h nh ết hợp SVM và Fuzzy modeling  Kh d i u đi m inh viên t ư ng Ca đ ng C ng ngh h ng tin và mô h nh t ích uất uật m t d i u đi m inh viên 5 hạm vi nghiên cứu:  Đối với thu ết má h c và uzz m de ing, đề tài tập t ung nghiên cứu nh ng thu ết t án h c cơ n của má h c ch ài t án ph n ớp và ài t án tối ưu hóa hồi qu , thu ết t án h c của m h nh m Takagi-Sugeno, và tương đương về mặt t án h c của hai m hình này.  Đối với thuật t án t ích út uật m d a t ên vi c ết hợp và uzz m de ing, đề tài tập t ung nghiên cứu c ng cụ at a và thư vi n i đ d ng thuật t án f- ; ng ài a đề tài còn nghiên cứu thử nghi m t ên d i u chuỗi th i gian đ đánh giá hi u qu của thuật toán.  Đối với m h nh ứng dụng t ích uất uật m t d i u đi m inh viên, đề tài đưa a một m h nh cụ th với 3 giai đ ạn đ t ích uất tập uật m t d i u đi m inh viên; đồng th i thử nghi m ph n tích và đánh giá cụ th t ên d i u đi m inh viên t ư ng Ca đ ng C ng ngh h ng tin 5 6. Nội dung nghiên cứu Đề tài được tiến hành th c hi n the các nội dung và tiến độ cụ th như au: ST T Các nội dung, c ng vi c th c hi n n phẩm h i gian ( ắt đ u- ết thúc) Ngư i th c hi n 1 Nghiên cứu m h nh má h c thống ê c-tơ t a ( ) và Fuzzy modeling Báo cáo 012013 – 022013 Ngu ễn Đức Hi n 2 hiết ế thuật t án t ích út uật m t d i u d a t ên vi c ết hợp má h c SVM và Fuzzy modelling Mô hình 032013 – 052013 Ngu ễn Đức Hi n 3 ận dụng m h nh t ích út uật m d a t ên đ ph n tích d i u đi m inh viên Mô hình và tập uật 062013 – 102013 Ngu ễn Đức Hi n 4 iết á cá tổng ết đề tài Báo cáo 112013 – 122013 Ngu ễn Đức Hi n ng các chương tiếp the au đ của á cá , chúng t i ẽ t nh à nh ng ết qu nghiên cứu chính về thu ết và th c nghi m đã th c hi n được Chương ẽ giới thi u tóm ược cơ ở thu ết về m h nh má h c c-tơ t a và m h nh m , chương ẽ t nh à nh ng ph n tích về tương đương của má h c c- tơ t a và m h nh m , t đó đưa đến vi c d ng một thuật t án t ích uất uật m t d i u, chương 3 ẽ t nh à m h nh t ích uất uật m t d i u đi m h c tập của inh viên, và cuối cùng à một ố ết uận và iến nghị út a t ết qu của đề tài. 6 Chương . CƠ SỞ L THUYẾT MÁY HỌC VÉC- TƠ TỰA VÀ MÔ HÌNH MỜ 1.1. Máy học V c-tơ tựa á h c v c-tơ t a được apni giới thi u năm 995, đ à m h nh h c d a t ên thu ết h c thống ê ( tati tica ea ning Theory) 1, và à một ỹ thuật được đề nghị đ gi i qu ết ch các ài t án ph n ớp thu ết cơ n của má h c véc-tơ t a ch vấn đề ph n ớp có th tóm tắt như au: Ch tập v ctơ đ u và , và tập các giá t ị nhãn ớp tuơng ứng ch ộ ph n ớp nhị ph n Hàm tu ến tính ph n i t hai ớp như sau: ( ) ( ) . (1) t ng đó, w à v ctơ chuẩn của iêu ph ng ph n cách, à độ ch, và (x) là hàm ánh ạ t h ng gian đ u và ang h ng gian đặc t ưng, ( ) (M > D). ục tiêu của à t m một iêu ph ng tối ưu a ch h ng cách ề gi a hai ớp đạt giá t ị c c đại (xem hình 1). Hình 1. H nh nh ph n ớp với ên cạnh đó, đ đ m tính tổng quát hóa ca , một iến ỏng ( ac va ia e) được đưa và đ nới ỏng điều i n ph n ớp ài t án đưa đến vi c gi i qu ết tối ưu có àng uộc: 7 ∑ sao cho: ( ( ) ) . (2) t ng đó, C > 0 à tham ố chuẩn tắc ( egu a izati n pa amete ), à iến ỏng ài t án ( ) có th đ ợc gi i ằng phương pháp O (Sequential Minimal Optimization) 10. Phương pháp nà đưa đến gi i ài t án đối ngẫu qu h ạch t àn phương (Quad atic g amming): ( ) ∑ ∑ ( ) ( ) (3) hỏa mãn: và ∑ với à các nh n tử Lagrange. au hi có được các giá t ị t ài t án (3), ta ẽ thu đươc các giá t ị tối ưu w và của iêu ph ng Chỉ có các mẫu có mới tham gia và các v c tơ hỗ t ợ ( upp t vect ) Cuối cùng, hàm qu ết định ph n ớp có dạng: ( ) (∑ ( ( ) ( )) ) (4) G i ( ) ( ) ( ) à hàm nh n của h ng gian đ u và Khi đó (4) được viết ại như au: ( ) (∑ ( ) ) (5) he đó, tích v hướng t ng h ng gian đặc t ưng tương đương với hàm nh n K ở h ng gian đ u và Như vậ , tha v tính t c tiếp giá t ị tích v hướng, ta th c hi n gián tiếp th ng qua hàm nhân K. 1.2. Máy học V c-tơ tựa cho bài toán tối ưu hóa hồi qui ới vai t ò gi i qu ết vấn đề tối ưu hóa hồi qu , thu ết cơ n của có th được vắn tắt như au 12345: 8 Ch một tập d i u huấn u n ( ) ( ) t ng đó xác định miền d i u đ u và ới -Support Vector Regression, ài t án tối ưu hóa àng uộc c n gi i qu ết à: ∑( ) sao cho: ( ( ) ) , ( ( ) ) (6) à đưa đến ài t án Quadratic Programming: ∑( )( ) ( ( ) ( )) ∑( ) ∑ ( ) (7) Sao cho: ∑( ) ( ) ng đó, C à tham ố chuẩn tắc, à ai ố ch ph p, à iến ỏng, và là nh ng nh n tử ag ange. Véc-tơ có dạng: ∑( ) ( ) à hàm qu ết định à: ( ) ∑( ) ( ( ) ( )) ( ) G i ( ) ( ) ( ) à hàm nh n của h ng gian đ u và ; và hàm qu ết định có được viết ại như au: 9 j ( ) ∑( ) ( ) (11) Nh ng đi m đ u và với ( ) được g i à nh ng v c-tơ hỗ t ợ (Support Vector). 1.3. M hình m Các uật m (fuzz u e ) được i u diễn ở dạng I – HEN, à cơ ở của phép suy uận m 510 Gi ử có m uật m được i u diễn như au: (4) ng đó ( ) à các iến điều i n; à các iến qu ết định của h thống m ; và à nh ng thuật ng ng nghĩa ác định ởi các hàm thành viên (mem e hip functi n ) tương ứng ( ) và ( ). ưu , ( ) được định nghĩa như au: ( ) ∏ ( ) ( ) Quá t nh u uận được th c hi n như au: ) Kích h ạt các giá t ị thành viên ∏ ( ) ( ) ) Kết qu đ u a của u uận được tính như au: ( ) ∑ (∏ ( )) ∑ ∏ ( ) ( ) ng đó, à giá t ị đ u ra khi hàm thành viên ( ) đạt giá t ị c c đại 10 Chương 2. XÂY DỰNG MÔ HÌNH TRÍCH XUẤT LU T MỜ TỪ MÁY HỌC SVM 2. . Sự tương đương gi a máy học SVM và m hình m Đ ( 1) và (14) đồng nhất với nhau, t ước tiên chúng ta ph i đồng nhất gi a hàm nhân trong (11) và hàm thành viên trong (14) Ở đ , đ thỏa mãn điều i n Mercer 7 hàm thành viên Gau ian được ch n àm hàm nhân; đồng th i giá t ị của b trong (11) ph i ằng 0 H nh i u diễn tương đương gi a và m h nh m Hình 2. tương đương gi a và h nh m Khi hàm Gau ian được ch n àm hàm thành viên và hàm nhân, đồng th i ố uật m ằng với ố véc-tơ hỗ t ợ (SVs - Support vectors) thì (11) và (14) t ở thành ( ) ∑( ) ( ( ) ) ( ) và 11 ( ) ∑ ( ( ) ) ∑ ( ( ) ) ( ) Như cách iến đổi t ng 5, hàm u uận m (16) có th viết ại như au: ( ) ∑ ( ( ) ) ( ) và t ung t m của hàm thành viên Gau ian được ch n à: ( ) ( ) Ng ài a, có th tiếp cận một cách hác à thiết ập hàm nhân của : ( ) ( ( ) ) ∑ ( ( ) ) ( ) Như vậ đ u a của t ở thành ( ) ∑ ( ) ( ( ) ) ∑ ( ( ) ) ( ) Khi đó chúng ta chỉ c n thiết ập t ung t m của hàm thành viên ằng với ( ), th chắc chắn ằng đ u a của (20) và đ u a của h thống m ( 16) là đồng nhất với nhau ưu ằng i u thức ( 9) chỉ có th có, nếu ố ượng véc- tơ hỗ t ợ l được iết t ước 2.2. Thuật toán thích uất luật m t d liệu dựa trên sự kết hợp máy học SVM và m hình m ên cơ ở tương t của và h thống m , thuật t án f- đề uất ở h nh ch ph p t ích uất các uật m t 12 Hình. 3. ơ đồ hối thuật t án f-SVM. Nh ng tham ố của hàm thành viên có th được tối ưu hóa dùng nh ng thuật t án g adient de cent h ặc thuật t án di t u ền (G ) ng t ư ng hợp nà , đ nhận được tập m tối ưu, chúng t i cập nhật giá t ị các tham ố của hàm thành viên the các hàm thích nghi au đ : ( ) ( ) ( ) ( ( ) ) ( ) ( ) ( ) ( ) ( ( ) ) ( ) 2.3. Cài đặt thuật toán f-SVM sử dụng thư viện LibSVM Đ đánh giá thuật t án f- đã đề uất, chúng t i d ng một h thống thử nghi m d a t ên ộ c ng cụ at a huật t án h c của thư vi n ibSVM được phát t i n ởi nhóm của Chih-Chung Chang 8, được ử dụng đ n uất a các , àm cơ ở đ t ích uất các uật m t ng thuật t án f-SVM. Begin Khởi tạ các tham ố của Centers :

NGHIÊN CỨU ỨNG DỤNG MÔ HÌNH MÁY HỌC VÉC-TƠ TỰA (SVM) TRONG VIỆC PHÂN TÍCH

DỮ LIỆU ĐIỂM SINH VIÊN

4 Cách tiếp cận và phương pháp nghiên cứu 3

5 Đối tượng và phạm vi nghiên cứu 4

6 Nội dung nghiên cứu 5

Chương 3 Ô H NH CH I ĐI INH IÊN 21

3 h nh t ích uất uật m t d i u đi m inh viên d a t ên thuật t án f-SVM 21

3 a ch n thuộc tính d i u đ u và 22

3 iền ử d i u đ u và 24

3 3 n uất uật m d a và thuật t án -SVM 25

3 p dụng m h nh đề uất đ ph n tích d i u đi m inh viên t ư ng Ca đ ng

DANH MỤC HÌNH VẼ

Hình 1 Hình ảnh phân lớp với SVM 6

Hình 2 Sự tương đương giữa SVM và Mô hình mờ 10

Hình 3 Sơ đồ khối thuật toán f-SVM 12

Hình 4 Thuật toán f-SVM 17

Hình 5 Kết quả dự đoán trên 200 mẫu dữ liệu thử nghiệm (RMSE = 0.0092) 19

Hình 6 Mô hình Khai phá luật mờ t dữ liệu đi m a inh viên 22

DANH MỤC BẢNG BIỂU

ng Tập luật trí h xuất đượ 800 mẫu dữ liệu huấn luyện 18

ng So ánh hiệu quả a á mô hình (RMSE) 20

ng 3 Bảng dữ liệu kết quả họ tập a inh viên trên ex el 23

ng 4 Cá thuộ tính lựa họn 23

ng 5 Bảng dữ liệu đi m inh viên đã đượ rút gọn 24

ng 6 Bảng dữ liệu au khi đã đượ tiền xử lý 25

ng 7 Ví dụ tập á luật trí h xuất đượ 25

ng 8 Một phần tập á luật ản xuất đượ 27

ng 9 Diễn dị h á luật trí h xuất đượ trong bảng 8 27

DANH MỤC CÁC TỪ VIẾT TẮT

ĐẠI HỌC ĐÀ NẴNG CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM TRƯỜNG CĐ CÔNG NGHỆ THÔNG TIN Độc lập – Tự do – Hạnh phúc

THÔNG TIN KẾT QUẢ NGHIÊN CỨU

1 Thông tin chung:

- ên đề tài: NGHIÊN CỨU ỨNG DỤNG MÔ HÌNH MÁY HỌC VÉC-TƠ TỰA (SVM) TRONG VIỆC PHÂN TÍCH DỮ LIỆU ĐIỂM SINH VIÊN

- ã ố: T2013-07-01

- Chủ nhi m: NG ỄN ĐỨC HI N - Thành viên tham gia: không có

- Cơ quan chủ t : Ư NG CĐ CÔNG NGH HÔNG IN

 d ng thuật t án f- t ên cơ ở tích hợp m h nh má h c ch ài t án tối ưu hóa hồi qu và m h nh m a agi-Sugeno

 Đề uất một m h nh cụ th gồm 3 giai đ ạn, đ t ích uất tập uật m t d i u đi m inh viên ử dụng thuật t án f- ; đồng th i thử nghi m ph n tích và đánh giá cụ th t ên d i u đi m inh viên t ư ng Ca đ ng C ng ngh h ng tin

4 Tóm tắt kết quả nghiên cứu:

 Đối với thu ết má h c và uzz m de ing, đề tài đã nghiên cứu nh ng thu ết t án h c cơ n của má h c ch ài t án ph n ớp và ài t án tối ưu hóa hồi qu , thu ết t án h c của m h nh m a agi- ugen , và tương đương về mặt t án h c của hai m h nh nà

 Đối với thuật t án t ích út uật m d a t ên vi c ết hợp và Fuzzy modelling, đề tài nghiên cứu c ng cụ at a và thư vi n i và t đó d ng được

thuật t án f- ; ng ài a đề tài cũng đã thử nghi m t ên d i u chuỗi th i gian đ đánh giá hi u qu của thuật t án

 Đối với m h nh ứng dụng t ích uất uật m t d i u đi m inh viên, đề tài đưa a một m h nh cụ th gồm 3 giai đ ạn đ t ích uất tập uật m t d i u đi m inh viên; đồng th i thử nghi m ph n tích và đánh giá cụ th t ên d i u đi m inh viên t ư ng Ca đ ng C ng ngh h ng tin

5 Tên sản phẩm:

 ài á h a h c đăng t ên ỷ ếu Hội th nghiên cứu h a h c: CÔNG NGH HÔNG IN À ỨNG NG CÔNG NGH HÔNG IN ONG C C ĨNH C – ẦN HỨ , và đăng t ên ạp chí Kh a h c & C ng ngh Đại h c Đà Nẵng ên ài á : Ứng dụng m h nh má h c c-tơ t a ( ) t ng ph n tích d i u đi m inh viên

 ột thuật t án (f- ) và một m h nh h thống t ích uất uật m t d i u đi m sinh viên

 ột á cá tổng ết đề tài nghiên cứu h a h c

6 Hiệu quả, phương thức chuyển giao kết quả nghiên cứu và khả năng áp dụng:

 Hi u qu về mặt giá dục - đà tạ : ột gi i pháp dạng m h nh đ có th định hướng ch inh viên ngành tin h c phát t i n các ứng dụng t ng ĩnh v c H chuyên gia và khai phá t i thức; đặc i t à hai phá t í thức dạng uật t d i u đi m inh viên, phục vụ ch vi c cố vấn và định hướng h c tập

 Hi u qu về mặt h a h c: đóng góp của đề tài à đề uất một thuật t án và một m h nh ứng dụng và uzz m de ing t ng vi c hai phá các qui tắc m t d i u đi m h c tập của inh viên

 ề n phẩm ứng dụng: huật t án, h nh h thống và ập qui tắc m hai phá được có th được ử dụng đ d ng cơ ở t i thức, d ng h thống hỗ t ợ ph n tích d i u đi m t động, h chu ên gia về Cố vấn h c tập

7 Hình ảnh, sơ đồ minh họa chính

Hình Mô hình Khai phá luật mờ t dữ liệu đi m a inh viên

Bảng 9 Trí h một phần tập luật mờ trí h xuất đượ

MỞ ĐẦU

1 Tổng quan

Cùng với phát t i n chóng mặt của c ng ngh th ng tin và ứng dụng của nó t ng đ i ống inh tế - ã hội, c n ngư i ngà càng đòi hỏi nh ng chiếc má tính ph i th ng minh hơn, với nh ng h năng vượt ậc hơn, đ có th phục vụ nhiều hơn n a ch c n ngư i t ng c ng vi c cũng như cuộc ống hàng ngà ột t ng nh ng ĩnh v c há nóng hi n na của c ng ngh th ng tin đó à t í tu nh n tạ và ứng dụng của nó, nh ng ứng dụng t ng ĩnh v c nà ẽ giúp ch má tính có h năng ử th ng tin, hỗ t ợ a qu ết định một cách t động, à ch a hóa của h thống má tính th ng minh, của nền c ng nghi p t i thức gia th a của í tu nh n tạ và tu ết thống ê đã mở a một ch n t i mới ch phát t i n của h a h c và ứng dụng t í tu nh n tạ , nh ng m h nh má h c thống ê đã được nhiều nhà h a h c nghiên cứu, đề uất và đã chứng tỏ được hi u qu t ng vi c phát t i n các ứng dụng

Bài toán khai phá t i thức t d i u ( ata mining) đã và đang được ất nhiều nhà h a h c, tổ chức t ên thế giới nghiên cứu và phát t i n ứng dụng Nhiều ỹ thuật mới đã được nghiên cứu và đề uất như Neu a Netw , h nh m ( uzz modeling), Support Vector Machine (SVM), Self Organizing Map (SOM), Lý thu ết tập th ( ugh et ), các thuật t án h n cụm, h n ớp, Hồi qu ,…[1][2][3][4] Đặc i t g n, đ u hướng nghiên cứu c i tiến và tích hợp nhiều c ng cụ hác nhau nhằm n ng ca hi u năng của các gi i pháp đang được nhiều nhà h a h c t ên thế giới quan t m; ví dụ như vi c ết hợp gi a Neural Network và Fuzzy modelling, SVM và Fuzzy modeling, SOM và SVM, Rough Sets và , h ặc ết hợp Gi i thuật di t u ền (G ) với các thuật t án h n cụm, h n ớp,… [2][3][5][6][10][12][14]

Nh ng m h nh d đ án d a t ên ỹ thuật hai phá t i thức t d i u được nhiều tác gi nghiên cứu và đề uất ứng dụng t ng nhiều ĩnh v c hác nhau, như:

tài chính, th i tiết, hi u năng mạng, d đ án ết qu h c tập của h c inh, inh viên…

Ở i t Nam cũng có ất nhiều tác gi nghiên cứu về vấn đề hai phá d i u và ứng dụng t ng nh ng ài t án d đ án, d á ấn đề ứng dụng m h nh m ch ài t án d á chuỗi th i gian đã được tác gi Ngu ễn C ng Điều đề cập và nghiên cứu [13], cụ th à tác gi đã nghiên cứu một ố thuật t án mới ch m h nh chuỗi th i gian m heu i tic t ng d á giá chứng h án ấn đề h u diễn m - w n và ứng dụng t ng ĩnh v c d á chỉ ố tài chính, chứng h án cũng được nhóm tác gi ùi C ng Cư ng và hạm ăn Chiến nghiên cứu [12] h nh ết hợp phương pháp ph n cụm K-mean và phương pháp ph n ớp đ n ng ca hi u qu gi i qu ết ài t án ph n ớp d đ án giá cổ phiếu cũng được nhóm tác gi Ngu ễn H àng ú nh nghiên cứu và á cá năm 0 [14]

2 Tính cấp thiết của đề tài

Ngày na hai phá d i u ( ata mining) đã và đang t ở thành một t ng nh ng vấn đề được quan t m nghiên cứu và phát t i n ứng dụng Có nhiều ỹ thuật đã được đề uất đ có th hai thác t i thức t d i u, t ng đó mô hình má h c Véc-tơ t a ( – Support Vect achine) ết hợp với uzz m de ing được đề uất như à một t ng nh ng gi i pháp mang ại hi u qu ca Nh ng nghiên cứu về vi c ứng dụng ỹ thuật hai phá d i u đ d ng các h thống ứng dụng đang thu hút nhiều quan t m của các nhà h a h c t ng Đặc i t đối với h thống ứng dụng t ng t ư ng h c, nh ng nghiên cứu g n đ chủ ếu tập t ung và vi c d đ án ết qu h c tập của inh viên và tư vấn ộ t nh h c tập ch inh viên,…

Hi n na , h u như tất c các t ư ng Đại h c và Ca đ ng t ng c nước đã chu n đổi m h nh ang đà tạ the h c chế tín chỉ; đối với m h nh đà tà the h c chế tín chỉ, vấn đề a ch n các m n h c đưa và chương t nh đà tạ , công tác cố vấn h c tập, tư vấn ch inh viên chiến ược a ch n m n h c hợp , ố tín chỉ đăng phù hợp,… à nh ng êu c u há ức thiết hi n na Nh ng inh nghi m, qui tắc the u nghĩ chủ quan của nhà t ư ng, của cố vấn h c tập, của n th n inh viên,… có th h ng phù hợp, h ặc à chưa hách quan và đ đủ; bên

cạnh đó, vi c ph n tích h d i u hổng ồ một cách thủ c ng cũng à một gi i pháp h ng h thi; chính v vậ , vi c nghiên cứu đưa a nh ng gi i pháp t ích uất nh ng uật m d a và nh ng d i u ịch ử một cách hi u qu , và t đó d ng các h thống ph n mềm H chu ên gia, H hỗ t ợ a qu ết định, d á , d đ án,… t ên cơ ở ử dụng các tập uật m h c được t cơ ở d i u à một t ng nh ng êu c u ức thiết hi n na

3 Mục tiêu đề tài

 ục tiêu : nghiên cứu m h nh má h c c-tơ t a ( ) và uzz m de ing ứng dụng t ng hai phá t i thức t cơ ở d i u

 ục tiêu : vận dụng m h nh đ hai phá các qui tắc t i u đi m h c tập của inh viên t ư ng Ca đ ng C ng ngh h ng tin nhằm hỗ t ợ ch c ng tác cố vấn h c tập

4 Cách tiếp cận và phương pháp nghiên cứu

4.1 Cách tiếp cận:

 iếp cận the hướng hàn m: d a và tài i u và các c ng ố h a h c

 iếp cận the hướng mục tiêu: d a và mục tiêu đề tài Đề tài ẽ được th c hi n the 4 giai đ ạn:

 Giai đ ạn : Nghiên cứu m h nh má h c thống ê c-tơ t a ( ), Fuzzy modeling, và tương đương của chúng

 Giai đ ạn : hiết ế thuật t án t ích út uật m t d i u d a t ên ết hợp SVM và Fuzzy modelling

 Giai đ ạn 3: ận dụng m h nh t ích út uật m d a t ên đ ph n tích d i u đi m inh viên

 Giai đ ạn 4: h c nghi m, đánh giá ết qu và viết á cá tổng ết đề tài

4 hương pháp nghiên cứu:

Đề tài ử dụng phương pháp nghiên cứu thu ết, cơ ở t án h c, ết hợp với th c nghi m Cụ th à: t ên cơ ở nghiên cứu các tài i u và c ng ố h a h c mới nhất về vấn đề h nh m và má h c đ d ng m h nh h thống, thu thập và ph n tích d i u đi m inh viên tại t ư ng Ca đ ng C ng ngh h ng tin đ áp dụng m h nh và t ích út a các uật m

5 Đối tượng và phạm vi nghiên cứu

5 Đối tượng nghiên cứu:

Đề tài tập t ung và 3 đối tượng nghiên cứu cơ n au:

 h nh má h c c-tơ t a và uzz m de ing

 huật t án t ích út uật m d a t ên vi c ết hợp và uzz modelling, c ng cụ m phỏng m h nh ết hợp SVM và Fuzzy modeling

 Kh d i u đi m inh viên t ư ng Ca đ ng C ng ngh h ng tin và mô h nh t ích uất uật m t d i u đi m inh viên

5 hạm vi nghiên cứu:

 Đối với thu ết má h c và uzz m de ing, đề tài tập t ung nghiên cứu nh ng thu ết t án h c cơ n của má h c ch ài t án ph n ớp và ài t án tối ưu hóa hồi qu , thu ết t án h c của m h nh m Takagi-Sugeno, và tương đương về mặt t án h c của hai m hình này

 Đối với thuật t án t ích út uật m d a t ên vi c ết hợp và uzz m de ing, đề tài tập t ung nghiên cứu c ng cụ at a và thư vi n i đ d ng thuật t án f- ; ng ài a đề tài còn nghiên cứu thử nghi m t ên d i u chuỗi th i gian đ đánh giá hi u qu của thuật toán

 Đối với m h nh ứng dụng t ích uất uật m t d i u đi m inh viên, đề tài đưa a một m h nh cụ th với 3 giai đ ạn đ t ích uất tập uật m t d i u đi m inh viên; đồng th i thử nghi m ph n tích và đánh giá cụ th t ên d i u đi m inh viên t ư ng Ca đ ng C ng ngh h ng tin

6 Nội dung nghiên cứu

Đề tài được tiến hành th c hi n the các nội dung và tiến độ cụ th như au:

ng các chương tiếp the au đ của á cá , chúng t i ẽ t nh à nh ng ết qu nghiên cứu chính về thu ết và th c nghi m đã th c hi n được Chương ẽ giới thi u tóm ược cơ ở thu ết về m h nh má h c c-tơ t a và m h nh m , chương ẽ t nh à nh ng ph n tích về tương đương của má h c c-tơ t a và m h nh m , t đó đưa đến vi c d ng một thuật t án t ích uất uật m t d i u, chương 3 ẽ t nh à m h nh t ích uất uật m t d i u đi m h c tập của inh viên, và cuối cùng à một ố ết uận và iến nghị út a t ết qu của đề tài

Chương CƠ SỞ L THUYẾT MÁY HỌC VÉC-TƠ TỰA VÀ MÔ HÌNH MỜ

1.1 Máy học V c-tơ tựa

á h c v c-tơ t a được apni giới thi u năm 995, đ à m h nh h c d a t ên thu ết h c thống ê ( tati tica ea ning Theory) [1], và à một ỹ thuật được đề nghị đ gi i qu ết ch các ài t án ph n ớp thu ết cơ n của má h c véc-tơ t a ch vấn đề ph n ớp có th tóm tắt như au:

Ch tập v ctơ đ u và [ ] , và tập các giá t ị nhãn ớp tuơng ứng ch ộ ph n ớp nhị ph n Hàm tu ến tính ph n i t hai ớp như sau:

t ng đó, w à v ctơ chuẩn của iêu ph ng ph n cách, à độ ch, và (x) là hàm ánh ạ t h ng gian đ u và ang h ng gian đặc t ưng, ( ) (M > D) ục tiêu của à t m một iêu ph ng tối ưu a ch h ng cách ề gi a hai ớp đạt giá t ị c c đại (xem hình 1)

Hình 1 H nh nh ph n ớp với

ên cạnh đó, đ đ m tính tổng quát hóa ca , một iến ỏng ( ac va ia e) được đưa và đ nới ỏng điều i n ph n ớp ài t án đưa đến vi c gi i qu ết tối ưu có àng uộc:

t ng đó, C > 0 à tham ố chuẩn tắc ( egu a izati n pa amete ), à iến ỏng ài t án ( ) có th đ ợc gi i ằng phương pháp O (Sequential Minimal Optimization) [10] Phương pháp nà đưa đến gi i ài t án đối ngẫu qu h ạch t àn phương (Quad atic g amming):

au hi có được các giá t ị t ài t án (3), ta ẽ thu đươc các giá t ị tối ưu w* và * của iêu ph ng Chỉ có các mẫu có mới tham gia và các v c tơ hỗ t ợ ( upp t vect ) Cuối cùng, hàm qu ết định ph n ớp có dạng:

( ) (∑

( ( ) ( )) )

(4)

G i ( ) ( ) ( ) à hàm nh n của h ng gian đ u và Khi đó (4) được viết ại như au:

( ) (∑

( ) )

(5)

he đó, tích v hướng t ng h ng gian đặc t ưng tương đương với hàm nh n K ở h ng gian đ u và Như vậ , tha v tính t c tiếp giá t ị tích v hướng, ta th c hi n gián tiếp th ng qua hàm nhân K

1.2 Máy học V c-tơ tựa cho bài toán tối ưu hóa hồi qui

ới vai t ò gi i qu ết vấn đề tối ưu hóa hồi qu , thu ết cơ n của có th được vắn tắt như au [1][2][3][4][5]:

Các uật m (fuzz u e ) được i u diễn ở dạng I – HEN, à cơ ở của phép suy uận m [5][10] Gi ử có m uật m được i u diễn như au:

(4)

ng đó ( ) à các iến điều i n; à các iến qu ết định của h thống

m ; và à nh ng thuật ng ng nghĩa ác định ởi các hàm thành viên (mem e hip functi n ) tương ứng ( ) và ( ) ưu , ( ) được định

nghĩa như au:

Chương 2 XÂY DỰNG MÔ HÌNH TRÍCH XUẤT LU T MỜ TỪ MÁY HỌC SVM

2 Sự tương đương gi a máy học SVM và m hình m

Đ ( 1) và (14) đồng nhất với nhau, t ước tiên chúng ta ph i đồng nhất gi a hàm nhân trong (11) và hàm thành viên trong (14) Ở đ , đ thỏa mãn điều i n Mercer [7] hàm thành viên Gau ian được ch n àm hàm nhân; đồng th i giá t ị của

b trong (11) ph i ằng 0 H nh i u diễn tương đương gi a và m h nh

m

Hình 2 tương đương gi a và h nh m

Khi hàm Gau ian được ch n àm hàm thành viên và hàm nhân, đồng th i ố uật m ằng với ố véc-tơ hỗ t ợ (SVs - Support vectors) thì (11) và (14) t ở thành

( ) ∑( ) ( ( ) )

( )

và

là đồng nhất với nhau ưu ằng i u thức ( 9) chỉ có th có, nếu ố ượng véc-tơ

hỗ t ợ l được iết t ước

2.2 Thuật toán thích uất luật m t d liệu dựa trên sự kết hợp máy học SVM và m hình m

ên cơ ở tương t của và h thống m , thuật t án f- đề uất ở h nh ch ph p t ích uất các uật m t