PHÂN TÍCH VÀ DỰ BÁO DỮ LIỆU THEO PHƯƠNG PHÁP MẠNG NƠRON

ĐẠI HỌC QUỐC GIA TP.HCM CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM CHƯƠNG TRÌNH ĐÀO TẠO THẠC SĨ CNTTQM Độc lập - Tự - Hạnh phúc oOo Hà nội, ngày 05 tháng 11 năm 2008 BÁO CÁO CHUYÊN ĐỀ CÔNG NGHỆ TRI THỨC VÀ ỨNG DỤNG TÊN CHUYÊN ĐỀ PHÂN TÍCH VÀ DỰ BÁO DỮ LIỆU THEO PHƯƠNG PHÁP MẠNG NƠRON I Thông tin chung Họ tên : BÙI ANH TUẤN Mã số sinh viên : CH0601091 Chuyên đề : Ứng dụng mạng nơ ron phân tích dự báo liệu Tên đề tài luận văn: Nghiên cứu xây dựng cấu trúc liệu GIS thời gian biểu diễn tình hình dòch tễ gia súc gia cầm, ứng dụng đòa bàn thành phố Hồ Chí Minh Giảng viên hướng dẫn: PGS.TS Trần Vĩnh Phước II Nội dung thực Tình hình nghiên cứu chuyên đề nước nước Ở Việt Nam, ứng dụng mạng nơ ron vào phân tích dự báo liệu triển khai vào nhiều lĩnh vực kinh tế tài , thị trường chứng khốn, khí tượng thủy văn, dự báo cố máy biến áp lực, dự báo tình hình lũ quét, dự báo phụ tải điện , dự báo hỗ trợ định,….Trong phạm vi chuyên đề này, mạng nơ ron úng dụng phân tích liệu dự báo kết giáo dục đào tạo Cùng lĩnh vực giáo dục có chuyên đề mạng nơ ron bạn Phạm Nguyễn Diễm Phú CH3 áp dụng cho việc dự báo điểm thi tốt nghiệp PTTH trường Mục tiêu nghiên cứu Phân tích liệu điểm trung bình mơn học , trung bình tổng hợp (TBTH) , xếp loại học lực học sinh Học Kỳ lớp trường THPT Từ phân tích tương quan dự báo TBTH xếp loại học lực cho lớp khác cho toàn trường Phương pháp thực PP PHÂN TÍCH TƯƠNG QUAN Hệ số Pearson  Hệ số tương quan Pearson ( kí hiệu r ) dùng để xác định mối tương quan tuyến tính hai biến số X Y số số hạng X Y đủ lớn đồng thời X Y có phân bố chuẩn, phương sai  Hệ số tương quan dùng việc đánh giá mức độ tương quan  Giá trị r ( [-1,1]  Nếu r = -1 tất giá trị nằm đường thẳng y = ax+ b a mang dấu âm ngược lại  Giá trị bình phương r tỷ lệ phần trăm số biến thiên Y mẫu nghiên cứu có mối tương quan với X Hệ số Spearman  Hệ số tương quan Spearman ( kí hiệu rs ) dùng để xác định mối tương quan tuyến tính hai biến số X Y số số hạng X Y nhỏ, đồng thời biến số khơng có phân bố chuẩn  rs có lợi r mối tương quan khác NHẬN XÉT  Các giá trị 0.800, 0.830, 0.821, 0.853, 0.857 cho thấy mức độ tương quan tuyến tính mơn Tốn (T), Lý (L), Hoá (H), Sinh Vật (SV), Sử (S) Trung bình tổng hợp (TBTH) tốt  Mối liên quan cặp giá trị T TBTH, L TBTH, H TBTH, SV TBTH, S TBTH có ý nghĩa thống kê  Trong môn Văn (V), Địa (D), Ngoại Ngữ (NN) tương quan tuyến tính rõ ràng, có hệ số tương quan thấp PP PHÂN TÍCH HỒI QUY (REGRESSION) Tổng quát Phân tích hồi qui xác định liên quan định lượng hai biến số ngẫu nhiên Y  X  Phân tích hồi qui thường kèm với việc phân tích tương quan để kết luận liên quan tuyến tính hai biến số X Y  Khi biết X suy Y thơng qua phương trình tuyến tính, ngược lại Hồi quy tuyến tính  Tập trung vào việc giải tốn tuyến tính với phương trình có dạng  I y a  xi i  Trong y biến phụ thuộc  I số biến độc lập xi  Hằng số ao hệ số tham số xác định phương pháp hồi qui  Mạng hồi qui luyện lan truyền ngược Về lý thuyết, kỹ thuật đơn giản: trọng cập nhật theo chiều giảm lỗi  mạng dựa đạo hàm hàm lỗi tương ứng Về thực hành phức tạp Rumelhart, Hinton Williams (1986) đề  nghị phương pháp hữu ích: lan truyền ngược xuyên thời gian Ý tưởng lan truyền ngược xuyên thời gian trọng cung  tương ứng tất mô đun buộc phải Các mạng hồi qui học đáp ứng cách thích hợp với chuỗi vô hạn  liệu nhập  Phương trình hồi quy:  Y = 1.32 + 0.16X1 + 0.09X2 + 0.09X3 + 0.09X4+0.17X5+0.07X6+0.08X7+0.09X8 PHÂN TÍCH DỮ LIỆU VÀ DỰ BÁO DỰA TRÊN MẠNG NEURAL  CƠ SỞ LÝ THUYẾT MẠNG NƠRON  Mạng neural thuật ngữ nói đến phương pháp giải vấn đề - tốn máy tính mơ theo hoạt động tế bào thần kinh não  Mạng neural nhân tạo mô cấu trúc mạng neural sinh học  Mạng neural nhân tạo tạo thành kết nối nhiều đơn vị thần kinh gọi perceptron  Mơ hình minh họa mạng neural lớp  Cung liên kết Trọng số Wj Units Input Unit Output Mơ hình minh họa mạng nơ ron tổng quát  Mạng neural với thuật giải lan truyền ngược (được gọi tắt mạng lan truyền) giải pháp cho phép xây dựng mơ hình phi tuyến trực tiếp tập liệu (tập trung vào toán phi tuyến)  Một mạng lan truyền tổng quát mạng có n lớp (n > 2): lớp thứ gọi lớp nhập, lớp thứ n lớp xuất, (n-2) lớp ẩn Các hàm truyền thường sử dụng:  Hàm logistic ( hay gọi hàm Sigma )  Hàm hyperbol  Hàm tang-hyperbol MÁY HỌC  Tập mẫu  Kích thước mẫu  Qui tắc học : Có nhiều qui tắc học công bố, báo cáo quan tâm đến thuật giải lan truyền ngược Thuật giải sử dụng qui tắc học giảm theo hướng dốc (Phương pháp giảm Gradient)  Qui tắc sử dụng thông tin đạo hàm để cập nhật trọng số mạng  Các hình thức học Học vẹt Học cách dẫn Học qui nạp Học tương tự Học dựa giải thích Học dựa tình Học khơng giám sát SỬ DỤNG MẠNG  Khi mạng luyện (sau học xong), chương trình máy tính cài đặt mơ hình đơn giản Các trọng số dùng chương trình trọng số tìm trình luyện mạng  Cơng việc khó việc cài đặt mạng viết chương trình để biên dịch trạng thái đầu vào mẫu, từ dạng thô trở thành biến nhập dùng cho mô hình  Phương pháp thơng dịch kết xuất mạng, đánh giá độ xác mơ hình, sử dụng chúng để định tuỳ thuộc vào dạng biến phụ thuộc  Các kết xuất mạng thơng dịch sau : Exp V min( Act  Tmin (Vmax  Vmin )) Tmax  Tmin Trong đó: Exp: giá trị cần tìm biến phụ thuộc Act: kết xuất thực mạng Tmax, Tmin : giá trị chặn chặn hàm truyền Vmax, Vmin : giá trị cực đại cực tiểu biến phụ thuộc Phân tích tương quan hệ số tương quan Pearson (Kí hiệu : r)  Qua bảng phân tích tương quan số liệu ta thấy môn Văn(V), Địa(D), Ngoại Ngữ (NN) tương quan tuyến tính rõ ràng với TBTH có hệ số tương quan thấp  Nếu dùng phương pháp hồi quy tuyến tính xác định TBTH từ môn dẫn đến sai số cao  Trong trường hợp dùng mạng Neural để xác định TBTH từ liệu môn Văn, Địa, Ngoại Ngữ Mơ hình mạng neural gồm :  nút nhập tương ứng với môn: Văn Địa Ngoại ngữ  nút ẩn  Đầu nút xuất biểu cho giá trị TBTH diễn giá trị số, có giá trị từ [0,1]  Áp dụng công thức v * 0.8  0.1 max  Để tính giá trị xuất tập mẫu đoạn [0.1]  Tính giá trị xuất vài mẫu tập mẫu học sinh  Trong q trình sử dụng mạng, sau tính giá trị output z, từ công thức suy giá trị thực TBTH sau: Tập mẫu ban đầu vàvcác giá trị khởi tạo ban đầu z * 0.8  0.1 max v ( z  0.1) * max 0.8 Kết trình luyện mạng (học) Kết chương trình Dự kiến kết đạt được- Hướng phát triển : Dự kiến kết : Mơ hình mạng neural cho tốn Giải thuật cho phân tích tương quan Giải thuật cho dự báo liệu Chương trình demo Hướng phát triển tiếp tục hoàn thành chức nhằm xây dựng hệ thống đánh giá dự báo kết học tập hoàn chỉnh , ứng dụng công nghệ mạng neural mạng diện rộng ngành giáo dục đào tạo , góp phần nhỏ cho chương trình cải cách giáo dục nước nhà 5.Tài liệu tham khảo  [1] Hoàng Kiếm, Chuyên đề cơng nghệ tri thức ứng dụng, Khóa 3, Trường Đại Học Công Nghệ Thông Tin (ĐHQG Tp HCM) , 2006  [2] Hoàng Kiếm, Đinh Nguyễn Anh Dũng, Giáo trình trí tuệ nhân tạo, Trường Đại Học Cơng Nghệ Thơng Tin (ĐHQG Tp HCM) , 2006  [3] Hồng Kiếm, Đỗ Phúc, Đỗ Văn Nhơn, Giáo trình hệ sở tri thức, Trường Đại Học Công Nghệ Thông Tin (ĐHQG Tp HCM) , 2006  [4] Hoàng Kiếm, Bài giảng cao học môn học công nghệ tri thức ứng dụng, Trường Đại Học KHTN (ĐHQG Tp HCM) , 2004  [5] Nguyễn Đình Thúc, Hồng Đức Hải, Trí tuệ nhân tạo - Mạng neural – Phương pháp & ứng dụng, Nhà xuất Giáo dục, 2000