Ứng dụng khai phá dữ liệu để xây dựng hệ thống tư vấn học tập tại trường đại học công nghiệp hà nội

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƢỜNG ĐẠI HỌC CÔNG NGHỆ NGUYỄN THỊ THANH HƢƠNG ỨNG DỤNG KHAI PHÁ DỮ LIỆU ĐỂ XÂY DỰNG HỆ THỐNG TƢ VẤN HỌC TẬP TẠI TRƢỜNG ĐẠI HỌC CÔNG NGHIỆP HÀ NỘI LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN Hà Nội - 2015 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƢỜNG ĐẠI HỌC CÔNG NGHỆ NGUYỄN THỊ THANH HƢƠNG ỨNG DỤNG KHAI PHÁ DỮ LIỆU ĐỂ XÂY DỰNG HỆ THỐNG TƢ VẤN HỌC TẬP TẠI TRƢỜNG ĐẠI HỌC CƠNG NGHIỆP HÀ NỘI Ngành: Cơng nghệ Thông tin Chuyên ngành: Hệ thống Thông tin Mã số: 60480104 LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN NGƢỜI HƢỚNG DẪN KHOA HỌC: PGS.TS NGUYỄN HÀ NAM Hà Nội - 2015 LỜI CẢM ƠN Tôi xin gửi lời cảm ơn sâu sắc tới PGS.TS.Nguyễn Hà Nam, Trƣờng Đại học Công nghệ - Đại học Quốc gia Hà Nội, ngƣời thầy dành nhiều thời gian tận tình bảo, hƣớng dẫn, giúp đỡ tơi suốt q trình tìm hiểu, nghiên cứu.Thầy ngƣời đinh ̣ hƣớng và đƣa nhiều góp ý q báu q trình thƣ̣c luâ ̣n văn Tôi xin chân thành cảm ơn thầy, cô khoa Công nghệ thông tin – Trƣờng Đại học Công nghệ - ĐHQGHN cung cấp cho kiến thức tạo cho tơi điều kiện thuận lợi suốt q trình tơi học tập trƣờng Tơi bày tỏ lịng biết ơn giúp đỡ lãnh đạo quan, đồng nghiệp cung cấp liệu, tài liệu cho lời khuyên quý báu Tôi xin cảm ơn gia đình, ngƣời thân, bạn bè thành viên nhóm nghiên cứu ln động viên tạo điều kiện tốt cho Tôi xin chân thành cảm ơn! Hà Nội, tháng năm 2016 Họ tên Nguyễn Thị Thanh Hƣơng LỜI CAM ĐOAN Tôi xin cam đoan đề tài nghiên cứu riêng tôi, thực dƣới hƣớng dẫn PGS.TS Nguyễn Hà Nam Các kết nêu luận văn trung thực chƣa đƣợc công bố cơng trình khác Hà Nội, tháng năm 2016 Họ tên Nguyễn Thị Thanh Hƣơng MỤC LỤC LỜI CẢM ƠN LỜI CAM ĐOAN DANH MỤC CÁC KÝ HIỆU VÀ CHỮ VIẾT TẮT DANH MỤC CÁC BẢNG DANH MỤC CÁC HÌNH VẼ, ĐỒ THỊ Chƣơng Giới thiệu tổng quan 1.1.Bài toán ứng dụng KPDL để xây dựng hệ thống tƣ vấn trƣờng ĐHCNHN 1.2 Một số hƣớng nghiên cứu khai phá liệu lĩnh vực giáo dục Error! Bookmark not defined 1.3 Hƣớng tiếp cận luận văn Error! Bookmark not defined 1.4 Kết luận chƣơng Error! Bookmark not defined Chƣơng Các kiến thức sở liên quan Error! Bookmark not defined 2.1 Khai phá liệu Error! Bookmark not defined 2.1.1 Khái niệm KPDL Error! Bookmark not defined 2.1.2 Những nhóm tốn KPDL Error! Bookmark not defined 2.1.3 Các bƣớc xây dựng giải pháp KPDL Error! Bookmark not defined 2.1.4 Ứng dụng KPDL giáo dục Error! Bookmark not defined 2.2 Một số kỹ thuật KPDL phân lớp, dự báo Error! Bookmark not defined 2.2.1 Cây định Error! Bookmark not defined 2.2.2 Phân lớp Naïve Bayes Error! Bookmark not defined 2.2.3 Mạng nơ ron nhân tạo Error! Bookmark not defined 2.2.4 Luật kết hợp Error! Bookmark not defined 2.3 KPDL với hệ quản trị CSDL SQL Server Error! Bookmark not defined 2.3.1 Giới thiệu chung Error! Bookmark not defined 2.3.2 Ngôn ngữ truy vấn KPDL DMX (Data Mining Extensions) Error! Bookmark not defined 2.3.3 Bộ công cụ SQL Server Business Intelligence Development Studio Error! Bookmark not defined 2.3.4 Lập trình KPDL với Analysis Services APIs Error! Bookmark not defined 2.3.5 Đánh giá hiệu mơ hình KPDL Error! Bookmark not defined 2.4 Kết luận chƣơng Error! Bookmark not defined Chƣơng Phƣơng pháp giải toán Error! Bookmark not defined 3.1 Tìm hiểu thu thập liệu điểm Error! Bookmark not defined 3.2 Xây dựng mơ hình Error! Bookmark not defined 3.3 Lập trình KPDL với Analysis Services APIs Error! Bookmark not defined 3.4 Đánh giá mơ hình Error! Bookmark not defined 3.4.1 Đánh giá mơ hình dự báo với Lift Chart Error! Bookmark not defined 3.4.2 Đánh giá mơ hình dự báo với Classification Matrix Error! Bookmark not defined 3.5 Kết luận chƣơng Error! Bookmark not defined Chƣơng Xây dựng hệ thống tƣ vấn học tập trƣờng ĐHCNHN Error! Bookmark not defined KẾT LUẬN Error! Bookmark not defined HƢỚNG PHÁT TRIỂN Error! Bookmark not defined TÀI LIỆU THAM KHẢO DANH MỤC CÁC KÝ HIỆU VÀ CHỮ VIẾT TẮT Ý nghĩa Chữ viết tắt BIDS Bussiness Intelligence Development Studio CSDL Cơ sở liệu DMX Data Mining Extensions DMM Data Mining Model KPDL Khai phá liệu SOM Self-Organizing Map MS ĐHCNHN Microsoft Đại học Công Nghiệp Hà Nội DANH MỤC CÁC BẢNG Bảng 2.4: Lựa chọn thuật toán khai phá liệu theo mục đích 23 Bảng 3.1: Bảng liệu xây dựng hệ thống tƣ vấn học tập 34 DANH MỤC CÁC HÌNH VẼ, ĐỒ THỊ Hình 1.1: Các bƣớc xây dựng hệ thống KPDL Error! Bookmark not defined Hình 1: Biểu diễn định Error! Bookmark not defined Hình 2: Cây định cho việc chơi Tennis Error! Bookmark not defined Hình 3: Mơ hình mạng nơron nhiều lớp Error! Bookmark not defined Hình 4: Tiến trình học Error! Bookmark not defined Hình 5: Hình ảnh tổng quan KPDL với SQL 2008 Error! Bookmark not defined Hình 1: Mơ hình CSDL quan hệ đƣợc thu thập để xây dựng hệ thống Error! Bookmark not defined Hình 2: Một phần bảng lộ trình học theo ngành Error! Bookmark not defined Hình 3: Một phần liệu xây dựng hệ thống Error! Bookmark not defined Hình 4: Tạo 04 Mining Models cho Mining Structure Error! Bookmark not defined Hình 5: Kết tạo viewer cho mơ hình Cây định Error! Bookmark not defined Hình 6: Kết tạo viewer cho mơ hình Luật kết hợp Error! Bookmark not defined Hình 7: Kết tạo viewer cho mơ hình Nạve Bayes Error! Bookmark not defined Hình 8: Kết tạo viewer cho mơ hình mạng nơ ron nhân tạo Error! Bookmark not defined Hình 9: Biểu đồ Lift Chart cho 04 mơ hình Error! Bookmark not defined Hình 10: Kết ma trận Classification Matrix 04 mơ hình Error! Bookmark not defined Hình 11: Thiết kế truy vấn DMX với mơ hình đƣợc chọn Error! Bookmark not defined Hình 12: Kết truy vấn với mơ hình đƣợc chọn Error! Bookmark not defined Hình 13: Sự phụ thuộc thuộc tính dự đốn vào thuộc tính khác Error! Bookmark not defined Hình 14: Lựa chọn Lift Chart với Predict Value=”K” Error! Bookmark not defined Hình 15: Kết Lift Chart khơng xác định giá trị thuộc tính dự đốn Error! Bookmark not defined Hình 16: Classification Matrix 04 mơ hình Error! Bookmark not defined Hình 17: Biểu đồ so sánh mức độ xác mơ hình Error! Bookmark not defined Hình 1: Sơ đồ hoạt động hệ thống Error! Bookmark not defined Hình 2: Kết tƣ vấn học tập với mô hình Nạve Bayes Error! Bookmark not defined Hình 3: Kết tƣ vấn học tập với mô hình Cây định Error! Bookmark not defined Hình 4: Kết tƣ vấn học tập với mô hình Luật kết hợp Error! Bookmark not defined Hình 5: Kết tƣ vấn học tập với mơ hình Neural Network Error! Bookmark not defined Hình 6: Kết tƣ vấn học tập với sinh viên nam Error! Bookmark not defined Hình 7: Kết tƣ vấn học tập với sinh viên nữ Error! Bookmark not defined Hình 8: Xem chi tiết lộ trình học Error! Bookmark not defined LỜI MỞ ĐẦU Trƣờng ĐHCNHN trƣờng nằm hệ thống trƣờng chuyên nghiệp trực thuộc Bộ công thƣơng Một vấn đề cấp thiết đặt công tác quản lý đào tạo nhà trƣờng xây dựng mục tiêu, chiến lƣợc nhằm mở rộng quy mô đào tạo, thu hút đƣợc nhiều sinh viên, bên cạnh việc nâng cao chất lƣợng giảng dạy, đảm bảo đào tạo sinh viên trƣờng đáp ứng đƣợc yêu cầu công việc Công nghệ thông tin đƣợc ứng dụng công tác quản lý nhà trƣờng, song việc khai thác nhiều hạn chế Xuất phát từ yêu cầu đặt đơn vị mình, tơi thực đề tài luận văn “ỨNG DỤNG KHAI PHÁ DỮ LIỆU ĐỂ XÂY DỰNG HỆ THỐNG TƢ VẤN HỌC TẬP TẠI TRƢỜNG ĐẠI HỌC CÔNG NGHIỆP HÀ NỘI” Luận văn sâu vào việc khai phá liệu từ thông tin cá nhân, điểm tuyển sinh đầu vào kết hợp với lộ trình học để dự đốn kết học tập sinh viên, hỗ trợ tƣ vấn cho sinh viên lựa chọn lộ trình học phù hợp để đạt đƣợc kết học tập cao Luận văn gồm có phần mở đầu, kết luận 04 chƣơng, cụ thể nhƣ sau: Chƣơng 1: Giới thiệu tổng quan Giới thiệu toán ứng dụng KPDL để xây dựng hệ thống tƣ vấn trƣờng ĐHCNHN, trình bày số hƣớng nghiên cứu KPDL giáo dục hƣớng tiếp cận luận văn Chƣơng 2: Các kiến thức sở liên quan Nghiên cứu sở lý thuyết KPDL, vấn đề liên quan đến KPDL lĩnh vực giáo dục Tìm hiểu kỹ thuật khai phá liệu sử dụng toán phân lớp, dự báo (cây định, phân lớp Naïve Bayes, mạng nơ ron nhân tạo, luật kết hợp) kỹ thuật KPDL hệ quản trị CSDL MS SQL Server Chƣơng Phƣơng pháp giải tốn Mơ tả ứng dụng, xây dựng tốn liệt kê lộ trình học cho ngành học để tƣ vấn cho sinh viên chọn lộ trình phù hợp với ngành theo học Thu thập xử lý liệu liên quan để phát triển hệ thống Xây dựng mơ hình: Cây định, Nạve Bayes, Neural Networks, Luật kết hợp đƣa đánh giá mơ hình tƣơng ứng Chƣơng 4: Xây dựng hệ thống tƣ vấn học tập trƣờng ĐHCNHN Dựa đánh giá mơ hình, lựa chọn mơ hình cho kết tốt Xây dựng chƣơng trình thực nghiệm để tƣ vấn cho sinh viên Chƣơng 1.Giới thiệu tổng quan 1.1 Bài toán ứng dụng KPDL để xây dựng hệ thống tƣ vấn trƣờng ĐHCNHN Trƣờng Đại học Công nghiệp Hà Nội cung cấp dịch vụ giáo dục - đào tạo nhiều ngành, nhiều trình độ, chất lƣợng cao, đáp ứng nguồn nhân lực cho cơng nghiệp hóa, đại hóa đất nƣớc xuất lao động, tạo hội học tập thuận lợi cho đối tƣợng Về ngành, nghề đào tạo: Trong năm qua nhà trƣờng xây dựng đƣợc chƣơng trình triển khai đào tạo 21 chuyên ngành đại học quy, 18 chuyên ngành đào tạo cao đẳng quy, 14 chuyên ngành Trung cấp chuyên nghiệp nhiều chƣơng trình đào tạo trình độ khác Về qui mơ đào tạo: Trên 50.000 học sinh, sinh viên Các lĩnh vực đào tạo: Công nghệ, kỹ thuật, Kinh tế, May, Thời trang, Sƣ phạm, Du lịch Các loại hình đào tạo: Chính qui, Vừa làm vừa học, Liên thơng, Liên kết nƣớc ngồi, Nâng bậc thợ, Đào tạo lao động xuất khẩu, Bồi dƣỡng ngắn hạn dài hạn theo nhu cầu xã hội quan tâm Một thực tế đặt trƣờng ĐHCNHN thu hút đƣợc nhiều sinh viên dựa “thƣơng hiệu” nhà trƣờng, để đáp ứng tiêu đào tạo Tuy nhiên, yêu cầu đặt số lƣợng phải kèm theo yêu cầu chất lƣợng đào tạo Vấn đề nâng cao chất lƣợng đào tạo vấn đề đƣợc nhà trƣờng quan tâm Nhằm đổi giáo dục đại học Việt Nam, Bộ Giáo dục Đào tạo yêu cầu chuyển đổi từ việc thực chƣơng trình đào tạo theo hệ thống niên chế thành đào tạo theo hệ thống tín kiểu Hoa Kỳ, năm học 2008-2009 địi hỏi phải hồn tất việc chuyển đổi trƣớc năm 2012 Trƣờng Đại học Công nghiệp Hà Nội triển khai đào tạo theo học chế tín năm học 2008 – 2009 Đào tạo tín có ƣu điểm giúp sinh viên tự quản lý quỹ thời gian tùy theo khả để tự định mơn học theo kỳ Vì vậy, việc tƣ vấn học tập, chủ yếu liên quan đến lựa chọn lộ trình học phù hợp nhằm đạt đƣợc kết học tập cao cho sinh viên đƣợc đặc biệt quan tâm Đó khó khăn chung khơng sinh viên, mà cịn cố vấn học tập, giáo viên chủ nhiệm tổ chức quản lý trƣờng Các giảng viên chuyên trách, cố vấn học tập khơng thể tiếp cận tồn liệu điểm sinh viên Đối với sinh viên, việc lựa chọn cho lộ trình học phù hợp theo quy trình đào tạo việc khó khăn, đặc biệt với sinh viên vào trƣờng, mà kinh nghiệm học tập bậc đại học hình thức đào tạo tín cịn mẻ Xuất phát từ thực tế đó, việc tƣ vấn lựa chọn lộ trình học cho sinh viên theo ngành học đăng ký việc làm thiết thực ý nghĩa TÀI LIỆU THAM KHẢO Tiếng Việt [1] Phan Xuân Hiếu (2013), Bài giảng môn học KPDL kho liệu, Trƣờng Đại học Công nghệ, Đại học Quốc gia Hà Nội [2] Hà Quang Thụy (2010), Bài giảng môn học Kho liệu KPDL, Trƣờng Đại học Công nghệ, Đại học Quốc gia Hà Nội [3] Đỗ Phúc, Giáo trình khai thác liệu, NXB Đại học Quốc gia TP HCM, 2005 [4] Nguyễn Thái Nghe, Paul Janecek, Peter Haddawy, Một phân tích kỹ thuật dự đốn kết học tập, Khoa Cơng nghệ thông tin Truyền thông, Đại học Cần Thơ Tiếng Anh [5] JamieMacLennan, ZhaoHui Tang, Bogdan Crivat Data Mining with Microsoft SQL Server 2008 Published by Wiley Publishing, Inc., Indianapolis, Indiana 2008 [6] Jiawei Han and Micheline Kamber Data Mining Concepts and Techniques, Second Edition Published by Elsevier Inc 2006 [7] Brian Knight, Devin Knight, Adam Jorgensen, Patrick LeBlanc, Mike Davis Knight's Microsoft Business Intelligence 24-Hour Trainer Published by Wiley Publishing, Inc 2010 [8] Tang, Z H., MacLennan, J.: “Data Mining with SQL Server 2005”, Indianapolis: Wiley, 2005 [9] Usama M.Fayyad, Gregory Piatesky-Shaporo, Padhraic Smyth and Ramasamy Uthurusamy (1996), Advances in Knowledge Discovery and Data Mining, AAAI Press 10