đồ án tốt nghiệp đại học đề tài khai phá dữ liệu trong giáo dục

Đối với mỗi sinh viên, việc lựa chọn cho mình một lộ trình học phù hợp theođúng quy trình đào tạo là một việc hết sức khó khăn, đặc biệt là với các sinh viên mớivào trường, khi mà kinh n

BỘ CÔNG THƯƠNG

TRƯỜNG ĐẠI HỌC CÔNG NGHIỆP HÀ NỘI

ĐỒ ÁN TỐT NGHIỆP ĐẠI HỌCChuyên ngành: CNTT

ĐỀ TÀI

KHAI PHÁ DỮ LIỆU TRONG GIÁO DỤC

Sinh viên: Nguyễn Thị MayMã sinh viên: 2018123456

Hà Nội – 2020

THUYẾT MINH

Ngày giao đề tài: Ngày hoàn thành:

Hà Nội, ngày……tháng …… năm ……

GIÁO VIÊN HƯỚNG DẪN

LỜI NÓI ĐẦU

Trường Đại học Công nghiệp Hà Nội đã triển khai đào tạo theo học chế tín chỉbắt đầu từ năm học 2008 – 2009 Đào tạo tín chỉ có ưu điểm giúp sinh viên có thể tựquản lý quỹ thời gian và tùy theo khả năng của mình để tự quyết định các môn họctheo từng kỳ

Đối với mỗi sinh viên, việc lựa chọn cho mình một lộ trình học phù hợp theođúng quy trình đào tạo là một việc hết sức khó khăn, đặc biệt là với các sinh viên mớivào trường, khi mà kinh nghiệm học tập ở bậc đại học và hình thức đào tạo tín chỉ cònrất mới mẻ Đó cũng là khó khăn chung không chỉ của sinh viên, mà còn của các cốvấn học tập, giáo viên chủ nhiệm và các tổ chức quản lý trong trường

Xuất phát từ thực tế đó, việc tư vấn lựa chọn lộ trình học cho sinh viên theongành học đã đăng ký là một việc làm hết sức thiết thực và ý nghĩa Vì vậy em xinchọn đề tài " KHAI PHÁ DỮ LIỆU TRONG GIÁO DỤC" làm đồ án tốt nghiệpchuyên ngành CNTT.

Đề tài này được trình bày qua 3 phần chính: Chương I Giới thiệu tổng quanChương II Các kiến thức cơ sở liên quanChương III Xây dựng hệ thống hỗ trợ học tập

Do thời gian và kiến thức có hạn nên khóa luận này của em còn nhiều thiếu sót,kính mong được sự góp ý và chỉ bảo từ các thầy cô và các bạn.

MUC LUC

LỜI NĨI ĐẦU 4

MUC LUC 6

CHUONG I GIỚI THIỆU TỔNG QUAN 8

1.1 Bài tốn ứng dụng KPDL để xây dựng hệ thống tư vấn 8

1.2 Một số hướng nghiên cứu về khai phá dữ liệu trong giáo dục 8

1.3 Hướng tiếp cận của luận văn 9

CHUONG II CÁC KIẾN THỨC CƠ SỞ LIÊN QUAN 11

2.2.2 Phân lớp Nạve Bayes 14

2.2.3 Mạng nơ ron nhân tạo 14

CHUONG III XÂY DỰNG HỆ THỐNG TƯ VẤN HỌC TẬP 15

3.1 Lựa chọn mơ hình 15

3.2 Sơ đồ hoạt động của hệ thống: 15

3.3 Kết quả đạt được: 16

DANH MUC HINH ANH

hinh 2-1: hinh thu nhat 11hinh 2-2: hinh thu hai 13hinh 3-1 16

DANH MUC BANG BIEU

bang 1-1: bang thu nhat 9bang 2-1: bang thu hai 14

CHUONG 1 GIỚI THIỆU TỔNG QUAN

1.1 Bài toán ứng dụng KPDL để xây dựng hệ thống tư vấn

Một thực tế đặt ra đối với trường đại học là làm sao thu hút được nhiều sinh viêndựa trên “thương hiệu” của nhà trường, để đáp ứng chỉ tiêu đào tạo Tuy nhiên, yêucầu đặt ra về số lượng cũng phải kèm theo yêu cầu về chất lượng đào tạo Vấn đề nângcao chất lượng đào tạo là một vấn đề luôn được nhà trường quan tâm

Nhằm đổi mới giáo dục đại học ở Việt Nam, Bộ Giáo dục và Đào tạo đã yêu cầuchuyển đổi từ việc thực hiện chương trình đào tạo theo hệ thống niên chế thành đào tạotheo hệ thống tín chỉ kiểu Hoa Kỳ, bắt đầu từ năm học 2008-2009 và đòi hỏi phải hoàntất việc chuyển đổi này trước năm 2012

Trường Đại học Công nghiệp Hà Nội đã triển khai đào tạo theo học chế tín chỉbắt đầu từ năm học 2008 – 2009 Đào tạo tín chỉ có ưu điểm giúp sinh viên có thể tựquản lý quỹ thời gian và tùy theo khả năng của mình để tự quyết định các môn họctheo từng kỳ Vì vậy, việc tư vấn học tập, chủ yếu liên quan đến lựa chọn lộ trình họcphù hợp nhằm đạt được kết quả học tập cao nhất cho mỗi sinh viên được đặc biệt quantâm Các giảng viên chuyên trách, cố vấn học tập không thể tiếp cận toàn bộ dữ liệu vềđiểm của sinh viên

1.2 Một số hướng nghiên cứu về khai phá dữ liệu trong giáo dục

Hiện đã có rất nhiều nghiên cứu về ứng dụng KPDL cho giáo dục Những khaiphá dữ liệu trong giáo dục đã nổi bật lên như là một lĩnh vực nghiên cứu độc lập trongnhững năm gần đây, mà cao điểm là năm 2008 với sự thành lập hội nghị quốc tế vềkhai phá dữ liệu giáo dục, và những bài báo về khai phá dữ liệu giáo dục Đó là“Applying Data Mining Techniques to e-Learning Problems” của Félix Castrol,…

Các nhà nghiên cứu về việc KPDL trong giáo dục tập trung vào nhiều vấn đề baogồm việc học của cá nhân từ phần mềm giáo dục, học cộng tác với sự giúp đỡ của máytính, kiểm nghiệm khả năng thích ứng với máy tính, và nhiều nhân tố được kết hợp vớicác sinh viên không có khả năng hoặc thiếu định hướng trong quá trình học tập Mỗi

lĩnh vực chính của việc ứng dụng khai phá dữ liệu vào giáo dục là phát triển các môhình hướng đối tượng sinh viên Các mô hình sinh viên thể hiện thông tin về một nétđặc trưng hay tình trạng của sinh viên, như kiến thức hiện tại của sinh viên, động cơthúc đẩy học tập, quan điểm nguyện vọng của sinh viên…

Ở Việt Nam, KPDL cũng đã được nghiên cứu và ứng dụng trong nhiều tổ chức,doanh nghiệp và đem lại hiệu quả cao trong các lĩnh vực như giáo dục, y tế, thươngmại, tài chính Nhiều công trình khoa học đã và đang được nghiên cứu để áp dụng vàothực tế Song bên cạnh đó, việc khai thác các thông tin có giá trị ở một số đơn vị chưathực sự hiệu quả, việc áp dụng trong thực tế còn hạn chế

1.3 Hướng tiếp cận của luận văn

Luận văn tập trung nghiên cứu lý thuyết khai phá dữ liểu, sử dụng công cụ khaiphá dữ liệu BIDS của Microsoft, KPDL điểm thực tế của sinh viên trường ĐHCNHN.

Bên cạnh đó, luận văn sử dụng một số thuật toán điển hình trong khai phá dữ liệuđược hỗ trợ sẵn trong SQL Server nhằm giải quyết bài toán dự báo, dự đoán kết quảhọc tập của sinh viên

bang 1-1: bang thu nhat

Nhiệm vụThuật toán Microsoft sử dụng

Dự đoán một thuộc tính rờirạc

Microsoft Decision Trees AlgorithmMicrosoft Naive Bayes Algorithm

Microsoft Clustering AlgorithmMicrosoft Neural Network AlgorithmDự đoán một thuôc tính liên

Microsoft Decision Trees AlgorithmMicrosoft Time Series AlgorithmDự đoán một trình tự Microsoft Sequence Clustering AlgorithmTìm nhóm của những mục

chọn trong các giao dịch

Microsoft Association Rules AlgorithmMicrosoft Decision Trees AlgorithmTìm những mục giống nhau Microsoft Clustering Algorithm

Microsoft Sequence Clustering AlgorithmSau khi đánh giá mô hình dự đoán tốt nhất, tác giả xây dựng chương trình thựcnghiệm để hỗ trợ tư vấn học tập cho sinh viên năm đầu

CHUONG 2 CÁC KIẾN THỨC CƠ SỞ LIÊN QUAN

2.1 Khai phá dữ liệu

2.1.1 Khái niệm khai phá dữ liệu (KPDL )

"KPDL là quá trình khảo sát và phân tích một khối lượng lớn các dữ liệuđược lưu trữ trong các cơ sở dữ liệu, kho dữ liệu…để từ đó trích xuất ra các thôngtin quan trọng, có giá trị tiềm ẩn bên trong" Do nhu cầu nghiệp vụ cần có cách nhìnthông tin trên quy mô toàn đơn vị

Các dữ liệu này được thu từ nhiều nguồn, đa số là từ các phần mềm nghiệp vụnhư: phần mềm tài chính, kế toán, các hệ thống quản lý tài nguyên doanh nghiệp, cáchệ thống quản lý khách hang hay từ tác công cụ lưu trữ thông tin trên web…

Đây là những khối dữ liệu khổng lồ nhưng những thông tin mà nó thể hiện ra thìlộn xộn và “nghèo” đối với người dùng Kích thước của khối dữ liệu khổng lồ đó cũngtăng với tốc độ rất nhanh chiếm nhiều dung lượng lưu trữ KPDL liệu sẽ giúp tríchxuất ra các mẫu điển hình có giá trị và biến chúng thành những tri thức hữu ích Quátrình này gồm một số bước được thể hiện trong hình sau

hinh 2-1: hinh thu nhat

Ý nghĩa cụ thể của các bước như sau:

- Lựa chọn dữ liệu liên quan đến bài toán quan tâm

- Tiền xử lý dữ liệu, làm sạch dữ liệu, chiếm tới gần 60% nỗ lực - Chuyển đổi dữ liệu về dạng phù hợp thuận lợi cho việc khai phá - KPDL, trích xuất ra các mẫu dữ liệu (mô hình)

Tư vấn lựa chọn môn học

Cho một kho dữ liệu các thông tin về kết quả học tập của sinh viên Hãy tư vấncho sinh viên lựa chọn các môn học cho học kỳ sau dựa trên kết quả của các học kỳtrước sao cho kết quả học tập của kỳ sao là cao nhất Để thực hiện việc này, chúng tacần sử dụng các thuật toán KPDL ở dạng phân lớp và dự đoán như Cây quyết định,mạng Naive Bayes, Neural Network hay luật kết hợp

Tư vấn lựa chọn lộ trình học

Cho một kho dữ liệu đào tạo (theo hình thức tín chỉ) bao gồm các môn học (họcphần) tương ứng với các ngành học và các học kỳ (gọi là chương trình đào tạo), cùngvới các thông tin về kết quả học tập của các sinh viên đã tốt nghiệp Hãy tư vấn chocác sinh viên mới vào trường cách lựa chọn một lộ trình học phù hợp nhất cho ngànhhọc mà sinh viên đã đăng ký sao cho kết quả tốt nghiệp ra trường của sinh viên là caonhất Đây chính là bài toán mà luận văn hướng đến Để thực hiện việc này, chúng ta

cần sử dụng các thuật tốn KPDL ở dạng phân lớp và dự đốn như Cây quyết định,mạng Naive Bayes, Neural Network hay luật kết hợp

2.2 Một số kỹ thuật KPDL trong phân lớp, dự báo

2.2.1 Cây quyết định

Cây quyết định là một cấu trúc biễu diễn dưới dạng cây Trong đĩ, mỗi nút trong(internal node) biễu diễn một thuộc tính, mỗi nhánh (branch) biễu diễn giá trị cĩ thể cĩcủa thuộc tính, mỗi lá (leaf node) biểu diễn các lớp quyết định và đỉnh trên cùng củacây gọi là gốc (root)

hinh 2-2: hinh thu hai

[1]Cây quyết định (Decision Tree) là một cây phân cấp cĩ cấu trúc được dùng đểphân lớp các đối tượng dựa vào dãy các luật (series of rules) Các thuộc tính của đốitượng (ngoại trừ thuộc tính phân lớp – Category attribute) cĩ thể thuộc các kiểu dữ liệukhác nhau (Binary, Nominal, ordinal, quantitative values) trong khi đĩ thuộc tính phânlớp phải cĩ kiểu dữ liệu là Binary hoặc Ordinal

2.2.2 Phân lớp Nạve Bayes

Định lý Bayes cho phép tính xác suất xảy ra của một sự kiện ngẫu nhiên A khibiết sự kiện liên quan B đã xảy ra Xác suất này được ký hiệu là P(A|B), và đọc là "xácsuất của A nếu cĩ B" Đại lượng này được gọi xác suất cĩ điều kiện vì nĩ được rút ratừ giá trị được cho của B hoặc phụ thuộc vào giá trị đĩ

Phương pháp Naive Bayes phù hợp các bài toán có yêu cầu về chi phí xuất hiệncủa các giá trị thuộc tính

bang 2-2: bang thu haii

d4 saigon hutiu banhbopho

2.2.3 Mạng nơ ron nhân tạo

Neural nhân tạo là sự mô phỏng đơn giản của neural sinh học Mỗi neural nhântạo thực hiện hai chức năng: chức năng tổng hợp đầu vào và chức năng tạo đầu ra.Chức năng đầu vào chính là tổng có trọng số các tín hiệu vào kết hợp với ngưỡng đểtạo ra tín hiều đầu vào Chức năng tạo đầu ra được thực hiện bằng hàm truyền đạt

Microsoft Neural Network sử dụng mạng đa tầng bao gồm ba lớp tế bào thầnkinh Các lớp này là một lớp đầu vào, một lớp ẩn và một lớp đầu ra Trong một mạngNeural, mỗi neural nhận được một hoặc nhiều đầu vào và sản xuất một hoặc nhiều kếtquả đầu ra Mỗi đầu ra là một hàm phi tuyến đơn giản của tổng các đầu vào

2.2.4 Sơ đồ hoạt động của hệ thống:

Để sử dụng hệ thống, người dùng nhập vào các thơng tin như: ngành học, điểmthi tuyển sinh, giới tính và lựa chọn mơ hình sử dụng để dự báo (nếu khơng lựa chọnthì mặc định hệ thống sẽ sử dụng mơ hình Nạve Bayes) Trong phạm vi thử nghiệm,chương trình vẫn cho hiển thị kết quả dự đốn của cả 03 mơ hình khơng được lựa chọnlà Luật kết hợp, Neural Network và Decision Tree để mang tính chất tham khảo cũngnhư đánh giá lại các mơ hình trong dự đốn thực tế Tuy nhiên, như đã phân tích ởtrên, người dùng cần tin tưởng ở mơ hình Nạve Bayes hơn do nĩ được đánh giá là dựđốn kết quả học tập với độ chính xác tốt nhất

phép người dùng chọn các mơ hình khác nhau (trong 04 mơ hình đã xây dựng) đểkiểm tra và so sánh kết quả

Hệ thống được xây dựng bằng ngơn ngữ Visual C#.NET với hệ quản trị CSDLMS SQL Server 2008 trên nền Windows Forms (việc xây dựng trên nền Web cũng1tương tự)

3.2 Kết quả đạt được:

Theo đánh giá mơ hình từ trước thì mơ hình Nạve Bayes cho kết quả dự báo tốtnhất nên sinh viên cần lấy kết quả của mơ hình này để tham khảo chính Cũng theocảm tính, vì sinh viên thi điểm đầu vào cao và là học sinh nữ, học ngành kế tốn nên tỷlệ sinh viên này học đạt kết quả giỏi là cao (sinh viên nữ thường chăm chỉ hơn sinhviên nam và ngành kế tốn hợp với sinh viên nữ hơn)

1

DANH MUC TAI LIEU THAM KHAOBibliography

[2] D Wilson, Machine Learning, Singapore: The RAM Institite, 1999

[1] D Phuc, Giao trinh khai thac giu lieu, Ha Noi: NXB KHKT, 2006

KẾT LUẬN

Sau một thời gian nghiên cứu và làm việc nghiêm túc, từ việc nghiên cứu nhữngyêu cầu cấp thiết đặt ra trong công tác quản lý vào đào tạo của trường ĐHCNHN, luậnvăn đã đạt được một số kết quả chính sau đây:

Xây dựng hệ thống tư vấn học tập với đầu vào là các thông tin cá nhân của sinhviên như: ngành học, điểm thi tuyển sinh, giới tính, sử dụng mô hình dự báo NaiveBayes

Hệ thống cũng có chức năng cho phép người quản trị cập nhật cơ sở dữ liệu vàcập nhật lại mô hình khi kết thúc năm học với các khóa đã tốt nghiệp, qua đó giúp hệthống ngày càng đạt độ chính xác cao và khách quan

Với việc triển khai hệ thống thử nghiệm cho thấy khả năng ứng dụng kết quả nàytrong việc dự đoán kết quả học tập của sinh viên Hệ thống không chỉ hỗ trợ cho sinhviên mà còn hỗ trợ cho giáo viên chủ nhiệm, các khoa chuyên ngành, phòng đào tạo vànhững ai quan tâm

+ Đối với sinh viên: giúp lựa chọn lộ trình học phù hợp với điều kiện và năng lựccủa bản thân để đạt được kết quả học tập tối ưu

+ Đối với cố vấn học tập: có thể tư vấn cho sinh viên trong việc chọn một lộ trìnhhọc phù hợp

+ Đối với các khoa chuyên ngành và phòng đào tạo: hỗ trợ trong việc đánh giáchất lượng cho từng lộ trình học nhằm nâng cao, cải thiện hơn nữa trong việc xây dựngcác lộ trình học để phù hợp với mọi điều kiện và năng lực của sinh viên

Cuối cùng, em xin chân thành cảm ơn thầy Hoàng Quang Huy và các thầy côkhác đã tận tình giúp đỡ em hoàn thành đề tài này Do thời gian và kiến thức có hạn

nên còn nhiều thiếu sót, kính mong được sự góp ý và chỉ bảo từ các thầy cô và cácbạn.