Đồ án tốt nghiệp đại học khai phá dữ liệu trong giáo dục

Đối với mỗi sinh viên, việc lựa chọn cho mình một lộ trình học phù hợp theo đúng quy trìnhđào tạo là một việc hết sức khĩ khăn, đặc biệt là với các sinh viên mới vào trường, khi mà kinhn

BỘ CÔNG THƯƠNG

TRƯỜNG ĐẠI HỌC CÔNG NGHIỆP HÀ NỘI

ĐỒ ÁN TỐT NGHIỆP ĐẠI HỌC

Chuyên ngành: CNTT

ĐỀ TÀI

KHAI PHÁ DỮ LIỆU TRONG GIÁO DỤC

BỘ CÔNG THƯƠNG

TRƯỜNG ĐẠI HỌC CÔNG NGHIỆP HÀ NỘI

CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập – Tự do – Hạnh phúc

PHIẾU GIAO ĐỀ TÀI TỐT NGHIỆP

Chuyên ngành CNTT

Số:………

Họ và tên sinh viên: Lớp:

Khóa: Khoa:

Giáo viên hướng dẫn:

NỘI DUNG

THUYẾT MINH

Ngày giao đề tài: Ngày hoàn thành:

Hà Nội, ngày……tháng …… năm ……

GIÁO VIÊN HƯỚNG DẪN

(Ký tên)

KHOA

(Ký tên)

HIỆU TRƯỞNG

(Ký tên)

LỜI NÓI ĐẦU

Trường Đại học Công nghiệp Hà Nội đã triển khai đào tạo theo học chế 琀n chỉ bắt đầu từ năm học 2008 – 2009 Đào tạo 琀n chỉ có ưu điểm giúp sinh viên có thể tự quản lý quỹ thời gian và tùy theo khả năng của mình để tự quyết định các môn học theo từng kỳ

Đối với mỗi sinh viên, việc lựa chọn cho mình một lộ trình học phù hợp theo đúng quy trình đào tạo là một việc hết sức khó khăn, đặc biệt là với các sinh viên mới vào trường, khi mà kinh nghiệm học tập ở bậc đại học và hình thức đào tạo 琀n chỉ còn rất mới mẻ Đó cũng là khó khăn chung không chỉ của sinh viên, mà còn của các cố vấn học tập, giáo viên chủ nhiệm và các tổ chức quản lý trong trường

Xuất phát từ thực tế đó, việc tư vấn lựa chọn lộ trình học cho sinh viên theo ngành học đã đăng ký là một việc làm hết sức thiết thực và ý nghĩa Vì vậy em xin chọn đề tài " KHAI PHÁ DỮ LIỆU TRONG GIÁO DỤC" làm đồ án tốt nghiệp chuyên ngành CNTT

Đề tài này được trình bày qua 3 phần chính:

Chương I Giới thiệu tổng quan

Chương II Các kiến thức cơ sở liên quan

Chương III Xây dựng hệ thống hỗ trợ học tập

Do thời gian và kiến thức có hạn nên khóa luận này của em còn nhiều thiếu sót, kính mong được sự góp ý và chỉ bảo từ các thầy cô và các bạn

CHƯƠNG 1 GIỚI THIỆU TỔNG QUAN

1.1 Bài toán ứng dụng KPDL để xây dựng hệ thống tư vấn

Một thực tế đặt ra đối với trường đại học là làm sao thu hút được nhiều sinh viên dựa trên

“thương hiệu” của nhà trường, để đáp ứng chỉ 琀椀êu đào tạo Tuy nhiên, yêu cầu đặt ra về số lượng cũng phải kèm theo yêu cầu về chất lượng đào tạo Vấn đề nâng cao chất lượng đào tạo là một vấn

đề luôn được nhà trường quan tâm

Nhằm đổi mới giáo dục đại học ở Việt Nam, Bộ Giáo dục và Đào tạo đã yêu cầu chuyển đổi từ việc thực hiện chương trình đào tạo theo hệ thống niên chế thành đào tạo theo hệ thống 琀n chỉ kiểu Hoa Kỳ, bắt đầu từ năm học 2008-2009 và đòi hỏi phải hoàn tất việc chuyển đổi này trước năm 2012 Trường Đại học Công nghiệp Hà Nội đã triển khai đào tạo theo học chế 琀n chỉ bắt đầu từ năm học 2008 – 2009 Đào tạo 琀n chỉ có ưu điểm giúp sinh viên có thể tự quản lý quỹ thời gian và tùy theo khả năng của mình để tự quyết định các môn học theo từng kỳ Vì vậy, việc tư vấn học tập, chủ yếu liên quan đến lựa chọn lộ trình học phù hợp nhằm đạt được kết quả học tập cao nhất cho mỗi sinh viên được đặc biệt quan tâm Các giảng viên chuyên trách, cố vấn học tập không thể 琀椀ếp cận toàn bộ

dữ liệu về điểm của sinh viên

1.2 Một số hướng nghiên cứu về khai phá dữ liệu trong giáo dục

Hiện đã có rất nhiều nghiên cứu về ứng dụng KPDL cho giáo dục Những khai phá dữ liệu trong giáo dục đã nổi bật lên như là một lĩnh vực nghiên cứu độc lập trong những năm gần đây, mà cao điểm là năm 2008 với sự thành lập hội nghị quốc tế về khai phá dữ liệu giáo dục, và những bài báo về khai phá dữ liệu giáo dục Đó là “Applying Data Mining Techniques to e-Learning Problems” của Félix Castrol,…

Các nhà nghiên cứu về việc KPDL trong giáo dục tập trung vào nhiều vấn đề bao gồm việc học của cá nhân từ phần mềm giáo dục, học cộng tác với sự giúp đỡ của máy 琀nh, kiểm nghiệm khả năng thích ứng với máy 琀nh, và nhiều nhân tố được kết hợp với các sinh viên không có khả năng hoặc thiếu định hướng trong quá trình học tập Mỗi lĩnh vực chính của việc ứng dụng khai phá dữ liệu vào giáo dục là phát triển các mô hình hướng đối tượng sinh viên Các mô hình sinh viên thể hiện thông 琀椀n về một nét đặc trưng hay 琀nh trạng của sinh viên, như kiến thức hiện tại của sinh viên, động cơ thúc đẩy học tập, quan điểm nguyện vọng của sinh viên…

Ở Việt Nam, KPDL cũng đã được nghiên cứu và ứng dụng trong nhiều tổ chức, doanh nghiệp và đem lại hiệu quả cao trong các lĩnh vực như giáo dục, y tế, thương mại, tài chính Nhiều công trình khoa học đã và đang được nghiên cứu để áp dụng vào thực tế Song bên cạnh đó, việc khai thác các thông 琀椀n có giá trị ở một số đơn vị chưa thực sự hiệu quả, việc áp dụng trong thực tế còn hạn chế

1.3 Hướng tiếp cận của luận văn

Luận văn tập trung nghiên cứu lý thuyết khai phá dữ liểu, sử dụng công cụ khai phá dữ liệu BIDS của Microso昀琀, KPDL điểm thực tế của sinh viên trường ĐHCNHN

Bên cạnh đó, luận văn sử dụng một số thuật toán điển hình trong khai phá dữ liệu được hỗ trợ sẵn trong SQL Server nhằm giải quyết bài toán dự báo, dự đoán kết quả học tập của sinh viên

Bảng 1- 1

Nhiệm vụ Thuật toán Microso昀琀 sử dụng

Dự đoán một thuộc 琀nh rời rạc

Microso昀琀 Decision Trees Algorithm Microso昀琀 Naive Bayes Algorithm Microso昀琀 Clustering Algorithm Microso昀琀 Neural Network Algorithm

Dự đoán một thuôc 琀nh liên tục Microso昀琀 Decision Trees Algorithm Microso昀琀

Time Series Algorithm

Tìm nhóm của những mục chọn

trong các giao dịch

Microso昀琀 Associa琀椀on Rules Algorithm Microso昀琀 Decision Trees Algorithm

Tìm những mục giống nhau Microso昀琀 Clustering Algorithm

Microso昀琀 Sequence Clustering Algorithm

Hình 1.1: Lựa chọn các thuật toán KDPL theo mục đích

Sau khi đánh giá mô hình dự đoán tốt nhất, tác giả xây dựng chương trình thực nghiệm để hỗ trợ tư vấn học tập cho sinh viên năm đầu

CHƯƠNG 2 CÁC KIẾN THỨC CƠ SỞ LIÊN QUAN

2.1 Khai phá dữ liệu

2.1.1 Khái niệm khai phá dữ liệu (KPDL )

"KPDL là quá trình khảo sát và phân 琀ch một khối lượng lớn các dữ liệu được lưu trữ trong các cơ sở dữ liệu, kho dữ liệu…để từ đó trích xuất ra các thông 琀椀n quan trọng, có giá trị 琀椀ềm ẩn bên trong" Do nhu cầu nghiệp vụ cần có cách nhìn thông 琀椀n trên quy mô toàn đơn vị

Các dữ liệu này được thu từ nhiều nguồn, đa số là từ các phần mềm nghiệp vụ như: phần mềm tài chính, kế toán, các hệ thống quản lý tài nguyên doanh nghiệp, các hệ thống quản lý khách hang hay từ tác công cụ lưu trữ thông 琀椀n trên web…

Đây là những khối dữ liệu khổng lồ nhưng những thông 琀椀n mà nó thể hiện ra thì lộn xộn và

“nghèo” đối với người dùng Kích thước của khối dữ liệu khổng lồ đó cũng tăng với tốc độ rất nhanh chiếm nhiều dung lượng lưu trữ KPDL liệu sẽ giúp trích xuất ra các mẫu điển hình có giá trị và biến chúng thành những tri thức hữu ích Quá trình này gồm một số bước được thể hiện trong hình sau

Hình 2.2

Ý nghĩa cụ thể của các bước như sau:

- Lựa chọn dữ liệu liên quan đến bài toán quan tâm

- Tiền xử lý dữ liệu, làm sạch dữ liệu, chiếm tới gần 60% nỗ lực

- Chuyển đổi dữ liệu về dạng phù hợp thuận lợi cho việc khai phá

- KPDL, trích xuất ra các mẫu dữ liệu (mô hình)

- Đánh giá mẫu

- Sử dụng tri thức khai phá được

2.1.2 Ứng dụng KPDL trong giáo dục

 Tư vấn lựa chọn ngành học

Cho một kho dữ liệu lưu giữ các thông 琀椀n về kết quả học tập của sinh viên đã tốt nghiệp Hãy 琀m ra những quy luật lựa chọn các chuyên ngành một cách hợp lý sao cho đạt được kết quả tốt nhất Nhằm mục đích này người ta mong muốn nhận được từ dữ liệu những phát biểu như: “80% sinh viên học tốt môn Kinh tế chính trị và Tiếng Anh khá thì tốt nghiệp chuyên ngành Kế toán ngân hàng loại giỏi”, … Để đạt được những phát biểu như trên, chúng ta sử dụng các thuật toán Khai phá luật kết hợp từ cơ sở dữ liệu

 Tư vấn lựa chọn môn học

Cho một kho dữ liệu các thông 琀椀n về kết quả học tập của sinh viên Hãy tư vấn cho sinh viên lựa chọn các môn học cho học kỳ sau dựa trên kết quả của các học kỳ trước sao cho kết quả học tập của kỳ sao là cao nhất Để thực hiện việc này, chúng ta cần sử dụng các thuật toán KPDL ở dạng phân lớp và dự đoán như Cây quyết định, mạng Naive Bayes, Neural Network hay luật kết hợp

 Tư vấn lựa chọn lộ trình học

Cho một kho dữ liệu đào tạo (theo hình thức 琀n chỉ) bao gồm các môn học (học phần) tương ứng với các ngành học và các học kỳ (gọi là chương trình đào tạo), cùng với các thông 琀椀n về kết quả học tập của các sinh viên đã tốt nghiệp Hãy tư vấn cho các sinh viên mới vào trường cách lựa chọn một lộ trình học phù hợp nhất cho ngành học mà sinh viên đã đăng ký sao cho kết quả tốt nghiệp ra trường của sinh viên là cao nhất Đây chính là bài toán mà luận văn hướng đến Để thực hiện việc này, chúng ta cần sử dụng các thuật toán KPDL ở dạng phân lớp và dự đoán như Cây quyết định, mạng Naive Bayes, Neural Network hay luật kết hợp

2.2 Một số kỹ thuật KPDL trong phân lớp, dự báo

2.2.1 Cây quyết định

Cây quyết định là một cấu trúc biễu diễn dưới dạng cây Trong đó, mỗi nút trong (internal node) biễu diễn một thuộc 琀nh, mỗi nhánh (branch) biễu diễn giá trị có thể có của thuộc 琀nh, mỗi lá (leaf node) biểu diễn các lớp quyết định và đỉnh trên cùng của cây gọi là gốc (root)

Hình 2.3

Trong lĩnh vực học máy, cây quyết định là một kiểu mơ hình dự báo (predic琀椀ve model), nghĩa

là một ánh xạ từ các quan sát về một sự vật/hiện tượng tới các kết luận về giá trị mục 琀椀êu của sự vật/hiện tượng Mỗi nút trong (internal node) tương ứng với một biến, đường nối giữa nĩ với nút con của nĩ thể hiện giá trị cụ thể cho biến đĩ Mỗi nút lá đại diện cho giá trị dự đốn của biến mục 琀椀êu, cho trước các giá trị dự đốn của các biến được biểu diễn bởi đường đi từ nút gốc tới nút lá đĩ

Kỹ thuật học máy dùng trong cây quyết định được gọi là học bằng cây quyết định, hay chỉ gọi với cái tên ngắn gọn là cây quyết định

Cây quyết định (Decision Tree) là một cây phân cấp cĩ cấu trúc được dùng để phân lớp các đối tượng dựa vào dãy các luật (series of rules) Các thuộc 琀nh của đối tượng (ngoại trừ thuộc 琀nh phân lớp – Category a琀琀ribute) cĩ thể thuộc các kiểu dữ liệu khác nhau (Binary, Nominal, ordinal, quan琀椀ta琀椀ve values) trong khi đĩ thuộc 琀nh phân lớp phải cĩ kiểu dữ liệu là Binary hoặc Ordinal

2.2.2 Phân lớp Nạve Bayes

Định lý Bayes cho phép 琀nh xác suất xảy ra của một sự kiện ngẫu nhiên A khi biết sự kiện liên quan B đã xảy ra Xác suất này được ký hiệu là P(A|B), và đọc là "xác suất của A nếu cĩ B" Đại lượng này được gọi xác suất cĩ điều kiện vì nĩ được rút ra từ giá trị được cho của B hoặc phụ thuộc vào giá trị đĩ

Phương pháp Naive Bayes phù hợp các bài tốn cĩ yêu cầu về chi phí xuất hiện của các giá trị thuộc 琀nh

Bảng 2- 2: Lựa chọn các thuật tốn KDPL theo mục đích

Document Conten

d3 pho banhgio omai B

2.2.3 Mạng nơ ron nhân tạo

Neural nhân tạo là sự mô phỏng đơn giản của neural sinh học Mỗi neural nhân tạo thực hiện hai chức năng: chức năng tổng hợp đầu vào và chức năng tạo đầu ra Chức năng đầu vào chính là tổng có trọng số các 琀n hiệu vào kết hợp với ngưỡng để tạo ra 琀n hiều đầu vào Chức năng tạo đầu

ra được thực hiện bằng hàm truyền đạt

Microso昀琀 Neural Network sử dụng mạng đa tầng bao gồm ba lớp tế bào thần kinh Các lớp này

là một lớp đầu vào, một lớp ẩn và một lớp đầu ra Trong một mạng Neural, mỗi neural nhận được một hoặc nhiều đầu vào và sản xuất một hoặc nhiều kết quả đầu ra Mỗi đầu ra là một hàm phi tuyến đơn giản của tổng các đầu vào

CHƯƠNG 3 XÂY DỰNG HỆ THỐNG TƯ VẤN HỌC TẬP

3.1 Lựa chọn mơ hình

Yêu cầu Mơ hình Nạve Bayes cho kết quả dự đốn kết quả học tập của sinh viên với độ chính xác cao nhất nên mơ hình này sẽ được lựa chọn để xây dựng hệ thống tư vấn học tập Trong khuơn khổ luận văn, để giúp người dùng thấy được sự khác biệt về kết quả dự đốn giữa các mơ hình, hệ thống tư vấn cĩ đưa thêm vào chức năng cho phép người dùng chọn các mơ hình khác nhau (trong

04 mơ hình đã xây dựng) để kiểm tra và so sánh kết quả

Hệ thống được xây dựng bằng ngơn ngữ Visual C#.NET với hệ quản trị CSDL MS SQL Server

2008 trên nền Windows Forms (việc xây dựng trên nền Web cũng tương tự)

3.2 Sơ đồ hoạt động của hệ thống:

Để sử dụng hệ thống, người dùng nhập vào các thơng 琀椀n như: ngành học, điểm thi tuyển sinh, giới 琀nh và lựa chọn mơ hình sử dụng để dự báo (nếu khơng lựa chọn thì mặc định hệ thống sẽ sử dụng mơ hình Nạve Bayes) Trong phạm vi thử nghiệm, chương trình vẫn cho hiển thị kết quả dự đốn của cả 03 mơ hình khơng được lựa chọn là Luật kết hợp, Neural Network và Decision Tree để mang 琀nh chất tham khảo cũng như đánh giá lại các mơ hình trong dự đốn thực tế Tuy nhiên, như

đã phân 琀ch ở trên, người dùng cần 琀椀n tưởng ở mơ hình Nạve Bayes hơn do nĩ được đánh giá là dự đốn kết quả học tập với độ chính xác tốt nhất

3.3 Kết quả đạt được:

Hình 3.4

Theo đánh giá mơ hình từ trước thì mơ hình Nạve Bayes cho kết quả dự báo tốt nhất nên sinh viên cần lấy kết quả của mơ hình này để tham khảo chính Cũng theo cảm 琀nh, vì sinh viên thi điểm

đầu vào cao và là học sinh nữ, học ngành kế toán nên tỷ lệ sinh viên này học đạt kết quả giỏi là cao (sinh viên nữ thường chăm chỉ hơn sinh viên nam và ngành kế toán hợp với sinh viên nữ hơn)

KẾT LUẬN

Sau một thời gian nghiên cứu và làm việc nghiêm túc, từ việc nghiên cứu những yêu cầu cấp thiết đặt ra trong công tác quản lý vào đào tạo của trường ĐHCNHN, luận văn đã đạt được một số kết quả chính sau đây:

Xây dựng hệ thống tư vấn học tập với đầu vào là các thông 琀椀n cá nhân của sinh viên như: ngành học, điểm thi tuyển sinh, giới 琀nh, sử dụng mô hình dự báo Naive Bayes

Hệ thống cũng có chức năng cho phép người quản trị cập nhật cơ sở dữ liệu và cập nhật lại mô hình khi kết thúc năm học với các khóa đã tốt nghiệp, qua đó giúp hệ thống ngày càng đạt độ chính xác cao và khách quan

Với việc triển khai hệ thống thử nghiệm cho thấy khả năng ứng dụng kết quả này trong việc dự đoán kết quả học tập của sinh viên Hệ thống không chỉ hỗ trợ cho sinh viên mà còn hỗ trợ cho giáo viên chủ nhiệm, các khoa chuyên ngành, phòng đào tạo và những ai quan tâm

+ Đối với sinh viên: giúp lựa chọn lộ trình học phù hợp với điều kiện và năng lực của bản thân

để đạt được kết quả học tập tối ưu

+ Đối với cố vấn học tập: có thể tư vấn cho sinh viên trong việc chọn một lộ trình học phù hợp + Đối với các khoa chuyên ngành và phòng đào tạo: hỗ trợ trong việc đánh giá chất lượng cho từng lộ trình học nhằm nâng cao, cải thiện hơn nữa trong việc xây dựng các lộ trình học để phù hợp với mọi điều kiện và năng lực của sinh viên

Cuối cùng, em xin chân thành cảm ơn thầy Hoàng Quang Huy và các thầy cô khác đã tận 琀nh giúp đỡ em hoàn thành đề tài này Do thời gian và kiến thức có hạn nên còn nhiều thiếu sót, kính mong được sự góp ý và chỉ bảo từ các thầy cô và các bạn

Mục lục

LỜI NĨI ĐẦU 3

CHƯƠNG 1 GIỚI THIỆU TỔNG QUAN 4

1.1 Bài tốn ứng dụng KPDL để xây dựng hệ thống tư vấn 4

1.2 Một số hướng nghiên cứu về khai phá dữ liệu trong giáo dục 4

1.3 Hướng 琀椀ếp cận của luận văn 5

CHƯƠNG 2 CÁC KIẾN THỨC CƠ SỞ LIÊN QUAN 6

2.1 Khai phá dữ liệu 6

2.1.1 Khái niệm khai phá dữ liệu (KPDL ) 6

2.1.2 Ứng dụng KPDL trong giáo dục 6

2.2 Một số kỹ thuật KPDL trong phân lớp, dự báo 7

2.2.1 Cây quyết định 7

2.2.2 Phân lớp Nạve Bayes 8

2.2.3 Mạng nơ ron nhân tạo 9

CHƯƠNG 3 XÂY DỰNG HỆ THỐNG TƯ VẤN HỌC TẬP 10

3.1 Lựa chọn mơ hình 10

3.2 Sơ đồ hoạt động của hệ thống: 10

3.3 Kết quả đạt được: 10