TÌM HIẾU LUẬT KÉT HỢP TRONG KHAI MỎ DỮ LIỆU, ỨNG DỤNG PHẦN TÍCH KÉT QUÁ HỌC TẬP CỦA SINH VIÊN

ỦY BAN NHÂN DÂN THÀNH PHỐ HỒ CHÍ MINH ĐẠI HỌC BÁN CÔNG TÔN ĐỨC THẮNG Trần Thị Trúc Giang Nguyễn Thị Nghĩa Hương TÌM HIỂU LUẬT KẾT HỢP TRONG KHAI MỎ DỮ LIỆU, ỨNG DỤNG PHÂN TÍCH KẾT QUẢ HỌC TẬP CỦA SINH VIÊN Chuyên ngành: Công Nghệ Thông Tin Mã số: 01.01.11 Luận văn Cử Nhân Khoa Học Tin Học Giáo viên hướng dẫn: PHAN ĐÌNH THẾ HUÂN THÀNH PHỐ HỒ CHÍ MINH 2007 Tìm hiểu luật kết hợp khai phá liệu, ứng dụng phân tích kết học tập SV LỜI CÁM ƠN Trước hết, xin chân thành cám ơn thầy Khoa Cơng Nghệ Thơng Tin Tốn Ứng Dụng thầy mơn khác tận tình giảng dạy, trang bị cho kiến thức cần thiết suốt trình học tập trường Tiếp đến xin gửi lời cám ơn sâu sắc đến thầy Phan Đình Thế Huân hướng dẫn tận tình, bảo động viên chúng tơi thời gian thực luận văn Trong trình thực luận văn hướng dẫn thầy thầy truyền đạt nhiều kiến thức kinh nghiệm, chúng tơi cịn học hỏi từ thầy tinh thần trách nhiệm phong cách làm việc nghiêm túc Cám ơn thầy động viên giúp đỡ chúng tơi hồn tất luận văn Chúng tơi đồng thời gửi lời cám ơn gia đình đặc biệt bạn bè lớp 07TH sẵn sàng giúp đỡ, hỗ trợ động viên học tập, đặc biệt suốt thời gian thực luận văn Đáp lại quan tâm giúp đỡ nhà trường, thầy cơ, gia đình bạn bè, chúng tơi nỗ lực để hoàn tất luận văn mức tốt Chắc chắn luận văn chúng tơi cịn thiếu sót, kính mong thầy xem xét tận tình bảo Chân thành cám ơn TP Hồ Chí Minh 7/2007 Nhóm SV thực hiện: Trần Thị Trúc Giang Nguyễn Thị Nghĩa Hương Trần Thị Trúc Giang – Nguyễn Thị Nghĩa Hương i Tìm hiểu luật kết hợp khai phá liệu, ứng dụng phân tích kết học tập SV MỤC LỤC LỜI MỞ ĐẦU i PHẦN MỞ ĐẦU CHƯƠNG 1: ĐẶT VẤN ĐỀ, XÁC ĐỊNH ĐỐI TƯỢNG VÀ PHẠM VI NGHIÊN CỨU ĐỀ TÀI 1.1 Đặt vấn đề 1.2 Xác định đối tượng phạm vi nghiên cứu 1.3 Cấu trúc báo cáo PHẦN NỘI DUNG CHÍNH CHƯƠNG 2: TÌM HIỂU VỀ KHAI PHÁ DỮ LIỆU 2.1 Giới thiệu khai phá liệu 2.1.1 Nguyên nhân thúc đẩy khai phá liệu phát triển, tầm quan trọng khai phá liệu 2.1.2 Khái niệm khai phá liệu trình khai phá tri thức 2.1.3 Các loại liệu thường khai phá 12 2.1.4 Các chức khai phá liệu 14 2.1.5 Phân loại hệ thống khai phá liệu 16 2.1.6 Một số thách thức đáng ý khai phá liệu 18 2.2 Tìm hiểu khai phá luật kết hợp 19 2.2.1 Khai phá luật kết hợp 19 2.2.1.1 Phân tích danh mục mặt hàng (giỏ thị trường) 19 2.2.1.2 Khái niệm 20 2.2.1.3 Việc khai phá luật kết hợp 21 2.2.2 Việc khai phá luật kết hợp luận lý chiều từ sở liệu giao tác 21 2.2.2.1 Giải thuật Apriori: Tìm kiếm itemset phổ biến 21 2.2.2.2 Việc tạo luật kết hợp từ itemset phổ biến 24 2.2.2.3 Cài đặt thuật toán 25 2.2.2.4 Những thay đổi giải thuật Apriori 27 Trần Thị Trúc Giang – Nguyễn Thị Nghĩa Hương Tìm hiểu luật kết hợp khai phá liệu, ứng dụng phân tích kết học tập SV 2.2.3 Việc khai phá luật kết hợp đa cấp từ sở liệu giao dịch 34 2.2.3.1 Những luật kết hợp đa cấp 34 2.2.3.2 Những phương pháp để khai phá luật kết hợp đa cấp 34 2.2.3.3 Việc kiểm tra để giảm luật đa cấp thừa 35 2.2.4 Khai phá luật kết hợp đa chiều từ sở liệu quan hệ kho liệu 35 2.2.4.1 Những luật kết hợp đa chiều 35 2.2.4.2 Việc khai phá luật kết hợp định lượng 35 2.2.4.3 Việc khai phá luật kết hợp dựa khoảng cách 36 2.2.5 Khai phá kết hợp đến phân tích tương quan 36 2.2.5.1 Những luật mạnh không cần thiết đáng ý 36 2.2.5.2 Phân tích kết hợp đến phân tích tương quan 36 2.2.6 Khai phá kết hợp dựa ràng buộc 37 2.2.6.1 Khai phá theo hướng siêu luật luật kết hợp 37 2.2.6.2 Khai phá bị điều hướng theo ràng buộc luật 38 CHƯƠNG : TÌM HIỂU ĐÁNH GIÁ CHẤT LƯỢNG ĐÀO TẠO 40 3.1 Khái niệm đánh giá 40 3.2 Phương pháp đánh giá kết học tập sinh viên 40 3.2.1 Một số hình thức đánh giá áp dụng 40 3.2.2 Những tiêu chuẩn đánh giá 41 3.3 Phương pháp đánh giá lực giảng dạy giảng viên 41 PHẦN XÂY DỰNG CHƯƠNG TRÌNH 43 CHƯƠNG 4: PHẦN HỆ THỐNG THỰC TẾ VÀ CHƯƠNG TRÌNH ỨNG DỤNG 43 4.1 Giới thiệu tóan 43 4.2 Mô tả giai đoạn xây dựng chương trình 43 4.3 Mô tả liệu 45 4.4 Giới thiệu toán 51 4.4.1 Các cấu trúc liệu lưu trữ đối tượng liệu 52 4.4.2 Các cấu trúc liệu sử dụng phần xử lý toán 53 Trần Thị Trúc Giang – Nguyễn Thị Nghĩa Hương Tìm hiểu luật kết hợp khai phá liệu, ứng dụng phân tích kết học tập SV 4.4.2.1 Cấu trúc SVTrans 53 4.4.2.2 Cấu trúc ItemSet 54 4.4.2.3 Cấu trúc CayHash 60 4.4.2.4 Lớp KhaiThac 65 4.4.2.5 Lớp LuatKetHop 75 4.4.2.6 Lớp DuLieu 76 4.4.3 Cách sử dụng chương trình 77 PHẦN KẾT LUẬN 83 CHƯƠNG 5: KẾT LUẬN 83 5.1 Tổng kết đánh giá 83 5.1.1 Kết 83 5.1.2 Hạn chế 83 5.2 Hướng phát triển 84 TÀI LIỆU THAM KHẢO 85 Trần Thị Trúc Giang – Nguyễn Thị Nghĩa Hương Tìm hiểu luật kết hợp khai phá liệu, ứng dụng phân tích kết học tập SV DANH MỤC HÌNH ẢNH Hình 2.1 Tiến trình KDD 10 Hình 2.2 Kiến trúc hệ thống khai phá liệu 11 Hình 2.3 Khai phá liệu nơi hội tụ nhiều ngành tri thức 17 Hình 2.4 Trực quan thuật tốn Apriori 23 Hình 2.5 Ví dụ thuật tốn Apriori 23 Hình 2.6 Trực quan cách sinh luật kết hợp 26 Hình 2.7 Ví dụ cách duyệt transaction cấu trúc Hashtree 30 Hình 2.8 Ví dụ minh họa cách sử dụng cấu trúc FP_Tree 34 Hình 2.9 Bảng mơ tả tính ràng buộc chống đơn điệu ràng buộc ngắn 39 gọn Hình 4.1 Lược đồ quan hệ bảng sở liệu data_filter 45 Hình 4.2 Các đối tượng liệu sử dụng chương trình 52 Hình 4.3 Cấu trúc liệu điểm SV theo dạng transaction 53 Hình 4.4 Thuộc tính phương thức cấu trúc SVTrans 54 Hình 4.5 Thuộc tính phương thức cấu trúc ItemSet 54 Hình 4.6 Lưu đồ thuật tốn hàm Kết ItemSet 56 Hình 4.7 Lưu đồ thuật tốn hàm kiểm tra ItemSet kết khơng 57 Hình 4.8 Lưu đồ thuật tốn xét ItemSet có thuộc SVTrans hay 58 khơng Hình 4.9 Lưu đồ hàm xét ItemSet có thuộc tập ItemSet hay khơng 59 Hình 4.10 Lưu đồ thuật tốn hàm xét số item có thuộc ItemSet 60 khơng Hình 4.11 Thuộc tính cấu trúc CâyHash 61 Hình 4.12 Phương thức cấu trúc CâyHash 62 Hình 4.13 Lưu đồ thuật toán chèn ItemSet vào CayHash 62 Hình 4.14 Lưu đồ thuật giải tìm vị trí thích hợp ItemSet 63 CayHash Trần Thị Trúc Giang – Nguyễn Thị Nghĩa Hương Tìm hiểu luật kết hợp khai phá liệu, ứng dụng phân tích kết học tập SV Hình 4.15 Lưu đồ thuật giải duyệt Hash với SVTrans 64 Hình 4.16 Lưu đồ thuật tốn đặt lại giá trị duyet cho nút 65 Hình 4.17 Thuộc tính lớp KhaiThác 65 Hình 4.18 Các phương thức Lớp khai phá 66 Hình 4.19 Lưu đồ thuật giải chuyển liệu vào cấu trúc svtrans 67 Hình 4.20 Lưu đồ thuật giải tìm tập 1-itemset phổ biến 68 Hình 4.21 Lưu đồ thuật giải tìm tập itemset dự kiến 69 Hình 4.22 Lưu đồ giải thuật xét tập ItemSet có thuộc 71 ArrayList khơng Hình 4.23 Lưu đồ thuật giải tìm tập itemset phổ biến 72 Hình 4.24 Lưu đồ thuật giải tìm luật kết hợp mạnh có trước vế trái 73 luật Hình 4.25 Lưu đồ thuật giải tìm giá trị độ tin cậy, độ hỗ trợ luật mà vế 75 trái vế phải luật chọn trước Hình 4.26 Cấu trúc đối tượng LuatKetHop 76 Hình 4.27 Thuộc tính phương thức lớp Dữ Liệu 77 Hình 4.28 Form bắt đầu chương trình 78 Hình 4.29 Form thực thi tìm luật kết hợp chương trình ứng dụng 79 Hình 4.30 Form thực thi tìm giá trị luật chương trình ứng dụng 81 Trần Thị Trúc Giang – Nguyễn Thị Nghĩa Hương Tìm hiểu luật kết hợp khai phá liệu, ứng dụng phân tích kết học tập SV DANH MỤC BẢNG Bảng B-1 Mô tả chi tiết bảng SinhViên 47 Bảng B-2 Mô tả chi tiết bảng Điểm 48 Bảng B-3 Mô tả chi tiết bảng Môn học 48 Bảng B-4 Mô tả chi tiết bảng Lớp 49 Bảng B-5 Mô tả chi tiết bảng Tỉnh 49 Bảng B-6 Mô tả chi tiết bảng Khoa 50 Bảng B-7 Mô tả chi tiết bảng Hệ 50 Bảng B-8 Danh sách Procedure 51 Trần Thị Trúc Giang – Nguyễn Thị Nghĩa Hương Chương 1:Đặt vấn đề, xác định đối tượng phạm vi nghiên cứu đề tài PHẦN MỞ ĐẦU CHƯƠNG 1: ĐẶT VẤN ĐỀ, XÁC ĐỊNH ĐỐI TƯỢNG VÀ PHẠM VI NGHIÊN CỨU ĐỀ TÀI 1.1 Đặt vấn đề Trong vài thập niên gần đây, với phát triển công nghệ thông tin giới, thành tựu ngành cơng nghệ thơng tin Việt Nam góp phần thúc đẩy nhiều ngành nghề lĩnh vực khác nước ngày phát triển Ngành giáo dục ngành quan trọng bậc công xây dựng phát triển đất nước, giáo dục đại học có vị trí quan trọng việc đào tạo nhân tài Chất lượng đào tạo vấn đề quan trọng hàng đầu trường đại học Việc đảm bảo nâng cao chất lượng đào tạo đại học đòi hỏi ngày mang tính thiết cơng việc khó khăn mang tính định đến sứ mạng nhà trường đại học Xuất phát từ nhu cầu thực tiễn việc đánh giá chất lượng học tập sinh viên để hỗ trợ cho việc cải thiện công tác giảng dạy nhằm nâng cao chất lượng giảng dạy nhà trường Khác với phương pháp đánh giá truyền thống, chúng tơi thực chương trình ứng dụng hỗ trợ đánh giá chất lượng học tập sinh viên dựa kỹ thuật khai phá liệu (Khai phá liệu) 1.2 Xác định đối tượng phạm vi nghiên cứu Trong khuôn khổ đề tài luận văn, chúng tơi tìm hiểu kỹ thuật tìm luật kết hợp khai phá liệu cài đặt ứng dụng đánh giá chất lượng học tập sinh viên khoa Cơng Nghệ Thơng Tin Tốn Ứng Dụng trường Đại Học Tơn Đức Thắng Mục tiêu nghiên cứu đề tài là: - Tìm hiểu sở lý thuyết kỹ thuật khai phá liệu - Tìm hiểu giải thuật khai phá liệu - Tìm hiểu phương pháp đánh giá chất lượng đào tạo Trần Thị Trúc Giang – Nguyễn Thị Nghĩa Hương Chương 1:Đặt vấn đề, xác định đối tượng phạm vi nghiên cứu đề tài - Tìm hiểu sở liệu điểm sinh viên khoa Công Nghệ Thơng Tin Tốn Ứng Dụng trường Đại Học Tơn Đức Thắng - Xây dựng chương trình phân tích chất lượng học tập sinh viên nhằm hỗ trợ việc đánh giá chất lượng đào tạo 1.3 Cấu trúc báo cáo Nội dung báo cáo gồm phần, tổ chức theo kết cấu sau: Phần mở đầu Chương 1: Đặt vấn đề, xác định đối tượng phạm vi nghiên cứu đề tài Phần sở lý thuyết Chương 2: Tìm hiểu khai phá liệu Chương 3: Tìm hiểu đánh giá chất lượng đào tạo Phần xây dựng chương trình Chương 4: Phần hệ thống thực tế chương trình ứng dụng Phần kết luận Chương 5: Tổng kết, đánh giá hướng phát triển Trần Thị Trúc Giang – Nguyễn Thị Nghĩa Hương Chương 4: Hệ thống thực tế chương trình ứng dụng − bool XetTapCon(ItemSet ck, ArrayList lk_1) Hàm có thông số truyền vào biến ck thuộc cấu trúc Itemset, biến lk_1 thuộc kiểu Arraylist chứa phần tử itemset Hàm thực việc kiểm tra xem tập gồm k-1 phần tử ck có thuộc tập itemset chứa lk_1 hay khơng Thuật tốn hàm thể sau: Trần Thị Trúc Giang – Nguyễn Thị Nghĩa Hương 71 Chương 4: Hệ thống thực tế chương trình ứng dụng Itemset ck, ArrayList lk_1 Bắt đầu Khơng Xét ck có khác rỗng? Có Duyệt qua tập gồm k-1 item thuộc ck Không Tập duyệt có thuộc lk_1 khơng? Có Trả true Trả false Kết thúc Hình 4.22: Lưu đồ giải thuật xét tập ItemSet có thuộc ArrayList khơng − void Apriori() Hàm dùng để tìm tất tập itemset phổ biến Thuật toán hàm thể qua lưu đồ sau đây: Trần Thị Trúc Giang – Nguyễn Thị Nghĩa Hương 72 Chương 4: Hệ thống thực tế chương trình ứng dụng Bắt đầu Tìm tập 1_itemset phổ biến Tìm tập dự kiến Chèn tập dự kiến vào Duyệt Duyệt qua itemset tập dự kiến Không Ktra độ support itemset thuộc tập dự kiến < min_sup? Có Có Loại itemset khỏi tập dự kiến Cịn liệu? Khơng Thu tập phổ biến lk Có lk khác rỗng ? Khơng Kết thúc Hình 4.23 : Lưu đồ thuật giải tìm tập itemset phổ biến Trần Thị Trúc Giang – Nguyễn Thị Nghĩa Hương 73 Chương 4: Hệ thống thực tế chương trình ứng dụng − void TimLuat(string vetrai, ArrayList luat) Hàm có tham số vetrai chuỗi điều kiện vế trái luật cần tìm, luật tìm trả biến luat dạng ArrayList String vetrai Start Xét vế trái có nằm tập itemset mơn học phổ biến ? Có Duyệt qua tập hợp itemset phổ biến có cấp > tập chứa vế trái Khơng Xét xem itemset có chứa vế trái? Có Tìm vế phải luật, tìm độ hỗ trợ, độ tin cậy luật Không Độ tin cậy có lớn độ tin cậy tối thiểu ? Có Chèn vào luat ArrayList luat Kết thúc Hình 4.24: Lưu đồ thuật giải tìm luật kết hợp mạnh có trước vế trái luật Trần Thị Trúc Giang – Nguyễn Thị Nghĩa Hương 74 Chương 4: Hệ thống thực tế chương trình ứng dụng − void GiaTriLuat(string vetrai, string vephai, LuatKetHop luat) Hàm có thơng số truyền vào hai chuỗi vế trái , vế phải luật Còn biến luat thuộc kiểu cấu trúc LuatKetHop dùng để nhận kết trả luật kết hợp sau gọi hàm Hàm dùng để tính giá trị luật gồm độ tin cậy, độ hỗ trợ, với vế trái, vế phải luật thông số truyền vào Thuật toán luật thể qua lưu đồ sau đây: Trần Thị Trúc Giang – Nguyễn Thị Nghĩa Hương 75 Chương 4: Hệ thống thực tế chương trình ứng dụng String vetrai, String vephai Bắt đầu Biến đổi vế trái, vế phải thành dạng thích hợp Duyệt qua tập itemset, với itemset có chiều dài số item thuộc vế trái + số item thuộc vế phải Khơng Xét xem itemset có chứa vế trái, lẫn vế phải ? Có Tính độ hỗ trợ, độ tin cậy luật LuatKetHop luat Kết thúc Hình 4.25: Lưu đồ thuật giải tìm giá trị độ tin cậy, độ hỗ trợ luật mà vế trái vế phải luật chọn trước 4.4.2.5 Lớp LuatKetHop Yêu cầu kết chương trình khai phá luật kết hợp Lớp LuatKetHop dùng để lưu trữ dạng kết chương trình tìm luật kết hợp Cấu trúc lớp LuatKetHop mơ tả hình sau: Trần Thị Trúc Giang – Nguyễn Thị Nghĩa Hương 76 Chương 4: Hệ thống thực tế chương trình ứng dụng Hình 4.26 : Cấu trúc đối tượng LuatKetHop Các thuộc tính lớp LuatKetHop: - string vetrai: lưu item (môn học) vế trái, item điều kiện - string vephai: lưu item (môn học) vế phải, item kết vế phải - int confident: độ tin cậy đối tượng luật kết hợp - int support: độ hỗ trợ đối tượng luật kết hợp Các phương thức LuatKetHop: - LuatKetHop(): phương thức tạo không tham số - LuatKetHop(string vt, string vp, float sup, float conf): phương thức tạo có tham số, tham số tương ứng với thuộc tính LuatKetHop 4.4.2.6 Lớp DuLieu Lớp liệu dùng để kết nối với sở liệu , tải liệu lên đổ liệu vào đối tượng tương ứng đối tượng sinh viên, lớp, môn học, điểm Lớp đại diện cho tầng liên kết sở liệu chương trình Sau thực xong việc tải liệu đóng kết nối lại Lớp liệu gồm thuộc tính phương thức sau đây: Trần Thị Trúc Giang – Nguyễn Thị Nghĩa Hương 77 Chương 4: Hệ thống thực tế chương trình ứng dụng Hình 4.27: Thuộc tính phương thức lớp Dữ Liệu Thuộc tính lớp liệu gồm có: − string cnnStr: chuỗi kết nối với sở liệu − SqlConnection conn: đối tượng SqlConnection dùng để kết nối − Các thuộc tính sv, diem, lop, mh mảng đối tượng thuộc kiểu cấu trúc SinhViên, Diem, Lop, Monhoc Phương thức lớp liệu gồm có: Hàm khởi tạo không tham số lớp DuLieu − DuLieu() − void MoKetNoi() Hàm thực thao tác tạo chuỗi kết nối, gọi hàm để mở kết nối đến sở liệu − void TaiDL() Hàm thực việc tải liệu từ sở dũ liệu sau đổ liệu vào đối tượng sinh viên, điểm, lớp, môn học − void DongKetNoi() Hàm thực việc đóng kết nối với sở liệu Tầng giao tiếp người dùng bao gồm control hiển thị thực tương tác với người dùng giới thiệu phần sử dụng chương trình sau 4.4.3 Cách sử dụng chương trình Khi chương trình bắt đầu, người dùng gặp form yêu cầu chuyển liệu, nhấn nút “Chuyển liệu” để bắt đầu tải liệu cho thao tác xử lý chương trình Trần Thị Trúc Giang – Nguyễn Thị Nghĩa Hương 78 Chương 4: Hệ thống thực tế chương trình ứng dụng Hình 4.28: Form bắt đầu chương trình Chương trình ứng dụng gồm có hai form để thao tác: ƒ Form thứ dùng để tìm luật kết hợp Ý nghĩa control form hiểu sau: − ListBox Môn học : Liệt kê tất mơn học có điểm trung bình 5.0 − ListBox Mơn học chọn : Liệt kê môn học sau chọn từ listbox môn học, tương ứng với điều kiện vế trái luật cần tìm − ListBox Kết quả: Liệt kê luật tìm sau thực thi, luật trình bày dạng: (Vế Trái) => (Vế Phải) [độ hỗ trợ = X , độ tin cậy = Y] − Nút ‘ >>>’ : Sau người dùng chọn môn học listbox môn học, nhấn nút để chuyển môn đượ chọn sang ListBox Môn học chọn, vế trái luật gồm môn học vừa chọn − Nút ‘” để nhập môn sang ListBox Môn học chọn Nếu muốn loại môn không đáng quan tâm khỏi ListBox Mơn học chọn, chọn mơn muốn loại sau nhấn “’: Là nút dùng để chuyển môn học chọn từ listbox môn học sang listbox vế trái (hoặc vế phải) tương ứng − Các nút ‘” để nhập môn sang ListBox vế phải vế trái tương ứng Nếu muốn loại môn không đáng quan tâm khỏi ListBox Vế phải Vế trái tương ứng người dùng chọn mơn muốn loại sau nhấn “