Khóa luận tốt nghiệp khai khoán dữ liệu: Xây dựng hệ thống hỗ trợ tự đánh giá năng lực trực tuyến bằng giải thuật luật kết hợp

TRƯỜNG ĐẠI HỌC AN GIANG KHOA KỸ THUẬT - CÔNG NGHỆ - MƠI TRƯỜNG LÊ NGUN ĐỨC – DTH092032 KHĨA LUẬN TỐT NGHIỆP ĐẠI HỌC NGÀNH CỬ NHÂN TIN HỌC XÂY DỰNG HỆ THỐNG HỖ TRỢ TỰ ĐÁNH GIÁ NĂNG LỰC TRỰC TUYẾN BẰNG GIẢI THUẬT LUẬT KẾT HỢP An Giang, 04/2013 TRƯỜNG ĐẠI HỌC AN GIANG KHOA KỸ THUẬT - CÔNG NGHỆ - MÔI TRƯỜNG LÊ NGUYÊN ĐỨC – DTH092032 KHÓA LUẬN TỐT NGHIỆP ĐẠI HỌC NGÀNH CỬ NHÂN TIN HỌC XÂY DỰNG HỆ THỐNG HỖ TRỢ TỰ ĐÁNH GIÁ NĂNG LỰC TRỰC TUYẾN BẰNG GIẢI THUẬT LUẬT KẾT HỢP Giảng viên hướng dẫn: Huỳnh Lý Thanh Nhàn An Giang, 04/2013 NHẬN XÉT CỦA GIẢNG VIÊN HƯỚNG DẪN Giảng viên hướng dẫn (Ký ghi rõ họ tên) Nội dung nhận xét: - Đồng ý hay không đồng ý cho sinh viên báo cáo KLTN; Nếu không đồng ý cần ghi rõ lý Kết đạt so với yêu cầu; Ý kiến khác (nếu có) TRƯỜNG ĐẠI HỌC AN GIANG KHOA KỸ THUẬT - CÔNG NGHỆ - MÔI TRƯỜNG THỰC TẬP CUỐI KHÓA NGÀNH CỬ NHÂN TIN HỌC XÂY DỰNG HỆ THỐNG HỖ TRỢ TỰ ĐÁNH GIÁ NĂNG LỰC TRỰC TUYẾN BẰNG GIẢI THUẬT LUẬT KẾT HỢP Đơn vị thực tập: Khoa Kỹ thuật – Công nghệ - Môi trường Giảng viên hướng dẫn: Sinh viên thực hiện: Huỳnh Lý Thanh Nhàn Lê Nguyên Đức – DTH092032 An Giang, 04/2013 TRƯỜNG ĐẠI HỌC AN GIANG KHOA KỸ THUẬT - CÔNG NGHỆ - MƠI TRƯỜNG THỰC TẬP CUỐI KHĨA NGÀNH CỬ NHÂN TIN HỌC XÂY DỰNG HỆ THỐNG HỖ TRỢ TỰ ĐÁNH GIÁ NĂNG LỰC TRỰC TUYẾN BẰNG GIẢI THUẬT LUẬT KẾT HỢP Đơn vị thực tập: Khoa Kỹ thuật – Công nghệ - Môi trường Giảng viên hướng dẫn: Sinh viên thực hiện: Huỳnh Lý Thanh Nhàn Lê Nguyên Đức – DTH092032 An Giang, 04/2013 NHẬN XÉT CỦA GIẢNG VIÊN HƯỚNG DẪN M-TT-05 Giảng viên hướng dẫn (Ký ghi rõ họ tên) Nội dung nhận xét: - Đồng ý hay không đồng ý cho sinh viên báo cáo TTCK; Nếu không đồng ý cần ghi rõ lý Kết đạt so với yêu cầu; Ý kiến khác (nếu có) LỜI CẢM ƠN Em chân thành cảm ơn: Ban giám hiệu trường Đại học An Giang, Ban chủ nhiệm khoa Kỹ thuật – Công nghệ - Môi trường, Bộ môn Tin học quý thầy cô khoa Kỹ thuật – Công nghệ - Môi trường tạo điều kiện cho em học tập thực khóa luận Quý thầy cô trực tiếp gián tiếp cung cấp kiến thức tảng cho em thực khóa luận Phòng đào tạo, thầy khoa tạo điều kiện thuận lợi cho em việc thu thập liệu (cơ sở liệu điểm sinh viên, chương trình đào tạo ngành) phân tích thực đề tài Thầy Huỳnh Lý Thanh Nhàn, người hướng dẫn trực tiếp đóng góp ý kiến giúp đỡ em suốt trình thực đề tài Anh Nguyễn Văn Vũ khích lệ, động viên, giúp đỡ em trình thực khóa luận Xin cảm ơn gia đình tạo điều kiện cho em an tâm học tập, cảm ơn bạn lớp DH10TH chia giúp đỡ trình học tập năm qua Đặc biệt gởi lời cảm ơn đến bạn thuộc nhóm Profit gắn bó tận tình giúp đỡ suốt năm học Tuy nỗ lực để hoàn thành luận văn sai sót khơng thể tránh khỏi kính mong q thầy thơng cảm tận tình bảo sai sót Mong nhận ý kiến đóng góp q thầy bạn Sinh viên Lê Nguyên Đức TÓM TẮT Hiện trường Đại học An Giang áp dụng hình thức đào tạo học chế tín Theo hình thức đào tạo này, sinh viên phải tự đăng ký học phần học kỳ Để định lựa chọn mơn tự chọn cho sinh viên thường nhờ đến tư vấn cố vấn học tập Muốn đánh giá lực đưa lời tư vấn phù hợp cho sinh viên, cố vấn học tập phải xem xét kết học tập (điểm) sinh viên học kỳ trước đưa lời tư vấn Để làm việc hệ thống cố vấn học tập phải vô vất vã, sinh viên phải chờ đợi tư vấn Một thực tế nữa, điểm số sinh viên lưu trữ lại Vậy không xây dựng hệ thống dựa vào điểm sinh viên làm công việc tư vấn thay cho cố vấn học tập Làm hỗ trợ nhiều cho hoạt động hệ thống cố vấn học tập trường tiết kiệm thời gian chờ đợi tư vấn sinh viên Để giải tốn mang tính chất suy diễn, dự đoán dựa vào lịch sử luật kết hợp lựa chọn hợp lý Vì đề tài sử dụng giải thuật khai phá luật kết hợp cụ thể charm (tìm tập đóng/tập đóng tối đại) apriori (sinh luật) Sử dụng kết thu từ charm apriori tiến hành dự đoán cho sinh viên cuối sử dụng kết dự đoán để tư vấn cho sinh viên cụ thể môi trường web Kết thực nghiệm cho thấy charm hiệu apriori fp-growth tập liệu lớn Mặt khác, phương pháp mà đề tài áp dụng cho kết khả quan, luật tìm có độ xác tương đối cao MỤC LỤC Danh sách hình iii Danh sách bảng v Danh sách ký hiệu vi Danh sách từ viết tắt vii Chương 1: Tổng quan I Đặt vấn đề II Lịch sử giải vấn đề III Phạm vi đề tài IV Hướng giải vấn đề Chương 2: Cơ sở lý thuyết I Tổng quan khai phá tri thức khai phá liệu Phát tri thức khai phá liệu Quá trình phát tri thức từ sở liệu Khai phá liệu II Luật kết hợp khai phá liệu 12 Các định nghĩa luật kết hợp 12 Một số hướng tiếp cận khai phá luật kết hợp 14 III Tìm siêu tham số (search hyper parameters) 14 Chương 3: Giải thuật charm 16 I Giới thiệu giải thuật 16 II Tìm tập mục thường xuyên 16 Các khái niệm liên quan 17 Tìm tập phổ biến đóng it-tree 20 Chương 4: Độ đo hấp dẫn khách quan luật kết hợp 27 I Giới thiệu 27 II Các tiêu chí đánh giá 27 Biến thiên giá trị 27 Tình cá biệt 28 Hiện tượng nghịch lý 29 Đếm 29 Đa dạng hóa 29 Khả phân biệt 29 i Có thể giải thích 29 Không cân 29 Thuộc tính lợi ích 30 10 Biến thiên giá trị 30 Chương 5: Xây dựng hệ thống hỗ trợ tự đánh giá lực trực tuyến giải thuật luật kết hợp 31 I Tổng quan hệ thống 31 Phân hệ khai phá 31 Phân hệ hỗ trợ đánh giá 31 II Mô tả chi tiết phân hệ khai phá 32 Nhập chương trình đào tạo từ tập tin excel 32 Nhập điểm từ tập tin excel chuyển đổi điểm 34 Chuyển đổi tích hợp liệu giao tác 36 Tìm tập đóng tối đại từ sở liệu giao tác 43 Sinh luật từ tập đóng tối đại 44 Tìm siêu tham số 47 Đánh giá độ hấp dẫn luật 53 Tạo tài khoản dự đoán 54 Đồng liệu 55 III Mô tả phân hệ hỗ trợ đánh giá 56 Chương 6: Đánh giá ba giải thuật apriori, fp-growth charm từ kết thực nghiệm 57 I So sánh ba giải thuật 57 Trường hợp tập liệu lớn 57 Trường hợp tập liệu nhỏ 58 Nhận xét giải thích kết 59 II Chọn giải thuật cho đề tài 60 Kết luận kiến nghị 61 Phụ lục Tài liệu tham khảo ii Khóa luận tốt nghiệp đại học ngành Cử nhân Tin học Đề tài: Xây dựng hệ thống hỗ trợ tự đánh giá lực trực tuyến giải thuật luật kết hợp thấy tập luật có tập kết luận Y2, Y3, Y4 đủ số kết luận tập kết luận tập luật ban đầu Hình 5.20 Tập luật độ xác supp 20% conf 60% Với supp=30% conf=50% Thu tập luật thỏa cặp cặp tham số vùng khoanh màu đỏ hình 5.21 Ví dụ đem kiểm tập luật tập kiểm tra có độ xác (độ xác trung bình) 90% Và ta thấy tập luật có tập kết luận Y3, Y4 không đủ số kết luận tập kết luận tập luật ban đầu Hình 5.21 Tập luật độ xác supp 30% conf 50% Với supp=30% conf=60% Thu tập luật thỏa cặp cặp tham số vùng khoanh màu đỏ hình 5.22 Ví dụ đem kiểm tập luật Sinh viên thực hiện: Lê Nguyên Đức – MSSV: DTH092032 Trang 50 Khóa luận tốt nghiệp đại học ngành Cử nhân Tin học Đề tài: Xây dựng hệ thống hỗ trợ tự đánh giá lực trực tuyến giải thuật luật kết hợp tập kiểm tra có độ xác (độ xác trung bình) 90% Và ta thấy tập luật có tập kết luận Y3, Y4 không đủ số kết luận tập kết luận tập luật ban đầu Hình 5.22 Tập luật độ xác supp 30% conf 60% Vậy kết ta chọn cặp minsup-minconf 20% - 60% tập luật có độ xác 90% đủ mơn tự chọn tập kết luận ban đầu hình 5.23 Hình 5.23 Cặp tham số tìm 6.3 Mơ tả liệu đầu vào Dữ liệu đầu vào tập luật tìm trình bày mục 5.4 Tập luật có tập kết luận {0006, 0046} Sinh viên thực hiện: Lê Nguyên Đức – MSSV: DTH092032 Trang 51 Khóa luận tốt nghiệp đại học ngành Cử nhân Tin học Đề tài: Xây dựng hệ thống hỗ trợ tự đánh giá lực trực tuyến giải thuật luật kết hợp 6.4 Kết thu Cặp tham số cho tập luật học kỳ ngành Đại học Việt Nam học supp=10% conf=100% Với cặp tham số tập luật có độ xác 93,3% hình 5.24 (khi cài đặt thuật tốn cặp tham số có tập luật khơng đủ mơn tập kết luận so với tập kết luận tập luật ban đầu có độ xác 0) Hình 5.24 Kết tìm siêu tham số cho tập luật ngành Đại học Việt Nam học học kỳ Với cặp tham số tìm thu 121 luật thỏa cặp tham số tìm hình 5.25 Hoặc xem toàn tập luật tập tin “Tap_luat_cua_nganh_dai_hoc_viet_nam_hoc_hoc_ky_2_(da_tim_sieu_tha m_so).txt” Hình 5.25 Tập luật thỏa cặp tham số tìm (10% - 100%) Sinh viên thực hiện: Lê Nguyên Đức – MSSV: DTH092032 Trang 52 Khóa luận tốt nghiệp đại học ngành Cử nhân Tin học Đề tài: Xây dựng hệ thống hỗ trợ tự đánh giá lực trực tuyến giải thuật luật kết hợp ĐÁNH GIÁ ĐỘ HẤP DẪN CỦA LUẬT 7.1 Mục đích Như ta biết luật : XY luật logic luật kết hợp Vậy mục đích việc đánh giá độ hấp dẫn xét xem luật luật logic luật luật kết hợp 7.2 Phương pháp thực Tiến hành kiểm tra ghi nhận lại luật luật thỏa cặp tham số tìm mục luật luật logic luật luật kết hợp Việc xác định thực sau Nếu đặt tập tập chứa phần tử vế trái luật tập chứa phần tử vế phải luật Đếm số lần xuất tập tập học ta kết qủa Cũng thực tương tự đếm số lần xuất tập tập học ta thu kết Chú ý trường hợp Luật luật logic Ngược lại luật kết hợp 7.3 Mô tả liệu đầu vào Như trình bày phương pháp thực (mục 7.2) liệu đầu vào giai đoạn tập luật thỏa cặp tham số tìm mục sử dụng lại tập học (mục 4.3) 7.4 Kết thu Với 121 luật thỏa cặp tham số tìm tồn chúng luật logic hình 5.26 Hình 5.26 Tập luật học kỳ ngành Đại học Việt Nam học sau đánh giá độ hấp dẫn Sinh viên thực hiện: Lê Nguyên Đức – MSSV: DTH092032 Trang 53 Khóa luận tốt nghiệp đại học ngành Cử nhân Tin học Đề tài: Xây dựng hệ thống hỗ trợ tự đánh giá lực trực tuyến giải thuật luật kết hợp TẠO TÀI KHOẢN VÀ DỰ ĐỐN 8.1 Mục đích Vì sinh viên sử dụng phân hệ hỗ trợ đánh giá Để phân hệ phân biệt sinh viên với để đưa lời khuyên theo lực (điểm) sinh viên Vì sinh viên cần tài khoản để đại diện cho phân hệ hỗ trợ đánh giá Với số lượng sinh viên không nhỏ giai đoạn đảm nhiệm việc tạo tài khoản mặc định cho tất sinh viên Với tài khoản cần có lời khuyên việc lựa chọn môn học tự chọn học kỳ Tóm lại giai đoạn có mục đích là: tạo tài khoản tư vấn cho tài khoản phân hệ hỗ trợ đánh giá sử dụng 8.2 Phương pháp thực Tạo tài khoản: Mỗi tài khoản bao gồm thông tin tên đăng nhập, mật khẩu, học kỳ cần tư vấn, họ tên, giới tính, ngày sinh, email, số điện thoại, ảnh đại diện Trong đó: tên đăng nhập mật lấy mặc định mã số sinh viên Học kỳ cần tư vấn dựa vào điểm sinh viên có chương trình đào tạo ngành mà sinh viên theo học để tính Các thơng tin lại lấy giá trị mặc định Việc xác định học kỳ cần dự đoán tài khoản thực cách đơn giản cách xét xem sở liệu giao tác từ học kỳ đến học kỳ học kỳ bắt đầu khơng có liệu điểm (mã số sinh viên) sinh viên sở liệu giao tác Học kỳ bắt đầu không tồn mã số sinh viên sinh viên cần tính học kỳ cần tư vấn sinh viên Tư vấn cho tài khoản: Việc tư vấn cho tài khoản tư vấn đến học kỳ cần tư vấn sinh viên mà không thực tư vấn từ học kỳ đến học kỳ Ví dụ học kỳ cần tư vấn sinh viên A học kỳ cần tư vấn học kỳ 2, 3, cho sinh viên Để tư vấn cho sinh viên học kỳ tơi lấy dòng giao tác sở liệu giao tác học kỳ tư vấn với tid dòng mã số sinh viên tư vấn gọi tập chứa itemset dòng giao tác Tiếp theo lấy tập luật học kỳ cần tư vấn ngành mà sinh viên theo học (tập luật thỏa cặp tham số tìm được) Tơi chia tập luật lấy thành n tập nhỏ với n số mơn có vế phải tập luật Với tập luật nhỏ chọn luật tập với điều kiện vế trái luật giống với tập nhiều Và sử dụng vế phải luật để làm kết tư vấn tạm Kết tư vấn cho sinh viên học kỳ tổng hợp kết tạm 8.3 Mô tả liệu đầu vào Dữ liệu đầu vào tập luật thỏa cặp tham số tìm mục Để ý thấy tập luật cột “Vế phải luật” (hình 5.25) có môn 0006 0046 Thực theo phương pháp trình bày kết tư vấn học kỳ cho tài khoản có môn học Sinh viên thực hiện: Lê Nguyên Đức – MSSV: DTH092032 Trang 54 Khóa luận tốt nghiệp đại học ngành Cử nhân Tin học Đề tài: Xây dựng hệ thống hỗ trợ tự đánh giá lực trực tuyến giải thuật luật kết hợp 8.4 Kết thu Kết tư vấn cho sinh viên ngành Đại học Việt Nam học học kỳ trình bày hình 5.27 Xem tồn kết tư vấn tập tin “Ket_qua_tu_van_cho_nganh_dai_hoc_viet_nam_hoc_o_hoc_ky_2.txt” Hình 5.27 Kết tư vấn ngành Đại học Việt Nam học học kỳ ĐỒNG BỘ DỮ LIỆU Vì tất cơng việc thực phân hệ khai phá kết cuối phải sử dụng kết thu vào phân hệ tư vấn để tiến hành tư vấn cho sinh viên Nên mục đích giai đoạn thực việc trao đổi liệu phân hệ hình 5.28 Hình 5.28 Mơ hình trao đổi liệu phân hệ khai phá phân hệ tư vấn Dữ liệu chuyển từ phân hệ khai phá sang phân hệ tư vấn bao gồm tài khoản kết tư vấn cho tài khoản theo học kỳ (dữ liệu thu mục 8) Khi sinh viên vào phân hệ tư vấn thay đổi thơng tin cá nhân Sinh viên thực hiện: Lê Nguyên Đức – MSSV: DTH092032 Trang 55 Khóa luận tốt nghiệp đại học ngành Cử nhân Tin học Đề tài: Xây dựng hệ thống hỗ trợ tự đánh giá lực trực tuyến giải thuật luật kết hợp thông tin sinh viên khơng thơng tin mặc định ta cần lấy liệu từ phân hệ tư vấn xuống để lưu trữ phân hệ khai phá Đây kết tư vấn cho tài khoản phân hệ tư vấn hình 5.29 Hình 5.29 Kết tư vấn cho tài khoản sinh viên ngành Đại học Việt Nam học học kỳ III MÔ TẢ PHÂN HỆ HỖ TRỢ ĐÁNH GIÁ Để thực công việc hỗ trợ trực tuyến cho sinh viên xây dựng website đơn giản Website sử dụng kết cuối phân hệ khai phá danh sách tài khoản tư vấn kết tư vấn cho tài khoản theo học kỳ Tức phân hệ khai phá tạo sẵn liệu cho phân hệ hỗ trợ đánh giá sử dụng Nên phân hệ hỗ trợ đơn giản nơi để hiển thị kết đánh giá cho sinh viên xem mà Việc trao đổi liệu phân hệ thực nhờ vào chức đồng liệu phân hệ khai phá Và kết tư vấn cho sinh viên phân hệ hỗ trợ đánh giá, hình 5.30 Hình 5.30 Kết tư vấn cho sinh viên phân hệ hỗ trợ đánh giá Sinh viên thực hiện: Lê Nguyên Đức – MSSV: DTH092032 Trang 56 Khóa luận tốt nghiệp đại học ngành Cử nhân Tin học Đề tài: Xây dựng hệ thống hỗ trợ tự đánh giá lực trực tuyến giải thuật luật kết hợp CHƯƠNG 6: ĐÁNH GIÁ BA GIẢI THUẬT APRIORI, FP-GROWTH VÀ CHARM TỪ KẾT QUẢ THỰC NGHIỆM I SO SÁNH BA GIẢI THUẬT Để đánh giá so sánh giải thuật sử dụng Sequential Pattern Mining Framework [16] chạy thuật toán với liệu thật (dữ liệu điểm tích hợp để khai phá) Hình 6.1 Giao diện Sequential Pattern Mining Framework Để so sách giải thuật tơi tiến hành chạy thuật tốn với tập liệu lớn (số lượng transaction nhiều) tập liệu nhỏ (số lượng transaction ít) Mỗi thuật tốn cho chạy tập liệu lần sau tính thời gian tìm tập phổ biến trung bình cho thuật toán với tập liệu Sau đó, sử dụng giá trị trung bình để đưa nhận xét, so sánh thuật toán Apriori, FP-Growth Charm Ở đoạn kết tiếp kết thực nghiệm thu TRƯỜNG HỢP TẬP DỮ LIỆU LỚN Bảng 6.1 Thông số tập liệu lớn độ hỗ trợ nhỏ Tập liệu Độ hỗ trợ nhỏ - Tổng số giao tác: 4936 Độ dài nhỏ giao tác: Độ dài lớn giao tác: 70 Độ dài trung bình giao tác: 35 Dung dượng tập tin: 1041KB Tên tập tin: “large.txt” 10% Sinh viên thực hiện: Lê Nguyên Đức – MSSV: DTH092032 Trang 57 Khóa luận tốt nghiệp đại học ngành Cử nhân Tin học Đề tài: Xây dựng hệ thống hỗ trợ tự đánh giá lực trực tuyến giải thuật luật kết hợp Kết thực nghiệm tập liệu lớn (bảng 6.1) trình bày bảng 6.2 Bảng 6.2 Kết thực nghiệm tập liệu lớn Lần Thời gian (mili giây) Số tập thường xuyên/ tập đóng Thời gian trung bình Apriori FP-Growth 5493 4554 4568 1644 1692 1622 Charm 575 457 492 3035 3035 3035 3035 3035 3035 3035 3035 3035 4871.667 1652.667 508 Từ kết thu bảng 6.2, ta có biểu đồ thời gian chạy giải thuật tập liệu lớn biểu đồ 6.1 6,000 5,000 4871.667 4,000 Apriori 3,000 FP-Growth 2,000 Charm 1652.667 1,000 508 Hình 6.2 Biểu đồ phụ thuộc thời gian vào giải thuật tập liệu lớn (đơn vị tính mili giây) TRƯỜNG HỢP TẬP DỮ LIỆU NHỎ Bảng 6.3 Thông số tập liệu nhỏ độ hỗ trợ nhỏ Tập liệu Độ hỗ trợ nhỏ - Tổng số giao tác: 313 Độ dài nhỏ giao tác: Độ dài lớn giao tác: 54 Độ dài trung bình giao tác: 34 Dung dượng tập tin: 65KB Tên tập tin: “small.txt” 40% Sinh viên thực hiện: Lê Nguyên Đức – MSSV: DTH092032 Trang 58 Khóa luận tốt nghiệp đại học ngành Cử nhân Tin học Đề tài: Xây dựng hệ thống hỗ trợ tự đánh giá lực trực tuyến giải thuật luật kết hợp Kết thực nghiệm tập liệu nhỏ (bảng 6.3) trình bày bảng 6.4 Bảng 6.4 Kết thực nghiệm tập liệu nhỏ Lần Thời gian (mili giây) Số tập thường xuyên/ tập đóng Thời gian trung bình Apriori FP-Growth Charm 4028 4007 2831 236 186 171 564 489 412 19385 19385 19385 19385 19385 19385 13210 13210 13210 3622 197.6667 488.3333 Từ kết thu bảng 6.4, ta có biểu đồ thời gian chạy giải thuật tập liệu lớn biểu đồ 6.2 4,000 3622 3,500 3,000 2,500 Apriori 2,000 FP-Growth 1,500 Charm 1,000 500 488.3333 197.6667 Hình 6.3 Biểu đồ phụ thuộc thời gian vào giải thuật tập liệu nhỏ (đơn vị tính mili giây) NHẬN XÉT VÀ GIẢI THÍCH KẾT QUẢ Từ kết thực nghiệm với tập liệu lớn tập liệu nhỏ ta dễ dàng thấy hai giải thuật FP-Growth Charm tỏ hiệu Apriori trường hợp liệu nhỏ lẫn trường hợp tập liệu lớn Trong FPGrowth lại tỏ hiệu Charm trường hợp tập liệu nhỏ Trường hợp ngược lại Charm tỏ ưu việt FP-Growth Kết Apriori không hiệu FP-Growth Charm với lý thuyết tìm hiểu Nhưng FP-Growth Charm khơng thể khẳng định giải thuật tối ưu hơn? Thật vậy, FP-Growth cho kết nhanh Charm cho hai chạy tập liệu nhỏ Nhưng khơng kết chung cho hai giải Sinh viên thực hiện: Lê Nguyên Đức – MSSV: DTH092032 Trang 59 Khóa luận tốt nghiệp đại học ngành Cử nhân Tin học Đề tài: Xây dựng hệ thống hỗ trợ tự đánh giá lực trực tuyến giải thuật luật kết hợp thuật Khi cho hai chạy với tập liệu lớn Charm lại chiếm ưu nhiều Để giải thích cho kết để ý lại cách thức mà FPGrowth Charm hoạt động Ở bước xây dựng từ tập phổ biến FPGrowth tiến hành đưa tập phổ biến vào Điều có nghĩa số lượng tập phổ biến lớn chi phí thời gian để chi trả cho việc xây dựng lớn theo Còn Charm khơng phải trả đưa tập phổ biến vào nên khơng trả phần chi phí mà FP-Growth chi trả Mặt khác, Charm loại bỏ sớm tập khơng phải tập đóng nên q trình kiểm tra cá thể nhanh FP-Growth điểm Nhưng số mục(item) sở giữ liệu giao tác nhiều chi phí để tiến hành giao nút anh chị em với gọi đệ quy để kiểm tra nút nhánh không nhỏ Vậy ta có kết luận thuật toán bảng 6.5 Bảng 6.5 So sánh giải thuật Apriori, FP-Growth Charm Tập liệu có số lượng Giao tác lớn Apriori FP-Growth Charm Chậm Nhanh Nhanh Tập liệu có số lượng mục (item) lớn Chậm Nhanh Nhanh II CHỌN GIẢI THUẬT CHO ĐỀ TÀI Nhận xét liệu điểm: Hằng năm có số lượng sinh viên định vào học trường, đồng nghĩa với số lượng giao tác ngày lớn (1) Trong chương trình đào tạo ngành thay đổi có thay đổi số lượng mơn học có tăng tăng Tóm lại số lượng mục liệu khai phát biến đổi tăng (2) Từ bảng 6.5, (1) (2), định chọn giải thuật Charm để áp dụng vào hệ thống mà đề tài đặt mục tiêu xây dựng Sinh viên thực hiện: Lê Nguyên Đức – MSSV: DTH092032 Trang 60 Khóa luận tốt nghiệp đại học ngành Cử nhân Tin học Đề tài: Xây dựng hệ thống hỗ trợ tự đánh giá lực trực tuyến giải thuật luật kết hợp KẾT LUẬN VÀ KIẾN NGHỊ Hoàn thành việc xây dựng hệ thống hỗ trợ đánh giá lực trực tuyến Cụ thể xây dựng thành công hai phân hệ hệ thống là: phân hệ khai phá phân hệ hỗ trợ đánh mục tiêu ban đầu mà đề tài đặt Tuy nhiên chi phí thời gian cho việc thực sinh luật tương đối lớn (thuộc phân hệ khai phá) Để giảm chi phí sử dụng phương pháp sinh luật thiết yếu dựa dàn tập đóng tác giả Lê Hồi Bắc Võ Đình Bảy đề nghị [2] để thực việc sinh luật với chi phí thời gian nhỏ Hệ thống quan tâm đến yếu tố điểm số sinh viên mà thôi, chưa giải yếu tố khác như: giới tính người học (vì có mơn lợi nam bất lợi nữ ngược lại), giảng viên giảng dạy (có thể giảng viên A cho điểm thống giảng viên B dạy mơn học), chưa phân tích giống khác kết học tập khóa với nhau, … Để có nhìn đa chiều bao gồm nhiều yếu tố trình bày sử dụng cơng nghệ olap xây dựng cơng cụ phân tích chun sâu tích hợp vào hệ thống Với kết thu thực nghiệm tập liệu học kỳ ngành Đại học Việt Nam học cho tập luật có độ xác khả quan 93.3% (đã trình bày chương phần II mục 6.4 hình 5.24) tính ưu việt giải thuật Charm tập liệu lớn (đã trình bày chương 6), tơi tin tính đắn, hiệu charm đề tài khẳng định Ngồi tính hiệu quả, đắn củng cố vững thực nghiệm thêm với học kỳ 3, Kết thu thực nghiệm với liệu học kỳ trình bày bảng 7.1 Bảng 7.1 Kết thực nghiệm với liệu ngành Đại học Việt Nam học từ học kỳ đến học kỳ Học Kỳ Phạm vi tìm siêu tham số Supp (%) Conf (%) Tham số tìm Supp (%) Conf (%) Kết hợp Logic Độ Chính Xác (%) Luật 7-100 70-100 90 42 24 87.52 28-100 70-100 31 96 100 50-100 90-100 80 100 12 100 60-100 70-100 61 97 2840 99.99 Tuy nhiên khắc phục điểm yếu hệ thống tơi trình bày ý tính hiệu đắn nâng lên cao Tuy nhiên kết trước mắt mà thực nghiệm với liệu ngành học kỳ mà kết luận Vì thời gian thực khóa luận khơng nhiều nên khơng thể trình bày kết ngành khác đầy đủ học kỳ Đây điều đáng tiếc làm cho tính thuyết phục kết luận chưa cao Sinh viên thực hiện: Lê Nguyên Đức – MSSV: DTH092032 Trang 61 PHỤ LỤC TẬP TIN ĐÍNH KÈM STT Tên tập tin link Dai_hoc_viet_nam_hoc_(Vietnamese Studies).xlsx covanhoctap.uni.me/taptindinhkembaocao/ Dai_hoc_viet_nam_hoc_(Vietnamese Studies).xlsx Danh_sach_mon_hoc_sau_khi_nhap_chuong_trinh_dao_tao_cua_nganh_dai _hoc_viet_nam_hoc_tu_tap_tin_excel.txt covanhoctap.uni.me/taptindinhkembaocao/Danh_sach_mon_hoc_sau_khi_nhap_ chuong_trinh_dao_tao_cua_nganh_dai_hoc_viet_nam_hoc_tu_tap_tin_excel.txt Diem_nganh_viet_nam_hoc.xls covanhoctap.uni.me/taptindinhkembaocao/ Diem_nganh_viet_nam_hoc.xls Danh_sach_mon_hoc_sau_khi_nhap_diem_cua_nganh_dai_hoc_viet_nam_h oc_tu_tap_tin_excel.txt covanhoctap.uni.me/taptindinhkembaocao/Danh_sach_mon_hoc_sau_khi_nhap_ diem_cua_nganh_dai_hoc_viet_nam_hoc_tu_tap_tin_excel.txt Diem_nganh_dai_hoc_viet_nam_hoc_thu_duoc_tu_viec_nhap_diem_tu_tap_ tin_excel.txt covanhoctap.uni.me/taptindinhkembaocao/Diem_nganh_dai_hoc_viet_nam_hoc_ thu_duoc_tu_viec_nhap_diem_tu_tap_tin_excel.txt Danh_sach_mon_hoc_da_chuyen_ma_mon.txt covanhoctap.uni.me/taptindinhkembaocao/Danh_sach_mon_hoc_da_chuyen_ma _mon.txt Tap_du_lieu_diem_phuc_vu_cho_viec_tong_hop_co_so_du_lieu_giao_tac_n ganh_dai_hoc_viet_nam_hoc_hoc_ky_2.txt covanhoctap.uni.me/taptindinhkembaocao/Tap_du_lieu_diem_phuc_vu_cho_viec _tong_hop_co_so_du_lieu_giao_tac_nganh_dai_hoc_viet_nam_hoc_hoc_ky_2.tx t Dai_hoc_viet_nam_hoc_(Vietnamese Studies)_2.txt covanhoctap.uni.me/taptindinhkembaocao/Dai_hoc_viet_nam_hoc_(Vietnamese Studies)_2.txt Tap_luat_cua_nganh_dai_hoc_viet_nam_hoc_hoc_ky_2.txt covanhoctap.uni.me/taptindinhkembaocao/Tap_luat_cua_nganh_dai_hoc_viet_na m_hoc_hoc_ky_2.txt 10 Tap_luat_cua_nganh_dai_hoc_viet_nam_hoc_hoc_ky_2_(da_tim_sieu_tham _so).txt covanhoctap.uni.me/taptindinhkembaocao/Tap_luat_cua_nganh_dai_hoc_viet_na m_hoc_hoc_ky_2_(da_tim_sieu_tham_so).txt 11 Ket_qua_tu_van_cho_nganh_dai_hoc_viet_nam_hoc_o_hoc_ky_2.txt covanhoctap.uni.me/taptindinhkembaocao/Ket_qua_tu_van_cho_nganh_dai_hoc _viet_nam_hoc_o_hoc_ky_2.txt 12 large.txt covanhoctap.uni.me/taptindinhkembaocao/large.txt 13 small.txt covanhoctap.uni.me/taptindinhkembaocao/small.txt TÀI LIỆU THAM KHẢO [1] [2] [3] [4] [5] [6] [7] [8] [9] [10] [11] [12] [13] [14] [15] [16] [17] [18] Đại học An Giang 2012 Niên lịch đào tạo năm học 2012 – 2013 Lê Hoài Bắc, Võ Đình Bảy 2008 Ứng dụng dàn tập đóng khai thác luật thiết yếu Science & Technology Development, Vol 11, No.01 – 2008 http://www.vnulib.edu.vn:8000/dspace/bitstream/123456789/3031/1/sedev0108 -04.pdf Lê Hoài Bắc, Võ Đình Bảy 2009 Ứng dụng dàn tập đóng khai thác luật thiết yếu Tạp chí phát triển KH&CN, tập 12, số 11-2009 http://www.vjol.info/index.php/JSTD/article/viewFile/2700/2689 Mohammed J, Zaki and Ching-Jui Hsiao.CHARM: An Efficient Algorithm for Closed Itemset Mining https://www.siam.org/proceedings/datamining/2002/dm02-27ZakiM.pdf Đỗ Thanh Nghị 2008 Slide giảng Từ khám phá tri thức đến khai mỏ liệu Trường đại học Cần Thơ Huỳnh Lý Thanh Nhàn 2008 Khóa luận cử nhân Tìm hiểu khai phá liệu luật kết hợp ứng dụng vào chương trình dự đốn kết học tập sinh viên Khoa Kỹ thuật - Công Nghệ - Môi trường, Trường Đại học An Giang Lê Thu Hà 2009 Luận văn thạc sĩ Phương pháp luật kết hợp ứng dụng Khoa Công nghệ thông tin, Trường Đại học Thái Nguyên Slide giảng Mining Association Rules http://www.cs.purdue.edu/homes/aref/cs-690dpresentations/MiningAssociationRules.ppt Xuan-Hiep HUYNH 2006 Interestingness measures for association rules in a kdd process: postprocessing of rules with arqat tool Chương 3,Trang 22-30 Danh sách cảnh cáo học vụ năm học 2011-2012 https://www.agu.edu.vn/sites/feba.agu.edu.vn/files/u5/So 18 DS SV canh cao hoc vu.pdf Danh sách đình học tập năm học 2011-2012 https://www.agu.edu.vn/sites/feba.agu.edu.vn/files/u5/QD 36 dinh chi hoc tap SV.pdf FP-Tree http://www.cis.hut.fi/Opinnot/T-61.6020/2008/fptree.pdf Khai thác tập phổ biến theo cấu trúc IT-tree http://123.uhm.vn/71368 Luật kết hợp http://www.nsl.hcmus.edu.vn/greenstone/collect/thesiskh/archives/HASH5a63 dir/chuong3.pdf Phá liệu ứng dụng đào tạo http://thamkhao.vn/tai-lieu/9666-luanvanpha-du-lieu-ung-dung-trong-dao-tao SPMF A Sequential Pattern Mining Framework http://www.philippe-fournierviger.com/spmf/index.php?link=algorithms.php Tập phổ biến http://www.nsl.hcmus.edu.vn/greenstone/collect/thesiskh/archives/HASH5a63 dir/chuong2.pdf Tổng cục thống kê http://gso.gov.vn ... KỸ THUẬT - CÔNG NGHỆ - MƠI TRƯỜNG LÊ NGUN ĐỨC – DTH092032 KHĨA LUẬN TỐT NGHIỆP ĐẠI HỌC NGÀNH CỬ NHÂN TIN HỌC XÂY DỰNG HỆ THỐNG HỖ TRỢ TỰ ĐÁNH GIÁ NĂNG LỰC TRỰC TUYẾN BẰNG GIẢI THUẬT LUẬT KẾT HỢP... KHOA KỸ THUẬT - CÔNG NGHỆ - MÔI TRƯỜNG THỰC TẬP CUỐI KHÓA NGÀNH CỬ NHÂN TIN HỌC XÂY DỰNG HỆ THỐNG HỖ TRỢ TỰ ĐÁNH GIÁ NĂNG LỰC TRỰC TUYẾN BẰNG GIẢI THUẬT LUẬT KẾT HỢP Đơn vị thực tập: Khoa Kỹ thuật. .. Trang Khóa luận tốt nghiệp đại học ngành Cử nhân Tin học Đề tài: Xây dựng hệ thống hỗ trợ tự đánh giá lực trực tuyến giải thuật luật kết hợp quý giá cho người sử dụng Sự phân tích liệu ngồi gọi khai