Khai phá dữ liệu bằng cây quyết định và ứng dụng trong hệ hỗ trợ quyết định

ĐẠI HỌC THÁI NGUYÊN TRƯỜNG ĐẠI HỌC CNTT VÀ TRUYỀN THÔNG NGUYỄN VĂN SỰ KHAI PHÁ DỮ LIỆU BẰNG CÂY QUYẾT ĐỊNH VÀ ỨNG DỤNG TRONG HỆ HỖ TRỢ QUYẾT ĐỊNH LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH Thái Nguyên - 2012 1Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 1i MỤC LỤC LỜI CAM ĐOAN LỜI CẢM ƠN DANH MỤC CÁC KÝ HIỆU, CÁC CHỮ VIẾT TẮT iii DANH MỤC BẢNG BIỂU iv DANH MỤC HÌNH ẢNH v LỜI NÓI ĐẦU Chương KHAI PHÁ DỮ LIỆU 1.1 Khám phá tri thức khai phá liệu 1.2 Tại phải khai phá liệu 1.3 Quá trình khám phá tri thức 1.4 Trình tự thực trình khai phá liệu 1.5 Chức Khai phá liệu 10 1.6 Các kỹ thuật khai phá liệu 11 1.7 Các dạng liệu khai phá 13 1.8 Ứng dụng Khai phá liệu 13 1.9 Tổng kết 14 Chương KHAI PHÁ DỮ LIỆU BẰNG CÂY QUYẾT ĐỊNH 15 2.1 Cây định 15 2.1.1 Cây định gì? 15 2.1.2 Một số vấn đề khai phá liệu định 16 2.1.3 Ưu nhược điểm định khai phá liệu 18 2.1.4 Xây dựng định 20 2.2 Một số thuật toán khai phá liệu định 22 2.2.1 Thuật toán CLS 22 2.2.2 Thuật toán ID3 26 2Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 2ii 2.2.3 Thuật toán C4.5 37 2.2.4 Thuật toán SLIQ 41 2.3 Kỹ thuật cắt tỉa định 50 2.4 Tổng kết 61 Chương CÂY QUYẾT ĐỊNH VÀ ỨNG DỤNG TRONG HỆ HỖ TRỢ QUYẾT ĐỊNH 64 3.1 Tổng quan công tác thi đua khen thưởng ngành giáo dục 65 3.1.1 Các tiêu chuẩn danh hiệu thi đua ngành giáo dục 66 3.1.2 Quy trình đề nghị xét duyệt định khen thưởng 67 3.2 Phần mềm hỗ trợ định khen thưởng 70 3.2.1 Cấu trúc kho liệu 70 3.2.2 Kết cài đặt phần mềm 72 3.2 Đánh giá kết đạt chương trình 75 3.3 Kết luận hướng phát triển 77 TÀI LIỆU THAM KHẢO 79 3Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn LỜI NÓI ĐẦU Song song với phát triển không ngừng ngành Cơng nghệ thơng tin nói chung lĩnh vực ngành cơng nghệ phần mềm nói riêng, hệ thống kho liệu phục vụ công tác hỗ trợ định việc phân loại thông tin nhu cầu lưu trữ thông tin ngày cần thiết Bên cạnh việc tin học hóa công tác quản lý nhiều lĩnh vực, hoạt động khác tạo cho nhân loại thư viện liệu khổng lồ, sẵn sàng phục vụ quan tâm Đối với nguồn tài nguyên thông tin vô giá trị, việc tận dụng kho liệu để làm sở cho việc hỗ trợ định công tác quản lý mang lại hiệu đáng kể Nhưng vấn đề cần phải phân loại nguồn tài nguyên để sử dụng có hiệu lĩnh vực cụ thể Để tìm thơng tin cần tìm nguồn tài nguyên khổng lồ làm sở hỗ trợ định hoạt động thách thức lớn Chính mà phương pháp quản trị khai thác sở liệu truyền thống ngày không đáp ứng nhu cầu thực tế, từ trạng thách thức làm phát triển khuynh hướng kỹ thuật nhằm giải tốn này, Kỹ thuật phát tri thức khai phá liệu (Knowledge Discovery and Data Mining) Kỹ thuật phát tri thức khai phá liệu nghiên cứu, ứng dụng rộng rãi nhiều lĩnh vực khác nước giới, Việt Nam kỹ thuật nghiên cứu dần đưa vào ứng dụng Bước quan trọng trình khai phá liệu (Data Mining), giúp người sử dụng thu tri thức hữu ích từ sở liệu (CSDL) nguồn liệu khổng lồ khác để từ làm sở định xử lý liệu thu Rất nhiều tổ chức giới ứng dụng kĩ thuật khai phá liệu vào công tác quản lý thu lợi ích to lớn Để làm điều đó, phát triển mơ hình tốn học giải thuật hiệu chìa 4Số hóa Trung tâm Học liệu – Đại học Thái Ngun http://www.lrc-tnu.edu.vn khố quan trọng Vì vậy, luận văn tác giả đề cập tới số kỹ thuật Khai phá liệu định ứng dụng hệ hỗ trợ định Luận văn gồm chương với nội dung sau: Chương 1: Trình bày tổng quan khai phá liệu, khái niệm bản, bước thực hiện, chức năng, kỹ thuật khai phá liệu, ứng dụng khai phá liệu lĩnh vực Chương 2: Trình bày khái niệm định, kiểu định kỹ thuật khai phá liệu định, kỹ thuật cắt tỉa định Chương 3: Trình bày toán định khen thưởng ngành giáo dục, quy trình xét duyệt định khen thưởng, xác định yêu cầu toán, lựa chọn thuật tốn để cài đặt xây dựng cơng cụ hỗ trợ định khen thưởng công tác quản lý thi đua khen thưởng Bộ Giáo dục Đào tạo 5Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn Chương KHAI PHÁ DỮ LIỆU 1.1 Khám phá tri thức khai phá liệu Khám phá tri thức (Knowledge Discovery) sở liệu, kho liệu quy trình gồm nhiều công đoạn để nhận biết mẫu mơ hình liệu với tính năng: hợp thức, mới, khả ích, hiểu [18] Khai phá liệu việc sử dụng liệu lịch sử để khám phá qui tắc cải thiện định tương lai Khai phá liệu q trình phân tích thiết kế thăm dò lượng cực lớn liệu nhằm phát mẫu thích hợp (hoặc) mối quan hệ mang tính hệ thống biến sau hợp thức hố kết tìm cách áp dụng mẫu phát cho tập liệu Mục đích khai phá liệu là: o Rút trích thơng tin hữu ích, chưa biết, mẫu mơ hình tiềm ẩn khối liệu lớn dạng quy luật, ràng buột, quy tắc sở liệu o Phân tích liệu bán tự động o Giải thích liệu tập liệu lớn Khai phá liệu bước quy trình khám phá tri thức để hỗ trợ định, dự báo khái quát liệu 1.2 Tại phải khai phá liệu Ước tính năm lượng thơng tin giới lại tăng lên khoảng lần Chính vậy, liệu mà người thu thập lưu trữ kho liệu vô lớn, chí lớn đến mức vượt khả kiểm soát,… Cũng lý nhà khoa học đề cập đến việc tổ chức lại liệu cho hiệu 6Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn quả, đáp ứng yêu cầu chất lượng ngày cao nhằm hỗ trợ nhà quản lý định tổ chức quản lý tài chính, thương mại, khoa học, Với lượng liệu tăng nhanh hàng năm, rõ ràng phương pháp thủ công truyền thống áp dụng để phân tích liệu khơng hiệu quả, tốn dễ dẫn đến sai lệch Do đó, để sử dụng hiệu sở liệu lớn thiết cần phải có kỹ thuật mới, kỹ thuật khai phá liệu nhà khoa học đề cập tới Khai phá liệu lĩnh vực khoa học nhằm tự động hóa khai thác thơng tin, tri thức hữu ích, tiềm ẩn CSDL cho tổ chức, doanh nghiệp, Các kết nghiên cứu với ứng dụng thành công khai phá liệu, khám phá tri thức cho thấy khai phá liệu lĩnh vực khoa học tiềm năng, mang lại nhiều lợi ích, đồng thời có ưu hẳn so với cơng cụ phân tích liệu truyền thống Hiện nay, khai phá liệu ứng dụng rộng rãi lĩnh vực như: Phân tích liệu hỗ trợ định, điều trị y học, tinsinh học, thương mại, tài chính, bảo hiểm, text mining, web mining, 1.3 Quá trình khám phá tri thức Quá trình khám phá tri thức tiến hành qua bước sau: Hình 1.1 Quá trình khám phá tri thức [18] 7Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn - Bước 1: Hình thành định nghĩa tốn Đây bước tìm hiểu lĩnh vực ứng dụng hình thành toán, bước định cho việc rút tri thức hữu ích, đồng thời lựa chọn phương pháp khai phá liệu thích hợp với mục đích ứng dụng chất liệu - Bước 2: Thu thập tiền xử lý liệu Trong bước liệu thu thập dạng thơ (nguồn liệu thu thập từ kho liệu hay nguồn thông tin khác từ internet) Trong giai đoạn liệu tiền xử lý để biến đổi cải thiện chất lượng liệu cho phù hợp với phương pháp khai phá liệu chọn lựa bước Bước thường chiếm nhiều thời gian trình khám phá tri thức Các giải thuật tiền xử lý liệu bao gồm: Xử lý liệu bị mất/thiếu: dạng liệu bị thiếu thay giá trị thích hợp Khử trùng lặp: đối tượng liệu trùng lặp bị loại bỏ Giảm nhiễu: nhiễu đối tượng tách rời khỏi phân bố chung bị loại khỏi liệu Chuẩn hoá: miền giá trị liệu chuẩn hoá Rời rạc hoá: dạng liệu số biến đổi giá trị rời rạc Rút trích xây dựng đặc trưng từ thuộc tính có Giảm chiều: thuộc tính chứa thơng tin loại bỏ bớt - Bước 3: Khai phá liệu rút tri thức Đây bước quan trọng tiến trình khám phá tri thức Kết bước trích mẫu (hoặc) mơ hình ẩn liệu Một mơ hình biểu diễn cấu trúc tổng thể thành phần hệ thống hay 8Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn hệ thống sở liệu, hay miêu tả cách liệu nảy sinh Còn mẫu cấu trúc cục có liên quan đến vài biến vài trường hợp sở liệu - Bước 4: Phân tích kiểm định kết Bước thứ tư hiểu tri thức tìm được, đặc biệt làm sáng tỏ mơ tả dự đốn Trong bước này, kết tìm biến đổi sang dạng phù hợp với lĩnh vực ứng dụng dễ hiểu cho người dùng - Bước 5: Sử dụng tri thức phát Trong bước này, tri thức khám phá củng cố, kết hợp lại thành hệ thống, đồng thời giải xung đột tiềm tri thức Các mơ hình rút đưa vào hệ thống thông tin thực tế dạng module hỗ trợ việc đưa định Các giai đoạn trình khám phá tri thức có mối quan hệ chặt chẽ với bối cảnh chung hệ thống Các kỹ thuật sử dụng giai đoạn trước ảnh hưởng đến hiệu giải thuật sử dụng giai đoạn Các bước q trình khám phá tri thức lặp lặp lại số lần, kết thu được lấy trung bình tất lần thực 1.4 Trình tự thực trình khai phá liệu Khai phá liệu hoạt động trọng tâm trình khám phá tri thức Thuật ngữ khai phá liệu số nhà khoa học gọi phát tri thức sở liệu (Knowledge discovery in database) (theo Fayyad Smyth Piatestky-Shapiro 1989) Q trình gồm có bước [1]: 9Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn Hình 1.2 Quá trình khai phá liệu Quá trình khai phá liệu bắt đầu với kho liệu thô kết thúc với tri thức chiết xuất Nội dung trình sau: - Gom liệu (gatherin) Tập hợp liệu bước khai phá liệu Bước lấy liệu từ sở liệu, kho liệu, chí liệu từ nguồn cung ứng web - Trích lọc liệu (selection) Ở giai đoạn liệu lựa chọn phân chia theo số tiêu chuẩn - Làm tiền xử lý liệu (cleansing preprocessing) Giai đoạn thứ ba giai đoạn thường bị bỏ quên, thực tế bước quan trọng q trình khai phá liệu Một số lỗi thường mắc phải gom liệu liệu không đầy đủ không thống nhất, thiếu chặt chẽ, vô nghĩa (ví dụ như: người có chiều cao = mét điều vô lý), giai đoạn thứ ba nhằm xử lý liệu (dữ liệu vơ nghĩa, 10Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 66 nội dung ký cam kết thi đua đơn vị chuyên trách công tác thi đua khen thưởng thuộc Bộ Giáo dục Đào tạo theo quy định hàng năm Các đơn vị trực thuộc Bộ BỘ TRƯỞNG Báo cáo Lãnh đạo đơn vị Các cá nhân, tập thể Phòng Thi đua, Khen thưởng Thời gian: - Trước 30/1 (đối với đơn vị xét theo năm công tác) - Trước 30/10 (đối với đơn vị xét theo năm học) Hình 3.1 Quy trình đăng ký thi đua 3.1.1 Danh hiệu thi đua, hình thức, đối tượng tiêu chuẩn khen thưởng ngành giáo dục 1) Danh hiệu thi đua • Đối với cá nhân - Lao động tiên tiến (Chiến sĩ tiên tiến); - Chiến sĩ thi đua sở; - Chiến sĩ thi đua cấp bộ, ngành, tỉnh, đoàn thể trung ương; - Chiến sĩ thi đua tồn quốc; • Đối với tập thể - Tập thể lao động xuất sắc (Đơn vị thắng); - Tập thể lao động tiên tiến (Đơn vị tiên tiến); - Cờ thi đua cấp bộ, ngành, tỉnh, đoàn thể trung ương; - Cờ thi đua Chính phủ; 67Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 67 2) Hình thức, đối tượng tiêu chuẩn khen thưởng • Huân chương (Cá nhân, Tập thể) - Huân chương Sao vàng; - Huân chương Hồ Chí Minh; - Huân chương Độc lập (hạng nhất, nhì, ba); - Hn chương Lao động (hạng nhất, nhì, ba); • Danh hiệu vinh dự Nhà nước (Cá nhân) - Anh hùng Lao động; - Nhà giáo ưu tú; - Nhà giáo nhân dân; • Gải thưởng (Cá nhân) - Giải thưởng Hồ Chí Minh; - Giải thưởng nhà nước; • Kỷ niệm chương, Huy hiệu (Cá nhân) • Bằng khen, Giấy khen (Cá nhân, Tập thể) - Bằng khen cấp Bộ, tỉnh, ngành, đoàn thể trung ương; - Bằng khen Thủ tướng Chính phủ; Điều kiện tiên để đạt danh hiệu thi đua tiêu chuẩn cho hình thức khen thưởng tham khảo Luật Thi đua Khen thưởng số 15/2003/QH11, Khóa XI, kỳ họp 4, có hiệu lực từ ngày 01/7/2004 Nghị định, Thông tư hướng dẫn thực luật có liên quan 3.1.2 Quy trình đề nghị xét duyệt định khen thưởng a) Quy trình đề nghị xét danh hiệu: “Cờ thi đua giáo dục đạo tạo”, “Bằng khen Bộ trưởng Bộ Giáo dục Đào tạo” Các đối tượng quy định điểm a, b, c khoản Điều Thông tư số 12/2012/TT-BGDĐT: Sau nhận hồ sơ đơn vị chuyên trách công tác thi đua, khen thưởng thẩm định hồ sơ, trình Hội đồng Thi đua, Khen thưởng Bộ cho ý kiến trước trình Bộ trưởng định Đối với đối tượng quy định điểm d, đ khoản Điều điểm b khoản Điều Thông tư số 12/2012/TT-BGDĐT: Thủ trưởng đơn vị có liên quan trực 68Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 68 tiếp lập tờ trình (kèm danh sách báo cáo thành tích) đề nghị Bộ Giáo dục Đào tạo khen thưởng gửi đơn vị chuyên trách cơng tác thi đua khen thưởng thẩm định, trình Hội đồng Thi đua, Khen thưởng Bộ xem xét trình Bộ trưởng định b) Quy trình đề nghị khen thưởng với hình thức: “Huân chương Sao vàng”, “Huân chương Hồ Chí Minh”, “Huân chương Độc lập”, ”Huân chương Hữu nghị”, “Huy chương Hữu nghị”, “Danh hiệu vinh dự Nhà nước”, “Danh hiệu Chiến sỹ thi đua toàn quốc” - Các đối tượng quy định điểm a,b,c khoản Điều Thông tư số 12/2012/TT-BGDĐT Đại học Quốc gia Hà Nội, Đại học Quốc gia Thành phố Hồ Chí Minh gửi hồ sơ đề nghị khen thưởng đơn vị chuyên trách công tác Thi đua, Khen thưởng thuộc Bộ Giáo dục Đào tạo - Đơn vị chuyên trách công tác Thi đua, Khen thưởng thuộc Bộ Giáo dục Đào tạo thẩm định hồ sơ, báo cáo Chủ tịch Hội đồng cho ý kiến chấp thuận trước tiến hành đưa Hội đồng Thi đua - Khen thưởng ngành xem xét, bỏ phiếu - Trình Thủ tướng Chính phủ sau có ý kiến Ban Cán Đảng Bộ Giáo dục Đào tạo đối trường hợp sau: o Đối với hình thức khen thưởng “Huân chương Sao vàng”, “Huân chương Hồ Chí Minh”, “Huân chương Độc lập”, “Huân chương hữu nghị”, “Huy chương Hữu nghị” có từ 2/3 số phiếu đồng ý trở lên tính tổng số thành viên Hội đồng tham gia ý kiến o Đối với “Danh hiệu Chiến sỹ thi đua Toàn quốc”, “Anh hùng Lao động”, “Nhà giáo ưu tú”, “Nhà giáo Nhân Dân” có từ 90% số phiếu đồng ý trở lên tính tổng số thành viên Hội đồng tham gia ý kiến c) Quy trình đề nghị khen thưởng hình thức: “Huân chương Lao động”, “Cờ thi đua Chính phủ”, “Bằng khen Thủ tướng Chính phủ” - Các đối tượng quy định điểm a,b,c khoản Điều Thông tư số 12/2012/TT-BGDĐT Đại học Quốc gia Hà Nội, Đại học Quốc gia Thành phố Hồ Chí Minh gửi hồ sơ đề nghị khen thưởng đơn vị chuyên trách công tác Thi đua, Khen thưởng thuộc Bộ Giáo dục Đào tạo 69Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 69 - Đơn vị chuyên trách công tác Thi đua, Khen thưởng thuộc Bộ Giáo dục Đào tạo báo cáo Chủ tịch Hội đồng cho ý kiến trước gửi văn xin ý kiến ủy viên Hội đồng Thi đua – Khen thưởng ngành Giáo dục - Đơn vị chuyên trách công tác Thi đua, Khen thưởng thuộc Bộ Giáo dục Đào tạo tổng hợp ý kiến trình Chủ tịch Hội đồng định hồn chỉnh hồ sơ trình Thủ tướng Chính phủ xét tặng trình Thủ tướng đề nghị Chủ tịch nước định trường hợp sau: o “Huân chương Lao động”, “Bằng khen Thủ tướng Chính phủ” tập thể cá nhân đạt từ 2/3 số phiếu trở lên tính tổng số thành viên Hội đồng xin ý kiến o “Cờ Thi đua Chính phủ” cho tập thể đạt từ 90% số phiếu trở lên tính tổng số thành viên Hội đồng xin ý kiến Hội đồng xét duyệt thi đua, khen thưởng Phòng Thi đua, Khen thưởng BỘ TRƯỞNG Các đơn vị trực thuộc Bộ Hình 3.2 Quy trình đề nghị xét duyệt định khen thưởng (a) 70Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 70 Hội đồng Thi đua, khen thưởng THỦ TƯỚNG CHÍNH PHỦ Chủ tịch hội đồng Thi đua, khen thưởng Phòng Thi đua, Khen thưởng Các đơn vị trực thuộc Bộ Hình 3.3 Quy trình Đề nghị xét duyệt định khen thưởng (b,c) 3.2 Phần mềm hỗ trợ định khen thưởng 3.2.1 Cấu trúc kho liệu Với lượng liệu khổng lồ không ngừng tăng hàng năm, sau đợt tổng kết 10 năm công tác thi đua khen thưởng ngành giáo dục năm 2010, Bộ Giáo dục Đào tạo bước thực việc số hóa tồn thành tích thi đua cá nhân, tập thể thuộc ngành giáo dục nước đưa vào lưu trữ kho liệu số đặt trực tiếp phòng Thi đua, Khen thưởng thuộc Bộ Giáo dục Đào tạo, đồng thời xây dựng công cụ cho phép cập nhật liệu vào sở liệu, bước thu thập tiền xử lý liệu (bước thứ trình tự bước thực khai phá liệu) Việc thu thập liệu thực thơng qua hình thức sau: 1) Cán chuyên trách quản lý Phòng Thi đua, Khen thưởng thuộc Bộ Giáo dục Đào tạo trực tiếp cập nhật liệu cho đơn vị trực thuộc thơng 71Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 71 qua file mềm (.xls, xlsx, csv, xml, mdb) tổng hợp lưu trữ từ trước; 2) Cán đơn vị, trường trực thuộc chủ động nhập liệu thành tích thi đua cá nhân tập thể đơn vị mình; 3) Cá nhân tự cập nhật trực tiếp thành tích thân vào kho liệu thông qua công cụ cung cấp hướng dẫn sử dụng; 4) Tự động cập nhật hồ sơ đề xuất khen thưởng thông qua hệ thống tiếp nhận hồ sơ đề xuất khen thưởng trực tuyến sau duyệt có định khen thưởng Kho liệu xây dựng thiết kế hệ quản trị sở liệu MySQL nhằm mục đích lưu trữ tồn liệu thành tích Thi đua - Khen thưởng cá nhân, tập thể thuộc ngành giáo dục nước Sơ đồ thực thể liên kết Kho liệu thành tích Thi đua, Khen thưởng sau thu thập, tiền xử lý đưa vào lưu trữ sau (Hình 3.5): 72Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 72 Hình 3.4 Sơ đồ thực thể liên kết kho liệu thành tích khen thưởng Bộ Giáo dục Đào tạo 3.2.2 Kết cài đặt phần mềm Sử dụng thuật toán SLIQ để phân lớp liệu khen thưởng dự đoán thành tích mà tập thể cá nhân đạt năm tới Đầu vào: - Bộ liệu thành tích khen thưởng cá nhân, tập thể tính từ thời điểm trở trước; - Các loại danh hiệu thi đua (danh sách lớp); - Bộ khung tiêu chuẩn để đạt danh hiệu thi đua Tất thông tin lưu trữ kho liệu có cấu trúc hình 3.5 73Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 73 Đầu ra: - Danh sách phân lớp theo loại danh hiệu dự đốn đạt được, kèm theo gợi ý tiêu chuẩn cần bổ sung Dưới vài hình ảnh kết cài đặt Hình 3.5 Màn hình yêu cầu đăng nhập với tài khoản mật trước vào làm việc với hệ thống 74Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 74 Hình 3.6 Giao diện chức Hệ hỗ trợ định khen thưởng sau đăng nhập vào hệ thống Tại đây, để thực việc phân lớp liệu, dự đoán kết đạt năm sở liệu thành tích tại, để kết với độ xác cao liệu thành tích khen thưởng của cá nhân phải cập nhật từ năm trước trở lại đây, tập thể năm trở lại Người sử dụng phải điền đủ thông tin cần thiết năm học (thường năm sau có kết khen thưởng năm tại), đối tượng cần phân lớp cá nhân, hay tập thể, hay hai, Khối thu hẹp phạm vi liệu cán giúp cho việc xử lý nhanh hơn, sau nhấn nút xem kết quả, hệ thống thực phân lớp liệu hiển thị kết với giao diện hình 3.7 75Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 75 Hình 3.7 Kết sau thực phân lớp liệu Tại đây, người sử dụng cần thực thao tác chọn danh hiệu bên khung trái hình để xem kết cán dự đoán đạt danh hiệu năm (năm mà người dùng xác định chạy chương trình) kết xếp tăng dần theo đơn vị công tác theo tên nhằm giúp người quản lý quan sát dễ 3.2 Đánh giá kết đạt chương trình Hệ hỗ trợ định cài đặt xây dựng tảng ngôn ngữ PHP&MySQL, có sử dụng thư viện hàm mã nguồn Wordpress (tham khảo wordpress.org) Cấu trúc sở liệu cấu trúc kho liệu thiết kế cung cấp từ Phòng Thi đua, Khen thưởng thuộc Bộ Giáo dục đào tạo, liệu lấy từ kho liệu thành tích khen thưởng Bộ Giáo dục Đào tạo 76Số hóa Trung tâm Học liệu – Đại học Thái Ngun http://www.lrc-tnu.edu.vn 76 Chương trình có giao diện đơn giản, dễ sử dụng, minh họa vấn đề phân lớp liệu định nhằm hỗ trợ việc định khen thưởng công tác quản lý Thi đua, Khen thưởng Bộ Giáo dục Đào tạo Về thời gian, hệ thống đảm bảo chấp nhận với liệu liên đến hàng triệu ghi cho kết ổn định, thực tế chạy chương trình, hệ thống hạn chế số lượng ghi tham gia xử lý cách lần chạy hệ thống cho phép thực nhóm liệu thuộc khối (do người dùng chọn) giải vấn đề liệu Tuy nhiên, với phạm vi luận văn thạc sĩ việc nghiên cứu lý thuyết khai phá liệu nghiên cứu số thuật toán khai phá liệu định, bước đầu xây dựng ứng dụng Hệ hỗ trợ định cài đặt chức phân lớp liệu hiển thị kết phân lớp, kết kết dự đoán đạt năm mà người sử dụng nhập vào chạy chương trình 77Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 77 3.3 Kết luận hướng phát triển Kết luận: Với mục đích học tập nghiên cứu lĩnh vực khai phá liệu, luận văn tơi trình bày kết tìm hiểu lĩnh vực Các nội dung tìm hiểu là: Trình bày tổng quan khai phá liệu, khái niệm bản, bước thực hiện, chức năng, kỹ thuật khai phá liệu, ứng dụng khai phá liệu lĩnh vực Trình bày khái niệm định, kiểu định kỹ thuật khai phá liệu định số thuật toán khai phá liệu định gồm CLS, ID3, C4.5, SLIQ, SPRINT Trình bày toán định khen thưởng ngành giáo dục, quy trình xét duyệt định khen thưởng, đồng thời lựa chọn thuật toán để xây xây dựng hệ hỗ trợ định khen thưởng công tác quản lý thi đua khen thưởng Bộ Giáo dục Đào tạo Luận văn giải tốt nội dung yêu cầu nghiên cứu đặt Trên sở lý thuyết sử dụng thuật toán SLIQ để cài đặt ứng dụng Hệ hỗ trợ định Qua tơi hiểu lĩnh hội nhiều kiến thức lĩnh vực khai phá liệu, đặc biệt định kỹ thuật khai phá liệu định Song, thực tế khai phá liệu, phát tri thức nhiều nội dung mà cá nhân tơi cần phải tiếp tục nghiên cứu, tìm hiểu thêm kỹ thuật khai phá liệu khác mà luận văn chưa đề cập đến như: Phân cụm, mạng Nơron, Luật kết hợp, Hướng phát triển tiếp đề tài: Về lý thuyết, đề tài tiếp tục nghiên cứu cài đặt thêm thuật toán khai phá liệu định khác như: C5, 78Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 78 Về chương trình, cần nâng cấp, xây dựng hồn thiện thêm số chức khác nhằm hỗ trợ tốt việc định khen thưởng cơng tác quản lý Thi đua, Khen thưởng Bộ Giáo dục Đào tạo 79Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 79 TÀI LIỆU THAM KHẢO Tài liệu tiếng Việt Đỗ Phúc (2007), Bài giảng khai thác liệu, NXB Đại học Quốc gia TP.Hồ Chí Minh Võ Huỳnh Trâm, Trần Ngân Bình (2006), Giáo trình trí tuệ nhân tạo, Chương Học máy, NXB Đại học Cần Thơ Ngô Quốc Tạo (2011), “Bài giảng môn Khai phá liệu”, Lớp CHK9A Đại học Thái Nguyên 2010 -2012 NƯỚC CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM (2004), Luật thi đua khen thưởng số 15/2003/QH11, Khóa XI, kỳ họp 4, hiệu lực từ ngày 01/7/2004 Nghị định 42/2010/NĐ-CP, “Quy định chi tiết thi hành số điều Luật Thi đua - Khen thưởng Luật sửa đổi bổ sung số điều Luật Thi đua, Khen thưởng”, hiệu lực từ ngày 15/04/2010 Thông tư số 02/2011/TT-BNV, “Thông tư hướng dẫn thự nghị định 42/2010/NĐ-CP thi hành số điểu Luật Thi đua, Khen thưởng Luật sửa đổi, bổ sung số điều Luật Thi đua, khen thưởng”, hiệu lực từ ngày 24/10/2011 Thông tư số 12/2010/TT-BGDĐT, “Thông tư hướng dẫn công tác thi đua, khen thưởng ngành Giáo dục”, hiệu lực từ ngày 03/4/2012 Tài liệu tiếng Anh Anurag Srivastava, Eui- Hong Han, Vipin Kumar, Vieet Singh (1999), Parallel Formulations of Decision-Tree Classification Algorithm G.piatetsky - Shapiro and W.J Frawley (1991), Knowledge Discovery in Databases, AAAI/MIT Press 10 Jaiwei Han and Micheline Kamber (2001), Data Mining: Concepts and Techniques, ISBN 1-55860-489-8 11 John Shafer, Rakesh Agrawal, Manish Mehta (1996), SPRINT- A Scalable Paralllel Classifier for Data mining In Predeeings of the 22nd International Conference on Very Large Database, India 80Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 80 12 Mohammed J Zaki, Ching-Tien Ho, Rekesh Agrawal (1999), Parallel Classification for Data Mining on Shared-Memory Multiprocessors IVM Almaden Research Center, San Jose, CA 95120 13 Ron Kohavi, J Ross Quinlan (1999), Decision Tree Discovery 14 Amos Storkey (2004), “Slide Learning from Data: Decision trees”, School of Informatics university of Edinburgh 15 Emily Thomas (2004), “Data mining: Definittions and decision tree examples”, In he Association for Institutional Research and Planing Officers (AIRPO) Website tham khảo 16 Wikipedia, Bách khoa toàn thư mở - Cây định http://en.wikipedia.org/wiki/Decision_tree/ 17 Knowledge Discovery Nuggets: http://www.kdnuggets.com/ 18 Ho Tu Bao (2000), “Introduction to Knowledge Discovery and Data Mining, Institute of Information Technology National Center for Natural Science and Technology”, http://www.jaist.ac.jp/~bao/ 81Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn ... Chức Khai phá liệu 10 1.6 Các kỹ thuật khai phá liệu 11 1.7 Các dạng liệu khai phá 13 1.8 Ứng dụng Khai phá liệu 13 1.9 Tổng kết 14 Chương KHAI PHÁ DỮ LIỆU... LIỆU BẰNG CÂY QUYẾT ĐỊNH 15 2.1 Cây định 15 2.1.1 Cây định gì? 15 2.1.2 Một số vấn đề khai phá liệu định 16 2.1.3 Ưu nhược điểm định khai phá liệu 18 2.1.4 Xây dựng định. .. quan khai phá liệu, khái niệm bản, bước thực hiện, chức năng, kỹ thuật khai phá liệu, ứng dụng khai phá liệu lĩnh vực Chương 2: Trình bày khái niệm định, kiểu định kỹ thuật khai phá liệu định,