Phân tích thành phần chính phục vụ xử lý dữ liệu đào tạo

Lương Thị Thúy Nga Phân i tích thành phần phục vụ xử lý liệu đào tạo MỤC LỤC MỤC LỤC i LỜI CAM ĐOAN iii LỜI CẢM ƠN iv DANH MỤC TỪ VIẾT TẮT v DANH MỤC HÌNH BẢNG vi MỞ ĐẦU CHƢƠNG TỔNG QUAN VỀ KHAI PHÁ DỮ LIỆU .3 1.1 Khai phá liệu 1.1.1 Hình thành định nghĩa tốn 1.1.2 Thu thập tiền xử lý liệu 1.1.3 Khai phá liệu rút tri thức 1.1.4 Phân tích kiểm định kết 1.1.5 Sử dụng tri thức phát đƣợc Quá trình khai phá liệu 1.3 Các phƣơng pháp khai phá liệu 10 1.3.1 Phân lớp liệu 10 1.3.2 Phân cụm liệu 10 1.3.3 Khai phá luật kết hợp 11 1.3.4 Hồi quy 11 1.3.5 Giải thuật di truyền 11 1.3.6 Mạng nơron 11 1.3.7 Cây định 12 1.4 Nhu cầu khai phá liệu 13 1.5 Kết luận 13 CHƢƠNG MỘT SỐ PHƢƠNG PHÁP XỬ LÝ DỮ LIỆU NHỜ THỐNG KÊ .14 2.1 Phƣơng pháp thống kê toán học 14 2.1.1 Biến ngẫu nhiên 14 2.1.2 Các ví dụ 15 2.1.3 Các số đặc trƣng 16 2.2 Khai phá liệu với phƣơng pháp thống kê 17 2.3 Tri thức tảng 18 2.3.1 Các phƣơng pháp quan tâm 19 2.3.2 Trình diễn trực quan mẫu đƣợc khai phá 19 Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn Lương Thị Thúy Nga Phân ii tích thành phần phục vụ xử lý liệu đào tạo 2.4 Dữ liệu liên quan tới nhiệm vụ 19 2.4.1 Dữ liệu thích hợp với nhiệm vụ 19 2.4.2 Kiểu tri thức đƣợc khai phá 20 2.4.3 Kiến thức tảng 20 2.4.4 Các phép đo hấp dẫn mẫu 20 2.4.5 Hình ảnh hóa mẫu đƣợc khai phá 20 2.5 Các loại tri thức đƣợc khai phá 22 2.5.1 Phân cấp khái niệm 23 2.5.2 Phân cấp lƣợc đồ 26 2.5.3 Phân cấp theo nhóm 26 2.5.4 Phân cấp theo thao tác 27 2.5.5 Phân cấp theo luật 28 2.5.6 Độ đo tiêu chí quan tâm 28 2.6 Thể trực quan mẫu đƣợc phát 32 2.7 Phân tích thành phần 34 2.8 Kết luận 39 CHƢƠNG KHAI PHÁ DỮ LIỆU TẠI TRUNG TÂM 40 3.1 Về sở đào tạo 40 3.2 Công cụ OLAP 43 3.2.1 Về OLAP 43 3.2.2 Mơ hình liệu đa chiều 43 3.2.3 Giới thiệu dịch vụ OLAP Microsoft SQL Server 46 3.2.4 So sánh OLAP với OLTP 47 3.2.5 Các mơ hình lƣu trữ hỗ trợ OLAP 48 3.2.6.Kiến trúc khối OLAP 52 3.2.7 Mô hình kiến trúc dịch vụ OLAP 53 3.3 Dữ liệu đào tạo 56 3.3.1 Dữ liệu 56 3.3.2 Khai phá liệu 57 3.4 Kết luận 58 KẾT LUẬN 59 Một số vấn đề giải 59 Phƣơng hƣớng tiếp tục nghiên cứu 60 TÀI LIỆU THAM KHẢO 61 Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn Lương Thị Thúy Nga Phân iii tích thành phần phục vụ xử lý liệu đào tạo LỜI CAM ĐOAN Tôi xin cam đoan luận văn kết tìm hiểu, nghiên cứu Các số liệu, kết luận văn trung thực Tài liệu sử dụng, trích dẫn luận văn trung thực chƣa công bố cơng trình nghiên cứu khác Học viên Lƣơng Thị Thúy Nga Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn Lương Thị Thúy Nga Phân iv tích thành phần phục vụ xử lý liệu đào tạo LỜI CẢM ƠN Trƣớc tiên xin đƣợc trân trọng gửi lời cảm ơn chân thành tới thầy cô giảng dạy môn chuyên đề sau đại học, nhƣ q trình thực tập viết, hồn thiện luận văn Đặc biệt, xin cảm ơn thầy Đỗ Trung Tuấn, giúp đỡ, bảo luận văn Nhân dịp này, xin gửi lời cám ơn đến Trung tâm Giáo dục thƣờng xuyên tỉnh Yên Bái Xin chân thành cảm ơn lãnh đạo đồng nghiệp Trung tâm, giúp đỡ tạo điều kiện cho q trình học tập, cơng tác để tơi làm luận văn tốt nghiệp, hoàn thành đề tài nghiên cứu khoa học Trong thời gian vừa qua tơi cố gắng nhiều để hồn thành tốt đề tài nghiên cứu Song chắn kết nghiên cứu khơng tránh khỏi cịn nhiều thiếu sót, tơi mong nhận đƣợc bảo góp ý q thầy bạn bè đồng nghiệp để nghiên cứu đƣợc hoàn thiện Chân thành cám ơn chồng ngƣời thân gia đình, động viên tạo điều kiện tài chính, thời gian, cho tơi học tập sau đại học Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn Lương Thị Thúy Nga Phân v tích thành phần phục vụ xử lý liệu đào tạo DANH MỤC TỪ VIẾT TẮT ADO Microsoft ActiveX Data Objects API Giao diện cổng chung City Thành phố CNTT Công nghệ Thông tin Country Vùng CSDL Cơ sở liệu IT Công nghệ Thông tin ITEM Mặt hàng KDD Khai phá tri thức MOLAP OLAP nhiều chiều OLAP Xử lí phân tích liệu trực tuyến OLTP Phân tích trực tuyến PCA Phân tích thành phần Province Tỉnh ROLAP OLAP quan hệ SERVER Máy chủ State Bang SV Sinh viên TV Vơ tuyến truyền hình URL Vị trí tài nguyên Internet VCR Đầu đọc băng video Web Trang tin WWW World Wide Web Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn Lương Thị Thúy Nga Phân vi tích thành phần phục vụ xử lý liệu đào tạo DANH MỤC HÌNH BẢNG Hình 1.1 Khai phá liệu Hình 1.2 Xử lí liệu Hình 1.3 Tri thức Hình 1.4 Quá trình khai phá liệu Hình 1.5 Kiến trúc hệ thống khai phá liệu Hình 1.6 Phân lớp liệu 10 Hình 1.7 Phân cụm liệu 10 Hình 1.8 Mạng Nơron 12 Hình 1.9 Cây định 12 Hình 2.1 Dữ liệu liên quan đến nhiệm vụ 18 Hình 2.2 Thí dụ phân phối hàng 24 Hình 2.3 Các mẫu thể 33 Hình 2.4 Dữ liệu thí dụ cho PCA 36 Hình 2.5 Đƣờng liệu chuẩn hố (đã trừ trung bình) 38 Hình 3.1 Trang tin Trung tâm 41 Hình 3.2 Kế hoạch dạy học Trung tâm 42 Hình 3.3 Địa bàn tổ chức đào tạo Trung tâm 42 Hình 3.4 Mơ chiều kinh doanh 44 Hình 3.5 Kiến trúc OLAP 46 Hình 3.6 Mơ hình liệu MOLAP 48 Hinh 3.7 Mơ hình liệu ROLAP 50 Hình 3.8 Mơ hình liệu HOLAP 51 Hình 3.9 Kiến trúc dịch vụ OLAP 54 Hình 3.10 Kiến trúc thành phần Server 54 Hình 3.11 Kiến trúc thành phần Khách 55 Hình 3.12 Dữ liệu gốc 57 Hình 3.13 Thí dụ sử dụng OLAP với bảng xoay 57 Hình 3.14 Thí dụ sử dụng nhiều tham số cột xoay 58 Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn Lương Thị Thúy Nga Phân vii tích thành phần phục vụ xử lý liệu đào tạo Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn Lương Thị Thúy Nga Phân viiitích thành phần phục vụ xử lý liệu đào tạo Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn Lương Thị Thúy Nga Phân tích thành phần phục vụ xử lý liệu đào tạo MỞ ĐẦU Ngày nay, xã hội ngƣời thực cách mạng thông tin Tri thức đƣợc đánh giá nhƣ quyền lực tiền bạc Xã hội dần chuyển sang xã hội tri thức, tức sản phẩm quốc dân có hàm lƣợng tri thức cao Cơng nghệ thơng tin đáp ứng nhu cầu xử lý liệu tri thức Bên cạnh công nghệ phần mềm công nghệ tri thức Công nghệ tri thức đƣợc nghiên cứu nhằm tích lũy tri thức chuyên gia, làm máy tính thực chức thông minh nhƣ ngƣời, đồng thời làm ngƣời tự nâng cao thân Cuộc cách mạng thông tin kỹ thuật số đem lại thay đổi sâu sắc xã hội sống Những thuận lợi mà thông tin kỹ thuật số mang lại sinh thách thức hội cho trình đổi Mạng Internet toàn cầu biến thành xã hội ảo nơi diễn trình trao đổi thơng tin lĩnh vực trị, qn sự, quốc phòng, kinh tế, thƣơng mại…Trong hệ thống đào tạo Đại học sau Đại học Công nghệ thông tin, chủ đề Trí tuệ nhân tạo, hệ chuyên gia, dịch tự động…đều liên quan đến tri thức Nhiều ứng dụng Công nghệ thông tin sử dụng tri thức nhƣ liệu Meta, điều khiển trình xử lý liệu Hiện nhiều sở đào tạo có nhiều phần mềm cho phép xử lý liệu Những liệu liên quan đến công tác đào tạo gồm: Các kết dạy học, học liệu điện tử, giáo trình số hóa…ngày nhiều, cần đƣợc xử lý cách khoa học Vấn đề khai phá liệu có áp dụng công nghệ ngày đƣợc sử dụng nhiều nhiều lĩnh vực lĩnh vực giáo dục Chính vậy, tơi chọn đề tài: “Phân tích thành phần phục vụ xử lý liệu đào tạo” Vấn đề nghiên cứu ứng dụng thuộc phạm vi mã ngành Khoa học máy tính, mã số 60.48.01 khai phá liệu Trong phạm vi nghiên cứu tơi xin trình bày nội dung sau: Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn Lương Thị Thúy Nga Phân tích thành phần phục vụ xử lý liệu đào tạo  Chƣơng 1: Tổng quan kĩ thuật khai phá liệu Chƣơng đề cập đến kĩ thuật khai phá liệu, phƣơng pháp khai phá liệu nhu cầu khai phá liệu  Chƣơng 2: Một số phƣơng pháp xử lí liệu nhờ thống kê Chƣơng trình bày phƣơng pháp thống kê, thành phần đặc trƣng liệu cách chọn, phân tích đánh giá thành phần liệu  Chƣơng 3: Phân tích liệu phục vụ công tác đào tạo Chƣơng xây dựng, phân tích thiết kế mơ chƣơng trình thử nghiệm Kết luận đánh giá kết đạt đƣợc vấn đề tồn cần khắc phục tiếp Phần cuối luận văn danh sách tài liệu tham khảo, sử dụng trình chuẩn bị luận văn Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn Lương Thị Thúy Nga Phân 47 tích thành phần phục vụ xử lý liệu đào tạo Các đặc điểm dịch vụ OLAP:  Dễ sử dụng: Bằng cách cung cấp giao diện ngƣời dùng trợ giúp thực  Linh động: Mơ hình liệu mạnh cho định nghĩa khối lƣu trữ  Các khối ghi : Cho kịch phân tích dạng “what if”  Kiến trúc co dãn : Cung cấp đa dạng kịch lƣu trữ giải pháp tự động “hội chứng bùng nổ liệu” mà gây khó chịu cho kỹ thuật OLAP  Tích hợp cơng cụ quản trị, bảo mật, nguồn liệu khách/server  Hỗ trợ rộng rãi hàm API kiến trúc mở để hỗ trợ ứng dụng tuỳ ý 3.2.4 So sánh OLAP với OLTP Đặc trƣng ứng dụng OLTP tác vụ xử lý tự động ghi chép liệu xử lý tác vụ tổ chức nhƣ ghi nhận đơn đặt hàng giao dịch ngân hàng (chúng công việc hàng ngày tổ chức thƣơng mại) mà cần phải đọc cập nhật vài mẩu tin dựa khố chúng Những tác vụ có cấu trúc, đƣợc lặp lại, bao gồm giao dịch ngắn, tối giản tách biệt, yêu cầu liệu chi tiết cập nhật Các sở liệu tác nghiệp có xu hƣớng từ vài trăm megabyte đến hàng gigabyte kích thƣớc lƣu trữ liệu hành Tính quán khả phục hồi sở liệu then chốt, tối đa thông lƣợng giao dịch thƣớc đo yếu Vì sở liệu đƣợc thiết kế để tối thiểu xung đột trùng lắp Còn kho liệu, mục tiêu hỗ trợ định cho nhà quản lý Tính chi tiết riêng lẻ mẩu tin quan trọng tính lịch sử, tổng kết hợp liệu Do đó, kho liệu thƣờng chứa liệu hợp từ nhiều sở liệu tác nghiệp đƣợc thu thập qua thời gian dài Kết kích thƣớc kho liệu có khuynh hƣớng từ vài trăm gigabyte đến hàng terabyte so với sở liệu tác nghiệp Kho liệu hỗ trợ truy vấn phức tạp với thời gian hồi đáp nhanh, truy vấn phức tạp truy xuất hàng triệu mẩu tin Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn Lương Thị Thúy Nga Phân 48 tích thành phần phục vụ xử lý liệu đào tạo thực nhiều lần thao tác quét, kết tổng hợp Đối với kho liệu, số lƣợng truy vấn đƣa vào thời gian hồi đáp quan trọng số lƣợng giao dịch đƣa vào Mà OLAP công cụ cho phép thực hiệu truy vấn Căn vào đó, sở liệu tác nghiệp đƣợc xây dựng để hỗ trợ tốt tác vụ OLTP, cố gắng thực thi truy vấn OLAP phức tạp sở liệu tác nghiệp cho kết hiệu thực chấp nhận đƣợc 3.2.5 Các mơ hình lưu trữ hỗ trợ OLAP Dịch vụ OLAP hỗ trợ nhiều mơ hình lƣu trữ liệu khác nhau, mơ hình có ƣu khuyết điểm riêng, chúng đƣợc sử dụng tuỳ theo mục đích khai thác 3.2.5.1 Mơ hình OLAP nhiều chiều (MOLAP) Mơ hình OLAP đa chiều (MOLAP) lƣu trữ liệu sở (là liệu từ bảng kho liệu data mart) thông tin tổng hợp (là độ đo đƣợc tính tốn từ bảng) cấu trúc đa chiều gọi khối Các cấu trúc đƣợc lƣu bên sở liệu data mart kho liệu Hình 3.6 Mơ hình liệu MOLAP Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn Lương Thị Thúy Nga Phân 49 tích thành phần phục vụ xử lý liệu đào tạo Lƣu trữ khối cấu trúc MOLAP tốt cho truy vấn tổng hợp liệu thường xuyên mà cần thời gian hồi đáp nhanh Ví dụ, tổng sản phẩm bán đƣợc tất vùng theo q Mơ hình MOLAP cho phép thực truy vấn phân tích liệu tốt đặc điểm sau:  Thơng tin tổng hợp liệu sở đƣợc lƣu trữ cấu trúc đa chiều  Các thao tác kết, thao tác tốn chi phí mơ hình quan hệ, khơng cần thiết  MOLAP sử dụng thuật toán nén liệu cho phép lƣu trữ với khơng gian  MOLAP sử dụng mục bitmap cho hiệu thực thi tốt  MOLAP lấy liệu khối nhanh cách sử dụng xử lý truy vấn tốc độ cao cache liệu Thông tin nhận đƣợc từ khối bảng OLAP sở đƣợc truy xuất thông tin chi tiết  MOLAP không sử dụng chế khố liệu đọc  MOLAP đƣợc nạp trƣớc vào nhớ cache  Dữ liệu dễ dàng chép đến khách cho phân tích khơng trực tuyến 3.2.5.2 Mơ hình OLAP quan hệ (ROLAP) Mơ hình OLAP quan hệ (ROLAP) lƣu trữ liệu sở thông tin tổng hợp bảng quan hệ Các bảng đƣợc lƣu trữ sở liệu nhƣ bảng data mart kho liệu Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn Lương Thị Thúy Nga Phân 50 tích thành phần phục vụ xử lý liệu đào tạo Hinh 3.7 Mơ hình liệu ROLAP Lƣu trữ khối cấu trúc ROLAP tốt cho truy vấn liệu khơng thường xun Ví dụ nhƣ 80% ngƣời dùng truy vấn liệu vòng năm trở lại đây, liệu cũ năm đƣợc đƣa vào cấu trúc ROLAP để giảm không gian đĩa bị chiếm dụng, để loại trừ liệu trùng lắp Lƣu trữ liệu cấu trúc ROLAP cung cấp lợi ích sau:  ROLAP cho phép Cube Builder tự động tạo mục  ROLAP ánh xạ tổng hợp có sẵn từ data mart kho liệu OLAP Manager đƣợc phép sử dụng tổng hợp có sẵn để tổng hợp mà khơng cần tính tốn lại cho truy vấn  ROLAP tạo địn bẩy cho hệ quản trị sở liệu quan hệ nhằm cho nhà quản trị hệ thống trì hiệu  ROLAP hỗ trợ Microsoft SQL Server, Oracle, Access Open Database Connectivity (ODBC) 3.2.5.3 Mơ hình lai OLAP (HOLAP): Mơ hình OLAP lai (HOLAP) kết hợp MOLAP ROLAP Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn Lương Thị Thúy Nga Phân 51 tích thành phần phục vụ xử lý liệu đào tạo Hình 3.8 Mơ hình liệu HOLAP Lƣu trữ khối cấu trúc HOLAP tốt cho truy vấn tổng hợp liệu thƣờng xuyên dựa lƣợng lớn liệu sở Ví dụ, lƣu trữ liệu bán hàng theo hàng quý, hàng năm cấu MOLAP liệu hàng tháng, hàng tuần hàng ngày cấu trúc ROLAP Lợi ích việc lƣu trữ cấu trúc HOLAP là:  Lấy liệu khối nhanh cách sử dụng xử lý truy vấn tốc độ cao MOLAP  Tiêu thụ khơng gian lƣu trữ MOLAP  Tránh trùng lắp liệu 3.2.5.4 So sách mơ hình: Bảng sau so sánh tổng hợp ba mơ hình lƣu trữ hỗ trợ OLAP: MOLAP Lƣu trữ liệu sở Khối Số hóa Trung tâm Học liệu – Đại học Thái Nguyên ROLAP Bảng quan hệ HOLAP Bảng quan hệ http://www.lrc-tnu.edu.vn Lương Thị Thúy Nga Phân 52 tích thành phần phục vụ xử lý liệu đào tạo Lƣu trữ thông tin tổng hợp Khối Bảng quan hệ Khối Hiệu suất thực truy vấn Nhanh Chậm Nhanh Tiêu thụ không gian lƣu trữ Nhiều Thấp Trung bình Chi phí bảo trì Cao Thấp Trung bình 3.2.6.Kiến trúc khối OLAP Đối tƣợng OLAP khối, thể đa chiều liệu chi tiết tổng hợp Một khối bao gồm nguồn liệu, chiều, độ đo phần dành riêng Các khối đƣợc thiết kế dựa yêu cầu phân tích ngƣời dùng Một kho liệu hỗ trợ nhiều khối khác nhƣ khối Bán hàng, khối Bảng kiểm kê,…  Dữ liệu nguồn khối nơi chứa kho liệu cung cấp liệu cho khối  Các chiều đƣợc ánh xạ từ thông tin bảng chiều kho liệu vào mức phân cấp, ví dụ nhƣ chiều Địa lý gồm mức nhƣ Lục địa, Quốc gia, Tỉnh-Thành phố Các chiều đƣợc tạo cách độc lập chia sẻ khối nhằm xây dựng khối dễ dàng để chắn thơng tin tổng hợp cho phân tích ln ổn định Ví dụ, chiều chia sẻ phân cấp sản phẩm đƣợc sử dụng tất khối cấu tạo thơng tin tổng hợp sản phẩm ổn định khối sử dụng chiều  Một chiều ảo dạng đặc biệt chiều mà ánh xạ thuộc tính từ thành viên chiều khác để sau đƣợc sử dụng khối Ví dụ, chiều ảo thuộc tính kích thƣớc sản phẩm cho phép khối tổng hợp liệu nhƣ số lƣợng sản phẩm bán đƣợc theo kích thƣớc, nhƣ số lƣợng áo bán đƣợc theo kiểu theo kích thƣớc Các chiều ảo thuộc tính thành viên đƣợc đánh giá cần thiết cho truy vấn chúng khơng địi hỏi phải có khối lƣu trữ vật lý Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn Lương Thị Thúy Nga Phân 53 tích thành phần phục vụ xử lý liệu đào tạo  Các độ đo xác định giá trị số từ bảng kiện (fact table) mà đƣợc tổng hợp cho phân tích nhƣ giá bán, chi phí số lƣợng bán  Các phần dành riêng vật chứa lƣu trữ đa chiều, giữ liệu khối Mỗi khối chứa phần, liệu khối kết hợp từ nhiều phần Mỗi phần lấy liệu nguồn liệu khác lƣu vị trí riêng biệt Dữ liệu phần đƣợc cập nhật độc lập với phần khác khối Ví dụ, liệu khối đƣợc chia theo thời gian, với phần chứa liệu năm hành, phần khác chứa liệu năm trƣớc, phần thứ ba chứa tất liệu năm trƣớc Các phần khối đƣợc lƣu trữ độc lập cách thức khác với mức độ tổng kết khác Các phần ngƣời dùng, họ khối đối tƣợng đơn, chúng cung cấp tuỳ chọn đa dạng để quản lý liệu OLAP  Một khối ảo khung nhìn luận lý (logic) phần chia nhiều khối Một khối ảo đƣợc sử dụng để kết (join) khối khác để chia sẻ chiều chung đó, ví dụ nhƣ kết khối Bán hàng khối Kho nhằm mục đích phân tích đặc biệt trì khối tách biệt cho đơn giản Các chiều (dimension) độ đo (measure) đƣợc chọn từ khối đƣợc kết để thể khối ảo 3.2.7 Mơ hình kiến trúc dịch vụ OLAP Kiến trúc dịch vụ OLAP gồm thành phần: Server Khách Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn Lương Thị Thúy Nga Phân 54 tích thành phần phục vụ xử lý liệu đào tạo Hình 3.9 Kiến trúc dịch vụ OLAP 3.2.7.1 Kiến trúc thành phần Server Hình 3.10 Kiến trúc thành phần Server Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn Lương Thị Thúy Nga Phân 55 tích thành phần phục vụ xử lý liệu đào tạo Dịch vụ OLAP SQL Server cung cấp thành phần Server có khả tạo quản lý liệu OLAP đa chiều, đồng thời cung cấp liệu cho khách qua dịch vụ PivotTable Các thao tác thành phần Server bao gồm việc tạo khối liệu đa chiều từ kho sở liệu quan hệ lƣu trữ chúng cấu trúc khối đa chiều (MOLAP), sở liệu quan hệ (ROLAP) kết hợp hai (HOLAP) Siêu liệu cấu trúc khối đa chiều đƣợc lƣu trữ kho sở liệu quan hệ Các thao tác đƣợc thành phần Server cung cấp gồm:  Khả tạo quản lý khối OLAP  Phục vụ lấy liệu làm cho sử dụng đƣợc từ ứng dụng khách 3.2.7.2 Kiến trúc thành phần Khách Hình 3.11 Kiến trúc thành phần Khách Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn Lương Thị Thúy Nga Phân 56 tích thành phần phục vụ xử lý liệu đào tạo Thành phần khách dịch vụ PivotTable giao tiếp với OLAP server cung cấp giao diện cho ứng dụng khách sử dụng truy cập liệu OLAP server Các ứng dụng khách kết nối đến dịch vụ PivotTable cách sử dụng giao diện OLE DB mơ hình ADO Các ứng dụng khách sử dụng dịch vụ PivotTable để lấy liệu từ sở liệu OLAP Dịch vụ PivotTable tạo khối cục mà tập khối cƣ trú server Các khối cục đƣợc sử dụng để làm tăng hiệu thực sử dụng để thực phân tích khơng trực tuyến Dịch vụ PivotTable cơng cụ lƣu trữ, duyệt phân tích khối PivotTable OLAP Server xử lý chỗ với đặc tính phân tích trực tuyến khơng trực tuyến mà:  Cung cấp truy cập trực tuyến đến liệu OLAP nhƣ khách dịch vụ OLAP  Bao gồm đặc tính phân tích liệu, xây dựng khối quản lý cache Cho phép khối lƣu trữ cục để phân tích khơng trực tuyến nhƣ kết nối đến liệu dịch vụ OLAP trực tuyến 3.3 Dữ liệu đào tạo 3.3.1 Dữ liệu Dữ liệu công tác đào tạo xã thuộc huyện Lục Yên, tỉnh Yên bái đƣợc lƣu sở liệu Tuy nhiên hiển thị liệu trang tính để tiện thực thao tác khai phá liệu Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn Lương Thị Thúy Nga Phân 57 tích thành phần phục vụ xử lý liệu đào tạo Hình 3.12 Dữ liệu gốc 3.3.2 Khai phá liệu Một số khai phá liệu nhờ công cụ khai phá liệu bảng tính MS EXCEL đƣợc thực Dƣới vài thí dụ minh hoạ tri thức phát Hình 3.13 Thí dụ sử dụng OLAP với bảng xoay Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn Lương Thị Thúy Nga Phân 58 tích thành phần phục vụ xử lý liệu đào tạo Hình 3.14 Thí dụ sử dụng nhiều tham số cột xoay 3.4 Kết luận Chƣơng thực hành phƣơng pháp khai phá liệu đƣợc thực với nhiều kĩ thuật OLAP, với cơng cụ xoay bảng bảng tính điện tử MS EXCEL Việc khai phá liệu giúp ngƣời quản lý đào tạo có định phù hợp lớp đạo tạo công nghệ thông tin, xã, tuỳ theo số dân, trình ICT xã Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn Lương Thị Thúy Nga Phân 59 tích thành phần phục vụ xử lý liệu đào tạo KẾT LUẬN Luận văn kết luận với liệt kê công việc thực thời gian thực tập, đề xuất nhiệm vụ Khai phá liệu lĩnh vực mẻ, lý thú Luận văn trình bày, số vấn đề nhất, phƣơng pháp để khai phá liệu Phƣơng pháp khai phá liệu là: phân lớp, hồi quy, định, suy diễn, quy nạp, K- láng giềng gần, … Có nhiều phƣơng pháp khai phá liệu khác nhau, luận văn đề cập đến việc sử dụng cơng cụ OLAP, cơng cụ xoay bảng tính Excel để bƣớc đầu khai phá liệu cho việc quản lý đào tạo Trung tâm Một số vấn đề giải Chƣơng đầu trình bày số phƣơng pháp khai phá liệu, số kĩ thuật sử dụng nhiều ngành để tri thức hay liệu Khai phá liệu có nhu cầu cơng tác xử lí liệu, nhƣ cơng tác quản lí nói chung Việc sử dụng phƣơng pháp khai phá liệu có ý nghĩa quản lí đào tạo, đặc biệt cho Trung tâm đào tạo tỉnh miền núi đất nƣớc Chƣơng đề cập số phƣơng pháp xử lí liệu dựa tính tốn thơng kê Đích ban đầu đặt luận văn áp dụng kiến thức PCA để phát yếu tố ảnh hƣởng đến cơng tác đào tạo, huấn luyện quản lý đào tạo Trung tâm Giáo dục thƣờng xuyên tỉnh Yên Bái Tuy nhiên liệu không đƣợc nhiều, vấn đề đặt không phức tạp, chƣơng liệt kê số phƣơng pháp cách hệ thống để sử dụng thời gian tới Chƣơng thực hành phƣơng pháp khai phá liệu đƣợc thực với nhiều kĩ thuật OLAP, với công cụ xoay bảng bảng tính điện tử MS EXCEL Việc khai phá liệu giúp ngƣời quản lý đào tạo có định phù hợp lớp đạo tạo công nghệ thông tin, xã, tuỳ theo số dân, trình ICT xã Tuy nhiên thời gian ngắn liệu không nhiều nên việc xử lý liệu chƣa đƣợc sâu Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn Lương Thị Thúy Nga Phân 60 tích thành phần phục vụ xử lý liệu đào tạo Phương hướng tiếp tục nghiên cứu Qua việc tìm hiểu khai phá liệu, tri thức xử lí liệu đào tạo, ngƣời ta nhìn nhận lại q trình xử lí liệu có số nhận xét phát triển Xử lí liệu với nhiều phƣơng pháp khác nhau;  Cần tiếp tục tìm hiểu để sử dụng phƣơng pháp phân tích thành phần vấn đề đơn giản nhƣ Trung tâm  Đồng thời áp dụng cho CSDL lớn nhằm thấy rõ đƣợc hiểu việc phân tích thành phần để khai phá sở liệu lớn  Đánh giá hiệu cơng tác tin học hố Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn Lương Thị Thúy Nga Phân 61 tích thành phần phục vụ xử lý liệu đào tạo TÀI LIỆU THAM KHẢO Tiếng việt [1] Đỗ Trung Tuấn, Cơ sở liệu, Nhà xuất Giáo dục, 1999 [2] Lê Bá Long, Xác suất thống kê, Học viện Công nghệ bƣu viễn thơng, 2006 [3] Nguyễn Thị Hạnh, luận văn tốt nghiệp, Trƣờng Đại học Sƣ phạm Hà Nội, 2008 [4] Vũ Ngọc Thanh, luận văn tốt nghiệp, Trƣờng Đại học Công nghệ, Đại học Quốc gia Hà Nội, 2009 [5] Nguyễn Nhật Quang, Khai phá liệu, Trƣờng Đại học Bách khoa Hà Nội, 2011 Tiếng Anh [6] Ullman F., Nguyên lý hệ sở liệu tri thức, Nxb Thống kê, Tập1, 2, Bản dịch Trần Đức Quang, Cadasa, 1998 [7] Jiawei Han, Micheline Kamper, Datamining, concepts and technique, Nhà xuất Morgan Kaufmann, 2000 Địa trang web [8].http://vi.wikipedia.org/wiki/Khai_ph%C3%A1_d%E1%BB%AF_li%E1%BB% 87u [9] http://en.wikipedia.org/wiki/PCA, 2011 [10] http://en.wikipedia.org/wiki/Principal_component_analysis, 2011 [11].http://www.cs.otago.ac/cosc453/student_tutorials/principal_components.pdf, 2011 Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn ... Nga Phân viiitích thành phần phục vụ xử lý liệu đào tạo Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn Lương Thị Thúy Nga Phân tích thành phần phục vụ xử lý liệu đào tạo. .. Nga Phân 34 tích thành phần phục vụ xử lý liệu đào tạo 2.7 Phân tích thành phần Phần đề cập Phân tích thành phần (PCA - Principal Component Analysis) Nó gì? Đó cách xác định mẫu liệu, thể liệu. .. pháp xử lí liệu nhờ thống kê Chƣơng trình bày phƣơng pháp thống kê, thành phần đặc trƣng liệu cách chọn, phân tích đánh giá thành phần liệu  Chƣơng 3: Phân tích liệu phục vụ cơng tác đào tạo