LUẬN văn ỨNG DỤNG PHÂN TÍCH cụm TRONG ĐÁNH GIÁ điểm học SINH . NHỮNG VẤN ĐỀ LÝ THUYẾT VỀ LUẬN văn ỨNG DỤNG PHÂN TÍCH cụm TRONG ĐÁNH GIÁ điểm học SINH , GIẢI PHÁP VỀ LUẬN văn ỨNG DỤNG PHÂN TÍCH cụm TRONG ĐÁNH GIÁ điểm học SINH , THỰC TRẠNG VỀ LUẬN văn ỨNG DỤNG PHÂN TÍCH cụm TRONG ĐÁNH GIÁ điểm học SINH
HỌC VIỆN CÔNG NGHỆ BƯU CHÍNH VIỄN THÔNG Đỗ Văn Minh ỨNG DỤNG PHÂN CỤM DỮ LIỆU TRONG PHÂN TÍCH, ĐÁNH GIÁ KẾT QUẢ ĐIỂM CỦA HỌC SINH Chuyên ngành: Khoa học máy tính Mã số: 60.48.01.01 TÓM TẮT LUẬN VĂN THẠC SĨ HÀ NỘI - 2013 Luận văn được hoàn thành tại: HỌC VIỆN CÔNG NGHỆ BƯU CHÍNH VIỄN THÔNG Người hướng dẫn khoa học: GS.TS. Vũ Đức Thi Phản biện 1: ………………………………………… Phản biện 2: ………………………………………… Luận văn sẽ được bảo vệ trước Hội đồng chấm luận văn thạc sĩ tại Học viện Công nghệ Bưu chính Viễn thông Vào lúc: giờ ngày tháng năm Có thể tìm hiểu luận văn tại: - Thư viện của Học viện Công nghệ Bưu chính Viễn thông 1 MỞ ĐẦU Khai phá dữ liệu đã và đang được nghiên cứu, ứng dụng nhiều trong các lĩnh vực khác nhau và mang lại những lợi ích to lớn. Những vấn đề được quan tâm trong khai phá dữ liệu là phân lớp, luật kết hợp, phân cụm dữ liệu… Phân cụm dữ liệu (PCDL) là quá trình tìm kiếm để phân ra các cụm dữ liệu, các mẫu dữ liệu từ tập CSDL lớn. PCDL là một trong những kỹ thuật để khai thác dữ liệu có hiệu quả. PCDL đã được ứng dụng trong nhiều lĩnh vực khác nhau: kinh tế, y học, sinh học, bảo hiểm, quy hoạch đô thị, phân đoạn ảnh … Ngành giáo dục nói chung và các trường học nói riêng có lượng dữ liệu lưu trữ khá lớn nhưng việc phân tích, đánh giá để đưa ra các chiến lược phát triển phù hợp, cung cấp chất lượng giáo dục tốt hơn và hỗ trợ các hoạt động quản lí hiện nay chưa thực sự được quan tâm đúng mức và khai thác có hiệu quả. Với những lý do như vậy tôi chọn đề tài “Ứng dụng phân cụm dữ liệu trong phân tích, đánh giá kết quả điểm của học sinh” làm đề tài luận văn tốt nghiệp. Bố cục luận văn gồm 3 chương: Chương 1: Tìm hiểu tổng quan về khai phá dữ liệu và kỹ thuật phân cụm dữ liệu trong KPDL. Chương 2: Tìm hiểu một số thuật toán điển hình trong phân cụm dữ liệu. Chương 3: Ứng dụng thuật toán k-means để thử nghiệm phân cụm trên dữ liệu điểm của học sinh. 2 CHƯƠNG I. TỔNG QUAN VỀ KHAI PHÁ DỮ LIỆU VÀ PHÂN CỤM DỮ LIỆU 1.1 Khai phá dữ liệu 1.1.1. Giới thiệu về Khai phá dữ liệu Khai phá dữ liệu (Data Mining) là một khái niệm ra đời vào những năm cuối thập kỷ 80 của thế kỉ XX. Khai phá dữ liệu là một lĩnh vực được nghiên cứu nhằm tự động khai thác thông tin, tri thức mới hữu ích, tiềm ẩn từ các CSDL lớn, kho dữ liệu… Khai phá dữ liệu là lĩnh vực đã và đang trở thành một trong những hướng nghiên cứu thu hút được sự quan tâm của nhiều chuyên gia về CNTT trên thế giới. Trong những năm gần đây, rất nhiều các phương pháp và thuật toán mới về KPDL liên tục được công bố. Điều này chứng tỏ những ưu thế, lợi ích và khả năng ứng dụng thực tế to lớn của khai phá dữ liệu. 1.1.2 Quá trình khai phá dữ liệu Về bản chất khai phá dữ liệu là giai đoạn duy nhất tìm ra được những thông tin mới, tiềm ẩn trong CSDL và chủ yếu phục vụ cho quá trình mô tả và dự đoán. Quá trình khai phá dữ liệu gồm các bước chính được thể hiện như hình sau: Hình 1.2 Quá trình khai phá dữ liệu 3 1.1.3 Các kỹ thuật khai phá dữ liệu Với mục đích mô tả và dự đoán, các kỹ thuật thường sử dụng là: - Luật kết hợp (Association rules) - Phân cụm (Clustering) - Phân lớp (Classfication) - Hồi quy (Regression) - Cây quyết định (Decision Trees) - Mạng nơ-ron (Neural Network) - Trực quan hóa (Visualization) - Biểu diễn mô hình (Model Evaluation) - Phương pháp tìm kiếm (Search Method) - Phân tích theo trình tự thời gian (Time series Analysis) 1.1.4 Ứng dụng của Khai phá dữ liệu 1.1.5 Các xu thế và vấn đề cần giải quyết trong khai phá dữ liệu 1.2 Kỹ thuật phân cụm trong Khai phá dữ liệu 1.2.1 Tổng quan về kỹ thuật phân cụm Phân cụm dữ liệu là quá trình nhóm một tập các đối tượng tương tự nhau trong tập dữ liệu vào các cụm sao cho các đối tượng thuộc cùng một cụm là tương đồng còn các đối tượng thuộc các cụm khác nhau sẽ không tương đồng. Phân cụm dữ liệu là một kỹ thuật trong KPDL nhằm tìm kiếm, phát hiện các cụm, các mẫu dữ liệu tự nhiên tiềm ẩn và quan trọng trong tập dữ liệu lớn để từ đó cung cấp thông tin, tri thức cho việc ra quyết định. 4 Phân cụm dữ liệu còn có thể được sử dụng như một bước tiền xử lí cho các thuật toán khai phá dữ liệu khác như là phân loại và mô tả đặc điểm, có tác dụng trong việc phát hiện ra các cụm. 1.2.2 Một số khái niệm cần thiết khi tiếp cận phân cụm dữ liệu 1.2.2.1 Các kiểu dữ liệu và thuộc tính trong phép phân cụm 1.2.2.2 Đo độ tương đồng 1.2.3 Các yêu cầu đối với kỹ thuật phân cụm dữ liệu - Có khả năng mở rộng - Thích nghi với các kiểu dữ liệu khác nhau - Khám phá ra các cụm với hình thù bất kỳ - Tối thiểu lượng tri thức cần cho xác định các tham số vào - Khả năng thích nghi với dữ liệu nhiễu cao - Ít nhạy cảm với các tham số đầu vào - Thích nghi với dữ liệu đa chiều - Dễ hiểu, dễ cài đặt và khả thi 1.2.4 Các hướng tiếp cận trong phân cụm dữ liệu 1.2.4.1 Phương pháp phân hoạch (Partitioning Methods) chia một tập hợp dữ liệu có n phần tử thành k nhóm cho đến khi xác định số các cụm được thiết lập. Số các cụm được thiết lập là các đặc trưng được lựa chọn trước. Phương pháp này là tốt cho việc tìm các cụm hình cầu trong không gian Euclid. 1.2.4.2 Phương pháp phân cụm phân cấp (Hierarchical Methods) xây dựng một phân cấp trên cơ sở các đối tượng dữ liệu đang xem 5 xét. Phương pháp này là có thể làm việc tốt với các tập dữ liệu lớn nhưng khó khăn với các cụm có hình dạng lồi. 1.2.4.3 Phương pháp phân cụm dựa trên mật độ (Density- Based Methods) nhóm các đối tượng dữ liệu dựa trên hàm mật độ xác định, mật độ là số các đối tượng lân cận của một đối tượng dữ liệu theo một nghĩa nào đó. Phương pháp phân cụm dựa trên mật độ của các đối tượng để xác định các cụm dữ liệu có thể phát hiện ra các cụm dữ liệu với hình thù bất kỳ. 1.2.4.4 Phương pháp phân cụm dựa trên lưới (Grid-Based Methods) thích hợp với dữ liệu nhiều chiều, dựa trên cấu trúc dữ liệu lưới để phân cụm, phương pháp này chủ yếu tập trung áp dụng cho lớp dữ liệu không gian 1.2.4.5 Phương pháp phân cụm dựa trên mô hình (Model- Based Clustering Methods) khám phá các phép xấp xỉ tốt của các tham số mô hình sao cho khớp với dữ liệu một cách tốt nhất Kết luận chương Chương 1 tìm hiểu những kiến thức cơ bản về khai phá dữ liệu và các kỹ thuật áp dụng trong KPDL, những ứng dụng và xu thế của KPDL, Chương này cũng tìm hiểu một hướng nghiên cứu và ứng dụng trong KPDL là phân cụm dữ liệu, gồm tổng quan về kỹ thuật phân cụm, các yêu cầu đối với kỹ thuật phân cụm, các hướng tiếp cận trong phân cụm dữ liệu, các kiểu dữ liệu, độ đo tương tự, v.v 6 CHƯƠNG II. MỘT SỐ THUẬT TOÁN PHÂN CỤM DỮ LIỆU ĐIỂN HÌNH 2.1 Các thuật toán phân cụm phân hoạch 2.1.1 Thuật toán K-means Đầu vào: Một CSDL gồm n đối tượng và số các cụm k. Đầu ra: Các cụm C i (i=1, ,k) sao cho hàm tiêu chuẩn E đạt giá trị tối thiểu. Bước 1: Khởi tạo Chọn k đối tượng m j (j=1 k) là trọng tâm ban đầu của k cụm từ tập dữ liệu Bước 2: Tính toán khoảng cách Đối với mỗi đối tượng X i (i=1, ,n) , tính toán khoảng cách từ nó tới mỗi trọng tâm m j với j=1, ,k; sau đó tìm trọng tâm gần nhất đối với mỗi đối tượng. Bước 3: Cập nhật lại trọng tâm Đối với mỗi j=1, ,k; cập nhật trọng tâm cụm m j bằng cách xác định trung bình cộng của các véc-tơ đối tượng dữ liệu. Bước 4: Điều kiện dừng Lặp các bước 2 và 3 cho đến khi các trọng tâm của cụm không thay đổi 2.1.2 Thuật toán PAM Đầu vào: Số cụm k và một cơ sở dữ liệu D chứa n đối tượng Đầu ra: Một tập k cụm đã tối thiểu hoá tổng các độ đo không tương đồng của tất cả các đối tượng tới medoid gần nhất của chúng 7 Bắt đầu 1. Chọn tuỳ ý k đối tượng đại diện ban đầu; 2. Repeat 3. Ấn định mỗi đối tượng vào cụm có các đối tượng đại diện (medoid) gần nó nhất; 4. Lựa chọn ngẫu nhiên một đối tượng không điển hình o random 5. Tính hàm mục tiêu S (tổng các độ đo tương đồng của tất cả các đối tượng tới medoid gần nhất cùa chúng) bằng việc tráo đổi o j với o random ; 6. Nếu S<0 tráo đổi o j với o random để tạo thành các tập mới của k đối tượng đại diện; 7. Until không có sự thay đổi nào Kết thúc 2.1.3 Thuật toán CLARANS For i=1 to numlocal do Begin Khởi tạo ngẫu nhiên k đối tượng medois j = 1; while j < maxneighbor do Begin Chọn ngẫu nhiên một láng giềng R của S. Tính toán độ phi tương tự về khoảng cách giữa 2 láng giềng S và R. Nếu R có chi phí thấp hơn thì hoán đối R cho S và j=1 ngược lại j++; End; 8 Kiểm tra khoảng cách của phân hoạch S có nhỏ hơn khoảng cách nhỏ nhất không, nếu nhỏ hơn thì lấy giá trị này để cập nhật lại khoảng cách nhỏ nhất và phân hoạch S là phân hoạch tốt nhất tại thời điểm hiện tại. End. 2.2 Các thuật toán phân cụm phân cấp 2.2.1 Thuật toán BIRCH Bước 1: Duyệt tất cả các đối tượng trong CSDL và xây dựng một cây CF khởi tạo. Một đối tượng được chèn vào nút lá gần nhất tạo thành cụm con. Nếu đường kính của cụm con này lớn hơn T thì nút lá được tách. Khi một đối tượng thích hợp được chèn vào nút lá, tất cả các nút trỏ tới gốc của cây được cập nhật với các thông tin cần thiết. Bước 2: Nếu cây CF hiện thời không có đủ bộ nhớ trong thì tiến hành xây dựng một cây CF nhỏ hơn bằng cách điều khiển bởi tham số T (vì tăng T sẽ làm hoà nhập một số các cụm con thành một cụm, điều này làm cho cây CF nhỏ hơn). Bước này không cần yêu cầu bắt đầu đọc dữ liệu lại từ đầu nhưng vẫn đảm bảo hiệu chỉnh cây dữ liệu nhỏ hơn. Bước 3: Thực hiện phân cụm: Các nút lá của cây CF lưu giữ các đại lượng thống kê của các cụm con. Trong bước này, BIRCH sử dụng các đại lượng thống kê này để áp dụng một số kỹ thuật phân cụm thí dụ như k- means và tạo ra một khởi tạo cho phân cụm. Bước 4: Phân phối lại các đối tượng dữ liệu bằng cách dùng các đối tượng trọng tâm cho các cụm đã được khám phá từ bước 3: Đây là một bước tuỳ chọn để duyệt lại tập dữ liệu và gán nhãn lại cho các đối tượng dữ liệu tới các trọng tâm gần nhất. Bước này nhằm để gán nhãn cho các dữ liệu khởi tạo và loại bỏ các đối tượng ngoại lai [...]... cho việc phân tích và đánh giá kết quả học tập của học sinh Với chương trình ứng dụng tôi xây dựng phần nào đã hỗ trợ tốt hơn khi đưa ra được thông tin các cụm, đồ thị tương ứng và danh sách học sinh tương ứng trong từng cụm Kết luận chương Việc phân cụm các học sinh chính là việc nhóm các học sinh có khả năng học tốt hay học yếu ở cùng một số môn học vào một cụm Nói cách khác, phân cụm học sinh là... vài môn học để phân tích Dựa trên kết quả phân cụm khi sử dụng chức năng Phân cụm theo ĐTB môn người sử dụng có thể thực hiện các yêu cầu như: - Chọn đội tuyển học sinh giỏi các bộ môn: chọn một môn học để phân cụm và lấy danh sách học sinh trong cụm có ĐTB cao nhất (các học sinh khá giỏi) - Chọn danh sách học sinh cần học phụ đạo: lấy danh sách trong cụm có ĐTB thấp nhất (các học sinh có học lực yếu,... Đại học cho học sinh: phân cụm các môn thi theo khối thi và chọn ra danh sách học sinh trong các cụm có tổng ĐTB cao nhất - Đánh giá việc giảng dạy, học tập của giáo viên và học sinh Có kế hoạch điều chuyển học sinh giữa các lớp để các em có môi trường học tập tốt nhất 21 Hình 3.4 Phân cụm dữ liệu theo điểm trung bình môn học 3.3.3 Phân cụm dữ liệu điểm trên phần mềm WEKA và SPSS Phân cụm dữ liệu điểm. .. năm học và từng khối lớp - Phân cụm dữ liệu theo ĐTB cả năm hoặc phân cụm theo ĐTB một hoặc nhiều môn học: Chương trình cho phép chọn năm học, khối lớp cần phân tích, số cụm muốn phân tích, các môn học được phân tích … trong phần Tùy chọn phân cụm Phần hiển thị kết quả phân cụm đưa ra thông tin các cụm: tên cụm, số phần tử, tỷ lệ, biểu đồ của các cụm và thông tin chi tiết cụm (tên học sinh trong cụm, ... lớp 12A1 có sự phân cấp quá rõ ràng giữa 2 loại học sinh khá giỏi và yếu kém, cần có biện pháp hay kế hoạch phụ đạo các học sinh yếu kém - So sánh với kết quả phân cụm trên dữ liệu điểm của học kì 1 và kết quả phân cụm học sinh năm học trước (năm 2011) cho thấy sự ổn định và tiến bộ trong việc học tập của học sinh 3.3.2 Phân cụm theo ĐTB môn học Với chức năng Phân cụm theo ĐTB các môn học, ta có thể... triển các ứng dụng khác Tùy vào từng ứng dụng và căn cứ vào các đặc tính của thuật toán ta có thể tìm được các thuật toán phù hợp để áp dụng cho bài toán thực tế 16 CHƯƠNG 3 ỨNG DỤNG THUẬT TOÁN PHÂN CỤM K-MEANS TRONG PHÂN TÍCH, ĐÁNH GIÁ KẾT QUẢ ĐIỂM CỦA HỌC SINH 3.1 Đặt vấn đề Cuối mỗi học kì, mỗi năm học dựa trên kết quả điểm trung bình (ĐTB) của học sinh các thầy, cô giáo, các nhà quản lý giáo dục... tôi có ý tưởng áp dụng kỹ thuật phân cụm trong khai phá dữ liệu để phân tích, đánh giá dữ liệu điểm của học sinh 3.2 Giải quyết vấn đề 3.2.1 Xác định bài toán Dữ liệu vào (Input): Dữ liệu được thu thập từ ĐTB, điểm tổng kết cuối học kì, cuối năm học của học sinh Dữ liệu ra (Output): Các cụm học sinh được phân nhóm theo kết quả ĐTB của một hay một số bộ môn, hoặc phân cụm theo ĐTB học kỳ, ĐTB cả năm... dữ liệu điểm tương ứng của từng học sinh, thống kê số lượng theo từng lớp) … các kết quả phân cụm có thể xuất ra tệp Excel để tiện sử dụng cho nhiều công việc khác 18 Hình 3.2 Giao diện nhập và xem dữ liệu 3.3 Kết quả thử nghiệm Trên thực tế, kết quả học tập của học sinh được đánh giá dựa trên học lực và hạnh kiểm Trong luận văn này chỉ phân tích các dữ liệu về ĐTB của học sinh (đánh giá về học lực)... phương pháp Phân cụm dữ liệu nói riêng Luận văn đã nghiên cứu, tìm hiểu và trình bày được một số kỹ thuật và thuật toán phân cụm dữ liệu điển hình, dựa trên các phương pháp đã có, cài đặt thử nghiệm thuật toán k-means trong chương trình phân cụm học sinh theo kết quả điểm trung bình môn học và điểm trung bình cuối kì, cuối năm học nhằm hỗ trợ phân tích, đánh giá kết quả học tập của học sinh đa chiều... 5 mức xếp loại học lực của học sinh: Giỏi, Khá, Trung bình, Yếu, Kém Vì vậy, trong quá trình thử nghiệm tôi chọn số cụm để phân tích từ 3 đến 5 cụm và có thể phân tích theo ĐTB cuối mỗi học kì hoặc ĐTB cuối năm học 19 3.3.1 Phân cụm theo ĐTB cả năm Hình 3.3 Phân cụm dữ liệu theo điểm trung bình cả năm Ví dụ, từ kết quả phân cụm với dữ liệu khối 12 năm 2012 có thể đưa ra một vài đánh giá và nhận xét . TOÁN PHÂN CỤM K-MEANS TRONG PHÂN TÍCH, ĐÁNH GIÁ KẾT QUẢ ĐIỂM CỦA HỌC SINH. 3.1 Đặt vấn đề Cuối mỗi học kì, mỗi năm học dựa trên kết quả điểm trung bình (ĐTB) của học sinh các thầy, cô giáo,. chọn năm học, khối lớp cần phân tích, số cụm muốn phân tích, các môn học được phân tích … trong phần Tùy chọn phân cụm. Phần hiển thị kết quả phân cụm đưa ra thông tin các cụm: tên cụm, số. HỌC VIỆN CÔNG NGHỆ BƯU CHÍNH VIỄN THÔNG Đỗ Văn Minh ỨNG DỤNG PHÂN CỤM DỮ LIỆU TRONG PHÂN TÍCH, ĐÁNH GIÁ KẾT QUẢ ĐIỂM CỦA HỌC SINH Chuyên ngành: Khoa học máy tính