CÁC BÀI TOÁN KHAI PHÁ DỮ LIỆU VÀ ỨNG DỤNG

TRƯỜNG ĐẠI HỌC THỦ DẦU MỘT KHOA CÔNG NGHỆ THÔNG TIN CÁC BÀI TOÁN KHAI PHÁ DỮ LIỆU VÀ ỨNG DỤNG CỦA KHAI PHÁ DỮ LIỆU NHÓM THỰC HIỆN: 1. Phạm Thị Nhung. 2. Lê Thị Sáu. 3. Lê Lữ Hoàng Nhựt Ánh. 4. Nguyễn Thị Thu Thủy. 5. Võ Thị Huê 1. NHU CẦU KHAI PHÁ DỮ LIỆU SỰ BÙNG NỔ THÔNG TIN!  Nhiều dữ liệu được sinh thêm:  Web, văn bản, ảnh …  Giao dịch thương mại, cuộc gọi,  DL khoa học: thiên văn, sinh học …  Thêm nhiều dữ liệu được nắm giữ:  Công nghệ lưu giữ nhanh hơn và rẻ hơn.  Hệ quản trị CSDL có thể quản lý các cơ sở dữ liệu với kích thước lớn hơn. • Vấn đề bùng nổ dữ liệu Các tiện ích thu thập dữ liệu tự động và công nghệ cơ sở dữ liệu lớn mạnh dẫn tới một lượng lớn dữ liệu được tích lũy và/hoặc cần được phân tích trong cơ sở dữ liệu, kho dữ liệu và trong các nguồn chứa dữ liệu khác. • Chúng ta bị ngập lụt trong dữ liệu mà khát tri thức! Giải pháp: Kho dữ liệu và Khai phá dữ liệu (mining) Tạo lập kho dữ liệu và quá trình phân tích dữ liệu trực tuyến OLAP. Khai phá tri thức hấp dẫn (luật, quy luật, mẫu, ràng buộc) từ dữ liệu trong CSDL lớn. 2. KHAI PHÁ DỮ LIỆU LÀ GÌ? Theo J.Han và M.Kamber (2006) [1]: Quan niệm 1: Khai phá dữ liệu (Data Mining) là quá trình trích chọn ra tri thức từ trong một tập hợp rất lớn dữ liệu. Khai phá dữ liệu = Phát hiện tri thức từ dữ liệu (KDD: Knowledge Discovery From Data). Quan niệm 2: Khai phá dữ liệu (Data Mining) chỉ là một bước quan trọng trong quá trình phát hiên tri thức từ dữ liệu (KDD). 3. CÁC BÀI TOÁN KHAI PHÁ DỮ LIỆU ĐIỂN HÌNH Mục tiêu tổng quát của khai phá dữ liệu là mô tả và dự báo  Bài toán mô tả: hướng tới việc tìm ra các mẫu mô tả dữ liệu.  Bài toán dự báo: sử dụng một số biến (hoặc trường) trong cơ sở dữ liệu để dự đoán về giá trị chưa biết hoặc giá trị sẽ có trong tương lai của các biến. ⟹ Thể hiện thông qua các bài toán cụ thể: 1. Mô tả khái niệm 2. Quan hệ kết hợp 3. Phân cụm 4. Phân lớp 5. Hồi quy 6. Mô hình phụ thuộc 7. Phát hiện thay đổi và độ lệch 3.1. Mô tả khái niệm  Nhằm tìm ra các đặc trưng và tính chất của khái niệm.  Các bài toán điển hình bao gồm: tổng quát hóa, tóm tắt, phát hiện các đặc trưng dữ liệu ràng buộc,… Bài toán tóm tắt là một trong những bài toán mô tả điển hình, áp dụng các phương pháp để tìm ra một mô tả cô đọng đối với một tập con dữ liệu. Ví dụ: xác định kỳ vọng và độ lệch chuẩn của một dãy các giá trị. 3.2. Tìm quan hệ kết hợp  Phát hiện mối quan hệ kết hợp trong tập dữ liệu là bài toán quan trọng trong khai phá dữ liệu.  Một trong những mối quan hệ kết hợp điển hình là quan hệ kết hợp giữa các biến dữ liệu trong đó bài toán khai phá luật kết hợp là một bài toán tiêu biểu. Bài toán khai phá luật kết hợp thực hiện việc phát hiện ra mối quan hệ kết hợp giữa các tập thuộc tính (các tập biến) có dạng X⟶Y, trong đó X và Y là hai tập thuộc tính. “Sự xuất hiện của X kéo theo sự xuất hiện của Y như thế nào?” 3.3. Phân lớp  Thực hiện việc xây dựng (mô tả) các mô hình (hàm) dự báo nhằm mô tả hoặc phát hiện các lớp hoặc khái niệm cho các dự báo tiếp theo.  Một số phương pháp điển hình là: cây quyết định, luật phân lớp, mạng neuron,…  Nội dung của phân lớp chính là một hàm ánh xạ các dữ liệu vào trong một số các lớp (nhóm) đã biết.  Phân lớp còn được gọi là “học máy có giám sát” (supervised learning). 3.4. Phân cụm  Thực hiện việc nhóm dữ liệu thành các “cụm” (có thể coi là một lớp mới) để có thể phát hiện được các mẫu phân bố dữ liệu trong miền ứng dụng.  Hướng tới việc nhận biết một tập hữu hạn các cụm hoặc các lớp để mô tả dữ liệu.  Mục tiêu của phân cụm là cực đại hóa tính tương đồng giữa các phần tử trong cùng cụm và cực tiểu hóa tính tương đồng giữa các phần tử khác cụm.  Phân cụm còn được gọi là “học máy không có giám sát” (unsupervised learning). 3.5. Hồi quy  Là bài toán điển hình trong phân tích thống kê và dự báo.  Tiến hành việc dự đoán các giá trị của một hoặc một số biến phụ thuộc vào giá trị của một tập hợp các biến độc lập.  Có thể quy về việc học một hàm ánh xạ dữ liệu nhằm xác định giá trị thực của một biến theo một số biến khác. 3.6. Mô hình phụ thuộc  Hướng tới việc tìm ra một mô hình mô tả sự phụ thuộc có ý nghĩa giữa các biến.  Bao gồm 2 mức:  Mức cấu trúc của mô hình: thường dưới dạng đồ thị trong đó các biến là phụ thuộc bộ phân vào các biến khác.  Mức định lượng của mô hình: mô tả sức mạnh của tính phụ thuộc khi sử dụng việc đo tính theo giá trị số. 3.7. Phát hiện biến đổi và độ lệch  Tập trung phát hiện hầu hết sự thay đổi có ý nghĩa dưới dạng độ đo đã biết trước hoặc giá trị chuẩn, cung cấp những tri thức về sự biến đổi và độ lệch cho người dùng. Thường được ứng dụng trong bước tiền xử lý. 4. ỨNG DỤNG CỦA KHAI PHÁ DỮ LIỆU Khai phá dữ liệu được vận dụng trong nhiều lĩnh vực khác nhau nhằm khai thác nguồn dữ liệu phong phú được lưu trữ trong các hệ thống thông tin. Tùy theo bản chất của từng lĩnh vực, việc vận dụng khai phá dữ liệu có những cách tiếp cận khác nhau. Ngân hàng: Xây dựng mô hình dự báo rủi ro tín dụng. Tìm kiếm tri thức, quy luật của thị trường chứng khoán và đầu tư bất động sản. Thương mại điện tử: Tìm hiểu, định hướng thúc đẩy, giao tiếp với khách hàng. Phân tích hành vi mua sắm trên mạng và cho biết thông tin tiếp thị phù hợp với nhiều loại khách hàng. Marketing: Phân tích nhu cầu khách hàng dựa trên mẫu dữ liệu mua bán hàng từ đó xác định chiến lược kinh doanh, quảng cáo, kế hoạch sản xuất, … Khai phá dữ liệu cũng được vận dụng hiệu quả để giải quyết các bài toán phức tạp trong các ngành đòi hỏi kỹ thuật cao, như tìm kiếm mỏ dầu từ ảnh viễn thám, cảnh báo hỏng hóc trong các hệ thống sản xuất, … Các kỹ thuật Khai phá dữ liệu đã được áp dụng thành công trong việc dự đoán tải sử dụng điện năng cho các công ty cung cấp điện, lưu lượng viễn thông cho các công ty điện thoại, mức độ tiêu thụ sản phẩm cho các nhà sản xuất, giá trị của sản phẩm trên thị trường cho các công ty tài chính, … Ngoài ra, Khai phá dữ liệu còn được áp dụng cho các vấn đề xã hội như phân tích các kết quả phòng chống và điều trị một số loại bệnh, phân tích tác hại của ma tuý, phát hiện tội phạm hay tăng cường an ninh xã hội, Việc vận dụng thành công đã mang lại những hiệu quả thiết thực cho các hoạt động diễn ra hàng ngày trong đời sống.  Phân tích dữ liệu và hỗ trợ quyết định  Phân tích và quản lý thị trường  Tiếp thị định hướng, quản lý quan hệ khách hàng (CRM), phân tích thói quen mua hàng, bán hàng chéo, phân đoạn thị trường.  Phân tích và quản lý rủi ro  Dự báo, duy trì khách hàng, cải thiện bảo lãnh, kiểm soát chất lượng, phân tích cạnh tranh.  Phát hiện gian lận và phát hiện mẫu bất thường (ngoại lai)  Ứng dụng khác  Khai phá Text (nhóm mới, email, tài liệu) và khai phá Web.  Khai phá dữ liệu dòng.  Phân tích DNA và dữ liệu sinh học. Phân tích kinh doanh: Khai phá quá trình WMP Van der Aalst (2011). Process Mining: Discovery, Conformance and Enhancement of Business Processes, Springer. Phát hiện gian lận và khai phá mẫu hiếm • Tiếp cận: Phân cụm & xây dựng mô hình gian lận, phân tích bất thường • Ứng dụng: Chăm sóc sức khỏe, bán lẻ, dịch vụ thẻ tín dụng, viễn thông.  Bảo hiểm tự động: vòng xung đột  Rửa tiền: giao dịch tiền tệ đáng ngờ  Bảo hiểm y tế • Bệnh nghề nghiệp, nhóm bác sỹ, và nhóm chỉ dẫn • Xét nghiệm không cần thiết hoặc tương quan  Viễn thông: cuộc gọi gian lận • Mô hình cuộc gọi: đích cuộc gọi, độ dài, thời điểm trong ngày hoặc tuần. Phân tích mẫu lệch một dạng chuẩn dự kiến  Công nghiệp bán lẻ • Các nhà phân tích ước lượng rằng 38% giảm bán lẻ là do nhân viên không trung thực  Chống khủng bố ỨNG DỤNG KHAI PHÁ DỮ LIỆU XÂY DỰNG CÔNG CỤ DỰ ĐOÁN KẾT QUẢ HỌC TẬP CỦA SINH VIÊN APPLICATION OF DATA MINING FOR BUILDING TOOL TO FOR THE LEARNING RESULTS OF STUDENTS 1. Phân tích xây dựng mô hình Quá trình khai phá dữ liệu được tiến hành theo quy trình chuẩn, bao gồm các bước thuthập, làm sạch, trích lọc, chuyển đổi dữ liệu về dạng phù hợp, ứng dụng kỹ thuật khai phá dữ liệu để xây dựng mô hình và đánh giá kết quả thu được. Nguồn dữ liệu cho việc khai phá nhằm dự đoán kết quả học tập sẽ được thu thập từ nhiều nguồn dữ liệu khác nhau. Hồ sơ cá nhân của sinh viên đã nộp vào trường để dự tuyển được phân công nhập vào các bảng tính excel, bao gồm các thông tin như họ tên, ngày sinh, nơi sinh, phái, dân tộc, khu vực, điểm ưu tiên Ngoài hồ sơ mà thí sinh nộp vào trường, còn một nguồn dữ liệu quan trọng khác đó là dữ liệu từ kết quả thi tuyển hằng năm như số báo danh, khối thi, ngành chọn thi, điểm thi các môn, điểm ưu tiên, kết quả (Đậu, Hỏng). Nguồn dữ liệu quan trọng nữa, đó là thông tin kết quả học tập toàn khoá cũng như các môn học mỗi sinh viên chọn học ở mỗi học kỳ như: mã sinh viên, ngành học, môn học, kết quả Dữ liệu cần xử lý được thu thập từ các bộ phận quản lý. Vì vậy, dữ liệu có tính trung thực cao, hầu hết đều phản ánh đúng ngữ nghĩa. Tuy nhiên, do bộ phận quản lý hay thay đổi và hệ thống lưu trữ quản lý thông tin sinh viên chưa được nâng cao, nên dữ liệu thu thập không được liên tục theo thời gian, một số trường dữ liệu bị thiếu do việc cập nhật ban đầu không đầy đủ hoặc chưa được nhập liệu. Từ đó loại bỏ ra các bản ghi có trường dữ liệu bị thiếu hoặc bị trùng lặp, các môn học, ngành học đều được quy ước mã. Kết quả, tác giả thu được gần 70.000 bản ghi về điểm tổng kết học phần và dữ liệu cá nhân, tuyển sinh cho hơn 2000 sinh viên thuộc hệ đào tạo chính quy bậc cao đẳng tại một trường cao đẳng ở Miền Trung. Dữ liệu trong các tệp excel đó được chuyển vào cơ sở dữ liệu trong hệ quản trị Microsoft SQL Server 2008 R2 bằng chức năng Import. Sau đó, chúng được tổ chức dưới dạng có thể sử dụng để khai phá bằng cách thiết kế và thực hiện các lệnh truy vấn SQL. Đối với dữ liệu cần thiết để thực hiện nghiên cứu là lộ trình học, ta không thể liệt kê và gắn với mỗi sinh viên bằng các truy vấn SQL đơn giản. Đề tài đề xuất xây dựng một công cụ riêng để thực hiện việc này bằng ngôn ngữ lập trình C#. 2. Xây dựng ứng dụng dự đoán kết quả học tập Với ý tưởng đã nêu, ứng dụng dự đoán kết quả học tập của sinh viên được xây dựng Theo sơ đồ (Hình 1) Để trình diễn kết quả nghiên cứu, tác giả chỉ xây dựng giao diện dự đoán kết quả học tập như trong hình vẽ bên dưới và chỉ cho phép tư vấn cho một sinh viên. Khi triển khai ứng dụng, giao diện và chức năng sẽ được xây dựng tùy vào nhóm người dùng. Chẳng hạn, với người dùng là giảng viên chủ nhiệm hoặc các cấp quản lý, ứng dụng có thể liệt kê thông tin của tất cả các sinh viên theo từng lớp, kết hợp với các lộ trình có thể, thực hiện dự báo và trên cơ sở đó cho phép tư vấn cho từng sinh viên trong lớp. Đối với sinh viên, giao diện sẽ được thiết kế trong một trang web để sinh viên có thể truy cập từ xa. Khi người dùng chọn một lộ trình học, ứng dụng sẽ hiển thị chi tiết các môn học cùng với học kỳ của lộ trình học đó. Ngoài ra, hệ thống cho phép xem các mô hình đã được xây dựng nhằm hỗ trợ cho người dùng cuối là các nhà quản lý, không phải là các kỹ thuật viên xây dựng mô hình. Ngoài ra, dữ liệu đào tạo trong cơ sở dữ liệu có thể được bổ sung theo thời gian, mô hình đề xuất có thể sẽ không còn là tối ưu. Vì vậy, ứng dụng cung cấp chức năng cho phép người dùng cuối – các nhà quản lý cập nhật mô hình. Để xây dựng ứng dụng với các chức năng đã nêu, tác giả đã tiến hành nghiên cứu và sử dụng thư viện API do Microsoft cung cấp cùng với ngôn ngữ truy vấn khai phá dữ liệu DMX – Data Mining Extensions. 3. Kết luận Để xây dựng được ứng dụng này phải nghiên cứu cơ sở lý thuyết liên quan đến ba kỹ thuật cây quyết định, luật kết hợp và Naïve Bayes, nghiên cứu quy trình triển khai ứng dụng khai phá dữ liệu. Ngoài ra, để xây dựng ứng dụng này cũng tìm hiểu các vấn đề cơ bản về dịch vụ Microsoft SQL Server 2008 R2 Analysis Services và các công cụ liên quan. Với dữ liệu huấn luyện ban đầu, mô hình cho phép phân tích các yếu tố ảnh hưởng đến kết quả học tập của sinh viên, mức độ tác động của từng yếu tố đầu vào, từ đó dự đoán được kết quả học tập cuối khóa của sinh viên qua việc kết hợp thông tin đầu vào và lộ trình học. Bên cạnh đó, chuyên đề còn xây dựng được chương trình demo hiển thị các mô hình đã xây dựng đến người dùng cuối. Với việc triển khai hệ thống thử nghiệm cho thấy khả năng ứng dụng kết quả này trong việc dự đoán kết quả học tập của sinh viên. Hệ thống không chỉ hỗ trợ cho sinh viên mà còn hỗ trợ cho giáo viên chủ nhiệm, các khoa chuyên ngành, phòng đào tạo và những ai quan tâm. + Đối với sinh viên: giúp cho sinh viên lựa chọn cho mình một lộ trình học phù hợp với điều kiện và năng lực của bản thân để đạt được kết quả học tập tối ưu. + Đối với giáo viên chủ nhiệm: hỗ trợ cho giáo viên chủ nhiệm có thể tư vấn cho sinh viên trong việc chọn một lộ trình học phù hợp. + Đối với các khoa chuyên ngành và phòng đào tạo: hỗ trợ trong việc đánh giá chất lượng cho từng lộ trình học nhằm nâng cao, cải thiện hơn nữa trong việc xây dựng các lộ trình học để phù hợp với mọi điều kiện và năng lực của sinh viên. . (KDD). 3. CÁC BÀI TOÁN KHAI PHÁ DỮ LIỆU ĐIỂN HÌNH Mục tiêu tổng quát của khai phá dữ liệu là mô tả và dự báo  Bài toán mô tả: hướng tới việc tìm ra các mẫu mô tả dữ liệu.  Bài toán dự báo: sử dụng. tranh.  Phát hiện gian lận và phát hiện mẫu bất thường (ngoại lai)  Ứng dụng khác  Khai phá Text (nhóm mới, email, tài liệu) và khai phá Web.  Khai phá dữ liệu dòng.  Phân tích DNA và dữ liệu. giữa các biến dữ liệu trong đó bài toán khai phá luật kết hợp là một bài toán tiêu biểu. Bài toán khai phá luật kết hợp thực hiện việc phát hiện ra mối quan hệ kết hợp giữa các tập thuộc tính (các