Phân tích tập mẫu hữu ích cao nhằm nâng cao chất lượng dịch vụ viễn thông

Đốivới các cơ sở dữ liệu CSDL lớn thì việc suy diễn thơng tin dựa trên dữ liệulịch sử khơng thể thực hiện được bởi các phép thống kê thơng thường mà phảisử dụng đến các cơng cụ của khai

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC DUY TÂN HỒ THỊ HỒNG NHUNG PHÂN TÍCH TẬP MẪU HỮU ÍCH CAO NHẰM NÂNG CAO CHẤT LƯỢNG DỊCH VỤ VIỄN THÔNG Chuyên ngành: Khoa học máy tính Mã số: 8480101 LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH Người hướng dẫn khoa học: TS Lê Quốc Hải ĐÀ NẴNG – Năm 2022 LỜI CẢM ƠN Được sự phân công của Khoa Sau Đại học, Trường Đại học Duy Tân và sự đồng ý của thầy giáo hướng dẫn TS Lê Quốc Hải, tôi đã thực hiện đề tài “Phân tích tập mẫu hữu ích cao nhằm nâng cao chất lượng dịch vụ Viễn thông” Để hoàn thành luận văn này, Tôi xin chân thành cảm ơn các thầy cô giáo đã tận tình hướng dẫn, giảng dạy trong suốt quá trình học tập, nghiên cứu và rèn luyện ở Trường Đại học Duy Tân Xin chân thành cảm ơn các bạn bè đồng nghiệp đã đồng hành, góp ý và giúp đỡ tôi trong mỗi bài giảng của các thầy cô giáo Và đặc biệt, xin chân thành cảm ơn thầy giáo hướng dẫn TS Lê Quốc Hải đã tận tình, chu đáo hướng dẫn tôi thực hiện luận văn này Mặc dù đã có nhiều cố gắng để thực hiện luận văn một cách hoàn chỉnh nhất, song do buổi đầu làm quen với công tác nghiên cứu khoa học, sự hạn chế về mặt kiến thức và kinh nghiệm nên không tránh khỏi những thiếu sót nhất định Rất mong nhận được sự góp ý của quý Thầy, Cô giáo và các bạn đồng nghiệp để luận văn được hoàn chỉnh hơn Tôi xin chân thành cảm ơn! Đà Nẵng, ngày tháng năm 2022 HỌC VIÊN Hồ Thị Hồng Nhung LỜI CAM ĐOAN Tôi xin cam đoan đây là công trình nghiên cứu khoa học độc lập của riêng tôi Các số liệu sử dụng phân tích trong luận án có nguồn gốc rõ ràng, đã công bố theo đúng quy định Các số liệu và kết quả nghiên cứu trong luận văn này là trung thực và không trùng lặp với các đề tài khác Đà Nẵng, ngày tháng năm 2022 HỌC VIÊN Hồ Thị Hồng Nhung MỤC LỤC LỜI CẢM ƠN i LỜI CAM ĐOAN ii DANH MỤC VIẾT TẮT .v DANH MỤC CÁC BẢNG BIỂU vi DANH MỤC HÌNH ẢNH vii MỞ ĐẦU 1 1 Lý do chọn đề tài .1 2 Mục tiêu nghiên cứu 2 3 Đối tượng và phạm vi nghiên cứu 2 4 Phương pháp nghiên cứu 3 5 Tổng quan vấn đề nghiên cứu 3 6 Cấu trúc luận văn .3 Chương 1 TỔNG QUAN VỀ KHAI PHÁ DỮ LIỆU 5 1.1 Khái niệm khai phá dữ liệu 5 1.2 Quá trình khai phá dữ liệu 5 1.3 Các kỹ thuật tiếp cận khai phá dữ liệu 7 1.4 Kiến trúc của hệ thống khai phá dữ liệu .9 1.5 Ứng dụng của khai phá dữ liệu 10 CHƯƠNG 2 KHAI PHÁ DỮ LIỆU BẰNG LUẬT KẾT HỢP VÀ PHÂN LỚP DỰ BÁO 12 2.1.Tổng quan về luật kết hợp 12 2.1.1 Các khái niệm cơ bản 12 2.1.2.Khái niệm luật kết hợp 14 2.2.Thuật toán tìm luật kết hợp Apriori .18 2.2.1.Một số khái niệm 18 2.2.2.Giải thuật Apriori để sinh các luật kết hợp 19 2.2.3.Mô tả thuật toán Apriori dưới dạng giả mã 20 2.2.4.Ví dụ minh họa thuật toán Apriori .22 2.2.5.Ưu điểm và khuyết điểm của thuật toán Apriori 26 2.3.Một số kỹ thuật cải tiến thuật toán Apriori 27 2.3.1.Thuật toán AprioriTid 27 2.3.2.Thuật toán FP-growth 28 2.3.3.So sánh thuật toán Apriori và Thuật toán FP-growth 30 2.4.Một số kỹ thuật KPDL trong phân lớp, dự báo 31 2.4.1 Cây quyết định .31 2.4.2 Phân lớp Naïve Bayes 34 CHƯƠNG 3 ỨNG DỤNG CÁC KỸ THUẬT KHAI PHÁ DỮ LIỆU VÀO PHÂN TÍCH DỮ LIỆU KHÁCH HÀNG TẠI VNPT QUẢNG TRỊ 36 3.1 Phát biểu bài toán .36 3.2.Giới thiệu các khái niệm thuê bao, nghiệp vụ trong quản lý viễn thông 36 3.3.Khảo sát hiện trạng tại đơn vị .37 3.4.Giải pháp đề xuất 38 3.5.Thực nghiệm và đánh giá kết quả .39 3.5.1 Chuẩn bị dữ liệu 39 3.5.2.Giới thiệu công cụ Weka 43 3.5.3.Thực nghiệm bằng khai phá dữ liệu .43 3.5.4 Đánh giá kết quả 49 KẾT LUẬN 53 TÀI LIỆU THAM KHẢO PHỤ LỤC KẾT QUẢ PHÁT HIỆN LUẬT KẾT HỢP QUYẾT ĐỊNH GIAO ĐỀ TÀI (Bản sao) DANH MỤC VIẾT TẮT Chữ viết tắt Giải thích thuật ngữ CNTT Công nghệ thông tin CSDL Cơ sở dữ liệu KPDL Khai phá dữ liệu TGSD Thời gian sử dụng KDD Knowledge Discovery in Databases NCKPDL Ngữ cảnh khai phá dữ liệu DANH MỤC CÁC BẢNG BIỂ Bảng 2.1 Cơ sở dữ liệu giao dịch D .17 Bảng 2.2 Tần xuất xuất hiện và độ hỗ trợ của các tập mục phổ biến 17 Bảng 2.3 CSDL sử dụng minh hoạ thuật toán Apriori 22 Bảng 2.4 Kết quả thực hiện thuật toán Aprori cho CSDL 25 Bảng 3.1 Các thuộc tính dữ liệu khai phá 41 Bảng 3.2 Số lượng bản ghi tập dữ liệu 44 Bảng 3.3 So sánh hai mô hình dự báo 52 DANH MỤC HÌNH ẢN MỞ ĐẦU 1 Lý do chọn đề tài Con người đang sống trong đại dương thông tin, và mỗi giây, mỗi phút chúng ta tiếp xúc với tin tức một cách có ý thức hoặc vô thức Vậy câu hỏi đặt ra là làm sao chúng ta có thể biến những luồng thông tin đó thành thông tin hữu ích Ngày nay, với sự phát triển như vũ bão của CNTT đã đưa ra các kỹ thuật công nghệ tiên tiến tạo điều kiện thuận lợi cho chúng ta chọn lọc ra được các thông tin hữu ích Sự phát triển của các kỹ thuật công nghệ tiên tiến đã tạo điều kiện thuận lợi cho con người thu thập thông tin, dữ liệu của các hệ thống Đối với các cơ sở dữ liệu (CSDL) lớn thì việc suy diễn thông tin dựa trên dữ liệu lịch sử không thể thực hiện được bởi các phép thống kê thông thường mà phải sử dụng đến các công cụ của khai phá dữ liệu (KPDL) KPDL là một tiến trình khai phá tự động những tri thức tiềm ẩn trong cơ sở dữ liệu, cụ thể hơn là tiến trình lọc sản sinh những tri thức hoặc mẫu tiềm ẩn chứa thông tin hữu ích từ số lượng dữ liệu lớn KPDL là tiến trình khái quát các sự kiện rời rạc trong dữ liệu thành các tri thức mang tính quy luật, hỗ trợ tích cực cho việc đưa ra các quyết định Khi việc lưu trữ dữ liệu không còn quá đắt đỏ, phần cứng có cấu hình cao, khối lượng dữ liệu khổng lồ, và có nhiều công cụ hỗ trợ cho việc phát triển KDPL, tất cả đã giúp KDPL trở thành lĩnh vực mang tính thời sự trong ngành công nghệ thông tin Đối với ngành viễn thông, thị phần và khách hàng là hai yếu tố hết sức quan trọng, quyết định sự thành công của doanh nghiệp Chính vì vậy việc nắm được các nhu cầu sở thích của khách hàng cũng như những xu hướng biến động của thị trường là một lợi thế to lớn cho các doanh nghiệp cạnh tranh và mở rộng thị trường của mình VNPT Quảng Trị là doanh nghiệp cung cấp các sản phẩm dịch vụ về viễn thông, công nghệ thông tin, không đứng ngoài xu thế của thị trường, VNPT Quảng Trị luôn không ngừng nâng cao, cải tiến các dịch vụ của mình và tìm kiếm dich vụ mới để đáp ứng nhu cầu ngày càng lớn của khách hàng Việc này đòi hỏi công ty cần phải có định hướng, chiến lược kinh doanh hợp lý để đứng vững trong môi trường viễn thông hiện nay KDPL chính là một trong những kỹ thuật hữu ích nhất để giải quyết những vấn đề này Luận văn “Phân tích tập mẫu hữu ích cao nhằm nâng cao chất lượng dịch vụ Viễn thông” hỗ trợ phát hiện các quy luật ẩn chứa trong khối dữ liệu khổng lồ mà doanh nghiệp đang có và đưa ra những dự đoán, quyết định đúng, sẽ mang lại cho doanh nghiệp nhiều cơ hội để phát triển các ứng dụng mang tính thực tiễn cao 2 Mục tiêu nghiên cứu Mục tiêu của đề tài là tìm hiểu một số kỹ thuật khai phá dữ liệu, áp dụng các kỹ thuật đó để khai phá dữ liệu sử dụng dịch vụ của khách hàng, từ đó dự báo các tác nhân ảnh hưởng đến chất lượng dịch vụ và nguyên nhân dẫn tới khách hàng rời mạng Dựa vào kết quả này mà người quản lý của doanh nghiệp viễn thông nắm bắt được những yếu tố nào ảnh hưởng đến việc khách hàng ngừng sử dụng dịch vụ, qua đó sẽ có những lựa chọn, chính sách phù hợp để nâng cao chất lượng dịch vụ, hạn chế khách hàng rời mạng 3 Đối tượng và phạm vi nghiên cứu 3.1 Đối tượng nghiên cứu - Đối tượng của nghiên cứu này là các nội dung tổng quan về khai phá dữ liệu, các kỹ thuật khai phá dữ liệu và thuật toán khai phá luật kết hợp trong CSDL của hệ thống điều hành tác nghiệp của VNPT Quảng Trị 3.2 Phạm vi nghiên cứu Do hiện nay VNPT Quảng Trị cung cấp số lượng dịch vụ rất lớn, mỗi dịch vụ lại có những đặc điểm và yêu cầu khác nhau nên quy mô và phạm vi