ỨNG DỤNG DATA MINING CHO PHÁT TRIỂN CÁC THUÊ BAO ĐIỆN THOẠI CỐ ĐỊNH

Ứng dụng Data Mining cho phát triển các thuê bao điện thoại cố định ĐẠI HỌC QUỐC GIA THÀNH PHỐ HỒ CHÍ MINH TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN  TIỂU LUẬN MÔN KHAI PHÁ DỮ LIỆU Đề tài: ỨNG DỤNG DATA MINING CHO PHÁT TRIỂN CÁC THUÊ BAO ĐIỆN THOẠI CỐ ĐỊNH GVHD : PGS-TS.ĐỖ PHÚC HỌC VIÊN : DUY TÙNG Lớp : Cao Học 6 Hà Nội. Mã học viên : 1102011 Hà Nội, tháng 11 – 2012 1 Ứng dụng Data Mining cho phát triển các thuê bao điện thoại cố định Mục lục Trang A. MỞ ĐẦU 2 B. NỘI DUNG CHÍNH 3 CHƯƠNG I: LÝ THUYẾT VỀ KHO DỮ LIỆU (DATA WAREHOUSE-DW) VÀ KHAI PHÁ DỮ LIỆU (DATA MINING) 3 I. Kho dữ liệu (Data Warehouse) 3 II. Khai phá dữ liệu 4 1. Khám phá tri thức và khai phá dữ liệu là gì? 4 2. Quá trình phát hiện tri thức 5 2.1. Hình thành và định nghĩa bài toán 5 2.2. Thu thập và tiền xử lý dữ liệu 5 2.3. Khai phá dữ liệu và rút ra các tri thức 6 2.4. Phân tích và kiểm định kết quả 6 2.5. Sử dụng các tri thức phát hiện được 6 3. Quá trình khai phá dữ liệu 7 4. Chức năng của khai phá dữ liệu 9 5. Các kỹ thuật khai phá dữ liệu 9 5.1. Phân lớp dữ liệu 10 5.2. Phân cụm dữ liệu 2 Ứng dụng Data Mining cho phát triển các thuê bao điện thoại cố định 10 5.3. Khai phá luật kết hợp 10 5.4. Hồi quy 11 5.5. Giải thuật di truyền 11 5.6. Mạng nơron 11 5.7. Cây quyết định 11 6. Các dạng dữ liệu có thể khai phá được 11 7. Các lĩnh vực liên quan đến khai phá dữ liệu và ứng dụng của khai phá dữ liệu 12 7.1. Các lĩnh vực liên quan đến phát hiện tri thức và khai phá dữ liệu 12 7.2. Ứng dụng của khai phá dữ liệu 12 8. Các thách thức và hướng phát triển của phát hiện tri thức và khai phá dữ liệu 13 CHƯƠNG II: TÌM HIỂU VỀ CÔNG CỤ SQL 2005 14 I. SQL Manager Studio 14 II. SQL Intergrate 14 III. SQL Analysis 14 1. Data Source 14 2. Data Source Views 14 3. Khối – Cube 14 3 Ứng dụng Data Mining cho phát triển các thuê bao điện thoại cố định 4. Measures, Attributes and Hierarchies (kỹ thuật của UDM) 15 5. Mining Structures 15 6. Roles, Assemblies, and Miscellaneous 15 IV. SQL Report 15 CHƯƠNG III. TÌM HIỂU BÀI TOÁN : PHÁT TRIỂN THUÊ BAO 16 I. Lược đồ quan hệ kho dữ liệu 16 II. Sơ đồ tích hợp dữ liệu từ các File Excel và Kho dữ liệu 17 1. Tích hợp từ các File Excel vào Bộ đệm 17 2. Tích hợp từ bộ đệm vào Kho dữ liệu 37 3. Các kết quả đưa ra đạt được và dự kiến 56 C. Kết luận 57 Tài liệu tham khảo 58 A. MỞ ĐẦU Trong xu thế toàn cầu hóa và tự do hóa thương mại, nền kinh tế thế giới và khu vực tiếp tục biến đổi nhanh chóng và sâu sắc trên nhiều mặt. Cách mạng khoa học, công nghệ nói chung và công nghệ thông tin nói riêng tiếp tục phát triển nhanh; cuộc đấu tranh dân tộc, đấu tranh giai cấp trên toàn thế giới cũng như ở nước ta đang diễn ra hết sức phức tạp, đặt ra yêu cầu đối với các ngành kinh tế nước ta là phải nắm bắt được các công nghệ hiện đại, chủ động trong hội nhập, thực hiện công nghiệp hóa, hiện đại hóa theo định hướng xã hội chủ nghĩa. Đối với nghành Bưu chính Viễn thông, xu thế hội nhập, cạnh tranh, sức ép giảm giá cước viễn thông, những đòi hỏi xã hội đối với việc nâng cao chất lượng các dịch vụ 4 Ứng dụng Data Mining cho phát triển các thuê bao điện thoại cố định bưu chính viễn thông ngày càng cao. Ở một số lĩnh vực, một số dịch vụ, việc cạnh tranh đã trở nên gay gắt. Ngành công nghiệp viễn thông lưu trữ một khối lượng dữ liệu khổng lồ, bao gồm chi tiết cuộc gọi, thông tin cảnh báo tình trạng hệ thống mạng viễn thông và thông tin dữ liệu về khách hàng. Khả năng ứng dụng kỹ thuật khai phá dữ liệu (Data Mining) để phát hiện các quy luật ẩn chứa trong khối dữ liệu khổng lồ, giúp đưa ra các quyết định đúng đắn mang lại cho các doanh nghiệp viễn thông cơ hội để phát triển dựa trên các hoạch định chính xác mang tính lịch sử và thực tiễn cao. Đây là một hướng đi phù hợp và đã sớm được áp dụng phổ biến ở nhiều công ty viễn thông lớn trên thế giới. Chính vì lý do đó Ứng dụng DataMining cho phát triển các thuê bao điện thọai cố định sẽ giúp phát triển các thuê bao đặc biệt ở Hà Nội. Kết hợp giữa lý thuyết và thực tế công việc của mình thiết nghĩ đó là điều kiện tốt nhất để hoàn thiện bản thân. Học đi đôi với hành là vậy. Sau đây em xin đi sâu vào nội dung chi tiết của bài thu hoạch: B. NỘI DUNG CHÍNH Mục tiêu đề tài là sử dụng công cụ SQL 2005 trong ứng dụng DataMining cho việc phát triển các thuê bao điện thoại cố định ở Hà Nội, bao gồm các vấn đề chính sau: • Nắm bắt được khái quát lý thuyết về DataMining • Công cụ sử dụng SQL 2005. • Đưa ra được các báo cáo, kết quả bài toán phát triển thuê bao điện thoại cố định giúp cho việc đưa ra các quyết định nhằm giúp ích cho việc đưa ra chiến lược phát triển thuê bao ở Hà Nội 5 Ứng dụng Data Mining cho phát triển các thuê bao điện thoại cố định CHƯƠNG I: LÝ THUYẾT VỀ KHO DỮ LIỆU (DATA WAREHOUSE - DW) VÀ KHAI PHÁ DỮ LIỆU (DATA MINING) I. Kho dữ liệu (Data Warehouse-DW) Có thể nói gọn ngành tin học trong ba từ là lưu trữ, xử lý và khác thác thông tin. Về mặt lưu trữ, các hệ quản trị cơ sở dữ liệu đều thực hiện rất tốt. Tuy nhiên, khi lượng thông tin cần lưu trữ và khai thác trở nên khổng lồ đặc biệt trong những ngành như ngân hàng, tài chính…đã làm nảy sinh khái niệm DataWarehouse hay kho dữ liệu. Kho dữ liệu là tuyển tập các cơ sở dữ liệu tích hợp, hướng chủ đề, được thiết kế để hỗ trợ cho chức năng trợ giúp quyết định, mà mỗi đơn vị dữ liệu đều liên quan tới một khoảng thời gian cụ thể. Nói cách khác, kho dữ liệu là một tập hợp các cơ sở dữ liệu rất lớn tới hàng trăm GB hay thậm chí hàng Terabyte dữ liệu từ nhiều phân hệ của hệ thống, lưu trữ và phân tích phục vụ cho việc cung cấp các dịch vụ thông tin liên quan tới nghiệp vụ hệ thống. Mục tiêu chính của kho dữ liệu là giải quyết những vấn đề cơ bản sau: 1. Tích hợp dữ liệu và các siêu dữ liệu từ những nguồn khác nhau 2. Nâng cao chất lượng dữ liệu bằng các phương pháp làm sạch và tinh lọc dữ liệu theo những hướng chủ đề nhất định. 3. Tổng hợp và kết nối dữ liệu 4. Đồng bộ hóa các nguồn dữ liệu với DW 5. Phân định và đồng nhất các hệ quản trị cơ sở dữ liệu tác nghiệp như là các công cụ chuẩn để phục vụ cho DW. 6. Quản lý những siêu dữ liệu 7. Cung cấp các thông tin được tích hợp, tóm tắt hoặc được liên kết, được tổ chức theo các chủ đề. 8. Dùng trong các hệ thống hỗ trợ quyết đinh. II. Khai phá dữ liệu 1. Khám phá tri thức và khai phá dữ liệu là gì? 6 Ứng dụng Data Mining cho phát triển các thuê bao điện thoại cố định Phát hiện tri thức (Knowledge Discovery ) trong các cơ sở dữ liệu là một qui trình nhận biết các mẫu hoặc các mô hình trong dữ liệu với các tính năng: hợp thức, mới, khả ích, và có thể hiểu được. Còn khai thác dữ liệu (data mining) là một ngữ tương đối mới, nó ra đời vào khoảng những năm cuối của của thập kỷ 1980. Có rất nhiều định nghĩa khác nhau về khai phá dữ liệu. Giáo sư Tom Mitchell đã đưa ra định nghĩa của khai phá dữ liệu như sau: “Khai phá dữ liệu là việc sử dụng dữ liệu lịch sử để khám phá những qui tắc và cải thiện những quyết định trong tương lai.”. Với một cách tiếp cận ứng dụng hơn, tiến sĩ Fayyad đã phát biểu: ”Khai phá dữ liệu thường được xem là việc khám phá tri thức trong các cơ sở dữ liệu, là một quá trình trích xuất những thông tin ẩn, trước đây chưa biết và có khả năng hữu ích, dưới dạng các quy luật, ràng buộc, qui tắc trong cơ sở dữ liệu.”. Còn các nhà thống kê thì xem "khai phá dữ liệu như là một quá trình phân tích được thiết kế thăm dò một lượng cực lớn các dữ liệu nhằm phát hiện ra các mẫu thích hợp và/ hoặc các mối quan hệ mang tính hệ thống giữa các biến và sau đó sẽ hợp thức hoá các kết quả tìm được bằng cách áp dụng các mẫu đã phát hiện được cho tập con mới của dữ liệu". Nói tóm lại: khai phá dữ liệu là một bước trong quy trình phát hiện tri thức gồm có các thụât toán khai thác dữ liệu chuyên dùng dưới một số quy định về hiệu quả tính toán chấp nhận được để tìm ra các mẫu hoặc các mô hình trong dữ liệu. 2. Quá trình phát hiện tri thức Quá trình khám phá tri thức được tiến hành qua 5 bước sau: 7 Ứng dụng Data Mining cho phát triển các thuê bao điện thoại cố định Hình 1. Quá trình khám phá tri thức 2.1. Hình thành và định nghĩa bài toán Đây là bước tìm hiểu lĩnh vực ứng dụng và hình thành bài toán, bước này sẽ quyết định cho việc rút ra những tri thức hữu ích, đồng thời lựa chọn các phương pháp khai phá dữ liệu thích hợp với mục đích của ứng dụng và bản chất của dữ liệu. 2.2. Thu thập và tiền xử lý dữ liệu Trong bước này dữ liệu được thu thập ở dạng thô (nguồn dữ liệu thu thập có thể là từ các kho dữ liệu hay nguồn thông tin internet). Trong giai đoạn này dữ liệu cũng được tiền xử lý để biến đổi và cải thiện chất lượng dữ liệu cho phù hợp với phương pháp khai phá dữ liệu được chọn lựa trong bước trên. Bước này thường chiếm nhiều thời gian nhất trong quá trình khám phá tri thức. Các giải thuật tiền xử lý dữ liệu bao gồm : 1. Xử lý dữ liệu bị mất/ thiếu: Các dạng dữ liệu bị thiếu sẽ được thay thế bởi các giá trị thích hợp 2. Khử sự trùng lắp: các đối tượng dữ liệu trùng lắp sẽ bị loại bỏ đi. Kỹ thuật này không được sử dụng cho các tác vụ có quan tâm đến phân bố dữ liệu. 3. Giảm nhiễu: nhiễu và các đối tượng tách rời khỏi phân bố chung sẽ bị loại đi khỏi dữ liệu. 4. Chuẩn hoá: miền giá trị của dữ liệu sẽ được chuẩn hoá. 8 Ứng dụng Data Mining cho phát triển các thuê bao điện thoại cố định 5. Rời rạc hoá: các dạng dữ liệu số sẽ được biến đổi ra các giá trị rời rạc. 6. Rút trích và xây dựng đặc trưng mới từ các thuộc tính đã có. 7. Giảm chiều: các thuộc tính chứa ít thông tin sẽ được loại bỏ bớt. 2.3. Khai phá dữ liệu và rút ra các tri thức Đây là bước quan trọng nhất trong tiến trình khám phá tri thức. Kết quả của bước này là trích ra được các mẫu và/hoặc các mô hình ẩn dưới các dữ liệu. Một mô hình có thể là một biểu diễn cấu trúc tổng thể một thành phần của hệ thống hay cả hệ thống trong cơ sở dữ liệu, hay miêu tả cách dữ liệu được nảy sinh. Còn một mẫu là một cấu trúc cục bộ có liên quan đến vài biến và vài trường hợp trong cơ sở dữ liệu. 2.4. Phân tích và kiểm định kết quả Bước thứ tư là hiểu các tri thức đã tìm được, đặc biệt là làm sáng tỏ các mô tả và dự đoán. Trong bước này, kết quả tìm được sẽ được biến đổi sang dạng phù hợp với lĩnh vực ứng dụng và dễ hiểu hơn cho người dùng. 2.5. Sử dụng các tri thức phát hiện được Trong bước này, các tri thức khám phá được sẽ được củng cố, kết hợp lại thành một hệ thống, đồng thời giải quyết các xung đột tiềm năng trong các tri thức đó. Các mô hình rút ra được đưa vào những hệ thống thông tin thực tế dưới dạng các môdun hỗ trợ việc đưa ra quyết định. Các giai đoạn của quá trình khám phá tri thức có mối quan hệ chặt chẽ với nhau trong bối cảnh chung của hệ thống. Các kỹ thuật được sử dụng trong giai đoạn trước có thể ảnh hưởng đến hiệu quả của các giải thuật được sử dụng trong các giai đoạn tiếp theo. Các bước của quá trình khám phá tri thức có thể được lặp đi lặp lại một số lần, kết quả thu được có thể được lấy trung bình trên tất cả các lần thực hiện. 3. Quá trình khai phá dữ liệu Khai phá dữ liệu (Data mining - DM) là một khái niệm ra đời vào những năm cuối của thập kỷ 80. Nó bao hàm một loạt các kỹ thuật nhằm phát hiện ra các thông tin có giá trị tiềm ẩn trong các tập dữ liệu lớn (các kho dữ liệu). Về bản chất, khai 9 Knowledge Pattern Discovery Transforme d Data Cleansed Preprocessed Preparated Data Target Data Gathering Data Mining Selection Transformati on Cleansing Pre- processing Preparation Envalution of Rule Interne t, Interne t, Ứng dụng Data Mining cho phát triển các thuê bao điện thoại cố định phá dữ liệu liên quan đến việc phân tích các dữ liệu và sử dụng các kỹ thuật để tìm ra các mẫu hình có tính chính quy (regularities) trong tập dữ liệu. Có thể chia khai thác dữ liệu thành hai dạng chính: khia thác dữ liệu theo hướng kiểm tra và khai thác dữ liệu theo hướng khám phá. Trong khai thác dữ liệu theo hướng kiểm tra, người dùng đề xuất giả thiết, hệ thống kiểm tra tính đúng đắn của giả thiết. Khai thác dữ liệu theo hướng kiểm tra bao gồm: truy vấn, báo cáo, phân tích đa chiều, phân tích thống kê… Ngược lại, khai thác dữ liệu theo hướng khám phá sẽ tìm kiếm các tri thức tiềm ẩn trong CSDL bằng cách tiến hành xem xét tất cả các giả thiết khả dĩ. Do không gian tìm kiếm lớn, nên rất nhiều heuristic đã được đề xuất nhằm nâng cao hiệu suất của thuật giải tìm kiếm. Tri thức được rút ra có thể được dùng để: - Giải thích dữ liệu: Cung cấp sự hiểu biết dâu sắc và rất hữu ích về hành vi của các đối tượng, giúp cho các doanh nghiệp hiểu rõ hơn những khách hàng của họ - Dự báo: dự đoán giá trị của những đối tượng mới + Khuynh hướng mua hàng của khách hàng. + Xác định rủi ro tín dụng đối với một khách hàng. + Định hướng tập trung nguồn lực của doanh nghiệp. Ngày nay, khi công cụ thu thập dữ liệu tự động và công nghiệp lưu trữ dữ liệu ngày càng hoàn thiện giúp con người tạo lập và quản lý một lượng dữ liệu khổng lồ trong các CSDL, kho dữ liệu (Data Warehouse) thì nhu cầu nắm bắt dữ liệu, trích rút thông tin trở thành cấp thiết và có ý nghĩa. Mặt khác, với nhu cầu ngày càng cao hơn, con người không bằng lòng với những dữ liệu đơn giản thu được từ các kỹ thuật trước đây. Từ nhu cầu nắm bắt tri thức về các mối quan hệ giữa chúng, xa hơn nữa là phát hiện những quy luật trong lĩnh vực đó. Khai phá dữ liệu ra đời và đáp ứng các nhu cầu cần thiết đó. Quá trình khai phá dữ liệu sẽ tiến hành qua 6 giai đoạn như hình 2 10 [...]... nhóm để đưa dữ liêu lên Server Trong đó bao gồm việc tạo các Mẫu báo cáo CHƯƠNG III TÌM HIỂU BÀI TOÁN : PHÁT TRIỂN THUÊ BAO Bài toán Phát triển thuê bao điện thoại ở Hà Nội gắn liền với việc ngày càng có nhiều khách hàng làm Hợp đồng, đăng kí sử dụng các dịch vụ của Bưu điện Cơ 18 Ứng dụng Data Mining cho phát triển các thuê bao điện thoại cố định sở dữ liệu bao gồm có 19 bảng : DICHVU_VT, DOITUONG,... nguồn Excel vào bảng 23 Ứng dụng Data Mining cho phát triển các thuê bao điện thoại cố định ICHVU_VIENTHONG • Tạo kết nối tới nguồn Exel • Chuyển đổi kiểu dữ liệu sao cho đúng kiểu • Chèn dữ liệu vào bộ đệm  Tích hợp dữ liệu từ nguồn Excel vào bảng DONVI 24 Ứng dụng Data Mining cho phát triển các thuê bao điện thoại cố định • Tạo kết nối tới nguồn Excel • Chuyển đổi kiểu dữ liệu sao cho đúng kiểu • Chèn... nguồn Excel vào bảng KIEU_TT 28 Ứng dụng Data Mining cho phát triển các thuê bao điện thoại cố định • Tạo kết nối tới nguồn Exel • Chuyển đổi dữ liệu sao cho đúng kiểu • Chèn dữ liệu vào bộ đệm  Tích hợp dữ liệu từ nguồn Excel vào bảng LOAI_HD 29 Ứng dụng Data Mining cho phát triển các thuê bao điện thoại cố định • Tạo kết nối tới nguồn Exel • Chuyển đổi kiểu dữ liệu sao cho đúng kiểu • Chèn dữ liệu... 30 Ứng dụng Data Mining cho phát triển các thuê bao điện thoại cố định • Tạo kết nối tới nguồn Exel • Chuyển đổi kiểu dữ liệu sao cho đúng kiểu • Kiểm tra ràng buộc tham chiếu với bảng LOAI_KH • Chèn dữ liệu vào bộ đệm  Tích hợp dữ liệu từ nguồn Excel vào bảng NGANHANG 31 Ứng dụng Data Mining cho phát triển các thuê bao điện thoại cố định • Tạo kết nối tới nguồn Exel • Chuyển đổi kiểu dữ liệu sao cho. .. vào bảng LOAI_NHANVIEN 32 Ứng dụng Data Mining cho phát triển các thuê bao điện thoại cố định • Tạo kết nối tới nguồn Exel • Chuyển đổi kiểu dữ liệu sao cho đúng kiểu • Chèn dữ liệu vào bộ đệm  Tích hợp dữ liệu từ nguồn Excel vào bảng NHANVIEN 33 Ứng dụng Data Mining cho phát triển các thuê bao điện thoại cố định • Tạo kết nối tới nguồn Exel • Chuyển đổi kiểu dữ liệu sao cho đúng kiểu • Kiểm tra ràng... Excel vào bảng LOAIHINH_TB 25 Ứng dụng Data Mining cho phát triển các thuê bao điện thoại cố định • Tạo kết nối tới nguồn Exel • Chuyển đổi kiểu dữ liệu sao cho đúng kiểu • Kiểm tra ràng buộc tham chiếu với bảng DICHVU_VIENTHONG • Chèn dữ liệu vào bộ đệm  Tích hợp dữ liệu từ nguồn Excel vào bảng PHI_HD 26 Ứng dụng Data Mining cho phát triển các thuê bao điện thoại cố định • Tạo kết nối tới nguồn Exel... đệm  Tích hợp dữ liệu từ nguồn Excel vào bảng LOAI_KH 34 Ứng dụng Data Mining cho phát triển các thuê bao điện thoại cố định • Tạo kết nối tới nguồn Exel • Chuyển đổi kiểu dữ liệu sao co đúng kiểu • Chèn dữ liệu vào bộ đệm  Tích hợp dữ liệu từ nguồn Excel vào bảng HOPDONG_TB 35 Ứng dụng Data Mining cho phát triển các thuê bao điện thoại cố định 36 ... tích đầu tư, phát hiện các gian lận 15 Ứng dụng Data Mining cho phát triển các thuê bao điện thoại cố định 8 Các thách thức và hướng phát triển của phát hiện tri thức và khai phá dữ liệu Sự phát triển của phát hiện tri thức và khai phá dữ liệu gặp phải một số thách thức sau: - CSDL lớn (số lượng bản ghi, số bảng) - Số chiều lớn - Thay đổi dữ liệu và tri thức có thể làm cho các mẫu đã phát hiện không... HD_KHACHHANG, HD_THANHTOAN, LOAI_KH, HD_THUEBAO, LOAI_NV, KIEU_LD, LOAIHINH_TB, KIEU_TT, NGANHANG, LOAI_HD, NHANVIEN, PHI_HOPDONG Ứng dụng bài toán Phát triển thuê bao sử dụng SQL 2005 I Lược đồ quan hệ kho dữ liệu II Sơ đồ tích hợp dữ liệu từ các File Excel vào Kho dữ liệu 1 Tích hợp từ các File Excel vào Bộ đệm 19 Ứng dụng Data Mining cho phát triển các thuê bao điện thoại cố định  Tích hợp dữ liệu từ nguồn... sao cho đúng kiểu • Chèn dữ liệu vào bộ đệm  Tích hợp dữ liệu từ nguồn Excel vào bảng PHUONGXA 20 Ứng dụng Data Mining cho phát triển các thuê bao điện thoại cố định • • Chuyển đổi dữ liệu sao cho đúng kiểu • Kiểm tra ràng buộc tham chiếu với bảng Quanhuyen •  Tạo kết nối tới nguồn Exel Chèn dũ liệu vào bộ đệm Tích hợp dữ liệu từ nguồn Excel vào bảng DUONGPHO 21 Ứng dụng Data Mining cho phát triển các . lận. 15 Ứng dụng Data Mining cho phát triển các thuê bao điện thoại cố định 8. Các thách thức và hướng phát triển của phát hiện tri thức và khai phá dữ liệu. Sự phát triển của phát hiện tri. là sử dụng công cụ SQL 2005 trong ứng dụng DataMining cho việc phát triển các thuê bao điện thoại cố định ở Hà Nội, bao gồm các vấn đề chính sau: • Nắm bắt được khái quát lý thuyết về DataMining •. sớm được áp dụng phổ biến ở nhiều công ty viễn thông lớn trên thế giới. Chính vì lý do đó Ứng dụng DataMining cho phát triển các thuê bao điện thọai cố định sẽ giúp phát triển các thuê bao đặc biệt