Nghiên cứu phát hiện gian lận trong viễn thông dựa trên kỹ thuật khai phá dữ liệu (tt)

1 HỌC VIỆN CƠNG NGHỆ BƯU CHÍNH VIỄN THƠNG - NGUYỄN MINH THU NGHIÊN CỨU PHÁT HIỆN GIAN LẬN TRONG VIỄN THÔNG SỬ DỤNG KỸ THUẬT KHAI PHÁ DỮ LIỆU CHUYÊN NGÀNH : TRUYỀN DỮ LIỆU VÀ MẠNG MÁY TÍNH Mã số: 60.48.15 Người hướng dẫn khoa học: PGS.TS Trần Đình Quế TÓM TẮT LUẬN VĂN THẠC SĨ HÀ NỘI - 2011 MỞ ĐẦU Ngành công nghiệp viễn thông ngành kinh tế quan trọng quốc gia Trong năm vừa qua ngành công nghiệp viễn thông nước ta có bước phát triển nhanh chóng, nay, viễn thơng Việt Nam "sánh vai" với nước phát triển giới công nghệ, mật độ điện thoại, giá cước trở thành ngành phát triển nhanh động [1] Cùng với phát triển cơng nghệ loại hình dịch vụ gian lận viễn thơng gia tăng kể năm nguồn chủ yếu gây thất thoát doanh thu cho ngành công nghiệp viễn thông Gian lận xuất nhiều lĩnh vực viễn thông, từ gian lận giao dịch Internet, gian lận với dịch vụ thoại VoIP hay gian lận dịch vụ thoại thông thường, gian lận dịch vụ giá trị gia tăng… [6] Theo Hiệp hội Truyền thơng kiểm sốt gian lận (the Communications Fraud Control Association) Khảo sát tổn thất gian lận toàn cầu năm 2009, Gian lận tồn giới ước tính khoảng 72 tỷ-80 tỷ hàng năm (khoảng 4,5% doanh thu viễn thông)[7].Việc phát gian lận viễn thông chủ đề quan tâm nghiên cứu phát triển ứng dụng mạnh mẽ Phát gian lận hiểu xác định gian lận cách nhanh xảy Hiện khơng có phương pháp phát gian lận hoàn hảo kĩ thuật gian lận luôn đổi phương pháp phát gian lận biết đến kẻ gian lận sửa chiến lược thử kiểu gian lận [4] Thị trường viễn thông Việt nam phát triển mạnh với nhiều nhà cung cấp, chạy đua tranh giành thị trường thống lĩnh thị trường nhà cung cấp cho đời nhiều chương trình khuyến mại gói cước khuyến mại khác Doanh thu dịch vụ thoại chia sẻ cho doanh thu loại hình dịch vụ giá trị gia tăng, dịch vụ nội dung… Cũng từ gian lận viễn thơng lại có nhiều hội để thực hành vi mình, từ kiểu gian lận truyền thống đến kiểu gian lận lợi dụng chương trình khuyến mại để trục lợi ngày tinh vi Phát gian lận nhanh chóng kịp thời trở thành nhiệm vụ vô quan trọng cấp bách nhà cung cấp dịch vụ viễn thông Các phương pháp phát gian lận doanh nghiệp viễn thông Việt nam chủ yếu dựa báo cáo thống kê, so sánh Việc phát theo cách có nhiều hạn chế, theo dõi khía cạnh nhỏ hành vi gian lận Hơn việc phát thường chậm khả xử lý diện rộng khó khăn Khai phá liệu dự đoán "một phát triển mang tính cách mạng thập kỷ tới", theo tạp chí cơng nghệ trực tuyến ZDNet News (ngày 08 tháng hai 2001) Khai phá liệu ứng dụng nhiều ngành cơng nghiệp Các công ty viễn thông công ty thẻ tín dụng hai số cơng ty hành đầu việc áp dụng khai thác liệu để phát gian lận sử dụng dịch vụ họ Các công ty bảo hiểm thị trường chứng khốn quan tâm việc áp dụng cơng nghệ để giảm gian lận [8] Từ lý xu hướng công nghệ Luận văn chọn đề tài “Nghiên cứu phát gian lận viễn thông dựa kỹ thuật khai phá liệu” Mục tiêu nghiên cứu: Tìm hiểu vấn đề gian lận viễn thông, loại gian lận, phương pháp phát gian lận sâu vào nghiên cứu phương pháp sử dụng kĩ thuật khai phá liệu để phát hành vi gian lận cách tự động dựa dấu hiệu bất thường so với liệu khứ Đối tượng phạm vi nghiên cứu đề tài  Các loại gian lận số phương pháp phát gian lận  Kĩ thuật Khai phá liệu  Nghiên cứu toán cụ thể với dịch vụ thoại di động kĩ thuật khai phá liệu thông tin chi tiết gọi sử dụng thuật toán K-Means để phát hành vi gian lận Phương pháp nghiên cứu  Nghiên cứu thực tiễn cơng tác phịng chống kinh doanh gian lận mạng thông tin di động MobiFone  Nghiên cứu tài liệu, báo ngồi nước có liên quan đến sử dụng kĩ thuật khai phá liệu để phát gian lận mạng viễn thông  Sau tiến hành cài đặt thử nghiệm 5 Bố cục đề tài: Căn mục tiêu yêu cầu nghiên cứu, đề tài xây dựng gồm phần sau: Phần mở đầu: Giới thiệu chung đề tài Chương 1: Tổng quan gian lận viễn thơng phịng chống gian lận viễn thơng Chương 2: Kiến thức khai phá liệu Chương 3: Bài toán Kết luận Hướng nghiên cứu Tài liệu tham khảo Chương TỔNG QUAN VỀ GIAN LẬN VIỄN THƠNG VÀ PHỊNG CHỐNG GIAN LẬN TRONG MẠNG VIỄN THÔNG Chương giới thiệu chung gian lận viễn thơng, phịng chống gian lận mạng viễn thơng Trong chương giới thiệu chi tiết số loại gian lận viễn thông phổ biến nhất, phân loại phương pháp phòng chống giân lận, tình hình gian lận viễn thơng phịng chống gian lận viễn thông giới Việt Nam 1.1 1.1.1 GIAN LẬN VIỄN THÔNG Định nghĩa gian lận viễn thông Phần giới thiệu định nghĩa khác gian lận viễn thông phân biệt khái niệm gian lận viễn thông với khái niệm nợ khó địi (bad debt) Gian lận viễn thơng hành vi ăn trộm dịch vụ viễn thông sử dụng dịch vụ viễn thơng để tạo thành hình thức gian lận khác [10] Một cách tổng quát gian lận định nghĩa là: “Bất kỳ hành vi sử dụng mạng nhà cung cấp dịch vụ mà khơng có ý định tốn” Khơng có ý định tốn khơng tốn hồn tồn, có tốn tốn khơng chi phí cần phải trả khác phải tốn cho phần chi phí phát sinh [9] Sự khác biệt nợ khó địi gian lận định nghĩa là: "Gian lận nợ khó địi người sử dụng mạng không thực tốn cho dịch vụ sử dụng Gian lận ln bao gồm dối trá, khơng có ý định trả tiền có liên quan Nợ khó địi đơn giản người bình thường khơng có tiền để chi trả cho dịch vụ sử dụng "[8] 1.1.2 Lịch sử gian lận viễn thông Giới thiệu lịch sử gian lận viễn thơng hình thức gian lân qua giai đoạn phát triển mạng viễn thông Gian lận viễn thông xuất từ cuối năm 1980 Từ hình thức gian lận thay đổi định dang “Tumbling” mạng tương tự, đến hình thức gian lận chép thuê bao GSM Và loại hình dịch vụ, cơng nghệ phát triển mạng phát triển hình thức loại gian lận ngày gia tăng Hiện 3G thị trường cho kẻ gian lận hướng tới Các loai hình gian lận ngày phong phú, đa đạng, phương pháp phát gian lận phải đổi chi phí cho phịng chống phát gian lận ngày tốn 1.1.3 Các loại gian lận viễn thông Phần giới thiệu loại gian lận viễn thông phổ biến:  Gian lận thuê bao (Subscription Fraud)  Gian lận chép gọi  Gian lận dịch vụ giá cao  Gian lận sử dụng mạng khách  Gian lận với dịch vụ trả trước  Gian lận với thuê bao cố định 1.1.4 Tình hình gian lận viễn thơng Phần mơ tả tình hình gian lận viễn thông giới Việt Nam 8 Theo báo cáo CFCA (Communications Fraud Control Association) tóm tắt thất Gian lận tồn giới năm 2009 năm gian lận tồn giới gây thất khoảng 72 đến 80 tỷ la Mỹ, xấp xỉ 4.5% doanh thu viễn thông Ba loại gian lận gây thất thoát lớn nhất:  Gian lận thuê bao/Ăn trộm định danh: 22 tỷ $  Các hệ thống Voice Mail/PBX: 15 tỷ $  Gian lận dịch vụ giá cao: 4.5 tỷ $ Trong báo cáo đưa thông tin quốc gia có tình hình gian lận nghiêm trọng nhất: Cuba, Philippines, Liechtenstein, India, United Kingdom 1.2 PHÒNG CHỐNG VÀ PHÁT HIỆN GIAN LẬN TRONG MẠNG VIỄN THÔNG 1.2.1 Định nghĩa Phòng chống gian lận biện pháp tránh gian lận xuất từ đầu Ngược lại phát gian lận xác định gian lận nhanh gian lận xảy 1.2.2 Tình hình phịng chống phát gian lận viễn thơng Nội dung trình bày tình hình phịng chống phát gian lận viễn thơng giới nói chung Việt Nam nói riêng Hiện cơng tác phòng chống, phát gian lận quốc gia giới đầu tư nghiên cứu mạnh mẽ nhiều nước đưa chiến lược cho việc phòng chống, phát gian lận Tuy nhiên phần lớn tập trung cho việc Phát gian lận mạng di động điển hình dự án Châu Âu ASPeCT (Advance Security for Personal Communications Technologies) (Shawe-Taylor, Howker & Burge, 1999; Shawe-Taylor et al., 2000; Burge & Shawe-Taylor, 2001) Công cụ phát gian lận ASPeCT sử dụng hệ thống dựa luật (rule) để xác định số loại gian lận mạng nơron để giải ngữ cảnh hay thể bất thường Tại Việt nam cơng tác phịng chống phát gian lận lưu tâm nhiên chưa nhiều Một số nhà mạng nhỏ EVNTelecom,Sfone khơng có việc kiểm sốt gian lận Với nhà mạng lớn VMS, Viettel cơng tác dừng lại mức báo cáo thống kê so sánh hay dựa dấu hiệu sử dụng bất thường để phát gian lận 1.2.3 Phương pháp phát gian lận Nội dung đề cập đến số kỹ thuật sử dụng phát gian lận như: mơ hình thống kê, học máy, khai phá liệu Phân biệt hai phương pháp phát gian lận có giám sát khơng có giám sát Các phương pháp có giám sát phương pháp mà mẫu hành vi gian lận bình thường sử dụng để xây dựng mơ hình cho phép hệ thống gán quan sát tới hai lớp Các phương pháp khơng giám sát đơn giản tìm kiếm những quan sát mà không giống so với chuẩn 1.3 Kết luận chương Chương mở đầu giới thiệu kiến thức gian lận viễn thông, loại gian lận viễn thơng, phương pháp phịng chống gian lận tình hình phịng chống gian lận viễn thơng giới Việt nam Cùng với gia tăng loại hình dịch vụ gian lận ngày gia tăng Phát gian lận phòng chống gian lận trở thành nhiệm vụ hàng đầu nhà cung cấp dịch vụ viễn thơng Trong chương ta tìm 10 hiểu chung kĩ thuật khai phá liệu sâu tìm hiểu kĩ thuật phân cụm cho phát gian lận viễn thông Chương KIẾN THỨC VỀ KHAI PHÁ DỮ LIỆU Chương giới thiệu tổng quan kĩ thuật khai phá liệu , phương pháp tiếp cận, qui trình khai phá liệu sâu tìm hiểu kỹ thuật phân cụm liệu; phân cụm liệu sử dụng thuật toán K_Means 2.1 2.1.1 KIẾN THỨC CHUNG VỀ KHAI PHÁ DỮ LIỆU Giới thiệu chung Giới thiệu vai trò, xu hướng phát triển, ứng dụng khai phá liệu Khai thác liệu dự đoán "một phát triển mang tính cách mạng thập kỷ " 2.1.2 Định nghĩa khai phá liệu Nội dung trình bày định nghĩa khai phá liệu Khai phá liệu trình tìm kiếm thơng tin (tri thức) có ích, tiềm ẩn mang tính dự đốn khối sở liệu lớn 2.1.3 Quá trình khai phá liệu Phần trình bày bước trình khai phá liệu chuẩn: Xác định nhiệm vụ, xác định liệu liên quan, thu thâp liệu, mơ hình hóa Đánh giá 2.1.4 Các hướng tiếp cận kỹ thuật áp dụng Mô tả hướng tiếp cận khai phá liệu: phân lớp, phân cụm, khai phá luật… 11 2.1.5 Phương pháp khai phá liệu Giới thiệu chung phương pháp khai phá liệu: Phân nhóm, phân cụm, luật kết hợp, mạng nơron, định, giải thuật di truyền… 2.1.6 Lựa chọn giải thuật khai phá Trình bày tiêu chuẩn việc định sử dụng phương pháp khai phá liệu vào trường hợp hiệu 2.2 TỔNG QUAN VỀ PHÂN CỤM DỮ LIỆU 2.2.1 Khái niệm phân cụm liệu Trình bày định nghĩa phân cụm liệu Phân cụm liệu q trình nhóm tập đối tượng tương tự tập liệu vào cụm cho đối tượng thuộc cụm tương đồng, đối tượng thuộc cụm khác không tương đồng [11] 2.2.2 Các kĩ thuật tiếp cận phân cụm liệu Phần trình bày kiến thức chung kỹ thuật phân cụm liệu:  Phân cụm phân cấp (Hierarchical clustering algorithm )  Phân cụm phân hoạch (Partition clustering algorithm )  Phân cụm dựa quang phổ (Spectral clustering algorithm)  Phân cụm dựa lưới (Grid based clustering algorithm )  Phân loại dựa mật độ (Density based clustering algorithm) 2.3 THUẬT TOÁN K_MEANS CHO PHÂN CỤM DỮ LIỆU Phần giới thiệu mơ tả thuật tốn K-Means ứng dụng thuật toán K_Means 12 2.3.1 Giới thiệu chung Phần giới thiệu chung thuật toán, phát biểu thuật toán 2.3.2 Khoảng cách Euclidean Nội dung trình bày khái niệm khoảng cách Euclidean, tính khoảng cách Euclidean từ điểm đến phần tử trung tâm cụm 2.3.3 Phần tử trung tâm Phần giới thiệu cách tính phần tử trung tâm cụm 2.3.4 Thuật tốn Phần nội dung trình bày bước thực thuật toán 2.3.5 Ứng dụng Phần trình bày ứng dụng kỹ thuật phân cụm nói chung ứng dụng thuật tốn K-Means nói riêng 2.4 Kết luận chương Chương giới thiệu kiến thức khai phá liệu sâu tìm hiểu kĩ thuật phân cụm, thuật toán KMeans phân cụm liệu Dưới tìm hiểu ứng dụng KMeans để phát gian lận viễn thơng 13 Chương BÀI TỐN Chương giới thiệu toán, phạm vi yêu cầu cài đặt thuật toán KMeams cho toán Chương giới thiệu cách phân tích kết phân cụm để kiểm tra dấu hiệu gian lận thuê bao 3.1 GIỚI THIỆU 3.1.1 Lý chọn phạm vi tốn Phần trình bày lý chọn phạm vi toán xét luận văn Trong luận văn xét phạm vi toán dịch vụ giá cao dịch vụ giá trị gia tăng Các dịch vụ giá cao mạng viễn thông thường quan tâm như:  Dịch vụ 1900  Dịch vụ 108  Dịch vụ Nội dung (CP) Xem xét trường sở liệu gồm có thông tin như:  Số 1900  Số tiền tiêu dùng dịch vụ 1900  Số SMS thường  Số tiền tiêu dùng dịch vụ SMS thường  Số tin sử dụng dịch vụ CP  Số tiền sử dụng dịch vụ CP  Số 108 14  Số tiền sử dụng dịch vụ 108  Số thoại thường  Số tiền sử dụng dịch vụ thoại thường Trong phạm vi luận văn xét tới hai dịch vụ là: + Dịch vụ 1900 + Dịch vụ CP 3.1.2 Phát biểu toán Nội dung phát biểu toán Cho sở liệu thuê bao sử dụng dịch vụ 1900, dịch vụ giá trị gia tăng Mỗi ghi gồm có thơng tin :  Số thuê bao  Số 1900  Số tiền sử dụng dịch vụ 1900  Số tin nhắn sử dụng dịch vụ GTGT  Số tiền sử dụng dịch vụ GTGT Phân cụm thuê bao sử dụng dịch vụ thành k nhóm (K nhập từ bàn phím).Phân tích kết phân cụm cho thấy dấu hiệu hành vi sử dụng gian lận người sử dụng 3.2 3.2.1 MƠ TẢ PHƯƠNG PHÁP Tiến trình phát gian lận sử dụng khai phá liệu Trong phần giới thiệu bước trình phát gian lận sử dụng kỹ thuật khai phá liệu 3.2.2 Cài đặt chương trình Trong phần giới thiệu mô tả chung lớp cài đặt chương trình ngơn ngữ JAVA, sở liệu Oracle 9i 15 Nội dung giới thiệu số giao diện kết cài đặt chạy chương trình 3.2.3 Phân tích kêt cài đặt Nội dung trình bày cách phân tích kết cài đặt cho kết luận dấu hiệu gian lận hành vi sử dụng dịch khách hàng 3.3 MÃ CÀI ĐẶT Phần phần mã cài đặt lớp 3.4 ĐÁNH GIÁ KẾT QUẢ CÀI ĐẶT Phần đánh giá ưu nhược điểm thuật toán xét với kết cài đặt thuật tốn 3.5 Kết luận chương Chương mơ tả toán, cài đặt thuật toán K-Means nguồn sở liêụ thực tế phân tích sử dụng kết cài đặt cho việc phát gian lận với hành vi sử dụng dịch vụ giá trị giá cao khách hàng 16 KẾT LUẬN Đề tài đạt số kết sau:  Nghiên cứu vấn đề gian lận viễn thơng, phịng chống gian lận viễn thơng, tìm hiểu tình hình phịng chống gian lận viễn thông giới Việt Nam Qua trình nghiên cứu tìm hiểu Luận văn thấy gian lận viên thông tượng phổ biến Cơng tác phịng chống gian lận viễn thông vấn đề cần lưu tâm hàng đầu nhà cung cấp dịch vụ trở thành chủ đề nghiên cứu phát triển ứng dụng mạnh mẽ giới Tại Việt nam Công tác phịng chống kinh doanh gian lận viễn thơng quan tâm nghiên cứu nhiên chưa nhiều, chủ yếu dựa báo cáo thống kê so sánh để phát gian lận…  Tìm hiểu phương pháp phát gian lận: Hiện có nhiều phương pháp phát gian lận, kỹ thuật thường sử dụng như: học máy, khai phá liệu, … hay dựa mơ hình thống kê như: sử dụng luật Bayesian, tiểu sử người sử dụng… Trong phạm vi nghiên cứu Luận văn sâu tìm hiểu phương pháp phát gian lận khơng có giám sát sử dụng kỹ thuật khai phá liệu  Khai phá liệu kĩ thuật ứng ứng dụng rộng rãi nhiều lĩnh vực nói chung phát gian lận nói riêng Luận văn tìm hiểu kiến thức chung khai phá liệu sâu vào tìm hiểu kĩ thuật phân cụm, thuật toán sử dụng nhiều phân cụm liệu K-Means 17  Luận văn tiến hành cài đặt thuật toán K-Means để phát gian lận viễn thông dựa việc khảo sát nguồn liệu tiêu dùng dịch vụ giá cao 1900 từ nguồn liệu thực tế Mobifone  Dựa kết cài đặt phân cụm, Luận văn thực phân tích kết bước đầu phát dấu hiệu gian lận với toán tiêu dùng dịch vụ giá cao Với nội dung kết đạt Luận văn cho thấy sử dụng khai phá liệu phát gian lận hướng mới, có triển vọng tiếp tục nghiên cứu để áp dụng vào thực tế HƯỚNG NGHIÊN CỨU TIẾP THEO  Triển khai, áp dụng phương pháp phát gian lận nghiên cứu vào thực tế: mạng Mobifone…, góp phần tích cực cơng tác phịng chống kinh doanh gian lận VMS nói riêng Việt nam nói chung  Nghiên cứu thuật tốn phương pháp khác để phân tích kết phân cụm: Thuật toán liên quan đến sử dụng tiểu sử hành vi người sử dụng…  So sánh thuật tốn, phương pháp khác nhau,tìm phương pháp hiệu cho việc phát gian lận viên thơng để sử dụng vào thực tế 18 TÀI LIỆU THAM KHẢO [1] http://vef.vn/2011-01-22-vien-thong-viet-nam-da-sanh-vainhung-nguoi-khong-lo, truy nhập ngày 10/5/2011 [2] P Burge, J Shawe-Taylor, C Cooke, Y Moreau, B Preneel, C Stoermann (2002), Fraud Detection and management in mobile telecommunications networks [3] Gary M Weiss (2004), Data mining in Telecommunications [4] Constantinos S Hilas, John N Sahalo (2009), User Profiling for Fraud Detection in Telecommunication Networks [5] Clifton Phua, Vincent Lee, Kate Smith& Ross GayLer (2010) , A Comprehensive Survey of Data Mining-based Fraud Detection Research [6] http://www.dinkla.net/fraud/types.html, truy nhập ngày 10/5/2011 [7] CFCA (2009), Global Fraud Loss survey 2009 [8] Bülent Kuşaksızoğlu (2006), Fraud detection in mobile network using data mining [9] Peter Hoath (2008), Fraud Overview [10] http://www.wantagh.li/spin/telecommunications_fraud.pdf, truy nhập ngày 10/5/2011 [11] http://churmura.com/technology/computerscience/clustering-in-data-mining/31592/, truy nhập ngày 10/6/2011 [12] K Ravichandra Rao (2003), Data mining and clustering techniques 19 [13] http://www.anderson.ucla.edu/faculty/jason.frand/teacher/tec hnologies/palace/datamining.htm, truy nhập ngày 10/6/2011 [14] http://www.ijecbs.com/January2011/N6Jan2011.pdf, truy nhập ngày 15/6/2011 [15] http://www.resample.com/xlminer/help/HClst/HClst_intro.ht m, truy nhập ngày 15/6/2011 [16] http://scialert.net/fulltext/?doi=itj.2011.478.484&org=11, truy nhập ngày 10/6/2011 [17] Francis R.bach & Michaeld I.Jordan (2003), Leaning Spectral Clustering [18] http://www.crisp-dm.org/, truy nhập ngày 15/6/2011 [19] http://home.dei.polimi.it/matteucc/Clustering/tutorial_ html/index html, truy nhập ngày 10/6/2011 [20] http://en.wikipedia.org/wiki/K-means_clustering , truy nhập ngày 15/6/2011 [21] R J Bolton and D J Hand, “Statistical fraud detection: a review,” Statistical Science, vol.17, no.3, pp 235–255, 2002  ... tình hình gian lận viễn thơng phịng chống gian lận viễn thông giới Việt Nam 1.1 1.1.1 GIAN LẬN VIỄN THÔNG Định nghĩa gian lận viễn thông Phần giới thiệu định nghĩa khác gian lận viễn thông phân... giảm gian lận [8] Từ lý xu hướng công nghệ Luận văn chọn đề tài ? ?Nghiên cứu phát gian lận viễn thông dựa kỹ thuật khai phá liệu” Mục tiêu nghiên cứu: Tìm hiểu vấn đề gian lận viễn thơng, loại gian. .. PHỊNG CHỐNG GIAN LẬN TRONG MẠNG VIỄN THƠNG Chương giới thiệu chung gian lận viễn thông, phịng chống gian lận mạng viễn thơng Trong chương giới thiệu chi tiết số loại gian lận viễn thông phổ biến