Bố cục của luận văn Tìm hiểu một số giải thuật tìm kiếm cộng đồng trong mạng xã hội và áp dụng vào bài toán khai phá quy trình bao gồm phần mở đầu, 4 chương nội dung, phần kết luận nội dung cụ thể như sau: Tổng quan về khai phá quy trình; các giải thuật tìm kiếm cộng đồng trong mạng xã hội; áp dụng các giải thuật tìm kiếm cộng đồng vào bài toán khai phá quy trình; kết quả thực nghiệm và đánh giá.
ĐẠI HỌC QUỐC GIA HÀ NỘI TRƢỜNG ĐẠI HỌC CÔNG NGHỆ NGUYỄN THỊ HỒNG HẠNH TÌM HIỂU MỘT SỐ GIẢI THUẬT TÌM KIẾM CỘNG ĐỒNG TRONG MẠNG XÃ HỘI VÀ ÁP DỤNG VÀO BÀI TỐN KHAI PHÁ QUY TRÌNH Ngành: Công nghệ thông tin Chuyên ngành: Hệ thống thông tin Mã số: 60.48.01.04 TĨM TẮT LUẬN VĂN THẠC SỸ CƠNG NGHỆ THÔNG TIN Hà Nội - 2016 i MỤC LỤC DANH MỤC KÝ HIỆU VÀ TỪ VIẾT TẮT iii DANH MỤC CÁC BẢNG iv MỞ ĐẦU CHƢƠNG 1.TỔNG QUAN VỀ KHAI PHÁ QUY TRÌNH 1.1 Khai phá quy trình 1.1.1 Sự cần thiết KPQT 1.1.2 Mục tiêu KPQT .8 1.1.3 Mơ hình quy trình nhật ký kiện .8 1.1.4 Các toán KPQT 1.1.5 Các khía cạnh KPQT 1.1.6 Các ứng dụng KPQT: .9 1.1.7 Một số thách thức lĩnh vực KPQT 1.2 Khía cạnh tổ chức KPQT 1.3 Bài tốn tốn khai phá khía cạnh tổ chức .9 1.4 Ý nghĩa luận văn 10 1.4.1 Về mặt khoa học 10 1.4.2 Về mặt thực tiễn 10 CHƢƠNG CÁC GIẢI THUẬT TÌM KIẾM CỘNG TRONG MXH 11 2.1 Cộng đồng mạng xã hội .11 2.1.1 Nguyên nhân hình thành cộng đồng MXH 11 2.1.2 Các loại cộng đồng MXH 11 2.1.3 Các loại cấu trúc cộng đồng 11 ii 2.2 Các phƣơng pháp phát cộng đồng 11 2.2.1 Ứng dụng .11 2.2.2 Các loại giải thuật 12 2.3 Các giải thuật tìm kiếm cộng đồng chồng chéo 12 2.4 Lựa chọn giải thuật tìm kiếm luận văn .12 CHƢƠNG ÁP DỤNG GIẢI THUẬT TÌM KIẾM CỘNG ĐỒNG CHỒNG CHÉO VÀO BÀI TOÁN KPQT 14 3.1 Phƣơng pháp nghiên cứu .14 3.1.1 Tính hiệu đề xuất .14 3.1.2 Định dạng liệu đầu vào độ đo: 14 3.2 Giải pháp thực .14 3.2.1 Đề xuất mơ hình giải 14 3.2.2 Các bƣớc thực 15 CHƢƠNG KẾT QUẢ THỰC NGHIỆM, ĐÁNH GIÁ VÀ KẾT LUẬN 17 4.1 Công cụ, môi trƣờng thực nghiệm .17 4.1.2 Phần mềm tập liệu đầu vào 17 4.2 Chƣơng trình thực nghiệm 17 4.3 Kết thực nghiệm đánh giá 17 KẾT LUẬN VÀ HƢỚNG PHÁT TRIỂN TƢƠNG LAI 21 TÀI LIỆU THAM KHẢO 22 iii DANH MỤC KÝ HIỆU VÀ TỪ VIẾT TẮT Chữ viết tắt Ý nghĩa Tiếng việt CNTT Công nghệ thông tin CSDL Cơ sở liệu HTTT Mơ hình quy trình KCTC Khía cạnh tổ chức KPQT Khai phá quy trình MHQT Mơ hình quy trình MXH Mạng xã hội Tiếng anh B2B Busines-to-Business BPNN Back-propagation neural network CRM Customer Relationship Management EPC ERP Event-driven Process Chain Systems for Enterprise Resource Planning NMI Normalized mutual information SCM Supply Chain Management Unweighter Pair-Group Method using Arithmetic averages UPGMA WFM Workflow Management XES eXtensible Event Stream XML EXtensible Markup Language iv DANH MỤC CÁC BẢNG Bảng 2.1 Sự mâu thuẫn hai cấu trúc chồng chéo phân cấp 11 Bảng 4.3 Đánh giá kết chƣơng trình thực nghiệm 17 Bảng 4.4 Đánh giá chất lƣợng cộng đồng 20 DANH MỤC CÁC HÌNH VẼ, ĐỒ THỊ Hình 3.2 Mơ hình áp dụng giải tìm kiếm cộng đồng vào KPQT .14 Hình 3.5 Định dạng liệu txt lƣu đồ thị .15 MỞ ĐẦU Trong môi trƣờng cạnh tranh nay, yếu tố cốt lõi tổ chức, doanh nghiệp truy cập thông tin, nghiệp vụ cách nhanh chóng, hiệu đạt chi phí tối ƣu Kinh doanh thơng minh tập quy trình để thu thập, truy cập phân tích thơng tin kinh doanh, giúp nâng cao khả định kinh doanh nhà quản lý Với gia tăng hệ thống tích hợp thơng tin từ trình kinh doanh nhƣ WFM, ERP, CRM, SCM B2B, … tạo cách thức tiếp cận việc phân tích liệu lớn Khai phá quy trình (KPQT) kinh doanh hay KPQT cầu nối quan trọng khai phá liệu với quản lý trình kinh doanh [12] Các kỹ thuật giúp trích lọc thơng tin có giá trị hay thông tin mà doanh nghiệp cần từ tập nhật ký kiện đƣợc lƣu hệ thống tích hợp thơng tin, giúp bổ sung vào tiếp cận có để quản lý q trình kinh doanh Bài toán KPQT gồm ba toán nhằm cải thiện quy trình kinh doanh ba khía cạnh bao gồm kỹ thuật khai phá quan trọng [1] Khía cạnh tổ chức bao gồm nhiều kỹ thuật có giá trị nhƣ khai phá tổ chức, khai phá mạng xã hội, khai phá luật phân phối nguồn tài nguyên, …[8] Trong đó, khai phá mạng xã hội kỹ thuật đƣợc sử dụng rộng rãi, cho phép phát mạng xã hội (MXH) phòng, đơn vị, cá nhân tham gia vào quy trình kinh doanh từ nhật ký kiện Việc phân tích đánh giá mối quan hệ giúp nhà quản lý có nhìn xác quy trình doanh nghiệp họ Trong mơ hình MXH, phịng, đơn vị hay ngƣời đƣợc biểu diễn dƣới dạng đỉnh, mối quan hệ đỉnh đƣợc biểu diễn dƣới dạng cạnh Vấn đề chồng chéo nhiệm vụ ngƣời tham gia vào quy trình thách thức mang tính thời doanh nghiệp Hậu vấn đề mang lại thiệt hại kinh tế lớn quy trình kinh doanh hoạt động thông suốt Với doanh nghiệp quy mơ lớn, mơ hình MXH kích thƣớc lớn bao gồm nhiều đỉnh mật độ kết nối đỉnh dày đặc Để tìm đƣợc ngƣời có chồng chéo nhiệm vụ MXH có kích thƣớc lớn tốn khó, đƣợc khoa học quan tâm, nghiên cứu Để giải thách thức trên, tác giả đề xuất phƣơng pháp áp dụng giải thuật tìm kiếm cộng đồng vào tốn khái phá quy trình Ý tƣởng đề xuất sử dụng kỹ thuật KCTC để phát mơ hình MXH từ tập nhật ký kiện Sau đó, sử dụng giải thuật tìm kiếm cộng đồng chồng chéo để tìm cộng đồng có cấu trúc chồng chéo Hiệu đề xuất giúp đơn giản hóa cấu trúc mạng tức chia mạng có kích thƣớc lớn thành mạng có kích thƣớc nhỏ kết nối chặt chẽ [7] Do mục tiêu luận văn tìm cộng đồng chồng chéo nên Tác giả tập trung vào giải thuật tìm kiếm cộng đồng chồng chéo, loại cấu trúc cộng đồng phổ biến thực tế Bố cục luận văn bao gồm phần mở đầu, bốn chƣơng nội dung, phần kết luận phƣơng phát triển tƣơng lai, danh mục tài liệu tham khảo Chương Tổng quan KPQT: Giới thiệu tổng quan KPQT, trình bày chi tiết vấn đề liên quan đến khía cạnh tổ chức phân tích phƣơng pháp phát MXH từ nhật ký kiện Phần Chƣơng phát biểu toán cần xử lý đƣa phƣơng pháp giải Từ đó, có nhận định ý nghĩa thực tiễn, ý nghĩa khoa học luận văn Chương Các giải thuật tìm kiếm cộng đồng MXH: Giới thiệu loại giải thuật tìm kiếm đặc biệt giải thuật tìm kiếm cộng đồng chồng chéo Sau đó, Tác giả lựa chọn giải thuật tìm kiếm cộng đồng chồng chéo áp dụng vào tốn KPQT Phân tích chi tiết giải thuật Phân vùng theo cạnh nhóm tác giả Ahn et al đƣa vào năm 2010 [4] Chương Áp dụng giải thuật tìm kiếm cộng đồng vào tốn KPQT: Đề xuất mơ hình giải toán đƣa định dạng liệu đầu vào độ đo đƣợc sử dụng mơ hình Phân tích chi tiết bƣớc thực mơ hình Kết trình tìm cộng đồng cạnh có cấu trúc phân cấp, tƣơng ứng cộng đồng đỉnh có cấu trúc chồng chéo Chương Kết thực nghiệm đánh giá: Đƣa yêu cầu liệu, phần cứng, phần mềm mã nguồn cần thiết để xây dựng chƣơng trình thực nghiệm theo mơ hình đề xuất Dựa bảng số liệu thu đƣợc sau chạy chƣơng trình với tệp liệu dùng làm mẫu thử nghiệm, tác giả sử dụng tiêu chuẩn độ đo để phân tích chi tiết thơng số bảng Từ đó, đánh giá kết thu đƣợc dựa vào phân tích CHƢƠNG 1.TỔNG QUAN VỀ KHAI PHÁ QUY TRÌNH 1.1 Khai phá quy trình KPQT giúp trích lọc phân tích liệu để tìm mối liên quan đối tƣợng liệu KPQT lĩnh vực “một mặt nằm thông minh điện toán khai phá liệu, mặt khác nằm mơ hình phân tích quy trình” 1.1.1 Sự cần thiết KPQT: - Trực quan hóa quy trình kinh doanh - Hỗ trợ định - Tạo khách quan, giảm thiểu rủi ro 1.1.2 Mục tiêu KPQT: phát hiện, phân tích hiểu quy trình kinh doanh dựa ghi hoạt động thời thời điểm xác định, thông tin đƣợc lƣu tập nhật ký kiện 1.1.3 Mơ hình quy trình nhật ký kiện: a) Mơ hình quy trình (MHQT): Một MHQT biểu diễn hình học quy trình kinh doanh, mơ tả ràng buộc công việc cần đƣợc thực kế hoạch kinh doanh cụ thể b) Nhật ký kiện: Là nguồn thông tin đƣợc lấy từ nhiều nguồn khác nhƣ vấn, khảo sát, giám sát công việc, ….sẽ đƣợc lƣu HTTT 1.1.4 Các toán KPQT: - Phát quy trình - Kiểm tra thống - Tăng cƣờng mơ hình 1.1.5 Các khía cạnh KPQT - Khía cạnh tổ chức - Khía cạnh trƣờng hợp - Khía cạnh thời gian 1.1.6 Các ứng dụng KPQT: Một số ứng dụng nhƣ EmiT, ARIS PPM (Process Performance Manager), PISA, … 1.1.7 Một số thách thức lĩnh vực KPQT - Mục đích sử dụng rõ ràng - Các ghi kiện bị lỗi thiếu - Chất lƣợng nhật ký kiện khơng đảm bảo - Mơ hình quy trình phức tạp - Các loại hình quy trình 1.2 Khía cạnh tổ chức KPQT Khía cạnh tổ chức tập trung vào nguồn tài nguyên, nhƣ ngƣời thực có liên quan đến mơ hình quy trình họ lại liên quan - Phân tích MXH (SNA): bao gồm tập phƣơng pháp, kỹ thuật, cơng cụ nhằm phân tích MXH Để phát MXH, sử dụng loại độ đo bao gồm: Handover of work, working together, … Độ đo Handover of work tính số lần chuyển giao nhiệm vụ ngƣời i sang ngƣời j 1.3 Bài toán toán khai phá khía cạnh tổ chức Đầu vào: Tập liệu kiện định dạng XES Đầu ra: Các cộng đồng chồng chồng chéo Tổng quát bƣớc giải quyết: (1) Tiền xử lý liệu: Loại bỏ thông tin bị lỗi, nhiễu, thơng tin khơng có giá trị khai phá, chuyển định dạng chuẩn XES 1.0 (2) Xây dựng MXH: Sử dụng độ đo để xây dựng MXH từ tập nhật ký kiện (3) Phân tích MXH: Sử dụng chiến lƣợc “Chia để trị”, hay áp dụng giải thuật tìm kiếm cộng đồng để tìm cộng đồng chồng chéo MXH (4) Từ kết thu đƣợc bƣớc 3, tìm cộng đồng ngƣời có cấu trúc chồng chéo 11 CHƢƠNG CÁC GIẢI THUẬT TÌM KIẾM CỘNG TRONG MXH 2.1 Cộng đồng mạng xã hội: 2.1.1 Nguyên nhân hình thành cộng đồng MXH: - Cùng chung đặc điểm - Mục đích hoạt động giống - Cùng mục tiêu vấn đề - Cùng sở thích thói quen 2.1.2 Các loại cộng đồng MXH [16]: - Cộng đồng tường minh: Đƣợc hình đặc trƣng chung nhóm đƣợc thiết lập - Cộng đồng khơng tường minh: Đƣợc hình thành tƣơng tác ngƣời cộng đồng, không thấy rõ mắt thƣờng 2.1.3 Các loại cấu trúc cộng đồng: Loại cấu trúc Chồng chéo Không chồng chéo Một số đỉnh mạng thuộc Mỗi đỉnh thuộc nhiều cộng cộng đồng đồng TT Sự mâu thuẫn Đặc điểm Sự xuất thực tế Nhiều Ít Giải thuật tìm kiếm Phát cộng đồng chồng chéo đỉnh Phát cộng đồng phân cấp đỉnh Bảng 2.1 Sự mâu thuẫn hai cấu trúc chồng chéo phân cấp 2.2 Các phƣơng pháp phát cộng đồng 2.2.1 Ứng dụng: Nghiên cứu lây lan dịch bệnh cách phòng chống, nhu cầu khách hàng, trình trao đổi chất tế bào, Trực quan hóa mạng phức tạp 12 2.2.2 Các loại giải thuật: Cho đồ thị G(E,V) với V số đỉnh, E số cạnh đồ thị a) Phân vùng đồ thị (Graph Partitioning) b) Phân cụm thứ bậc (Hierarchical) c) Tối ƣu hóa độ đo Modularity (Modularity Optimization) d) Phân cụm dựa quang phổ (Spectral clustering) 2.3 Các giải thuật tìm kiếm cộng đồng chồng chéo - Giải thuật tìm kiếm đồ thị clique (Clique Percolation Method - CPM) - Giải thuật phân vùng đồ thị dựa thông tin cạnh (Link based algorithms) - Phân cụm mờ (Fuzzy) - Tối ƣu hóa mở rộng hàm địa phƣơng (Local Exapansion and Optimization) - Giải thuật tìm kiếm cộng đồng dựa tác tử miền động (Agent and Dynamic based Algorithm) 2.4 Lựa chọn giải thuật tìm kiếm luận văn * Các bước thực hiện: Xét đồ thị G 𝑀, 𝑁 vơ hƣớng, khơng trọng số Trong đó: 𝑀 tổng số cạnh, 𝑁 tổng số đỉnh đồ thị Ký hiệu: Đỉnh i, j ∈ đồ thị G; 𝑒𝑖𝑘 cạnh nối đỉnh i k; 𝑒𝑗𝑙 cạnh nối đỉnh j l Bước 1: Tính độ tƣơng tự cạnh: 𝑛+ 𝑖 = 𝑖, 𝑘 𝑣à 𝑡ậ𝑝 đỉ𝑛ℎ 𝑘ề 𝑣ớ𝑖 𝑖 ; 𝑛+ 𝑗 = 𝑗, 𝑙 𝑣à 𝑡ậ𝑝 đỉ𝑛ℎ 𝑘ề 𝑣ớ𝑖 𝑗 ; Độ tƣơng tự cạnh 𝑒𝑖𝑘 𝑒𝑗𝑙 là: S(𝑒𝑖𝑘 , 𝑒𝑗𝑙 )= |𝑛 + 𝑖 ∩𝑛 + 𝑗 | |𝑛 + 𝑖 ∪𝑛 + 𝑗 | ,𝑘=𝑙 ,𝑘≠𝑙 13 Bước 2: Xây dựng ma trận độ tƣơng tự: Gọi 𝑀𝑠 ma trận độ tƣơng tự, có kích thƣớc 𝑀 × 𝑀 Mỗi phần tử ma tận 𝑀𝑠 đƣợc tính: 𝑆(𝑒𝑖𝑘 , 𝑒𝑗𝑙 ) 𝑘=𝑙 𝑀𝑠 (𝑒𝑖𝑘 , 𝑒𝑗𝑙 )= 𝑘≠𝑙 Bước 3: Thực gom cụm cạnh: Sử dụng kỹ thuật gom cụm từ dƣới – lên (bottom-up) phƣơng thức kết nối đơn để kết nối cụm Bước 4: Tìm ngƣỡng cắt lƣợc đồ: Cho trƣớc ngƣỡng cắt lƣợc đồ, Gọi C tập phân vùng cạnh đƣợc tạo từ lát cắt lƣợc đồ Kí hiệu: C={𝐶1 , 𝐶2 , …, 𝐶𝑙 , …, 𝐶𝑙 }, l ∈ 1, 𝑘 ; 𝑚𝑙 = 𝐶𝑙 số tổng lƣợng cạnh tập 𝐶𝑙 ; 𝑛𝑙 = |∪𝑒 𝑖𝑗 𝜖𝐶𝑙 {𝑖, 𝑗}| số lƣợng đỉnh đƣợc kết nối cạnh ∈ Cl 𝐷𝑙 = 𝑚 𝑙 −(𝑛 𝑙 −1) 𝑛 𝑙 𝑛 𝑙 −1 –(𝑛 𝑙 −1) 𝑛ế𝑢 𝑛𝑙 > 𝑛ế𝑢 𝑛𝑙