đồ án phát hiện mô hình quy trình từ nhật ký sự kiên không đầy đủ

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ Lại Thị Huyền Trang PHÁT HIỆN MƠ HÌNH QUY TRÌNH TỪ NHẬT KÝ SỰ KIỆN KHƠNG ĐẦY ĐỦ KHĨA LUẬN TỐT NGHIỆP ĐẠI HỌC HỆ CHÍNH QUY Ngành: Cơng nghệ thông tin HÀ NỘI - 2016 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ Lại Thị Huyền Trang PHÁT HIỆN MƠ HÌNH QUY TRÌNH TỪ NHẬT KÝ SỰ KIỆN KHƠNG ĐẦY ĐỦ KHĨA LUẬN TỐT NGHIỆP ĐẠI HỌC HỆ CHÍNH QUY Ngành: Cơng nghệ thơng tin Cán hướng dẫn: PGS TS Hà Quang Thụy Cán đồng hướng dẫn: Ths Lê Hoàng Quỳnh HÀ NỘI - 2016 VIETNAM NATIONAL UNIVERSITY UNIVERSITY OF ENGINEERING AND TECHNOLOGY Lai Thi Huyen Trang DISCOVERING PROCESS MODELS FROM INCOMPLETE EVENT LOGS A THESIS PRESENTED FOR THE DEGREE BACHELOR Department: Information Technology Supervisors: Assoc Prof Ha Quang Thuy MsC Le Hoang Quynh HA NOI - 2016 LỜI CẢM ƠN Trước tiên, em xin bày tỏ lòng biết ơn chân thành sâu sắc tới Phó giáo sư- Tiến sĩ Hà Quang Thụy tận tình bảo, hướng dẫn giúp đỡ em suốt thời gian thực đề tài Em xin chân thành biết ơn thầy cô Khoa Công Nghệ Thông Tin trường Đại học Cơng Nghệ tận tình bảo, dạy dỗ truyền đạt kiến thức cho em suốt bốn năm học đại học Em xin gửi lời cảm ơn đến thầy, anh chị, bạn em sinh viên Phịng thí nghiệm Công nghệ tri thức Khoa học liệu KT- Lab, đặc biệt nhóm “Khai phá quy trình” giúp đỡ hỗ trợ em nhiều để hồn thành tốt khóa luận Con xin gửi lời cảm ơn đến bố mẹ cơng ơn sinh thành, ni dưỡng, chăm sóc bảo cho con, u thương, động viên giúp đỡ đường Cuối cùng, xin gửi lời cảm ơn đến bạn tập thể lớp K57CLC, bạn nhóm hai bạn nữ lớp K57CLC ủng hộ, giúp đỡ suốt trình học tập giảng đường đại học Em xin chân thành cảm ơn! i TĨM TẮT Tóm tắt: Khai q quy trình tập trung vào việc phân tích liệu q trình từ liệu kiện ghi lại Khai phá quy trình sử dụng liệu ghi nhận từ nhật ký kiện để phát hiện, phân tích cải thiện q trình kinh doanh Bài tốn phát quy trình (process discovery) ba tốn lớn khai phá quy trình (phát quy trình, kiểm tra phù hợp tăng cường mơ hình) Về bản, tốn dựa nhật ký kiện có sẵn hành vi thực tế để phát mơ hình q trình Hiện có nhiều kĩ thuật đưa nhằm phát mơ hình quy trình, thành cơng áp dụng số hệ thống cơng cụ hỗ trợ q trình quản lý kinh doanh, điển hình nhóm nghiên cứu Wil M P van der Aalst, Sander J.J Leemans Theo Sander J.J Leemans cộng (2014, 2015), thách thức việc khai phá quy trình khám phá mơ hình q trình mơ tả hành vi quan sát cách tốt Bởi nhật ký kiện bao gồm hành vi mẫu nên khơng thể giả thiết nhìn thấy tất hành vi có thể, kỹ thuật phát quy trình cần để xử lý tính khơng đầy đủ Dựa nghiên cứu Sander J.J Leemans cộng kỹ thuật phát mơ hình quy trình từ nhật ký kiện khơng đầy đủ, khóa luận nhằm giới thiệu khái quát phương pháp giải toán phát quy trình ảnh hưởng tính khơng đầy đủ nhật ký kiện đến việc phát quy trình Khóa luận trình bày thuật tốn phát mơ hình từ nhật ký kiện khơng đầy đủ, cụ thể thuật toán chọn cho thực nghiệm thuật toán IMin (Inductive Miner - incompleteness) Cuối cùng, khóa luận tiến hành thực nghiệm ba liệu đưa mơ hình quy trình với trung bình độ đo phù hợp (fitness) 0.688, độ đo xác (precision) 0.809, độ đo tổng quát (generalization) 0.979 Từ khóa: Phát quy trình, nhật ký kiện khơng đầy đủ, lưới Petri, quy trình ii ABSTRACT Abstract: Process mining focus on data analysis process from data recorded event Process mining uses the recorded data from the event logs to detect, analyze and improve business process Process discovery is one of the three major problems of the process mining (process discovery, checks the compatibility and enhanced models) Basically, this problem is based on the diary of the event which is available on the actual behavior to detect the actual model of the process Currently, there are many techniques that can be taken to detect process model, these techniques have been applied successfully in some systems and tools to support business process management, typically Wil M P van der Aalst, Sander J.J Leemans According to Sander J.J Leemans and his colleagues (2014, 2015), one of the main challenges of the process mining is discovery process model that captures the given behavior precisely Because the event log only includes behavioral patterns, therefore it should not be assumed to be able to see all the possible behaviors, and techniques detection processes need to be able to handle the incompleteness of event logs Based on Sander J.J Leemans and his colleagues’s research, this thesis aims are to introducing an overview of methods to solve the detection process problem and the effect of the incomplete event log to the process discovery This thesis also introduces detection algorithm models from event logs which are incompleted, specially, IMin algorithm (Inductive Miner – incompleteness) Finally, the thesis proceeds the experimental section with three data sets, gives process model with fitness approximately 0.688, precision approximately 0.809, generalization approximately 0.979 Keywords: process discovery, incomplete event log, petri-net, process tree iii LỜI CAM ĐOAN Em xin cam đoan đề tài khóa luận “Phát mơ hình quy trình từ nhật ký kiện khơng đầy đủ” áp dụng kĩ thuật khai phá quy trình xây dựng mơ hình thực nghiệm em thực hướng dẫn PGS.TS Hà Quang Thụy Tất tài liệu nghiên cứu liên quan tác giả khác sử dụng khóa luận nêu rõ ràng tường minh tác giả có danh mục tài liệu tham khảo khóa luận Hà Nội, ngày tháng năm 2016 Sinh viên Lại Thị Huyền Trang iv Mục lục LỜI CẢM ƠN i TÓM TẮT ii ABSTRACT iii LỜI CAM ĐOAN iv Danh sách thuật ngữ từ viết tắt vii Danh sách hình vẽ viii Danh sách bảng biểu x Lời mở đầu Chương 1: Phát quy trình từ nhật ký kiện không đầy đủ 1.1 Phát quy trình 1.1.1 Giới thiệu tổng quan phát quy trình 1.1.2 Độ đo tiêu chuẩn chất lượng mơ hình 1.2 Nhật ký kiện không đầy đủ 1.2.1 Nhật ký kiện 1.2.2 Tính khơng đầy đủ nhật ký kiện 1.3 Phát quy trình từ nhật ký kiện không đầy đủ 1.3.1 Lưới Petri, Cây quy trình Đồ thị luồng có hướng 1.3.2 đủ Sơ phương pháp phát quy trình từ nhật ký kiện khơng đầy 11 1.4 Sơ tốn khóa luận 12 Tóm tắt chương 12 Chương Một số kỹ thuật phát quy trình từ nhật ký kiện khơng đầy đủ 13 2.1 Thuật tốn IMin 13 2.1.1 Quan hệ hành vi 13 2.1.2 Thuật toán IMin 15 2.2 Thuật toán IMinD 18 2.2.1 Khái niệm đồ thị luồng có hướng phân hoạch 19 2.2.2 Phát quy trình sử dụng đồ thị luồng có hướng 21 v 2.3 Ý tưởng mơ hình phát quy trình từ nhật ký kiện khơng đầy đủ khóa luận 25 Tóm tắt chương 26 Chương 3: Một mơ hình phát quy trình từ nhật ký kiện khơng đầy đủ 27 3.1 Giới thiệu sơ 27 3.2 Mơ hình giải tốn phát quy trình đề nghị 27 3.2.1 Pha áp dụng thuật tốn phát quy trình 29 3.2.2 Pha tính tốn độ đo 30 3.2.3 Pha so sánh phương pháp 31 Tóm tắt chương 32 Chương 4: Thực nghiệm đánh giá 33 4.1 Mô tả thực nghiệm 34 4.1.1 Mô tả liệu 34 4.1.2 Môi trường thực nghiệm 40 4.1.3 Các công cụ, phần mềm plug-in sử dụng 40 4.2 Kết thực nghiệm đánh giá 41 4.2.1 Kết thực nghiệm 41 4.2.2 Đánh giá kết thực nghiệm 44 Tóm tắt chương 47 Kết luận 48 Kết đạt khóa luận hạn chế 48 Định hướng tương lai 48 Tài liệu tham khảo 49 vi Danh sách thuật ngữ từ viết tắt Tiếng Anh/ Từ viết tắt Tiếng Việt/ Cụm từ đầy đủ Directly- Follow Relation Quan hệ luồng có hướng Event Log Nhật ký kiện Fitness Độ đo phù hợp Generalization Độ đo tổng quát IM Inductive Miner IMD Inductive Miner framework IMin Inductive Miner- incompleteness IMinD Inductive Miner-incompleteness-directlyfollows based Incomplete Event Log Nhật ký kiện không đầy đủ Precision Độ đo xác Process Discovery Phát quy trình Simplicity Đọ đo tính đơn giản WP- net Lưới luồng công việc vii Bảng 4.3 thống kê số lớp kiện tần suất xuất chúng nhật ký kiện Lfull Lớp kiện(8) Tần xuất(tuyệt đối) Tần xuất(tương đối) d+complete 1537 20.387% e+complete 1537 20.387% a+complete 1391 18.451% c+complete 971 12.88% h+complete 930 12.336% b+complete 566 7.508% g+complete 461 6.115% f+complete 146 1.937% Bảng 4.3: Thống kê tần suất lớp kiện b Dữ liệu sử dụng thực nghiệm Dữ liệu có từ nhật ký kiện Lfull thực loại bỏ bớt hành vi để đưa nhật ký kiện không đầy đủ so với Lfull Trong thực nghiệm này, sử dụng phần liệu nhật ký kiện Lfull Chúng thực nghiệm ba liệu data1(một phần liệu lấy từ Lfull) data2(dữ liệu data1 lược bớt hành vi) data3 (dữ liệu data1 lược bỏ hoàn toàn lớp hành vi) Cụ thể liệu data1 mô tả bảng 4.4 sau đây: Data1 Số lượng Quá Trường trình hợp 832 Sự kiện 4528 Lớp Loại kiện kiện Tác nhân Bảng 4.4: Dữ liệu data1 sử dụng cho thực nghiệm 36 Hình 4.3: Dữ liệu data1 thể ProM Lớp kiện(8) Tần xuất(tuyệt đối) Tần xuất(tương đối) d 924 20.406% e 924 20.406% a 832 18.375% h 663 14.642% c 561 12.39% b 363 8.017% g 169 3.732% f 92 2.032% Bảng 4.5: Thống kê tần xuất lớp kiện data1 37 Dữ liệu data2 không đầy đủ mô tả bảng 4.6 sau đây: Data2 Quá trình Trường hợp Sự kiện Lớp kiện Số lượng 832 3924 Loại kiện Tác nhân 1 Bảng 4.6: Dữ liệu data2 sử dụng cho thực nghiệm Hình 4.4: Dữ liệu data2 thể ProM Lớp kiện(8) Tần xuất(tuyệt đối) Tần xuất(tương đối) d 924 23.547% e 924 23.547% a 832 21.203% c 561 14.297% b 363 9.251% g 169 4.307% 38 f 92 2.345% h 59 1.504% Bảng 4.7: Thống kê tần xuất lớp kiện data2 Trong liệu thực nghiệm data2 mô tả với lược bỏ bớt hành vi h data1, theo quy trình thực tế hành vi e thực lựa chọn g h để kết thúc quy trình, quan hệ g h quan hệ loại trừ, data2 loại bớt 604 hành vi “h” vết nhật ký kiện không đầy đủ data2 so với data1 Ngồi ra, chúng tơi thực nghiệm liệu data3 không đầy đủ việc loại bỏ hoàn toàn lớp hành vi “h” khỏi nhật ký kiện Dữ liệu data3 mơ tả cụ thể bảng Data2 Q trình Trường hợp Sự kiện Lớp kiện Số lượng 832 3865 Loại kiện Tác nhân 1 Bảng 4.8: Dữ liệu data3 sử dụng cho thực nghiệm Hình 4.5: Dữ liệu data3 mơ tả ProM 39 4.1.2 Môi trường thực nghiệm Môi trường thực nghiệm mô tả bảng sau: Chi tiết phần cứng Chỉ số CPU Intel(R) Core(TM) i3- 2370M 2.40 GHz RAM 2.00 GB OS Window Professional 32 bit Bảng 4.9: Môi trường thực nghiệm (phần cứng hệ điều hành) 4.1.3 Các công cụ, phần mềm plug-in sử dụng Tên Tác giả Chức Công cụ mã ProM 6.5.1 nguồn mở hỗ trở khai phá quy trình Plug-in S.J.J Phát quy InductiveMiner Leemans trình lưới petri Plug-in AlphaMiner B.F van Dongen Phát quy trình lưới petri Arya Adriansyah Replay mơ hình nhật ký kiện để tìm fitness Plug-in PNetReplayer Plug-in PNetAligement Analysis Arya Adriansyah Tính tốn độ đo xác độ tổng qt Nguồn http://www.promtools.org/pro m6 http://www.promtools.org/pro m6/packages/InductiveMiner/ http://www.promtools.org/pro m6/packages/AlphaMiner/ http://www.promtools.org/pro m6/packages/PetriNetReplayA nalysis/ http://www.promtools.org/pro m6/packages/PNetAlignmentA nalysis/ Bảng 4.10: Các công cụ, phần mềm plug-in sử dụng 40 4.2 Kết thực nghiệm đánh giá 4.2.1 Kết thực nghiệm Áp dụng mơ hình đề xuất chương ba khóa luận, thực nghiệm tiến hành với file đầu vào nhật ký kiện data1, data2, data3 định dạng MXML Sau tiến hành thực nghiệm với hai thuật tốn IMin Alpha Sau thực nghiệm cho ta kết bốn mơ hình Hình 4.6 mơ tả mơ hình quy trình phát áp dụng thuật tốn IMin với đầu vào nhật ký kiện đầy đủ data1, đầu mơ hình quy trình lưới Petri Hình 4.6: Mơ hình lưới Petri tạo áp dụng thuật toán IMin sử dụng liệu data1 41 Hình 4.7 sau thể kết mơ hình lưới Petri sinh việc áp dụng thuật toán Alpha với liệu đầu vào data1 Hình 4.7: Mơ hình lưới Petri tạo áp dụng thuật toán alpha sử dụng liệu data1 Tiếp theo, thực nghiệm thực liệu data2, áp dụng thuật toán IMin, Alpha ta mơ hình lưới Petri hình 4.8 4.9 Hình 4.8: Mơ hình quy trình lưới Petri tạo áp dụng thuật tốn IMin sử dụng data2 42 Hình 4.9: Mơ hình quy trình lưới Petri tạo áp dụng thuật toán alpha sử dụng liệu data2 Ngồi ra, thực nghiệm khóa luận tiến hành liệu data3, nhật ký kiện loại bỏ hoàn toàn hành vi “h”, tức nhật ký kiện data3 khơng đầy đủ thiếu hành vi “h” Hình 4.10: Mơ hình quy trình lưới Petri tạo áp dụng thuật toán IMin sử dụng liệu data3 43 Hình 4.11: Mơ hình quy trình lưới Petri tạo áp dụng thuật toán alpha sử dụng liệu data3 4.2.2 Đánh giá kết thực nghiệm Trong phần trước, thực nghiệm đưa hai mơ hình quy trình sinh áp dụng thuật toán IMin alpha Để đánh giá độ “tốt” mơ hình sinh chúng tơi thực việc phát lại (replay) mơ hình tìm nhật ký kiện không đầy đủ đầu vào, với đầu độ đo phù hợp (fitness), độ đo xác (precision), độ đo tổng quát (generalization) Data1 Độ đo fitness Độ đo precision Độ đo generalization IMin 0.688 0.813 0.97 Alpha 1.0 0.871 0.98 Bảng 4.11: Kết so sánh data1 44 Data2 Độ đo fitness Độ đo precision Độ đo generalization IMin 0.688 0.811 0.981 Alpha 0.63 0.895 0.867 Bảng 4.12: Kết so sánh data2 Data3 Độ đo fitness Độ đo precision Độ đo generalization IMin 0.688 0.804 0.967 Alpha 0.625 0.885 0.814 Bảng 4.13: Kết so sánh data3 1.2 0.8 IMin 0.6 Alpha 0.4 0.2 data1 data2 data3 Hình 4.12: Biểu đồ so sánh độ đo phù hợp IMin Alpha 45 0.92 0.9 0.88 0.86 0.84 Imin 0.82 Alpha 0.8 0.78 0.76 0.74 data1 data2 data3 Hình 4.13: Biểu đồ so sánh độ đo xác IMin Alpha 1.2 0.8 Imin 0.6 Alpha 0.4 0.2 data1 data2 data3 Hình 4.14: Biểu đồ so sánh độ đo tổng quát IMin Alpha Từ kết thu thấy thuật tốn IMin có độ xác giảm dần liệu thiếu đầy đủ, tức độ xác tăng liệu 46 chi tiết, độ xác (data1) = 0.813, độ xác (data2) = 0.811, độ xác(data3) = 0.804, độ xác mơ hình thuật tốn Alpha giảm dần Kết so sánh data2, data3 cho thấy độ tổng qt mơ hình sinh thuật toán IMin giảm dần thực liệu với tính khơng đầy đủ tăng dần thuật tốn alpha cho mơ hình có độ tổng qt giảm dần, độ tổng qt mơ hình sinh thuật toán alpha lại thấp so với thuật toán IMin trường hợp liệu Từ kết ba đồ thị cho thấy rằng, trung bình độ đo tổng quát ba liệu IMin 0.973 Alpha 0.887 Mơ hình quy trình xây dựng IMin rõ ràng cho độ tổng quát tốt so với áp dụng thuật toán Alpha Thực nghiệm thực liệu nhỏ phần đưa so sánh phù hợp hiệu thuật toán IMin liệu không đầy đủ so với thuật tốn Alpha Tóm tắt chương Trong chương này, khóa luận thực nghiệm liệu có tính khơng đầy đủ khác nhau, đưa nhận xét đánh giá kết chạy với thuật toán khác Qua phân tích đánh giá cho thấy, phương pháp mà khóa luận lựa chọn thể phần hiệu so với thuật tốn phát quy trình thơng thường 47 Kết luận Kết đạt khóa luận hạn chế Dựa nghiên cứu Sander J.J Leemans cộng kĩ thuật sử dụng thuật tốn IMin việc phát quy trình từ nhật ký kiện khơng đầy đủ, khóa luận đề xuất mơ hình phát quy trình từ nhật ký kiện khơng đầy đủ với thuật tốn IMin, sử dụng kĩ thuật tính xác suất quan hệ cặp hành vi để đưa mơ hình phù hợp nhật ký kiện không đầy đủ Đồng thời, khóa luận xây dựng thực nghiệm liệu khác nhau, ba liệu data1, data2 data3 mô tả cụ thể trước đưa độ đo đánh giá, đặc biệt độ đo tổng quát mơ hình xây dựng thuật tốn IMin 0.967 (đối với liệu data3) thuật tốn Alpha xây dựng mơ hình với độ đo tổng quát 0.814 (đối với liệu data3) trung bình độ đo tổng quát ba liệu IMin 0.973 Alpha 0.887, từ cho thấy thuật tốn IMin xử lý tính khơng đầy đủ nhật ký kiện để đưa mơ hình quy trình có tính tổng qt cao thuật toán Alpha Do hạn chế thời gian, liệu hệ thống phần cứng mà khóa luận chưa thể thực nghiệm liệu lớn Định hướng tương lai Kĩ thuật phát mơ hình quy trình từ nhật ký kiện khơng đầy đủ áp dụng cho khóa luận cần cải tiến kết tốt Ngoài ra, liệu thực nghiệm cần có kích cỡ lớn để đưa nhận xét tổng quát Trước mắt, cần thực chạy thực nghiệm thêm với liệu khác có kích cỡ lớn dựa vài phương pháp khác để so sánh, đánh giá xác Lâu dài, cố gắng cải thiện kĩ thuật phát mơ hình quy trình từ nhật ký kiện không đầy đủ kết tốt hơn, để ứng dụng tốn cho số doanh nghiệp Việt Nam Ngồi ra, tơi cải thiện việc đánh giá mơ hình quy trình “tốt” khơng dựa độ đo mà cịn dựa kĩ thuật phát lại xử lý tính khơng đầy đủ nhật ký kiện 48 Tài liệu tham khảo Tài liệu tiếng Việt [1] Bùi Thị Hồng Nhung, Lê Hồng Quỳnh, Ngơ Thị Oanh, Lại Thị Huyền Trang, Chu Chí Quang, Nguyễn Thị Dung, Hà Quang Thụy, Nguyễn Trí Thành, Trần Mai Vũ Báo cáo chuyên đề 1: Khảo sát dạng mẫu khai phá từ nhật ký kiện 2015 Tài liệu tiếng Anh [2] Dirk Fahland, Wil M P van der Aalst Model repair - aligning process models to reality Inf Syst 47: 220-243 (2015) [3] Anne Rozinat and W.M.P van der Aalst Conformance Checking of Processes Based on Monitoring Real Behavior Journal Information Systems archive Volume 33 Issue 1, March, 2008 Pages 64-95 [4] Anne Rozinat, A.K Alves de Medeiros, C.W Günther, A.J.M.M Weijters, and W.M.P van der Aalst Towards an Evaluation Framework for Process Mining Algorithms.BPM Center Report BPM-07-06, BPMcenter.org, 2007 [5] Sander J J Leemans, Dirk Fahland, Wil M P van der Aalst Discovering BlockStructured Process Models from Event Logs Containing Infrequent Behaviour Business Process Management Workshops 2013: 66-78 [6] Sander J J Leemans, Dirk Fahland, Wil M P van der Aalst Discovering BlockStructured Process Models from Incomplete Event Logs Petri Nets 2014: 91-110 [7] Sander J J Leemans, Dirk Fahland, Wil M P van der Aalst Scalable Process Discovery with Guarantees BMMDS/EMMSAD 2015: 85-101, 2015 [8] Wil M P van der Aalst, Boudewijn F van Dongen Discovering Petri Nets from Event Logs Trans Petri Nets and Other Models of Concurrency 7: 372-422 (2013) [9] Wil M P van der Aalst, Ton Weijters, Laura Maruster Workflow Mining: Discovering Process Models from Event Logs IEEE Trans Knowl Data Eng 16(9): 1128-1142 (2004) 49 [10] Wil M P van der Aalst Process Mining - Discovery, Conformance and Enhancement of Business Processes Springer 2011, ISBN 978-3-642-19344-6, pp I-XVI, 1-352 50 ... pháp phát quy trình từ nhật ký kiện khơng đầy đủ Bài tốn phát quy trình từ nhật ký kiện không đầy đủ nhận đầu vào nhật ký kiện đầu mô hình q trình tương ứng Mơ hình tạo cần phù hợp với nhật ký. .. niệm toán phát quy trình bao gồm nhật ký kiện, nhật ký kiện không đầy đủ, lưới Petri, quy trình Đồng thời, khóa luận đưa nhìn sơ phương pháp phát quy trình từ nhật ký kiện không đầy đủ từ nghiên... mơ hình giải tốn phát quy trình từ nhật ký kiện không đầy đủ đề xuất hình 3.1 Trong mơ hình 3.1 thể ba pha thực để giải tốn phát quy trình từ nhật ký kiện khơng đầy đủ khóa luận: pha từ nhật ký