PHÁT HIỆN ĐIỂM THAY ĐỔI TRƠI KHÁI NIỆM TRONG KHAI PHÁ QUY TRÌNH KHÓA LUẬN TỐT NGHIỆP ĐẠI HỌC HỆ CHÍNH QUY

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƢỜNG ĐẠI HỌC CÔNG NGHỆ Ngơ Thị Oanh PHÁT HIỆN ĐIỂM THAY ĐỔI TRƠI KHÁI NIỆM TRONG KHAI PHÁ QUY TRÌNH KHĨA LUẬN TỐT NGHIỆP ĐẠI HỌC HỆ CHÍNH QUY Ngành: Cơng nghệ thơng tin HÀ NỘI - 2016 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƢỜNG ĐẠI HỌC CƠNG NGHỆ Ngơ Thị Oanh PHÁT HIỆN ĐIỂM THAY ĐỔI TRÔI KHÁI NIỆM TRONG KHAI PHÁ QUY TRÌNH KHĨA LUẬN TỐT NGHIỆP ĐẠI HỌC HỆ CHÍNH QUY Ngành: Công nghệ thông tin Cán hƣớng dẫn: PGS TS Hà Quang Thụy Cán đồng hƣớng dẫn: Ths Lê Hoàng Quỳnh HÀ NỘI - 2016 VIETNAM NATIONAL UNIVERSITY UNIVERSITY OF ENGINEERING AND TECHNOLOGY Ngo Thi Oanh CHANGE POINT - CONCEPT DRIFT DETECTION IN PROCESS MINING A THESIS PRESENTED FOR THE DEGREE BACHELOR Department: Information Technology Supervisors: Assoc Prof Ha Quang Thuy MsC Le Hoang Quynh HA NOI - 2016 LỜI CÁM ƠN Đầu tiên, em xin bày tỏ lòng cám ơn chân thành sâu sắc tới Phó giáo sư – Tiến sĩ Hà Quang Thụy Thạc sĩ Lê Hồng Quỳnh tận tình hướng dẫn, động viên hỗ trợ em trình em thực khóa luận Em xin gửi lời cám ơn sâu sắc tới quý thầy, cô Khoa Công Nghệ Thơng Tin nói riêng trường Đại học Cơng Nghệ - Đại học Quốc Gia Hà Nội nói chung truyền đạt kiến thức vô hữu ích cho em suốt bốn năm học đại học Em xin gửi lời cám ơn tới anh chị bạn sinh viên phịng thí nghiệm công nghệ tri thức khoa học liệu (DS&KTLab) giúp đỡ em nhiều để hoàn thành tốt khóa luận Con xin bày tỏ lịng biết ơn vơ hạn tới bố mẹ cơng ơn sinh thành, dưỡng dục, ln động viên, chăm lo dành tình u thương cho con, ủng hộ đường học tập Cuối cùng, xin gửi lời cám ơn tới anh chị bạn, đặc biệt thành viên lớp K57C-CLC ủng hộ giúp đỡ suốt q trình tơi học tập giảng đường đại học thực đề tài khóa luận Em xin chân thành cám ơn! i TĨM TẮT Tóm tắt: Trong môi trường kinh doanh biến động ngày nay, tổ chức cần thay đổi quy trình kinh doanh họ để thích nghi với hồn cảnh thay đổi, từ giảm chi phí cải thiện suất quy trình Những thay đổi diễn quy trình kinh doanh biết đến trôi khái niệm Việc phát trôi khái niệm mang tính định quản lý quy trình Do đó, phát điểm thay đổi chủ đề cộng đồng nghiên cứu quan tâm ngữ cảnh quản lý quy trình kinh doanh (Business Process Management/BPM) quản lý tiến trình cơng việc (Workflow Management/WFM), chẳng hạn Bose cộng sự, Abderrahmane Maaradji cộng sự, M V Manoj Kumar cộng sự, J Martjushev cộng năm 2011, 2015 Dựa kết nghiên cứu năm 2015 Abderrahmane Maaradji cộng sự, M V Manoj Kumar cộng sự, J Martjushev cộng sự, khóa luận sâu vào tốn phát điểm thay đổi – trôi khái niệm khai phá quy trình trình bày kỹ thuật điển hình để giải tốn Khóa luận tiến hành thực nghiệm áp dụng hai số kỹ thuật đề để phát trôi khái niệm nhật kí nhận tạo gồm 72 nhật kí với 18 mẫu thay đổi khác Trong số nhật kí kiện, kĩ thuật cho độ đo F1 đạt 1.0 Hơn nữa, kĩ thuật kiểm thử thống kê tập chạy cho kết tốt hầu hết mẫu thay đổi so với kĩ thuật kiểm thử thống kê tập đặc trưng Từ khóa: khai phá quy trình, trơi khái niệm, điểm thay đổi, kiểm thử giả thuyết thống kê ii ABSTRACT Abstract: In today‟s dynamic marketplace, organizations need to change their bussiness processes to adapt to changing circumstances to reduce costs and to improve performance of processes The change, which take place when process are still performing, is known as Concept Drift Such concept drifts detection is decisive for process management Therefore, change point detection is the topic that is attended by research community in the context of Business Process Management (BPM) and Workflow Management (WFM), such as Bose et al, Abderrahmane Maaradji et al, M V Manoj Kumar et al, J Martjushev et al in 2011, 2015 Based on researched results in 2015 of Abderrahmane Maaradji et al, M V Manoj Kumar et al, J Martjushev et al, this thesis presents details about (concept drift) change point detection problem in process mining and typical techniques to resolve this problem My thesis also performs an experiment applying two of proposed techniques to detect concept drift on a set of 72 synthetic event logs with 18 various change patterns In some event logs, these techniques give F1-measure as 1.0 Moreover, the technique based on statistical test over set of runs is better than the technique based on statistical test over set of features Keywords: process mining, concept drift, change point, static hypothesis tests iii LỜI CAM ĐOAN Tôi xin cam đoan kỹ thuật phát điểm thay đổi – trôi khái niệm khai phá quy trình tiến hành thực nghiệm thực hướng dẫn Phó giáo sư – Tiến sĩ Hà Quang Thụy Thạc sĩ Lê Hoàng Quỳnh Tất tham khảo từ nghiên cứu liên quan trích dẫn nguồn gốc cách rõ ràng từ danh mục tài liệu tham khảo khóa luận Trong tài liệu khơng có việc chép tài liệu cơng trình nghiên cứu khác mà khơng rõ danh mục tài liệu tham khảo Hà Nội, ngày tháng 04 năm 2016 Sinh viên Ngô Thị Oanh iv Mục lục LỜI CÁM ƠN i TÓM TẮT ii ABSTRACT iii LỜI CAM ĐOAN iv Danh sách thuật ngữ từ viết tắt v Danh sách bảng vi Danh sách hình vẽ vii Lời mở đầu Chương 1: Phát điểm thay đổi nhật kí kiện 1.1 Trôi khái niệm học thích nghi 1.1.1 Giới thiệu chung 1.1.2 Vấn đề xử lí trôi khái niệm 1.1.3 Thủ tục học thích nghi thích nghi trực tuyến 1.1.4 Phép phân loại phương pháp thích nghi trơi khái niệm 1.1.5 Đánh giá kỹ thuật học thích nghi 16 1.2 Trơi khái niệm khai phá quy trình 17 1.2.1 Giới thiệu 17 1.2.2 Các vấn đề liên quan trôi khái niệm khai phá quy trình 19 1.2.3 Các phương diện thay đổi 20 1.2.4 Các loại trôi khái niệm 20 1.2.5 Giới thiệu chung kĩ thuật phát điểm thay đổi khai phá quy trình 22 1.2.6 Đánh giá kĩ thuật phát thay đổi 23 1.3 Phát biểu toán 24 Chương 2: Kĩ thuật phát điểm thay đổi nhật kí kiện 25 2.1 Dấu hiệu nhân đặc trưng thể quan hệ hành động 25 2.1.1 Dấu hiệu nhân 25 2.1.2 Các đặc trưng thể quan hệ hành động 26 2.2 Kiểm thử giả thuyết thống kê để phát trôi khái niệm 27 2.3 Kĩ thuật phát điểm thay đổi trôi tự động sử dụng cửa sổ trượt 29 2.3.1 Cách tiếp cận sử dụng cửa sổ kích thước cố định 29 2.3.2 Cách tiếp cận sử dụng cửa sổ thích nghi 30 2.4 Cách tiếp cận xử lí trơi thay đổi đa mức 32 2.4.1 Phát trôi 32 2.4.2 Phát thay đổi đa mức 33 2.5 Kĩ thuật phát trôi sử dụng độ tương quan hành động 34 2.5.1 Lớp kiện tương quan lớp kiện 34 2.5.2 Phương pháp phát trôi sử dụng tương quan lớp kiện 36 2.6 Kĩ thuật phát trôi kiểm thử giả thuyết thống kê chạy 37 2.6.1 Từ nhật kí kiện đến tập chạy thứ tự cục 38 2.6.2 Kiểm thử thống kê toàn chạy 39 2.6.3 Cách tiếp cận sử dụng cửa sổ thích nghi 40 2.7 Ý tưởng mô hình phát điểm thay đổi khóa luận 41 Chương 3: Mơ hình phát điểm thay đổi nhật kí kiện 42 3.1 Giới thiệu 42 3.2 Mơ hình phát điểm thay đổi nhật kí kiện 42 3.3 Thành phần mơ hình 44 3.3.1 Pha phát điểm thay đổi 44 3.3.2 Đánh giá so sánh 45 Chương 4: Thực nghiệm đánh giá 47 4.1 Dữ liệu thực nghiệm 47 4.2 Phần mềm thực nghiệm 50 4.3 Kịch thực nghiệm 54 4.4 Kết thực nghiệm đánh giá 55 4.4.1 Thực nghiệm đánh giá ảnh hưởng kích thước cửa sổ sử dụng ProDrift 55 4.4.2 Thực nghiệm so sánh hiệu hai kĩ thuật lựa chọn 56 Kết luận 61 Kết đạt 61 Định hướng tương lai 61 Tài liệu tham khảo 62 Phụ lục 64 Danh sách thuật ngữ từ viết tắt Tiếng Anh/Cụm từ viết tắt Tiếng Viết/Cụm từ đầy đủ Bussiness Process Management / BPM Hệ thống quản lý lý quy trình kinh doanh Workflow Management / WFM Hệ thống quản lý tiến trình cơng việc Concept Drift Trơi khái niệm Loss estimation Sự đánh giá mát Loss function Hàm đánh giá mát Outlier Phần tử ngoại lai Noise Phần tử nhiễu Feedback Phản hổi: nhãn lớp thực Forgetting Mechanism Cơ chế quên liệu lịch sử Sequential Probability Ratio Test / SPRT Kỹ thuật kiểm thử tỉ lệ xác suất Sequential analysis Kỹ thuật Phân tích Control Charts Biều đồ điều khiển Statictical Process Controll / SPC Điều khiển quy trình thống kê Adaption Window / ADWN Cửa sổ thích nghi Fading Factor Nhân tố làm giảm v Lựa chọn kiểm thử giả thuyết Lựa chọn tham số Hình 4.5: Cấu hình kiểm thử giả thuyết 2) Công cụ ProDrift: Đây cơng cụ phát trơi quy trình kinh doanh tự động, xây dựng tác giả A Maaradji, M Dumas, M La Rosa and A Ostovar Công cụ có sẵn platform Apromore (http://apromore.org/platform/tools) Nó công cụ ứng dụng cách tiếp cận kiểm thử giả thuyết thống kê tập chạy [1] để phát trơi từ nhật kí kiện đầu vào dạng xes mxml Phiên ProDrift 1.0 sử dụng thực nghiệm Hình ảnh hoạt động ProDrfit minh họa hình 4.6 53 Hình 4.6: Thực nghiệm cơng cụ ProDrift 4.3 Kịch thực nghiệm Trong khóa luận này, sử dụng liệu giới thiệu mục 4.1 hệ phống phần mềm, phần cứng trình bày phần 4.2, khóa luận tiến hành kịch thực nghiệm sau: Thứ nhất, thực nghiệm nhật kí kiện 7500 vết với mẫu thay đổi “cd”, sử dụng cơng cụ ProDrift với kích thước cửa sổ thích nghi khởi tạo khác : 25, 50, 75, 100, 125, 150 vết Với tập điểm thay đổi thực tế nhật kí kiện 7500 vết bảng 4.2 sử dụng khoảng trễ l = 100 vết để tính dương đúng, dương sai, âm sai, từ tính độ đo: độ xác, độ hồi tưởng độ đo F1 Kết từ độ đo góp phần đánh giá ảnh hưởng kích thước cửa sổ tới việc phát xác trơi Thứ hai, thực nghiệm nhật kí kiện 5000 vết, với mẫu thay đổi “cb”, “pl”, “ROI”, “RIO”, “cp”, “cf” “cm”, “IOR”, “IRO”, “OIR”, “ORI”, “pm”, 54 “rp”, “sw”, sử dụng hai công cụ: Concept Drift ProDrift với kích thước cửa sổ thích nghi khởi tạo 100 vết Khóa luận lựa chọn khoảng trễ l = 50 vết để tính số dương đúng, dương sai, âm sai, từ tính độ đo: độ xác, độ hồi tưởng độ đo F1 Kết từ độ đo góp phần đánh giá so sánh hiệu hai kĩ thuật áp dụng Đối với thực nghiệm thứ hai, sử dụng plug-in Concept Drift (ProM), khóa luận áp dụng kĩ thuật kiểm thử giả thuyết thống kê tập đặc trưng [16] với tham số sau: Lựa chọn đặc trưng cục J-measure tập tất cặp hành động, quan hệ hành động sau, kích thước tập hợp tối thiểu 100, kích thước tập hợp tối đa 500, kích thước nhảy 20, ngưỡng p-value 0.4 Kết thực nghiệm trình bày phần 4.4 Kết thực nghiệm đánh giá 4.4.1 Thực nghiệm đánh giá ảnh hƣởng kích thƣớc cửa sổ sử dụng ProDrift Như trình bày kịch thực nghiệm thứ phần 4.3, bảng 4.4 thể điểm thay đổi phát hiện, độ xác, độ hồi tưởng, độ đo F1 với kích thước cửa sổ thích nghi khác với nhật kí kiện 7500 vết cảm sinh mẫu thay đổi “cd” Hình 4.7 minh họa xu hướng độ đo tăng dần kích thước cửa sổ Bảng 4.4: Kết phát điểm thay đổi với kích thước cửa sổ khác sử dụng ProDrift Các điểm thay đổi thực tế Kích 750 1500 2250 3000 3750 4500 5250 6000 6750 thước Các điểm thay đổi phát 25 Độ chín h xác Độ hồi tưởng Độ đo F1 2961 4453 5953 1.0 0.33 0.5 50 1460 2952 4440 5951 1.0 0.44 0.61 75 1455 2945 4440 5951 1.0 0.44 0.61 100 1453 2193 2945 4440 5951 1.0 0.56 0.72 125 1454 2193 2945 4440 5951 1.0 0.56 0.72 150 1453 2193 2945 4440 5950 1.0 0.56 0.72 55 1.2 0.8 Độ xác 0.6 Độ hồi tưởng 0.4 Độ đo F1 0.2 25 50 75 100 125 150 Kích thước cửa sổ Hình 4.7: Đồ thị xu hướng độ đánh giá với kích thước cửa sổ khác sử dụng ProDrift Nhìn vào kết bảng 4.4 xu hướng hình 4.7, ta nhận thấy rằng: Khi kích thước cửa sổ tăng số điểm trôi phát tăng lên dần Do đó, độ hồi tưởng tăng kéo theo độ đo F1 tăng đạt ổn định kích thước cửa sổ cao đạt 100, 125, 150 Một thực nghiệm 16 nhật kí kiện ứng với 16 mẫu thay đổi trình bày phần Phụ lục thể kích thước cửa sổ tăng lên nhiều điểm thay đổi phát với số điểm thay đổi thực tế điểm thay đổi phát gần với điểm thay đổi thực tế Điều lí giải kích thước cửa sổ tăng, nhiều điểm liệu tự động thêm vào cửa sổ tham khảo cửa sổ phát để đạt chạy phù hợp Phân bố thống kê tin cậy kiểm thử thống kê xác, dẫn đến phát tất các điểm trôi (độ hồi tưởng cao) 4.4.2 Thực nghiệm so sánh hiệu hai kĩ thuật lựa chọn Như trình bày kịch thực nghiệm thứ 4.3, bảng 4.5 4.6 thể kết phát trôi với hai kĩ thuật tương ứng với hai công cụ ProDrift Concept Drift Và hình 4.8 đồ thị so sánh độ đo F1 mà hai kĩ thuật đạt 56 Bảng 4.5: Kết phát điểm thay đổi với mẫu thay đổi sử dụng ProDrift Các điểm thay đổi thực tế Mẫu Độ Độ thay 500 1000 1500 2000 2500 3000 3500 4000 4500 hồi xác tưởng Các điểm thay đổi phát đổi Độ đo F1 0 1465 1939 2465 2944 3486 3948 4488 0.56 0.56 0.56 980 1483 1981 2475 2984 3486 3975 4473 1.0 1.0 1.0 RIO 440 941 1446 1940 2426 2970 3458 3965 4421 0.33 0.33 0.33 cp 475 951 1474 1959 2455 2978 3476 3970 4448 0.89 0.89 0.89 cf 470 958 1471 1968 2474 2973 3481 3969 4458 1.0 1.0 1.0 cm 475 950 1457 1940 2454 2961 3473 3956 4446 0.78 0.78 0.78 fr 425 2923 0 cb 437 1403 pl 465 944 ROI 486 2425 2911 3406 3936 4307 IOR 469 957 1461 1970 2476 2965 3465 3985 4485 1.0 1.0 1.0 IRO 440 941 1446 1940 2426 2970 3458 3965 4421 0.33 0.33 0.33 OIR 478 980 1428 1970 2330 2976 3334 3974 0.625 0.56 0.59 ORI 485 957 1471 1954 2464 2971 3469 3968 4466 1.0 1.0 1.0 pm 461 959 1474 1952 2463 2978 3462 3952 4455 1.0 1.0 1.0 rp 468 956 1486 1955 2458 2961 3469 3960 4450 1.0 1.0 1.0 sw 486 954 1464 1957 2468 2968 3471 3960 4455 1.0 1.0 1.0 57 Bảng 4.6: Kết phát điểm thay đổi với mẫu thay đổi sử dụng Concept Drift Các điểm thay đổi thực tế Mẫu Độ Độ thay 500 1000 1500 2000 2500 3000 3500 4000 4500 hồi xác tưởng Các điểm thay đổi phát đổi Độ đo F1 0.5 0.11 0.18 pl 0 ROI 0 1.0 0.22 0.36 cb 373 4001 RIO 501 3496 cp 500 1000 1500 2000 2500 3000 3500 4000 4500 1.0 1.0 1.0 cf 500 1000 1500 2000 2500 3000 3500 4000 4500 1.0 1.0 1.0 cm 373 0.75 0.33 0.46 fr 0 IOR 0 IRO 0 OIR 500 1000 1500 2000 2500 3000 3500 4000 4500 1.0 1.0 1.0 ORI 500 1000 1500 2000 2500 3000 3500 4000 4500 1.0 1.0 1.0 0.11 0.2 rp 0 sw 0 pm 1498 2499 3995 998 58 1.2 Độ đo F1 0.8 0.6 ProDrift (Apromore) ConceptDrift (ProM) 0.4 0.2 cb pl ROI RIO cp cf cm IOR IRO OIR ORI pm rp sw Mẫu thay đổi Hình 4.8: Đồ thị so sánh độ đo F1 hai kĩ thuật sử dụng ProDrift Concept Drift Như vậy, nhìn vào kết bảng 4.5, 4.6 hình 4.8 ta thấy phương pháp kiểm thử thống kê tập chạy Maaradji [1] cho độ đo F1 cao hầu hết mẫu thay đổi so với phương pháp kiểm thử thống kê tập đặc trưng Martjushev [16] Đặc biệt mẫu “ROI”, “IOR”, “rp”, “sw”, phương pháp tích hợp ProDrift phát tất điểm thay đổi (độ đo F1 = 1.0), phương pháp tích hợp Concept Drift khơng phát điểm thay đổi (độ đo F1 = 0) Tuy nhiên, số mẫu “OIR”, “ORI”, “cf”, “cp”, phương pháp Concept Drift lại phát tất điểm thay đổi thực tế Đây điều đáng mong đợi Hình 4.9, 4.10, 4.11 đại diện cho đồ thị P-value số thực nghiệm phát điểm thay đổi sử dụng Concept Drift Hình 4.9: Đồ thị P-value kiểm thử giả thuyết thống kê với mẫu “RIO” 59 Hình 4.10: Đồ thị P-value kiểm thử giả thuyết thống kê với mẫu “cf” Hình 4.11: Đồ thị P-value kiểm thử giả thuyết thống kê với mẫu “cm” 60 Kết luận Kết đạt đƣợc Khóa luận tập trung vào chủ đề phát điểm thay đổi ký kiện Trên sở nghiên cứu phát điểm thay đổi trôi khái niệm khai phá quy trình nghiên cứu Bose cộng sự, Abderrahmane Maaradji cộng sự, M V Manoj Kumar cộng sự, J Martjushev cộng sự, khóa luận đạt số kết sau đây: - Cung cấp khảo sát cập nhật phát điểm thay đổi trôi khái niệm khai phá quy trình - Dựa cách tiếp cận Abderrahmane Maaradji cộng sự; J Martjushev cộng sự, khóa luận đề xuất mơ hình phát điểm thay đổi từ nhật kí kiện sử dụng kiểm thử giả thuyết thống kê tập đặc trưng tập chạy với cửa sổ thích nghi - Tiến hành thực nghiệm phát điểm thay đổi nhật kí kiện gồm 72 nhật kí với 18 mẫu thay đổi để tạo trôi Đánh giá kết thực nghiệm kĩ thuật sử dụng cho độ đo F1 đạt 1.0 số nhật kí kiện Hơn nữa, cách tiếp cận kiểm thử giả thuyết thống kê tập chạy cho kết tốt cách tiếp cận kiểm thử giả thuyết thống kê tập đặc trưng Bên cạnh đó, thực nghiệm đánh giá ảnh hưởng việc lựa chọn kích thước cửa sổ thích nghi ban đầu đến kết việc phát điểm thay đổi quy trình Hạn chế Do khơng có nhật kí kiện quy trình kinh doanh thực tế chứa trơi khái niệm nên kết đánh giá chưa toàn diện nhật kí nhân tạo nhật kí thực tế Thứ hai, hạn chế thời gian trình độ cá nhân nên khóa luận chưa có ý tưởng cải tiến phương pháp phát điểm thay đổi lựa chọn Định hƣớng tƣơng lai Để khắc phục hạn chế nêu, việc đánh giá hiệu phương pháp nhật kí kiện quy trình thực tế nên xem xét để thấy tính ứng dụng phương pháp thực tế Đồng thời, tiến hành phân tích để cải tiến phương pháp phát điểm thay đổi xác 61 Tài liệu tham khảo [1] Abderrahmane Maaradji, Marlon Dumas, Marcello La Rosa, Alireza Ostovar Fast and Accurate Business Process Drift Detection BPM 2015: 406-422 [2] Bach, S H and Maloof, M A Paired learners for concept drift In Proc of the 8th IEEE Int Conf on Data Mining ICDM 2008: 23–32 [3] Bifet, A and Gavalda, R Kalman filters and adaptive windows for learning in data streams In Proc of the 9th int conf on Discovery science DS 2006: 29–40 [4] Bifet, A and Gavalda, R Learning from time-changing data with adaptive windowing In Proc Of SIAM int conf on Data Mining SDM 2007: 443–448 [5] Bose, R P J C., Van der Aalst, W M P., Zliobaite, I., and Pechenizkiy, M Dealing with concept drift in process mining IEEE Trans on Neur Net and Lear Syst 2013 [6] Bose, R.P.J.C., van der Aalst, W.M.P., Zliobaite, I., Pechenizkiy, M.: Handling concept drift in process mining CAiSE 2011: 391–405 [7] Bouchachia, A Fuzzy classification in dynamic environments Soft Comput 15, 5, 2011: 1009–1022 [8] Bouchachia, A and Vanaret, C GT2FC : An online growing interval type-2 selflearningfuzzy classifier IEEE Transactions on Fuzzy Systems 2014 [9] Duda, R., Hart, P., and Stork, D Pattern Classification Wiley 2001 [10] Gama, J and Kosina, P Learning about the learning process In Proc of the 10th int conf on Advances in intelligent data analysis IDA Springer 2011: 162–172 [11] Gama, J., Fernandes, R., and Rocha, R Decision trees for mining data streams Intelligent Data Analysis 10(1) 2006: 23–46 [12] Gama, J., Sebastoao , R., and Rodrigues, P On evaluating stream learning algorithms Machine Learning 90(3) 2013: 317–346 [13] Gantz, J and Reinsel, D IDC: The digital universe in 2020: Big data, bigger digital shadows,and biggest growth in the far east International Data Corporation, sponsored by EMC Corporation 2012 [14] João Gama, Indre Zliobaite, Albert Bifet, Mykola Pechenizkiy, Abdelhamid Bouchachia A survey on concept drift adaptation ACM Comput Surv 46(4) 2014: 44:1-44:37 62 [15] Manoj Kumar M V., Likewin Thomas, Annappa Basava Capturing the Sudden Concept Drift in Process Mining ATAED@Petri Nets/ACSD 2015: 132-143 [16] Martjushev, R P Jagadeesh Chandra Bose, Wil M P van der Aalst Change Point Detection and Dealing with Gradual and Multi-order Dynamics in Process Mining BIR 2015: 161-178 [17] Van der Aalst, W M P Process Mining - Discovery, Conformance and Enhancement of Business Processes Springer 2011 [18] Widmer, G and Kubat, M Learning in the presence of concept drift and hidden contexts Mach Learn 23(1) 1996: 69–101 63 Phụ lục Bảng 4.7: Kết phát điểm thay đổi với nhật kí kiện 7500 vết với 16 mẫu thay đổi kích thước cửa sổ khác sử dụng ProDrift Mẫu Các điểm thay đổi thực tế Độ Kích Độ 750 1500 2250 3000 3750 4500 5250 6000 6750 hồi thay thước xác tưởng đổi Các điểm thay đổi phát 25 cd cb cf cm Độ đo F1 2961 4453 5953 1.0 0.33 0.5 50 1460 2952 4440 5951 1.0 0.44 0.61 75 1455 2945 4440 5951 1.0 0.44 0.61 100 1453 2193 2945 4440 5951 1.0 0.56 0.72 125 1454 2193 2945 4440 5951 1.0 0.56 0.72 150 1453 2193 2945 4440 5950 1.0 0.56 0.72 25 3774 4428 5160 5924 6690 1.0 0.56 0.72 50 3662 4422 5189 5921 6671 1.0 0.56 0.72 2928 3638 4419 5180 5912 6648 0.71 0.56 0.63 75 692 100 684 2132 2952 3636 4422 5179 0.57 0.44 0.5 125 674 2108 2944 3621 4405 5173 5935 6645 0.625 0.56 0.59 150 643 1384 2193 2903 3661 4482 5133 5908 6665 0.56 0.56 0.56 25 1476 2223 2967 3721 4476 5222 5966 6715 1.0 0.89 0.94 50 706 1477 2232 2973 3719 4464 5222 5968 6715 1.0 1.0 1.0 75 714 1474 2227 2966 3718 4479 5221 5968 6723 1.0 1.0 1.0 100 723 1480 2219 2954 3708 4477 5211 5967 6709 1.0 1.0 1.0 125 714 1472 2219 2943 3710 4527 5208 5955 6738 1.0 1.0 1.0 150 718 1477 2225 2948 3702 4502 5206 5955 6795 1.0 1.0 1.0 6642 25 4439 5185 6661 1.0 0.33 0.5 50 4436 5172 5863 6655 0.75 0.33 0.46 2893 3667 4426 5214 5892 6640 0.75 0.44 0.5 75 690 64 cp fr IOR 100 660 1429 2157 2909 3667 4436 5200 5882 6605 0.77 0.77 0.77 125 651 1438 2143 2938 3656 4444 5177 5887 6603 0.67 0.67 0.67 150 653 1438 2163 2902 3636 4489 5165 5883 6571 0.67 0.67 0.67 25 1472 2226 2955 3713 4453 5214 5957 6702 1.0 0.89 0.94 50 711 1467 2220 2949 3711 4454 5222 5953 6710 1.0 1.0 1.0 75 710 1467 2204 2961 3714 4472 5217 5954 6728 1.0 1.0 1.0 100 705 1463 2222 2953 3711 4466 5208 5956 6725 1.0 1.0 1.0 125 707 1463 2225 2946 3708 4455 5203 5955 6722 1.0 1.0 1.0 150 701 1462 2211 2937 3723 4534 5204 5946 6737 1.0 1.0 1.0 25 5199 1.0 0.11 0.2 50 4329 5184 0.5 0.11 0.18 75 5175 1.0 0.11 0.22 100 5156 5823 0.5 0.11 0.18 125 5138 5852 0 150 4441 5101 5838 0.33 0.11 0.165 25 725 1475 2217 2970 3713 4452 5228 5968 6720 1.0 1.0 1.0 50 724 1471 2221 2969 3716 4445 5230 5965 6714 1.0 1.0 1.0 75 715 1472 2216 2974 3719 4458 5221 5959 6715 1.0 1.0 1.0 100 782 1463 2216 2963 3735 4460 5217 5960 6718 1.0 1.0 1.0 125 768 1464 2219 2967 3727 4472 5215 5959 6715 1.0 1.0 1.0 150 761 1463 2223 2969 3732 4535 5218 5957 6719 1.0 1.0 1.0 25 2947 3689 4437 5184 5929 6707 1.0 0.67 0.8 2941 3685 4430 5176 5929 6697 1.0 0.78 0.88 75 698 1450 2158 2960 3707 4442 5176 5924 6694 1.0 1.0 1.0 100 696 1450 2148 2957 3696 4444 5165 5905 6700 0.89 0.89 0.89 125 705 1435 2146 2944 3696 4460 5182 5916 6699 0.89 0.89 0.89 50 IRO 1451 65 150 OIR ORI pl pm RIO 696 1437 2148 2933 3714 4552 5164 5893 6721 0.78 0.78 0.78 25 1479 4474 5233 5973 6731 1.0 0.67 0.8 50 1437 2231 2974 3728 4476 5232 5975 6729 1.0 0.89 0.94 75 1474 2227 2971 3733 4482 5223 5973 6731 1.0 0.89 0.94 100 732 1468 2210 2975 3728 4491 5223 5972 6730 1.0 1.0 1.0 2977 125 1468 2210 2975 3729 4524 5973 6730 1.0 0.78 0.88 150 1469 2210 2975 3729 4524 5973 6730 1.0 0.78 0.88 25 1464 2236 2980 3731 4468 5221 5955 6721 1.0 0.89 0.94 50 708 1467 2220 2985 3719 4473 5210 5956 6724 1.0 1.0 1.0 75 705 1468 2211 2980 3710 4464 5203 5956 6721 1.0 1.0 1.0 100 708 1469 2219 2963 3739 4468 5194 5952 6711 1.0 1.0 1.0 125 707 1468 2215 2970 3725 4496 5201 5952 6709 1.0 1.0 1.0 150 706 1463 2222 2963 3721 4533 5199 5945 6699 1.0 1.0 1.0 25 1464 2236 2980 3731 4468 5221 5955 6721 1.0 0.89 0.94 50 708 1467 2220 2985 3719 4473 5210 5956 6721 1.0 1.0 1.0 75 705 1468 2211 2980 3710 4464 5203 5956 6721 1.0 1.0 1.0 100 708 1469 2219 2963 3739 4468 5194 5952 6711 1.0 1.0 1.0 125 707 1468 2215 2970 3725 4496 5201 5952 6709 1.0 1.0 1.0 150 706 1463 2222 2963 3721 4533 5199 5945 6699 1.0 1.0 1.0 25 741 1467 2214 2958 3708 4462 5219 5963 6715 1.0 1.0 1.0 50 723 1457 2216 2967 3706 4480 5221 5959 6715 1.0 1.0 1.0 75 721 1460 2233 2971 3701 4469 5220 5959 6712 1.0 1.0 1.0 100 712 1454 2232 2958 3716 4479 5223 5954 6708 1.0 1.0 1.0 125 718 1463 2219 2957 3711 4485 5219 5954 6715 1.0 1.0 1.0 150 706 1445 2222 2943 3706 4533 5217 5944 6697 1.0 1.0 1.0 25 2960 3717 4451 5185 5955 6704 1.0 0.67 0.8 66 ROI rp sw 50 696 1446 2211 2970 3702 4449 5176 5953 6697 1.0 1.0 1.0 75 683 1453 2209 2973 3696 4449 5169 5944 6688 1.0 1.0 1.0 100 691 1452 2196 3691 4440 5181 5954 6704 1.0 0.89 0.94 125 697 1451 2193 2947 3686 4438 5172 5942 6690 1.0 1.0 1.0 150 691 1455 2284 2941 3680 4460 5171 5938 6654 1.0 1.0 1.0 25 734 1481 2238 2985 3734 4483 5228 5978 6736 1.0 1.0 1.0 50 737 1483 2238 2980 3727 4486 5228 5973 6729 1.0 1.0 1.0 75 735 1481 2240 2975 3722 4485 5228 5972 6729 1.0 1.0 1.0 100 734 1479 2236 2974 3723 4498 5232 5971 6731 1.0 1.0 1.0 125 731 1480 2235 2969 3731 4550 5238 5972 6732 1.0 1.0 1.0 150 734 1478 2229 2977 3732 4488 5234 5971 6732 1.0 1.0 1.0 25 1467 2226 2960 3713 4466 5209 5949 6716 1.0 0.89 0.94 50 717 1467 2225 2963 3714 4477 5207 5949 6709 1.0 1.0 1.0 75 706 1467 2233 2972 3724 4474 5208 5947 6711 1.0 1.0 1.0 100 729 1467 2215 2959 3707 4476 5215 5947 6705 1.0 1.0 1.0 125 732 1467 2202 2957 3714 4475 5201 5947 6710 1.0 1.0 1.0 150 761 1464 2205 2949 3720 4533 5203 5943 6710 1.0 1.0 1.0 25 728 1468 2226 2961 3725 4474 5204 5954 6726 1.0 1.0 1.0 50 710 1467 2221 2972 3721 4485 5201 5952 6726 1.0 1.0 1.0 75 704 1467 2212 2975 3719 4474 5202 5952 6722 1.0 1.0 1.0 100 697 1462 2214 2959 3708 4478 5206 5954 6711 1.0 1.0 1.0 125 704 1467 2194 2948 3709 4496 5199 5954 6710 1.0 1.0 1.0 150 697 1461 2200 2942 3741 4531 5197 5950 6707 1.0 1.0 1.0 67