CÁC ĐỘ ĐO TRONG PHÂN CỤM VÀ ÁP DỤNG VÀO PHÁT HIỆN MÔ HÌNH TỔ CHỨC TRONG KHAI PHÁ QUÁ TRÌNH KHÓA LUẬN TỐT NGHIỆP ĐẠI HỌC HỆ CHÍNH QUY

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƢỜNG ĐẠI HỌC CÔNG NGHỆ Phạm Huy Thành CÁC ĐỘ ĐO TRONG PHÂN CỤM VÀ ÁP DỤNG VÀO PHÁT HIỆN MƠ HÌNH TỔ CHỨC TRONG KHAI PHÁ Q TRÌNH KHĨA LUẬN TỐT NGHIỆP ĐẠI HỌC HỆ CHÍNH QUY Ngành: Cơng nghệ thơng tin Hà Nội - 2014 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƢỜNG ĐẠI HỌC CÔNG NGHỆ Phạm Huy Thành CÁC ĐỘ ĐO TRONG PHÂN CỤM VÀ ÁP DỤNG VÀO PHÁT HIỆN MÔ HÌNH TỔ CHỨC TRONG KHAI PHÁ Q TRÌNH KHĨA LUẬN TỐT NGHIỆP ĐẠI HỌC HỆ CHÍNH QUY Ngành: Cơng nghệ thông tin Cán hƣớng dẫn: PGS TS Hà Quang Thụy Cán đồng hƣớng dẫn: ThS Lê Hoàng Quỳnh Hà Nội - 2014 VIETNAM NATIONAL UNIVERSITY, HANOI UNIVERSITY OF ENGINEERING AND TECHNOLOGY Huy Thanh Pham EVALUATION MEASURES FOR CLUSTERING AND USING TO DISCOVER ORGANIZATIONAL MODEL IN PROCESS MINING Major: InformationTechnology Supervisor: Assoc Prof Quang Thuy Ha Co-Supervisor: Master Hoang Quynh Le HA NOI - 2014 LỜI CẢM ƠN Trước tiên, tơi xin bày tỏ lịng biết ơn chân thành sâu sắc tới Thầy giáo PGS TS Hà Quang Thụy ThS Lê Hoàng Quỳnh, người tận tình bảo, hướng dẫn, động viên giúp đỡ tơi suốt q trình thực đề tài khóa luận Tơi xin gửi lời cảm ơn sâu sắc tới thầy cô Khoa Công nghệ thông tin truyền đạt kiến thức quý báu cho suốt bốn năm vừa qua, kiến thức nhận giảng đường hành trang quan trọng giúp vững bước tương lai Tôi xin gửi lời cảm ơn tới thầy cô, anh chị, bạn em sinh viên phòng thí nghiệm KT-Sis lab giúp tơi nhiều việc hỗ trợ kiến thức chun mơn để hồn thành tốt nghiệp khóa luận Tơi gửi lời cảm ơn tới tập thể lớp K55CD K55CLC ủng hộ, khích lệ sát cánh bên suốt trình học tập rèn luyện trường Cuối cùng,tơi muốn gửi lời cảm ơn sâu sắc tới bạn bè, người thân đặc biệt cha mẹ em gái tôi, người ủng hộ đường lựa chọn, giúp đỡ động viên vượt qua khó khăn sống Tơi xin chân thành cảm ơn! Hà Nội, ngày 13 tháng 05 năm 2014 Sinh viên Phạm Huy Thành TÓM TẮT Theo W.M.P Van der Aalst, 2011 [10], khai phá trình năm gần lên lĩnh vực khoa học tập trung vào việc phân tích trình việc sử dụng liệu kiện Lĩnh vực thu hút quan tâm từ nhiều nhà khoa học giới Tuy nhiên hầu hết tiếp cận quan tâm tập trung vào việc phát khía cạnh luồng điều khiển mà bỏ qua số khía cạnh quan trọng khác bật khía cạnh tổ chức [9] Một toán quan trọng khai phá khía cạnh tổ chức tốn phát mơ hình tổ chức Dựa q trình tìm hiểu số nghiên cứu việc phát mơ hình tổ chức [4, 9, 10, 12], kết hợp với việc tìm hiểu số thuật tốn phân cụm quan trọng phương pháp đánh giá phân cụm [1, 2, 5, 6, 7, 8], khóa luận trình bày độ đo phân cụm việc áp dụng chúng vào tốn phát mơ hình tổ chức khai phá q trình Đồng thời, khóa luận đưa mơ hình giải tốn với số độ đo phân cụm đề cập tiến hành cài đặt thực nghiệm liệu mẫu từ ProM Kết thực nghiệm cho thấy mơ hình tổ chức ứng với giá trị K = phù hợp Khi giá trị độ đo Silhouette, Dunn, Modularity CPLw đạt giá trị tương ứng 0.84327, 1.90155, 0.01075 0.04619 Từ khóa: Khai phá q trình, phát mơ hình tổ chức, độ đo chất lượng phân cụm ABSTRACT According to W.M.P Van der Aalst, 2011 [10], process ming, recently, emerged as a new research field that focuses on the analysis of processes using event data This field are attracting attention of many scentists around the world How ever, most of these approach only focused on discovering event-control aspect and neglected some other important aspects, especially organizational aspect [9] One of important problem in organiztional aspect mining is discovering organizational model Based on learning some researches of discovering organizational structure [4, 9, 10, 12], associating knowledge about some important clustering algorithms and some clustering evaluation measures [1, 2, 5, 6, 7, 8], this thesis presents some clustering evaluation measures and using them to discover organiztional model in process mining Also, this thesis proposes solving problem model for some of mentioned measures and implements experience on sample data collection from ProM Experience result shows the organizational model which has value K = is the best In that case, the Silhouette, Dunn, Modularity and CPLw values are 0.84327, 1.90155, 0.01075 and 0.04619 respectively Key words: Process ming, organiztional model discovering, clustering evaluation measures LỜI CAM ĐOAN Tơi xin cam đoan mơ hình giải tốn phát mơ hình tổ chức áp dụng độ đo phân cụm, thực nghiệm áp dụng thuật toán K-medoids dựa độ đo phân cụm trình bày khóa luận thực dự hướng dẫn PGS TS Hà Quang Thụy ThS Lê Hoàng Quỳnh Tất báo, khóa luận, tài liệu, cơng cụ, phần mềm tác giả khác sử dụng khóa luận dẫn tường minh tác giả có danh sách tài liệu tham khảo Hà Nội, ngày 13 tháng 05 năm 2014 Sinh viên Phạm Huy Thành MỤC LỤC Chương BÀI TỐN PHÁT HIỆN MƠ HÌNH TỔ CHỨC TRONG KHAI PHÁ QUÁ TRÌNH 1.1 Giới thiệu chung khai phá trình 1.2 Nhật ký kiện 1.3 Các toán khai phá trình 1.4 Bài tốn phát mơ hình tổ chức 1.5 Tóm tắt chương Chương SỬ DỤNG CÁC ĐỘ ĐO ĐỂ ĐÁNH GIÁ CHẤT LƯỢNG PHÂN CỤM TRONG BÀI TỐN PHÁT HIỆN MƠ HÌNH TỔ CHỨC 2.1 Cấu trúc cộng đồng mạng lưới tổ chức 2.1.1 Khái niệm cấu trúc cộng đồng 2.1.2 Các độ đo khoảng cách mạng xã hội 10 2.1.3 Các cách tính khoảng cách tổ chức 10 2.2 Các thuật toán phân cụm phát mơ hình tổ chức 12 2.2.1 Thuật toán AHC 12 2.2.2 Thuật toán K-means 13 2.2.3 Thuật toán K-medoids (PAM) 14 2.3 Các độ đo chất lượng phân cụm 14 2.3.1 Độ đo bóng (Silhouette) 15 2.3.2 Độ đo Davies – Bouldin 16 2.3.3 Độ đo Dunn 16 2.3.4 Độ đo Modularity 17 2.3.5 Độ đo theo độ dài đường CPL ( Cluster Path Lengths) 17 2.4 Tóm tắt chương 22 Chương MƠ HÌNH GIẢI QUYẾT BÀI TỐN 23 3.1 Phát biểu tốn phát mơ hình mạng tổ chức từ nhật ký kiện 23 3.2 Mơ hình giải tốn 24 3.3 Phân tích mơ hình 24 3.3.1 Thu thập nhật ký kiện 24 3.3.2 Sử dụng thuật tốn K-medoids phát mơ hình tổ chức 26 3.4 Tóm tắt chương 27 Chương THỰC NGHIỆM VÀ ĐÁNH GIÁ 28 4.1 Mô tả thực nghiệm 28 4.1.1 Mô tả liệu 28 4.1.2 Các công cụ phần mềm sử dụng 29 4.1.3 Môi trường thực nghiệm ( Phần cứng hệ điều hành ) 30 4.1.4 Các module chương trình 30 4.2 Kết thực nghiệm đánh giá 31 4.2.1 Kết thực nghiệm 31 4.2.2 Đánh giá kết thực nghiệm 36 KẾT LUẬN VÀ ĐỊNH HƯỚNG NGHIÊN CỨU TIẾP THEO 38 DANH SÁCH HÌNH VẼ Hình 1 Ngữ cảnh khai phá trình Hình Ba tốn khai phá q trình dạng input output bao gồm: Phát trình (a), Kiểm tra phù hợp (b) Tăng cường mơ hình (c) Hình Một nhật ký kiện mơ hình q trình xây dựng từ dạng lưới Petri Hình Cấu trúc cộng đồng mạng xã hội Hình 2 Cách tính khoảng cách hai cụm theo single linkage 11 Hình Cách tính khoảng cách hai cụm theo complete linkage 11 Hình Cách tính khoảng cách hai cụm theo average linkage 12 Hình Ví dụ cụm A, B, C với số lượng cách liên kết bên khác 19 Hình Bài tốn phát mơ hình tổ chức dạng input output 23 Hình Mơ hình giải tốn phát mơ hình tổ chức sử dụng độ đo phân cụm 24 Hình 3 Meta-model chuẩn XES 25 Hình Một phần trích từ nhật ký kiện thực nghiệm 29 Hình Mơ hình mạng xã hội mơ tả quan hệ cá nhân 33 Hình Hình mơ tả module chương trình 31 Hình 4 Biểu đồ giá trị Silhouette 36 Hình Biểu đồ giá trị Dunn 36 Hình Biểu đồ giá trị Modularity 36 Hình Biểu đồ giá trị CPLw 36 Hình Kết mơ hình tổ chức ứng với K = 37 dụng chuẩn XES cho nhật ký kiện kể đến như: Tính đơn giản: XES sử dụng cách đơn giản để trình diễn thơng tin Các nhật ký kiện viết XES dễ dàng phân tích xây dựng gần với dạng liệu mà người đọc Tính linh hoạt: Dùng định dạng XES xây dựng nhật ký kiện từ tri thức nào, không quan trọng quy trình quan sát thuộc miền ứng dụng hay việc hỗ trợ CNTT XES hướng tới vượt khỏi miền khai phá liệu quy trình kinh doan nhằm trở thành tiêu chuẩn chung cho kiểu liệu kiện Khả mở rộng: XES có khả dễ dàng thêm tiêu chuẩn tương lai Hình 3 Meta-model chuẩn XES [3] 25 Hình 3.3 biểu diễn meta-model chuẩn XES Chúng ta thấy XES giữ nguyên cấu trúc chung nhật ký kiện: Một log ( tương ứng với trình) chứa tập trace ( tương ứng với trường hợp ) Mỗi trace chứa chuỗi event (sự kiện) Log, trace hay event chứa tập thuộc tính 3.3.2 Sử dụng thuật tốn K-medoids phát mơ hình tổ chức Như trình bày chương trước, thuật tốn K-means thuật toán thường sử dụng việc phân cụm khai phá trình Tuy nhiên để phù hợp với việc phân cụm phát mơ hình tổ chức, mà mối quan hệ cá nhân tổ chức với dựa độ đo khoảng cách, sử dụng biến thể thuật toán K-means K-medoids Nội dung thuật toán trình bày phần 2.3 Một số vấn đề gặp phải việc sử dụng thuật toán K-medoids để phát mơ hình tổ chức như: - Tìm số cụm K tốt cho việc phân cụm - Độ đo khoảng cách phần tử Để tìm số cụm K tốt nhất, sử dụng độ đo đánh giá phân cụm trình bày chƣơng Cụ thể hơn, phần thực nghiệm, sử dụng thuật toán K-medoids kết hợp với độ đo Silhouette, Dunn, Modularity độ đo đề xuất từ việc chỉnh sửa độ đo CPL ban đầu để phù hợp đồ thị có trọng số Số cụm K phù hợp số cụm K làm cho phân cụm đạt giá trị độ đo cao Việc tính khoảng cách node tính dựa vào độ tương tự node theo biểu thức: Distance = Trong độ đo tương tự Similarity hai node lấy theo độ đo workingTogether trình bày phần 1.1.2, tức số lượng trường hợp mà hai cá nhân làm việc Do Similarity thuộc nửa đoạn [0, +∞) Distance chuẩn hóa theo công thức nằm nửa đoạn (0,1] 26 3.4 Tóm tắt chƣơng Trong chương này, khóa luận trình bày mơ hình thực nghiệm tốn phát mơ hình tổ chức từ nhật ký kiện việc áp dụng độ đo phân cụm Thuật tốn phân cụm chúng tơi lựa chọn cho trình thực nghiệm K-medoids Các độ đo sử dụng vào việc đánh giá mơ hình kết bao gồm Silhouette, Dunn, Modularity độ đo đề xuất Chương trình bày kết thực nghiệm nêu số đánh đưa mơ hình tổ chức cuối 27 Chƣơng THỰC NGHIỆM VÀ ĐÁNH GIÁ Để thi hành mơ hình đề xuất chƣơng 3, chương khóa luận trình bày thực nghiệm đánh giá kết việc phát mơ hình tổ chức thuật tốn K-medoids áp dụng độ đo đánh giá Silhouette, Dunn, Modularity độ đo CPLwđề xuất 4.1 Mô tả thực nghiệm 4.1.1 Mô tả liệu Dữ liệu sử dụng cho trình thực nghiệm nhật ký kiện nhật ký kiện mẫu1 sử dụng làm ví dụ cho việc làm quen với cơng cụ khai phá trình mã nguồn mở ProM 2.Định dạng nhật ký kiện theo chuẩn XES Hình 4.1 phần trích từ nhật ký kiện Nhật ký kiện chứa tùy ý các trace, trace mô tả thực trường hợp cụ thể Ví dụ hình một phần trích từ trace với thuộc tính name có giá trị 14 Trong trace chứa tùy ý event Event đại diện cho hành động thực q trình thực thi Ví dụ hình ta thấy có hành động “invite reviewers” , “get review 1”, hay “get review 2”, Trong event ta thấy có thuộc tính mơ tả kiện như:  “org:resource” nêu người thực kiện,  “time:timestamp” nêu thời gian thực kiện  “lifecycle:transition” nêu loại kiện bắt đầu hành động ( start ) hay kết thúc hành động (complete)  “concept:name” nêu tên hành động thực http://www.promtools.org/prom6/downloads/example-logs.zip http://www.processmining.org/tools/start 28 Hình Một phần trích từ nhật ký kiện thực nghiệm 4.1.2 Các công cụ phần mềm sử dụng Để thực nghiệm mô hình phát mơ hình tổ chức áp dụng thuật tốn K-medoids độ đo đánh giá, chúng tơi sử dụng thư viện phần mềm sau:  Thư viện JBDC 5.1.51: Bộ thư viện mã nguồn mở Java cung cấp API tương tác với sở liệu mySQL http://www.oracle.com/technetwork/database/enterprise-edition/jdbc-112010-090769.html 29  EclipseJava EE IDE1: Cơng cụ lập trình Window, Unix hỗ trợ người sử dụng lập trình Java, PHP, C/C++,  NodeXL2:template mã nguồn mở cho MS Excel hỗ trợ mơ hình hóa mạng xã hội dạng đồ thị 4.1.3 Môi trƣờng thực nghiệm ( Phần cứng hệ điều hành ) Thực nghiệm tiến hành môi trường phần cứng sau: Bảng Bảng thống kê môi trường thực nghiệm (phần cứng HĐH) Chi tiết phần cứng Chỉ số CPU Intel Core i3 M370 2.40 GHz RAM 4096 MB HDD 320 GB OS Window Ultimate 32 bit 4.1.4 Các module chƣơng trình Chương trình chúng tơi xây dựng thi hành theo mơ hình giải tốn chƣơng bao gồm module chính:  Module “import” nhận đầu vào nhật ký kiện dạng file XES sau trích lọc thơng tin lưu trữ chúng vào sở liệu mySQL  Module “K-medoids” nhận đầu vào file “originalVerticles.txt” chứa danh sách cá nhân tổ chức Nhiệm vụ module phát mơ hình tổ chức tiềm thuật toán K-medoids lưu trữ chúng dạng file txt tương ứng  Module “clustering evaluation” nhận đầu vào mơ hình tổ chức ứng cử viên tạo từ module “K-medoids” tính tốn độ đo chất lượng https://www.eclipse.org/ http://nodexl.codeplex.com/ 30 phân cụm Silhouette, Dunn, Modularity Từ đưa mơ hình tổ chức phù hợp Hình mơ tả module chương trình cài đặt ngơn ngữ Java sử dụng cơng cụ lập trình Eclipse: Hình 4.2 Hình mơ tả module chương trình 4.2 Kết thực nghiệm đánh giá 4.2.1 Kết thực nghiệm Với đầu vào nhật ký kiện dạng XES, chúng tơi tiến hành trích lọc thông tin trường hợp, kiện thuộc tính chúng Việc trích lọc thơng tin sử dụng thư viện DOM hỗ trợ xử lý XML có sẵn Java Kết sơ phân tích nhật ký kiện module “import” sau:     Số lượng trường hợp: 100 Số lượng kiện: 2297 Số lượng người thực (cá nhân): 10 Số lượng loại hành động thực hiện: 14 Sau chúng tơi tiếp tục tiến hành thống kê mối quan hệ cá nhân với thông qua độ đo WorkingTogether metric Dưới phần kết thống kê được: Document Object Model : http://www.w3.org/DOM/ 31 Bảng Một phần trích từ bảng ma trận kề theo độ đo WorkingTogether Cá nhân Cá nhân Số lượng trường hợp chung Anne Anne Anne Mary 38 Anne Mike 94 Anne Wil 97 Anne Pam 42 Anne Sam 43 Anne Carol 44 Anne John 50 Anne Pete 40 Anne Sara 39 Mary Anne 38 Mary Mary Mary Mike 39 Mary Wil 39 Mary Pam 13 Mary Sam 16 Mary Carol 16 Mary John 15 Mary Pete 13 32 Sau pha này, chúng tơi thu mơ hình mạng xã hội mơ tả mối quan hệ cá nhân hình đây: Hình Mơ hình mạng xã hội mô tả quan hệ cá nhân Bước tiếp theo, sử dụng module “K-medoids” mạng xã hội Kết thu mơ hình tổ chức ứng cử viên dòng tương ứng với cụm phần tử dịng trọng tâm (medoids) cụm 33 Bảng Bảng mơ hình tổ chức tương ứng với giá trị K ( số lượng cụm) Mơ hình tổ chức tương ứng Giá trị K Wil Anne Mike Pam Sam Carol John Pete Sara Mary Wil Anne Mike Pam Sam Carol John Pete Mary Sara Anne John Mary Sara Wil Mike Pam Sam Carol Pete Anne John Mary Sara Wil Mike Pam Sam Carol Pete Anne John Mary Sara Wil Mike Sam Carol Pete Pam 34 Anne John Mary Sara Wil Mike Carol Pete Pam Sam Sara Mary Pete Wil Anne Mike Pam Sam Carol John Sara Mary Mike Wil Anne Pam Sam Carol John Pete Sau sử dụng module “Clustering Evaluation” áp dụng cho mơ hình, chúng tơi thu biểu đồ biến thiên độ đo đánh sau: 35 0.8 1.5 0.6 0.4 0.5 0.2 0 Hình 4 Biểu đồ giá trị Silhouette Hình Biểu đồ giá trị Dunn 0.04 0.2 0.03 0.02 -0.2 0.01 -0.4 -0.6 -0.8 Hình Biểu đồ giá trị Modularity Hình Biểu đồ giá trị CPLw 4.2.2 Đánh giá kết thực nghiệm Từ kết thu việc tính tốn độ đo, nhận thấy, độ đo Silhouette, Dunn CPLw đưa mơ hình tổ chức ứng với giá trị K = có cách phân cụm đạt tối ưu so với giá trị K khác, độ đo Modularity trả kết mô hình ứng với K = có giá trị Modularity đạt cao Sự khác biệt giải thích việc cơng thức tính độ đo Modularity quan tâm đến việc làm tối ưu khoảng cách phần tử bên cụm mà bỏ qua ảnh hưởng khoảng cách cụm với đến chất lượng đồ thị Ngoài so sánh độ đo CPLw(được đề xuất việc thay đổi từ độ đo CPL)với hai độ đo Silhouette Dunn, nhận thấy độ đo trả kết K = mơ hình tổ chức đạt giá trị CPLw tối ưu chưa thực có chênh lệch rõ rệt với giá trị K lại hai độ đo Với kết phân tích đánh giá độ đo trên, kết luận 36 mơ hình tổ chức ứng với K = coi tốt so với giá trị K khác, phương diện tổng hợp kết từ độ đo Khi giá trị độ đo Silhouette, Dunn, Modularity CPLw tương ứng 0.84327, 1.90155, 0.01075 0.04619 Hình mơ tả mơ hình tổ chức ứng với giá trị K = Hình Kết mơ hình tổ chức ứng với K = Quan sát kết mơ hình tổ chức ứng với K = 8, dễ dàng nhận thấy cá nhân Wil, Anne, Mike xếp vào chung nhóm họ có mối liên hệ chặt chẽ với nhau, số lượng trường hợp chung họ 94, 97 97, cao hẳn so với cá nhân khác Vì mơ hình tổ chức ứng với K = kết chấp nhận 37 KẾT LUẬN VÀ ĐỊNH HƢỚNG NGHIÊN CỨU TIẾP THEO Kết đạt đƣợc khóa luận: Trong khóa luận này, chúng tơi xây dựng mơ hình giải tốn phát mơ hình tổ chức từ nhật ký kiện sử dụng số độ đo chất lượng phân cụm tiêu biểu bao gồm Silhouette, Dunn Modularity Thuật toán sử dụng cho trình phân cụm K-medoids Ưu điểm thuật toán phù hợp với mạng lưới tổ chức, mà mối quan hệ cá nhân tổ chức với đơn dựa khoảng cách chúng Ngồi khóa luận đề xuất độ đo khác CPLw từ việc thay đổi độ đo theo độ dài đường CPL ban đầu cho phù hợp với dạng đồ thị có trọng số mạng tổ chức Độ đo CPLwcũng chúng tơi sử dụng cho q trình thực nghiệm, kết đạt khả quan số hạn chế chẳng hạn khác biệt giá trị K chưa thực rõ rệt Chúng cài đặt thử nghiệm mộ nhật ký kiện nhật ký kiện mẫu từ ProM kết cuối đạt mơ hình tổ chức ứng với giá trị K = tốt so với giá trị K khác Khi giá trị độ đo Silhouette, Dunn, Modularity CPLw đạt giá trị tương ứng 0.84327, 1.90155, 0.01075 0.04619 Định hƣớng tƣơng lai: Cải thiện độ đo CPLw để đạt kết phân cụm rõ ràng việc sử dụng trọng số giá trị thành phần âm dương Áp dụng cho nhật ký kiện lớn phức tạp 38 DANH SÁCH TÀI LIỆU THAM KHẢO [1] Alan P Reynolds, Graeme Richards, Victor J Rayward-Smith (2004): The Application of K-Medoids and PAM to the Clustering of Rules IDEAL : 173-178 [2] Anil K Jain: (2010) Data clustering: 50 years beyond K-means Pattern Recognition Letters 31(8): 651-666 [3] Christian W Günther and Eric Verbeek (2012) XES: Standard Definition (Version 1.3) Technical Report, Eindhoven University of Technology [4] Claudia Sofia da Costa Alves(2010): Social Network Analysis for Business Process Discovery Master Thesis, the Technical University of Lisbon [5] Darius Pfitzner, Richard Leibbrandt, David M W Powers (2009): Characterization and evaluation of similarity measures for pairs of clusterings.Knowl Inf Syst 19(3): 361-394 [6] Eréndira Rendón, Itzel Abundez, Alejandra Arizmendi and Elvia M Quiroz (2011): Internal versus External cluster validation indexes Issue 1, Volume 27-33 [7] Faraz Zaidi, Daniel Archambault, Guy Melanỗon (2010): Evaluating the Quality of Clustering Algorithms Using Cluster Path Lengths ICDM 2010: 42-56 [8] Maria Halkidi, Yannis Batistakis, Michalis Vazirgiannis (2001): On Clustering Validation Techniques J Intell Inf Syst 17(2-3): 107-145 [9] Minseok Song, Wil M P van der Aalst (2008): Towards comprehensive support for organizational mining Decision Support Systems 46(1): 300-317 [10] Wil M P van der Aalst (2011): Process Mining - Discovery, Conformance and Enhancement of Business Processes Springer, pp 7-10, 221-230 [11] Wil M P van der Aalst (2012): Process Mining:Overview and Opportunities ACM Trans Management Inf Syst 3(2): [12] Wil M P van der Aalst, Hajo A Reijers, Minseok Song (2005): Discovering Social Networks from Event Logs Computer Supported Cooperative Work 14(6): 549593 39