Nghiên cứu phương pháp tối ưu quy trình dựa trên phân tích dữ liệu (tt)

BỘ GIÁO DỤC VÀ ĐÀO TẠO TẬP ĐỒN BƯU CHÍNH VIỄN THƠNG VIỆT NAM HỌC VIỆN CƠNG NGHỆ BƯU CHÍNH VIỄN THÔNG - LÊ QUANG HƯNG NGHIÊN CỨU PHƯƠNG PHÁP TỐI ƯU QUY TRÌNH DỰA TRÊN PHÂN TÍCH DỮ LIỆU CHUN NGÀNH : TRUYỀN DỮ LIỆU VÀ MẠNG MÁY TÍNH MÃ SỐ: 60.48.15 TÓM TẮT LUẬN VĂN THẠC SĨ KỸ THUẬT HÀ NỘI - 2010 Luận văn hoàn thành tại: Học viện Cơng nghệ Bưu Viễn thơng Tập đồn Bưu Viễn thơng Việt Nam Người hướng dẫn khoa học: PGS.TS TỪ MINH PHƯƠNG Phản biện 1: …………………………………………………… …………………………………………………… Phản biện 2: …………………………………………………… …………………………………………………… Luận văn bảo vệ trước hội đồng chấm luận văn Học viện Cơng nghệ Bưu Viễn thơng Vào lúc: ngày tháng năm Có thể tìm hiểu luận văn tại: - Thư viện Học viện Cơng nghệ Bưu Viễn thơng LỜI MỞ ĐẦU Trong môi trường nay, doanh nghiệp muốn hoạt động tốt cần phải có qui trình luồng xử lý công việc rõ ràng nhằm đảm bảo vận hành tốt nhanh chóng tồn hệ thống doanh nghiệp Một qui trình xử lý tốt doanh nghiệp đem lại nhiều lợi ích, từ tiết kiệm chi phí, nhân cơng tới việc tăng chất lượng, số lượng sản phẩm thị thường Khi quy trình nghiệp vụ quản lý tốt hơn, tổ chức quản lý tác vụ tự động hóa tác vụ địi hỏi nhiều thời gian, giải phóng nhân viên để họ tập trung vào công việc mang lại giá trị cao tạo kết kinh doanh đồng nhất, liên tục hiệu Phân tích liệu quy trình (gọi process mining) kỹ thuật quản lý quy trình dựa việc phân tích liệu event logs Kỹ thuật cho phép giải tối ưu hố qui trình có từ trước (hoặc chưa có), nhiên qui trình chưa rõ ràng kết xử lý qui trình chưa tốt Các liệu kiện xử lý qui trình lưu lại (gọi events log), thuật toán khai phá liệu dựa khối liệu để đánh giá (tốc độ, thời gian, chất lượng, số lượng), so sánh (so với qui trình áp dụng trước đây) tối ưu (đưa tham số tối ưu cho qui trình tại) nhằm đạt qui trình tốt Đánh giá, so sánh, tối ưu ba hướng mà tập trung nghiên cứu Luận văn chia làm 03 chương: - Chương I trình bày khai niệm qui trình, khai phá qui trình, khái niệm khai phá qui trình - Chương II trình bày sở lý thuyết dùng kỹ thuật khai phá qui trình, phân tích kỹ thuật khai phá qui trình dựa thuật tốn Alpha - Chương III trình bày phương pháp cài đặt thuật tốn Alpha tảng ProM Framework áp dụng thuật toán Alpha để khai phá qui trình ngân hàng CHƯƠNG 1: TỔNG QUAN VỀ KHAI PHÁ QUI TRÌNH VÀ TÍNH KHẢ THI I Giới thiệu Qui trình Khai phá qui trình - Hệ thống quản lý qui trình công việc kỹ thuật, phương pháp dùng quản lý luồng công việc thực mạng máy tính Hệ thống cịn hỗ trợ việc giám sát trình thực nhiệm vụ, giúp ban lãnh đạo đánh giá kết làm việc nhân viên Một chức quan trọng cả, việc lưu trữ thơng tin, liệu xử lý xuyên suốt toàn q trình xử lý cơng việc doanh nghiệp, thời gian thực hiện, người hệ thống thực công việc Các liệu lưu trữ điểm khởi đầu cơng việc khai phá qui trình, liệu thường gọi ghi kiện (event logs) - Luồng công việc (Workflow) thuật ngữ sử dụng để miêu tả quy trình gắn liền với hệ thống, liệt kê danh sách cơng việc cần hồn thành,cả thủ cơng lẫn tự động hố lên kế hoạch từ trước doanh nghiệp Tối ưu hố quy trình doanh nghiệp q trình liên tục khơng có điểm dừng việc tối ưu liên tục phát triển theo trình phát triển doanh nghiệp Hiện nay, thị trường có nhiều sản phẩm quản lý qui trình doanh nghiệp, tối ưu qui trình doanh nghiệp IBM, Oracle, số công ty phần mềm khác Ấn độ Đây hướng phát triển mạnh mà doanh nghiệp trang bị xong hệ thống ERP, CRM, Core v.v… II Khai phá Qui trình - Khai phá qui trình khám phá cách tự động thông tin ghi kiện Các thông tin khám phá sử dụng để triển khai hệ thống tốt hơn, cơng cụ để đánh giá phân tích tối ưu qui trình hành Điểm mạnh khai phá qui trình thơng tin đánh giá cách khách quan Nói cách khác, kỹ thuật khai phá qui trình hữu dụng cách lấy thơng tin dựa xảy thực tế thông qua ghi kiện, vậy, điểm khởi đầu kỹ thuật khai phá qui trình ghi kiện - Các dạng khai phá qui trình chính: Trang - Khai phá: Khơng có mơ hình có trước, dựa ghi kiện mơ hình khác mà xây dựng từ trước Ví dụ: sử dụng thuật tốn alpha mơ hình tiến trình khai phá dựa ghi kiện cấp thấp - Sự phù hợp: Đã có mơ hình sẵn, mơ hình kiểm tra tính thực phù hợp với thực tế hay khơng, so sánh với mơ hình khác Ví dụ: Một doanh nghiệp xem xét áp dụng hai mô hình cách xử lý giao dịch mua bán triệu Euro, kiểm tra lần cách cẩn thận, lần kiểm tra lần phê duyệt cấp trên, mô hình áp dụng thử so sánh xem mơ hình tốt - Mở rộng: Xây dựng mơ hình có trước Phương pháp thường áp dụng để mở rộng, cải tiến mơ hình có sẵn, mục đích khơng phải tìm phù hợp mà tối ưu qui trình, tìm kiếm chỗ thắt cổ chai qui trình - Một hệ thống có qui trình rõ ràng vận hành thơng qua mơ hình qui trình định nghĩa trước, hệ thống quản trị luồng công việc, hệ thống xử lý tình số hệ thống thực hiện/quản lý Webservices Trong hệ thống mà qui trình cụ thể việc tìm qui trình rõ ràng khó khăn, dẫn đến việc trích xuất liệu logs khó khăn Ví dụ, hệ thống ERP SAP PeopleSoft thường thiết kế mà khơng có qui trình rõ ràng Thay vào đó, hệ thống xây dựng dựa sở liệu lớn Thơng tin giao dịch mua bán lưu rải rác vài bảng, bảng thông tin khác nhau, mức độ chi tiết khác Với trường hợp này, ta phải có thơng tin thiết kế hệ thống tổng thể tơng hợp thơng tin bảng để xây dựng qui trình rõ ràng - Nhật ký kiện liệu ghi lại thao tác thực qui trình cơng việc Việc lưu trữ ghi dùng nhiều định dạnh khác nhau, tập tin dạng csv (phân cách dấu phẩy), tập tin dạng XML, tập tin văn đơn giản, nhiên phải có thơng tin sau: Tên cơng việc, tên người xử lý, thời gian diễn công việc, tổng thời gian nhật ký công việc - Phương pháp khai phá qui trình luồng điều khiển khám phá mơ hình qui trình có liên hệ cơng việc qui trình ghi kiện (event log) Từ Trang ghi kiện, tìm thơng tin cơng việc thuộc tiến trình nào, thời gian thực cơng việc, người thực cơng việc, v.v Chính vậy, việc khai phá sử dụng kỹ thuật thường xác định trước nhiệm vụ qui trình, luồng cơng việc, mục tiêu cần khai phá Bởi luồng nhiệm vụ biết trước, khai phá qui trình luồng điều khiển phải xử lý số mơ hình chuẩn qui trình là: thứ tự, xong xong, lựa chọn, lặp, bắt buộc, nhiệm vụ ẩn nhiệm vụ trùng Trang CHƯƠNG 2: CƠ SỞ LÝ THUYẾT CỦA KHAI PHÁ QUI TRÌNH I Lịch sử Khái niệm khai phá qui trình - Một số khái niệm bản:  Bản ghi kiện (event log) ghi kiện tiến trình cơng việc từ bắt đầu đến kết thúc Nội dung ghi kiện quan trọng định phần lớn kỹ thuật khai phá áp dụng  Mơ hình khai phá tồn lượng thơng tin thể cấu trúc mơ hình khai phá Một số mơ hình thể qui trình nhiệm vụ thực mơ hình, nhiên số mơ hình có thơng tin đầy đủ hơn, qui trình có nhiều điểm tách hợp qui trình Các kỹ thuật khai phá dành cho tồn qui trình, đoạn quan nhỏ qui trình mà thơi  Phương pháp khai phá kỹ thuật sử dụng để khai phá mơ hình qui trình, bước nhiều bước với khai phá trung gian  Khả khai phá thể khả kỹ thuật đáp ứng khai phá cấu trúc mơ là: thứ tự, lựa chọn, xong xong…  Xử lý nhiễu thể khả xử lý nhiễu kỹ thuật Hầu hết kỹ thuật xử lý nhiễu suy luận từ qui trình ra, sau tinh chỉnh liệu ghi kiện ngưỡng đặt từ trước II Cơ sở lý thuyết khai phá qui trình Giới thiệu thuật toán α - Thuật toán α sử dụng quan hệ thứ tự để khám phá (hoặc khám phá lại) mơ hình qui trình mà hành vi qui trình lưu ghi kiện (event logs) Mơ hình tìm sau khai phá (hoặc khám phá) thể thông qua Workflow net (WF-net) Workflow nets hình thức đặc biệt Petri nets Petri Nets - Mạng Petri nets bao gồm thành phần địa điểm (places), nơi chuyển đổi (transitions), đường hướng (directed arcs) thẻ (tokens) Các đường hướng kết nối từ địa điểm đến nơi chuyển đổi ngược lại, lưu lý đường Trang hướng không tồn địa điểm nơi chuyển đổi Địa điểm mà có đường hướng chạy tới nơi chuyển đổi gọi địa điểm nhập nơi chuyển đổi đó, ngược lại đường hướng chạy từ nơi chuyển đổi địa điểm địa điểm xuất Địa điểm chứa số lượng thẻ (tokens) Sự phân phối thẻ địa điểm mạng gọi đánh dấu (marking) Workflow Nets - Một mạng Workflow Nets mạng Petri net áp dụng ngữ cảnh quản lý tiến trình, qui trình cơng việc Chính vậy, khái niệm mạng Petri net thay đổi để phù hợp với ngữ cảnh quản lý luồng cơng việc: Nhiệm vụ (task) chuyển dịch (transitions), điều kiện nhánh xử lý luồng địa điểm (places) trường hợp (cases) thẻ (tokens) mơ hình Petri net - Một mạng WorkFlow net (WF-net) mơ hình hố dựa mạng Petri net phải thoả mãn hai điều kiện:  Một mạng WF-net phải có đầu vào đầu Một trường hợp (tương ứng thẻ Petri net) xuất phát từ đầu vào trường hợp cần phải xử lý, trường hợp đầu xử lý xong  Tất xử lý, điều kiệu mạng WF-net (tương ứng chuyển dịch mạng Petri net) phải nằm qui trình xử lý từ điểm đầu đến điểm cuối Thuật toán α - Thuật toán α cho ghi liệu L bao gồm bước sau: Trang 1) Tạo tập hợp chuyển dịch (TL) mạng Workflow net Các chuyển dịch tìm ghi kiện 2) Tạo tập hợp chuyển dịch (TI) xuất phát từ điểm nguồn 3) Tạo tập hợp chuyển dịch (TO) đến điểm đích 4) Xây dựng tập hợp XL chuyển dịch có liên quan đến (cùng điểm xuất phát điểm kết thúc), từ ta xây dựng phép toán ANDsplit/join XOR-split/join cho chuyển dịch 5) Xây dựng tập hợp YL dựa tập XL, tập hợp YL loại chuyển dịch trùng nhau, bao gồm nhau, đồng thời tập hợp bao gồm địa điểm có luồng cơng việc không bị trùng 6) Tạo địa điểm cần thiết (bao gồm đầu vào đầu WF-net) 7) Tạo đầu vào đầu cho chuyển dịch tạo bước 8) Trả kết α(L) = (PL,TL,FL) - Định nghĩa thuật toán α:  Gọi T tập hợp nhiệm vụ  Gọi L ghi kiện tập hợp T  Thuật toán α xây dựng WF-net dựa L sau: }, , , α(L) =( Trang - Thuật toán α áp dụng hiệu cho qui trình có độ phức tạp thấp, nhiên lại gặp khó khăn với số qui trình có vịng lặp, nhiệm vụ lặp, trùng, v.v việc tối ưu thuật toán α giúp cải thiện thuật tốn đưa qui trình dựa mạng Petri Nets tốt Trang CHƯƠNG 3: ỨNG DỤNG CÀI ĐẶT CHO MỘT HỆ KHAI PHÁ QUI TRÌNH I Giới thiệu - ProM Framework công cụ hàng đầu giới dùng để nghiên cứu phát triển thuật toán khai phá qui trình ghi kiện ProM Framework phát triển theo phương thức mã nguồn mở, thuật toán cài đặt ProM Framework dạng plug-ins ProM Framework plug-ins phát triển Java, plug-ins phát triển dựa ProM Framework hỗ trợ thư viện kỹ thuật khai phá qui trình : Đọc log files, hiển thị kết quả, lựa chọn giãm nhiễu log files v.v Các log files sử dụng ProM Framework định dạng dạng MXML, log files tạo từ công cụ chuyển đổi log-files ProM, số ứng dụng khác CPN Tool II Cài đặt thuật toán Cài đặt Plug-in - Trên tảng ProM Framework, cài đặt loại plug-in sau:  Khai phá plugin, dùng để khai phá qui trình dựa ghi kiện Workfow  Các plugin để xuất, hiển thị qui trình (Petri net, Workflow nets)  Các plug-in dùng để nhập liệu logs, chuyển thành định dạng MXML để sử dụng Prom Framework  Các plugin dùng để khảo sát, lấy thông tin ghi kiện  Các plugin dùng để chuyển đổi qua lại dạng liệu Định dạnh MXML - Định dạng MXML viết tắt từ Mining XML đầu sử dụng chuẩn đầu vào chung cho công cụ khai phá khác - Các thành phần cấu trúc MXML:  Element WorkflowLog: Tên ghi kiện (Event log) Trang  Element Source: Tên chương trình tổng hợp tạo ghi kiện  Element Process: Thơng tin tiến trình lưu liệu ghi kiện  Element ProcessInstance: Thông tin trường hợp, tình xảy tiến trình (các thực thể tiến trình) -  Element AuditTrailEntry: Các cơng việc tiến trình  Element WorkflowModelElement: Tên cơng việc tiến trình Element EventType: Tên loại kiện cơng việc, có tất 13 loại kiện: schedule, assign, reassign, start, resume, sus pend, autoskip, manualskip, withdraw, complete, ate_abort, pi_abort unknown Cài đặt thuật toán Alpha dạng Plugin ProM Framework - Trong phần em trình bày phương pháp chương trình dùng để cài đặt thuật tốn Alphan ProM framework, sử dụng JBuilder III Áp dụng thuật toán Alpha liệu thật Định dạng MXML sử dụng ProM Framework: - Định dạng MXML dùng rộng rãi kỹ thuật khai phá qui trình để lưu thơng tin qui trình ghi kiện qui trình, phần e giới thiệu thành phần định dạng MXML Hướng dẫn sử dụng ProM Framework - Trong ghi kiện có nhiều liệu tiến trình chưa hồn thành Chính vậy, để kết thuật tốn alpha có kết tốt nhất, ta chọn tiến trình ghi sử kiện có điểm bắt đầu điểm kết thúc giống qui trình thật, tiến trình khơng có chưa hồn thiện loại bỏ ProM Framework hỗ trợ việc tối ưu ghi kiện phần Log Filter Trong phần Log Filter, ta chọn điểm bắt đầu, điểm kết thúc, nhiệm vụ, loại kiện v.v dùng thuật toán khai phá - Trong phần em giới thiệu số hình chức Prom Framework:  Tối ưu lọc thông tin liệu Trang  Xem thông tin ghi kiện  Chạy thuật toán alpha ghi kiện  Đánh giá kết sau chạy thuật toán alpha Trang 10 KẾT LUẬN Khai phá liệu qui trình phương pháp hữu dụng cho hệ thống quản trị luồng công việc,.v.v doanh nghiệp, đặc biệt cho doanh nghiệp lớn, có văn phịng xa dẫn đến việc đánh giá khó khăn Việc tìm điểm yếu qui trình giúp cho doanh nghiệp cải thiện thời gian xử lý công việc, tiết kiệm chi phí, đưa cam kết phục vụ khách hàng tốt Thuật toán α áp dụng hiệu cho qui trình có độ phức tạp thấp, nhiên lại gặp khó khăn với số qui trình có vịng lặp, nhiệm vụ lặp, trùng, v.v việc tối ưu thuật toán α giúp cải thiện thuật tốn đưa qui trình dựa mạng Petri Nets tốt ProM Framework có nhiều điểm mạnh, nhiên số hạn chế việc tối ưu ghi liệu, hỗ trợ phân tích Online, phương pháp phân tích dựa liệu lớn, tính tốn nhiều thời gian cịn nhiền khó khăn Do thời gian có hạn việc tiếp cận với khai phá qui trình cịn mới, tài liệu tham khảo chưa nhiều nên chắn luận văn khơng tránh khỏi thiếu sót định, em mong nhận giúp đỡ, đóng góp ý kiến thầy cô giáo Học viện bạn để em hồn thiện nghiên cứu sâu lĩnh vực Cuối em xin chân thành cảm ơn thầy cô giáo Học viện Bưu Viễn thơng, đặc biệt thầy PGS.TS Từ Minh Phương, tận tình bảo, giúp đỡ em suốt q trình hồn thiện luận văn Trang 11 ... Phân tích liệu quy trình (gọi process mining) kỹ thuật quản lý quy trình dựa việc phân tích liệu event logs Kỹ thuật cho phép giải tối ưu hoá qui trình có từ trước (hoặc chưa có), nhiên qui trình. .. tối ưu ghi liệu, hỗ trợ phân tích Online, phương pháp phân tích dựa liệu lớn, tính tốn nhiều thời gian cịn nhiền khó khăn Do thời gian có hạn việc tiếp cận với khai phá qui trình cịn mới, tài liệu. .. trước đây) tối ưu (đưa tham số tối ưu cho qui trình tại) nhằm đạt qui trình tốt Đánh giá, so sánh, tối ưu ba hướng mà tập trung nghiên cứu Luận văn chia làm 03 chương: - Chương I trình bày khai