BÀI GIẢNG KHAI PHÁ DỮ LIỆU Nội dung bổ sung về Khai phá dữ liệu 1 PGS TS Hà Quang ThụyHÀ NỘI, 10 2018 TRƯỜNG ĐẠI HỌC CÔNG NGHỆ ĐẠI HỌC QUỐC GIA HÀ NỘI http //uet vnu edu vn/~thuyhq/ http //uet vnu edu[.]
BÀI GIẢNG KHAI PHÁ DỮ LIỆU Nội dung bổ sung Khai phá liệu PGS TS Hà Quang ThụyHÀ NỘI, 10-2018 TRƯỜNG ĐẠI HỌC CÔNG NGHỆ ĐẠI HỌC QUỐC GIA HÀ NỘI http://uet.vnu.edu.vn/~thuyhq/ Nội dung Một số tài nguyên khai phá liệu Khai phá quy trình Khai phá liệu: Học suốt đời Tài nguyên KPDL: kiểu công cụ ▪ Data mining suites (DMS): Gói chứa nhiều phương pháp ▪ Business intelligence packages (BIs): Không tập trung chuyên ▪ ▪ ▪ ▪ ▪ ▪ Ralf Mikut, Markus Reischl (2011) Data mining tools, Wiley Interdisc Rew.: Data Mining and Knowledge Discovery 1(5): 431-443 (2011) ▪ KPDL mà hướng tới chức KPDL bản, đặc biệt thống kê ứng dụng kinh doanh Mathematical packages (MATs): Không tập trung chuyên KPDL mà hướng tới tập lớn mở rộng thuật toán thủ tục trực quan hóa Integration packages (INTs): gói mở rộng nhiều thuật tốn nguồn mở khác nhau/phần mềm độc lập (chủ yếu dựa Java) EXT: tiện ích bổ sung nhỏ cho công cụ khác Excel, Matlab, R… với chức hạn chế song hữu dụng Data mining libraries (LIBs): thực thi phương pháp KPDL gói chức Specialties (SPECs): tương tự LIB song gồm nhóm phương pháp chuyên biệt (mạng nơron, …) RES: thường thi hành lần thuật tốn mới, cách tân Solutions (SOLs): nhóm cơng cụ tùy biến cho lĩnh vực ứng dụng hẹp khai phá văn (GATE), xử lý hình July 12, ảnh (ITK, ImageJ) 202 Tài nguyên KPDL: Công cụ TM Data mining suites BI packages Mathematical packages Integration packages Specialties RES Ralf Mikut, Markus Reischl (2011) Data mining tools, Wiley Interdisc Rew.: Data Mining and Knowledge Discovery 1(5): 431-443 (2011) July 12, 202 Tài nguyên KPDL: Công cụ TM BI packages Mathematical packages Integration packages Specialties July RES Data mining suites 12, Ralf Mikut, Markus Reischl (2011) Data mining tools, Wiley Interdisc Rew.: Data 202 Mining and Knowledge Discovery 1(5): 431-443 (2011) Tài nguyên KPDL: Công cụ nguồn mở Data mining suites BI packages Mathematical packages Integration packages Specialties RES July 12, Ralf Mikut, Markus Reischl (2011) Data mining tools, Wiley Interdisc Rew.: Data 202 Mining and Knowledge Discovery 1(5): 431-443 (2011) Tài nguyên KPDL: Công cụ nguồn mở Data mining suites BI packages Mathematical packages Integration packages Specialties RES July 12, Ralf Mikut, Markus Reischl (2011) Data mining tools, Wiley Interdisc Rew.: Data 202 Mining and Knowledge Discovery 1(5): 431-443 (2011) 8 Tài nguyên KPDL: Dữ liệu mẫu July 12, Kho chứa liệu nhóm học máy University of California, Irvine – UCI (UC 202 Irvine Machine Learning Repository) http://archive.ics.uci.edu/ml/ (11/2015) http://kdd.org/ : Trang web công đồng DM July 12, 202 10 http://kdd.org/awards/sigkdd-dissertation-award Winner: Mining Latent Entity Structures From Massive Unstructured and Interconnected Data Chi Wang (student) and Jiawei Han (advisor) at University of Illinois at Urbana-Champaign Runner-up: Modeling Large Social Networks in Context Qirong Ho (student) and Eric Xing (advisor) at Carnegie Mellon University July Runner-up: Computing Distrust in Social Media Jiliang Tang (Student) 12, and Huan Liu (Advisor) at Arizona State University Định hướng Khóa 202 luận đại học K56: Thái Thị Hồi, Nguyễn Quỳnh Nga, Mai Cơng Đạt Tại KPQT: Chỉ số cạnh tranh quốc tế ⚫ Giới thiệu khả cạnh tranh ▪ Diễn đàn Kinh tế Thế giới (World Economic Forum), 2005 ▪ khả cạnh tranh: tập số thể chế, sách, ⚫ Tập số cạnh tranh quốc gia ▪ Index, gọi cột trụ (pillar) ▪ 12 cột trụ: thể chế, hạ tầng, môi trường kinh tế vĩ mô, sức khỏe giáo dục tiểu học, giáo dục đào tạo đại học, thị trường hàng hóa hiệu quả, thị trường lao động hiệu quả, phát triển thị trường tài chính, sẵn sàng cơng nghệ, kích cỡ thị trường, kinh doanh tinh vi (tinh xảo), đổi ▪ Có tương quan nhau, tác động lẫn nhau: cột trụ 12 cột trụ 4&5, cột trụ 8&9 liên quan cột trụ 6… [WEF13] World Economic Forum (2013) The Global Competitiveness Report 2013– 2014 http://www3.weforum.org/docs/WEF_GlobalCompetitivenessReport_201314.pdf 11 yếu tố xác định mức suất quốc gia ▪ Mức suất: tập mức thành công thu từ kinh tế ▪ Đo lường tập số Trình độ kinh tế: mức ⚫ Nền kinh tế định hướng yếu tố ▪ factor-driven economy ▪ lợi cạnh tranh: xuất yếu tố giá trị thấp tài nguyên ⚫ Nền kinh tế định hướng hiệu ▪ Efficiency - Driven Economy ▪ Lợi cạnh tranh: sản phẩm dịch vụ tiên tiến hiệu (i) Đầu tư mạnh sở hạ tầng hiệu quả; (ii) quản lý quyền thân thiện với doanh nghiệp; (iii) ưu đãi đầu tư mạnh; (iv) nâng cao kỹ năng; (v) tiếp cận tốt với nguồn vốn đầu tư nhằm cải thiện lớn suất ⚫ Nền kinh tế định hướng đổi ▪ innovation-driven economy ▪ Lợi cạnh tranh: sản phẩm, dịch vụ và/hoặc độc đáo ▪ dựa cơng nghệ và/hoặc quy trình sản xuất/mơ hình kinh doanh tinh vi ▪ Khu vực dịch vụ có tỷ trọng cao kinh tế ▪ kiên cường trước cú sốc từ bên 12 thiên nhiên lao động chưa qua chế biến ▪ nhạy cảm :chu kỳ KT giới, giá hàng hóa, biến động tỷ giá 13 Mối quan hệ cột trụ với kinh tế Việt Nam [WEF13] World Economic Forum (2013) The Global Competitiveness Report 2013–2014 Nghị 19/2014/NQ-CP ngày 18/3/2014 Chính phủ nhiệm vụ, giải pháp chủ yếu cải thiện môi trường kinh doanh, nâng cao lực cạnh tranh quốc gia Giới thiệu Khai phá quy trình ĐHCN Eindhoven (Eindhoven Univ of Technology (TU/e)) Khởi xướng trì phát triển khai phá trình http://wwwis.win.tue.nl/~wvdaalst/ Master's thesis “Specificatie en Simulatie met behulp van ExSpect” Đặc tả mô ExSpect, 1988 PhD thesis “Timed coloured Petri nets and their application to logistics”, 1992 Nhà khoa học Tin học ngồi Mỹ có số h-index cao thứ nhất: 112 (9/2015; 101: 9/2013, 94: 5/2013) http://www.cs.ucla.edu/~palsberg/h- ▪ ▪ ▪ ▪ ▪ ▪ 14 Wil van der Aalst - number.html Tổ chức nghề nghiệp khai phá quy trình - http://www.processmining.org/: Cho tài nguyên phong phú: ▪ ▪ ▪ ▪ ▪ báo, luận án Tiến sỹ [Http] http://www.processmining.org/publications/phd công cụ PRoM công cụ khác tập liệu nhật ký kiện: phần từ 100 tổ chức July 12, 202 15 Mối quan hệ số khái niệm Khái niệm triết lý khai phá quy trình Khái niệm khai phá quy trình ▪ ▪ Process Mining: chiết xuất thơng tin có giá trị, liên quan đến quy trình từ nhật ký ghi kiện, bổ sung vào tiếp cận có để quản lý quy trình tác nghiệp (Business Process Management : BPM) Kết hợp khai phá liệu quản lý quy trình tác nghiệp Triết lý “đường mịn” khai phá quy trình ▪ ▪ ▪ ▪ ▪ ▪ 16 - Đường mòn (desire line) / đường xã hội (the social trail) Là đường hình thành xói mịn bước chân người động vật Chiều rộng độ xói mịn thể độ thường xuyên sử dụng “Đường mòn ngắn nhất/thuận tiện hai điểm Xói mịn cao Sử dụng thường xuyên Hành động kinh doanh hình thành đường mòn kinh doanh ~ nhật ký kiện phản ánh quy trình tốt/thuận tiện [Aalst11] WMP Van der Aalst (2011) Process Mining: Discovery, Conformance and Enhancement of Business Processes, Springer, 2011 July 12, 202 Ví dụ triết lý đường mòn Xây dựng lối ĐH Columbia - Tác giả: Dwight Eisenhower, Chủ tịch ĐH Columbia (sau Tổng thống Mỹ đời thứ 34) Bài toán: xây lối tốt nối nhà khu trường Lời giải: ▪ ▪ ▪ ▪ ▪ ▪ Cho cỏ mọc tịa nhà trì hỗn tạo vỉa hè Mọi người đi: Hình thành dần lối mịn nhà Xây vỉa hè theo lối mòn 17 Cơ Khai phá quy trình Khái niệm ⚫ ⚫ ⚫ ⚫ KPQT: phát hiện, theo dõi, cải thiện quy trình kinh doanh dựa trích xuất tri thức từ nhật ký kiện NKSK (event log) NKSK={trường hợp (case) “thể hiện” quy trình}: “xuất phát điểm KPQT” Case: dãy có thứ từ hành động (activity), hành động “xác định tốt” NKSK = {hành vi quan sát được} {hành vi} Cộng đồng KPQT ⚫ ⚫ Quan tâm KPQT: Tuyên ngôn KPQT (Process Mining Manifesto) the IEEE Task Force on Process Mining công bố 53 tổ chức, 77 chuyên gia KPQT (người dùng, cung cấp cơng cụ, tư vấn, phân tích, nghiên cứu): KPDL KPQT mơ hình hóa BM (quy trình kinh doanh) [Aalst13] Wil M P van der Aalst (2013) Decomposing Petri nets for process mining: A generic approach Distributed and Parallel Databases 31(4): 471-507 18 Khai phá quy trình: cầu nối Triết lý “đường mòn” [Aalst11] khai phá liệu với khoa học quy trình 19 Vai trị khai phá quy trình ▪ Quản lý quy trình nghiệp vụ (tự động hóa): Vịng đời hở (pha chẩn đốn: Diagnosis) theo tiếp cận truyền thống (trái), vòng đời khép kín theo tiếp cận khai phá quy trình (phải) [Mans11] Ronny Mans Workflow Support for the Healthcare Domain PhD Thesis, Eindhoven University of Technology, 2011 20 .. .Nội dung Một số tài nguyên khai phá liệu Khai phá quy trình Khai phá liệu: Học suốt đời Tài nguyên KPDL: kiểu cơng cụ ▪ Data mining suites (DMS): Gói chứa nhiều phương pháp ▪ Business... ký ghi kiện, bổ sung vào tiếp cận có để quản lý quy trình tác nghiệp (Business Process Management : BPM) Kết hợp khai phá liệu quản lý quy trình tác nghiệp Triết lý “đường mịn” khai phá quy trình... thứ 34) Bài toán: xây lối tốt nối nhà khu trường Lời giải: ▪ ▪ ▪ ▪ ▪ ▪ Cho cỏ mọc tòa nhà trì hỗn tạo vỉa hè Mọi người đi: Hình thành dần lối mịn nhà Xây vỉa hè theo lối mịn 17 Cơ Khai phá quy