NGHIÊN CỨU XÂY DỰNG MÔ HÌNH CHUYỂN ĐỔI TRI THỨC CHO MÁY CHỦ WEB

BỘ GIÁO DỤC VÀ ĐÀO TAO TRƯỜNG ĐẠI HỌC QUY NHƠN NGHIÊN CỨU XÂY DỰNG MƠ HÌNH CHUYỂN ĐỔI TRI THỨC CHO MÁY CHỦ WEB Chuyên ngành: Khoa học máy tính Mã số: 8480101 Người hướng dẫn: TS LỜI CAM ĐOAN Tôi xin cam đoan đề tài “Nghiên cứu xây dựng mơ hình chuyển đổi cho máy chủ Web” kết tự thân tơi tìm hiểu, nghiên cứu Các số liệu, dẫn chứng tài liệu tham khảo trích dẫn thích đầy đủ Tơi xin chịu trách nhiệm luận văn LỜI CẢM ƠN Qua trình học tập thời gian nghiên cứu làm luận văn, trước tiên xin gửi lời cảm ơn chân thành đến Thầy Cô giáo tham gia tổ chức, đạo trực tiếp giảng dạy suốt khóa học vừa qua Đặc biệt, xin gửi lời cảm ơn sâu sắc đến Thầy giáo hướng dẫn TS Nguyễn Thành Đạt, người tận tình bảo, góp ý, giúp đỡ tạo điều kiện để tơi hồn thành luận văn Cũng qua đây, tơi xin gửi lời cảm ơn đến anh chị học viên lớp cao học Khoa học máy tính khóa trước giúp đỡ tơi nhiều q trình học tập nghiên cứu Cuối cùng, xin gửi lời cảm ơn đến gia đình bạn bè ln giúp đỡ, ủng hộ tơi suốt q trình học tập, nghiên cứu hoàn thành luận văn Trong thời gian qua cố gắng tập trung nghiên cứu tìm hiểu để hồn thành thật tốt luận văn chắn cịn nhiều thiếu sót mong nhận bảo Thầy Cô giáo để luận văn hoàn thiện Quy Nhơn, tháng năm 2020 MỤC LỤC LỜI CAM ĐOAN LỜI CẢM ƠN DANH MỤC CÁC KÝ HIỆU, CÁC CHỮ VIẾT TẮT DANH MỤC CÁC BẢNG DANH MỤC CÁC HÌNH VẼ MỞ ĐẦU 1 Lý chọn đề tài Mục tiêu nghiên cứu 3 Đối tượng phạm vi nghiên cứu Phương pháp nghiên cứu Ý nghĩa khoa học thực tiễn Chương 1: TỔNG QUAN VỀ CHUYỂN ĐỔI TRI THỨC VÀ CÔNG CỤ PARSER 1.1 Giới thiệu quản lý tri thức .5 1.1.1 Khái quát Tri thức quản lý tri thức .5 1.1.2 Quy trình quản lý tri thức 1.1.3 Công nghệ quản lý tri thức .11 1.1.4 Lợi ích việc quản lý tri thức .12 1.2 Tổng quan ontology 13 1.2.1 Giới thiệu Ontology .14 1.2.2 Ứng dụng Ontology 15 1.2.3 Phân loại Ontology 16 1.2.4 Ngôn ngữ Ontology 17 1.3 Tổng quan Log Parser 25 1.3.1 Giới thiệu Log Paser [24] 25 1.4 Máy chủ Web 27 1.4.1 Máy chủ web – web server .27 1.4.2 Các đặc tính web server .29 1.4.3 Cơ chế hoạt động máy chủ web 29 1.4.4 Các loại web server phổ biến .34 1.4.5 Nhật ký máy chủ web (Web Server Log) 37 1.4.6 Các loại nhật ký máy chủ web 38 1.5 Máy chủ IIS .40 1.5.1 Giới thiệu máy chủ web IIS 40 1.5.2 Chức máy chủ web IIS 41 1.6 Máy chủ Apache 42 1.6.1 Giới thiệu máy chủ web Apache .42 1.6.2 Hoạt động máy chủ web Apache 43 1.7 Tổng kết Chương I 44 Chương 2: PHÂN TÍCH CÚ PHÁP FILE LOG DỰA VÀO ONTOLOGY VÀ PARSER 45 2.1 Phân tích cú pháp .45 2.1.1 Tổng quan phân tích cú pháp [19] 45 2.1.2 Các phương pháp phân tích cú pháp [19] 47 2.2 Tổng quan phân tích cú pháp - Parser 49 2.2.1 Cấu trúc Parser 49 2.2.2 Hoạt động Parser 51 2.2.3 Mơ hình hoạt động Phân tích cú pháp dựa vào Ontology 53 2.3 Kiến trúc máy chủ Web 55 2.4 Cấu trúc File Log 57 2.5 Xây dựng Ontology 59 2.5.1 Xác định mục đích sử dụng Ontology 59 2.5.2 Xây dựng lớp Ontology .59 2.5.3 Định nghĩa thuộc tính, ràng buộc thuộc tính quan hệ cho lớp 60 2.5.4 Tạo thực thể cho lớp 62 2.6 Kết luận Chương 63 Chương 3: CÀI ĐẶT, THỰC NGHIỆM VÀ ĐÁNH GIÁ .64 3.1 Cài đặt 64 3.1.1 Protégé 64 3.1.2 Python .68 3.1.3 Cấu hình máy tính 71 3.1.4 Lệnh truy vấn SPARQL 72 3.2 Thiết kế mơ hình 74 3.2.1 Sử dụng Protégé thiết kế Ontology cho Log IIS webserver .74 3.3 Thực nghiệm 78 3.3.1 Triển khai thực nghiệm .79 3.4 Đánh giá 83 3.4.1 Đánh giá mơ hình Ontology dựa mơ hình OntoQA [18] 83 3.4.2 Đánh giá Parser 85 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 89 1.Kết luận chung 89 2.Hướng phát triển đề tài 89 DANH MỤC TÀI LIỆU THAM KHẢO .90 PHỤ LỤC QUYẾT ĐỊNH GIAO ĐỀ TÀI LUẬN VĂN THẠC SĨ (bản sao) DANH MỤC CÁC KÝ HIỆU, CÁC CHỮ VIẾT TẮT STT Ký hiệu viết tắt HTTP Tên tiếng Anh Ý nghĩa Hypertext Transfer Giao thức truyền tải siêu văn CNTT CSDL IIS XML LSWS CGI SMTP POP 10 URL 11 RDF 12 RDFS 13 14 15 Protocol Information Technology Database Internet Information Services Extensible Markup Language LiteSpeed Web Server Computer-Generated Imagery Simple Mail Transfer Protocol Post Office Protocol Uniform Resource Locator Resource Description Công nghệ thông tin Cơ sở liệu Dịch vụ thông tin Internet Ngôn ngữ đánh dấu mở rộng Máy chủ Web LiteSpeed Máy tính tạo hình ảnh giao thức truyền tải thư tín đơn giản Giao thức Bưu điện Đường dẫn truy cập đến tài nguyên mạng Internet Khung mô tả tài nguyên Framework Resource Description Lược đồ khung mô tả tài OWL Framework Schema Ontology Web Language nguyên Ngôn ngữ web Ontology WWW World Wide Web Dịch vụ Web Simple Logfile Clustering Công cụ phân cụm tệp nhật Tool ký đơn giản SLCT Word vocabulary 16 construction Cluster candidates 17 18 19 IPLoM 20 LKE 21 API construction Log template generation Iterative Partitioning Log Mining Log Key Extraction Application Programming Interface Cấu trúc từ vựng từ Cụm ứng viên xây dựng Tạo mẫu nhật ký Khai thác nhật ký phân vùng lặp lại Trích xuất khóa nhật ký Giao diện lập trình ứng dụng 22 CSV Comma Separated Values 23 TSV Tab-Separated Values 24 SMTP Các giá trị phân tách dấu phẩy Các giá trị phân tách Simple Mail Transfer tab Giao thức truyền tải thư tín Protocol đơn giản DANH MỤC CÁC BẢNG Bảng 1.1 Các lớp thuộc tính OWL .25 Bảng 2.1 Cấu trúc tệp Log IIS 57 Bảng 2.1 Các thuật ngữ quan trọng Ontology .60 Bảng 2.2 Các thuộc tính quan hệ cho lớp 60 Bảng 2.3 Các ràng buộc thuộc tính quan hệ 61 Bảng 3.2 Thời gian chuyển đổi liệu thực nghiệm 87 Bảng 4.3 Thời gian chuyển đổi liệu thực nghiệm 87 DANH MỤC CÁC HÌNH VẼ Hình 1.1 Mơ hình liệu, thơng tin tri thức .6 Hình 1.2 Sơ đồ từ liệu đến tri thức[14] Hình 1.3 Các bước quản lý tri thức Hình 1.4 Phân loại Ontology 16 Hình 1.5 Mối quan hệ thành phần triple 18 Hình 1.6 So sánh RDF RDFS 21 Hình 1.7 Mơ hình web server [17] 28 Hình 1.8 Mơ hình hoạt động web server [17] 30 Hình 1.9 Web server Apache 35 Hình 1.10 IIS Control Panel 35 Hình 1.11 Web server Nginx 36 Hình 1.12 Web server LiteSpeed 37 Hình 1.13 Cơ chế hoạt động IIS .42 Hình 1.14 Kiến trúc máy chủ Apache 43 Hình 2.1 Cấu trúc Log Parser 51 Hình 2.2 Mơ hình hoạt động Parser 52 Hình 2.3 Mơ hình hoạt động thành phần Parser 52 Hình 2.4 Mơ hình xử lý liệu Ontology [21] .53 Hình 2.5 Mơ hình truy xuất liệu Ontology [21] .54 Hình 2.6 Mơ hình hoạt động Parser dựa vào Ontology 54 Hình 2.7 Các thành phần máy chủ web 56 Hình 2.8 Ví dụ file log IIS 57 Hình 2.9 Các lớp cấu trúc phân cấp 59 Hình 2.10 Mơ tả Ontology Log IIS webserver .62 Hình 2.11 Các thực thể lớp .63 Hình 3.1 Classes 67 Hình 3.2 Object Properties 67 80 - Import thư viện sử dụng Code Hình 3.16 Import thư viện - Tiến hành tạo file Ontology để chứa liệu Hình 3.17 Khởi tạo Ontology - Tiến hành đọc file Log bóc tách trường liệu đưa vào file Ontology vừa khởi tạo theo trường tương ứng 81 Hình 3.18 Đọc bóc tách trường từ file Log đưa vào Ontology - Kết thu Hình 3.19 Kết thu 82 - Tiến hành truy vấn liệu vừa thực Hình 3.20 Truy vấn liệu - Kết đạt Hình 3.21 Kết truy vấn liệu 83 - Kiểm tra Protégé Hình 3.22 Kiểm tra liệu sau chuyển đổi Protégé  Quá trình chuyển liệu từ file Log chuyển sang mơ hình Ontology xác 100% 3.4 Đánh giá 3.4.1 Đánh giá mơ hình Ontology dựa mơ hình OntoQA [18] Relationship Richness (RR) Số liệu phản ánh đa dạng loại quan hệ Ontology Một Ontology chứa mối quan hệ thừa kế thường truyền tải thơng tin Ontology chứa tập hợp mối quan hệ khác Sự phong phú mối quan hệ biểu thị tỷ lệ phần trăm mối quan hệ không kế thừa lớp so với tất kết nối có thể bao gồm mối quan hệ kế thừa không kế thừa RR lược đồ định nghĩa tỷ lệ số mối quan hệ không kế 84 thừa (P), chia cho tổng số mối quan hệ xác định lược đồ, tức tổng số lượng mối quan hệ kế thừa (H) mối quan hệ không kế thừa (P) RR = |P| / (|H|+|P|) Trong luận văn: RR = |15| / (|9| + |15|) = 0.625 RR = 0.625 nằm khoảng Nên lớp vừa có mối quan hệ class–class, vừa có mối quan hệ class–individual Inheritance Richness (IR) IR mô tả phân phối thông tin qua cấp độ khác kế thừa Ontology Đây số liệu tốt mức độ kiến thức nhóm thành loại phân loại khác Ontology Biện pháp phân biệt Ontology ngang, mà lớp có số lượng lớn lớp trực tiếp, với Ontology dọc, mà lớp có số lượng nhỏ lớp trực tiếp Một Ontology với độ phong phú thừa kế thấp Ontology dọc, thể học bao trùm miền cụ thể cách chi tiết, Ontology có IR cao Ontology ngang, Ontology đại diện cho loạt kiến thức chung với mức độ chi tiết thấp IR định nghĩa số lớp lớp: IR = | H | / | C | Trong luận văn: IR = | | / | 10 | = 0.9 IR = 0.9 (Cao) Ontology đại diện cho loạt kiến thức chung Attribute Richness (AR) Số lượng thuộc tính xác định cho lớp chất lượng thiết kế Ontology lượng thông tin liên quan đến liệu cá thể Nói chung, giả định nhiều vị trí xác định có nhiều kiến thức mà thể học truyền tải AR định nghĩa số lượng thuộc tính trung bình lớp Nó tính tất số thuộc tính chia cho số lượng lớp: AR= |att| / |C| Trong luận văn: AR = |38| / |9| = 4.22 85 AR = 4.22 Mỗi lớp có số lương thuộc tính trung bình cao Class Richness (CR) Số liệu có liên quan đến cách thể phân phối lớp Số lượng lớp so sánh với tổng số lớp, đưa ý tưởng chung mức độ sử dụng kiến thức mơ hình hóa lớp lược đồ Do đó, có CR thấp, khơng có liệu ví dụ cho tất kiến thức lớp tồn lược đồ Mặt khác, CR cao liệu tồn đại diện cho hầu hết kiến thức lược đồ CR định nghĩa tỷ lệ phần trăm số lớp không trống (C’) chia cho tổng số lớp định nghĩa lược đồ (C): CR = |C’| /| C| Trong luận văn: CR = |9| / |9| = CR = -> Dữ liệu đại diện cho toàn kiến thức lược đồ 3.4.2 Đánh giá Parser Đánh giá độ xác q trình chuyển đổi liệu từ file log sang ontology Thực chuyển đổi liệu từ 400 liệu đến 100000 liệu Bảng 3.1 Số liệu chuyển đổi từ Log IIS sang Ontology Số liệu cần chuyển Dữ liệu tiếp nhận 400 400 600 600 1000 1000 3000 3000 4000 4000 10000 10000 15000 15000 40000 40000 75000 75000 100000 100000  Dữ liệu đạt 100% trình chuyển đổi sang Ontology Tỷ lệ 100% 100% 100% 100% 100% 100% 100% 100% 100% 100% từ liệu Log IIS 86  So sánh với Parser khác giới thiệu mục 2.1.2 ta thấy, q trình chuyển đổi Parser Log IIS ln ổn định so với Parser khác Do Parser Log IIS tối ưu độ xác Hình 3.23 So sánh độ xác việc thực chuyển đổi Parser Log IIS với Parser khác Đánh giá thời gian thực Tiến hành so sánh đánh giá Parser với Parser khác, so sánh mang tính chất khách quan dựa quan sát thời gian thực chuyển đổi liệu từ liệu Log sang Ontology 87 Thực nghiệm 1: Bảng 3.2 Thời gian chuyển đổi liệu thực nghiệm Số lượng liệu 400 4000 40000 400000 4000000 Thực nghiệm 2: LogIIS 0,41 3,50 55,00 X X SLCT IPLoM LogSix 0,01 0,03 8,02 0,07 0,1 100 0,5 0,3 800 8000 20 10000 LKE 10,00 1000 X X X Bảng 3.3 Thời gian chuyển đổi liệu thực nghiệm Số lượng liệu 600 3000 15000 75000 375000 LogIIS 0,52 2,93 20,69 104,61 X SLCT IPLoM LogSix LKE 0,03 0,05 50 0,06 0,3 900 0,25 0,9 100 10000 900 X 5000 X Hình 3.24 So sánh thời gian thực Parser Log IIS với Parser khác  Vậy số lượng kiện lớn thời gian chuyển đổi lâu Với 88 số lượng kiện từ 3000 trở thời gian chuyển đổi dài Ngồi thời gian chuyển đổi cịn bị phụ thuộc vào yếu tố khách quan khác như: tốc độ, độ ổn định internet, cấu hình máy tính sử dụng người dùng  Thời gian thực chuyển đổi Parser luận văn chậm so với Parser khác Do đó, Parser Log IIS chưa tối ưu với thời gian chuyển đổi KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 89 Kết luận chung Trong nghiên cứu này, ngồi phần trình bày khái niệm Ontology, máy chủ Web, nhật ký máy chủ Web, quản lý tri thức, xây dựng mơ hình Parser chuyển đổi dựa cấu trúc file IIS Log, kết hợp với phương pháp rút trích từ file Log truy vấn liệu từ file OWL Việc thử nghiệm thực file Log máy chủ Web Kết đạt luận văn - Hiểu kiến thức Ontology, máy chủ Web, nhật ký máy chủ Web, quản lý tri thức, cách thức truy xuất file Log - Xây dựng mơ hình Ontology dành cho quản lý tri thức kiện máy chủ Web IIS - Xây dựng mơ hình Parser rút trích liệu từ file Log máy chủ IIS vào mơ hình Ontology Một số kết chưa đạt được: - Mơ hình chuyển đổi hoạt động chậm liệu lớn - Còn nhiều loại Log khác chưa đưa vào mơ hình - Chưa đưa giải pháp vào mơ hình chuyển đổi - Chưa triển khai thành cơng cụ hồn chỉnh cho người dùng Hướng phát triển đề tài Trên sở kết đạt nghiên cứu này, tơi nhận thấy cịn số vấn đề cần tiếp tục nghiên cứu để có kết tốt như: - Tiếp tục nghiên cứu thử nghiệm để tối ưu mơ hình Ontology - Tiếp tục nghiên cứu loại Log khác như: Apache Log, Error Log, System Log, … đưa vào Parser để tạo thành mơ hình tổng qt cho loại Log - Tiếp tục xây dựng Parser thành cơng cụ hồn chỉnh cho người dùng DANH MỤC TÀI LIỆU THAM KHẢO 90 [1] John Wiley & Sons, Microsoft Official Academic Course, “Windows Server Administration Fundamentals”, 2011 [2] Daniil Mirylenka, Andrea Passerini, and Luciano Serafini - Bootstrapping Domain Ontologies from Wikipedia: A Uniform Approach - of the Twenty-Fourth International Joint Conference on Artificial Intelligence, 2015 [3] Patrick, Killelea, Web performance tuning (2nd ed.) Beijing: O'Reilly p 264, 2012 [4] Webdevelopersnotes, “What is web server?'”, 2010 [5] Girard, John P.; Girard, JoAnn L (2015) "Defining knowledge management: Toward an applied compendium" (PDF) Online Journal of Applied Knowledge Management (1): 14 [6] University of North Carolina at Chapel Hill Introduction to Knowledge Management 2014 [7] ThS Trần Hùng Cường, ThS Ngô Đức Vĩnh - Khoa Công nghệ thông tin Trường Đại học Công nghiệp Hà Nội, Tổng quan phát tri thức khai phá liệu, 2011 [8] Maier, Ronald, and Thomas Hadrich Knowledge management systems Encyclopedia of Knowledge Management, Second Edition IGI Global, 2011 [9] Davies, John; Grobelnik, Marko; Mladenić, Dunja Semantic Knowledge Management: Integrating Ontology Management, Knowledge Discovery, and Human Language Technologies, 2009 [10] Retrieved 27 November 2010 "Parse" dictionary.reference.com [11] ThS Vũ Ngọc Hiếu, Giáo Trình Hệ Thống Thơng Tin Quản Lý, 2017 [12] Smith, Barry Ontology The furniture of the world Brill Rodopi, 2012 [13] Gruber, Tom Ontology 2018 91 [14] Jonathan Fulton Web Architecture, 2017 [15] Tartir, Samir, I Budak Arpinar, and Amit P Sheth "Ontological evaluation and validation." Theory and applications of ontology: Computer applications Springer, Dordrecht, 2010 [16] He, Pinjia, et al "An evaluation study on log parsing and its use in log mining." 2016 [17] J Lou, Q Fu, S Yang, Y Xu, and J Li, Mining invariants from console logs for system problem detection, 2010 [18] Yu, Binbin Research on information retrieval model based on ontology, 2019 [19] Quách Xuân Hưng, Một Số Phương Pháp Tích Hợp Ontology Dựa Vào Logic Mơ Tả Mờ Trường Đại học Khoa học – Đại học Huế, 2020 [20] Deborah L McGuinness, OWL Web Ontology Language, 2009 [21] Giuseppini, Gabriele "Log parser." U.S Patent Application, 2004 PL-1 PHỤ LỤC Mơ hình Parser chuyển đổi liệu Log vào mơ hình Ontology import datetime import time from owlready2 import * import csv import time start = time.time() onto = get_ontology("http://test.org/onto.owl") onto.save("structure.owl") with open('D:\Hoc Tap\Log\LogOnto.csv', newline='') as csvfile: reader = csv.DictReader(csvfile) count = for row in reader: count = count + log = Log("Log_"+str(count)) log.hasLogFileName = row['LogFilename'] log.hasLogRow = row['LogRow'] date = Date("Date_"+str(count)) date.hasDate = row['date'] date.hasTime = row['time'] log.hasLogDate.append(date) PL-2 user = User("User_"+str(count)) user.hasUserIP = row['c-ip'] user.hasUserName = row['cs-username'] user.hasSitename = row['s-sitename'] log.hasLogUser.append(user) webServer = WebServer("WebServer_"+str(count)) webServer.hasServerName = row['s-computername'] webServer.hasServerIP = row['s-ip'] webServer.hasServerPort = row['s-port'] log.hasLogWebServer.append(webServer) type = Type("Type_"+str(count)) type.hasMethod = row['cs-method'] type.hasRequest = row['cs-uri-stem'] type.hasReferer = row['cs-uri-query'] log.hasLogType.append(type) status = Status("Status_"+str(count)) status.hasStatus = row['sc-status'] status.hasSubStatus = row['sc-substatus'] status.hasWin32 = row['sc-win32-status'] log.hasLogStatus.append(status) event = Event("Event_"+str(count)) event.hasSizeOfRequest = row['sc-bytes'] event.hasSizeOfReceive = row['cs-bytes'] PL-3 event.hasTimeTaken = row['time-taken'] event.hasVersion = row['cs-version'] event.hasServerName = row['cs-host'] event.hasUserAgent = row['cs(User-Agent)'] event.hasRefererUser = row['cs(Referer)'] log.hasLogEvent.append(event) if (count>20000): break onto.save("LogOntology.owl") ... server riêng nơi job chạy - Full- text Search Service - Dịch vụ Tìm kiếm Tồn văn: cách tự nhiên để tìm kiếm thơng tin, hệt Google, ta cần gõ từ khóa nhấn enter có kết trả Full- text search tận dụng... phiên dễ hiểu phức tạp OWL Full Mối liên hệ ngôn ngữ OWL: - Mọi ontology hợp lệ dựa OWL Lite ontology hợp lệ OWL DL - Mọi ontology hợp lệ dựa OWL DL ontology hợp lệ OWL Full - Mọi kết luận hợp lệ... có: 40 %h - Địa IP máy khách %l - Danh tính khách hàng xác định identd máy khách hàng Sẽ trả dấu gạch ngang ( -) thơng tin khơng có sẵn %u - Userid máy khách yêu cầu xác thực %t - Thời gian