Mô hình hóa tài nguyên thông tin trường đại học và hỗ trợ truy xuất thông tin theo tiếp cận LINKED DATA

HỌC VIỆN CƠNG NGHỆ BƯU CHÍNH VIỄN THƠNG - NGUYỄN VĂN NHÂN MƠ HÌNH HỐ TÀI NGUN THƠNG TIN TRƯỜNG ĐẠI HỌC VÀ HỖ TRỢ TRUY XUẤT THÔNG TIN THEO TIẾP CẬN LINKED DATA LUẬN VĂN THẠC SĨ KỸ THUẬT (Theo định hướng ứng dụng) HÀ NỘI - NĂM 2020 HỌC VIỆN CƠNG NGHỆ BƯU CHÍNH VIỄN THƠNG - NGUYỄN VĂN NHÂN MƠ HÌNH HỐ TÀI NGUN THƠNG TIN TRƯỜNG ĐẠI HỌC VÀ HỖ TRỢ TRUY XUẤT THÔNG TIN THEO TIẾP CẬN LINKED DATA Chuyên ngành: Hệ thống thông tin Mã số: 8.48.01.04 LUẬN VĂN THẠC SĨ KỸ THUẬT (Theo định hướng ứng dụng) NGƯỜI HƯỚNG DẪN KHOA HỌC : PGS.TS HOÀNG HUỮ HẠNH HÀ NỘI - 2020 CAM ĐOAN Tôi xin cam đoan cơng trình nghiên cứu khoa học độc lập riêng Các số liệu sử dụng phân tích luận văn có nguồn gốc rõ ràng, công bố theo quy định Các kết nghiên cứu luận văn tơi tự tìm hiểu, phân tích cách trung thực, khách quan phù hợp với thực tiễn Việt Nam Kết chưa công bố nghiên cứu khác Tác giả luận văn ký ghi rõ họ tên Nguyễn Văn Nhân LỜI CẢM ƠN Để hoàn thành luận văn, nghiên cứu cố gắng thân, xin cảm ơn thầy giáo PGS.TS Hoàng Hữu Hạnh - người thầy trực tiếp hướng dẫn, tận tình bảo định hướng cho tơi suốt trình thực luận văn Một lời cảm ơn chắn khơng thể diễn tả hết lịng biết ơn sâu sắc tới thầy – người thầy phương diện! Tôi xin gửi lời cảm ơn chân thành cảm ơn tất thầy cô giáo Học viện Công nghệ Bưu Viễn thơng giảng dạy, quan tâm nhiệt tình dìu dắt tơi trong suốt q trình học tập trường Cuối cùng, xin gửi lời cảm ơn tới gia đình, bạn bè người bên cổ vũ, động viên, tạo điều kiện thuận lợi cho học tập, tạo động lực tinh thần vơ giá để tơi hồn thiện luận văn ngày hồn thiện thân Trong trình nghiên cứu thực luận văn, hướng dẫn nhiệt tình thầy giáo PGS.TS Hoàng Hữu Hạnh nỗ lực thân tránh khỏi thiếu sót hạn chế Tơi mong nhận ý kiến đóng góp, sửa chữa từ q Thầy, Cơ bạn bè đồng nghiệp để luận văn hoàn thiện Trân trọng cảm ơn! Tác giả Nguyễn Văn Nhân MỤC LỤC MỞ ĐẦU Chương - TỔNG QUAN VỀ WEB NGỮ NGHIÃ VÀ LINKED DATA Tổng quan Web ngữ nghĩa 1.1 Web ngày hôm .5 1.2 Web ngữ nghĩa .7 1.2.1 Khái niệm 1.2.2 Siêu liệu .8 1.2.3 Kiến trúc Web ngữ nghĩa 1.2.4 Các khái niệm Web ngữ nghĩa .10 1.3 Ngôn ngữ Cơ cấu mô tả tài nguyên 13 1.3.1 Ngôn ngữ mô tả tài nguyên RDF 13 1.3.2 Lược đồ RDF truy vấn RDF .20 1.4 Linked Data 26 1.4.1 Khái niệm Linked Data .26 1.4.2 Quy tắc Linked Data 27 1.5 Tiểu kết chương 1.………………………………………………………… 28 Chương - ỨNG DỤNG QUẢN LÝ VÀ TRUY XUẤT TÀI NGUYÊN THÔNG TIN TRONG TRƯỜNG ĐẠI HỌC– LINKED OPEN PTIT DATA (LOPD) 29 2.1 Tiến trình xây dựng ứng dụng LOPD 29 2.2 Jena 31 2.2.1 Giới thiệu 31 2.2.2 Jena API 31 2.2.3 Kiến trúc Jena .32 2.3 Mơ hình hóa thơng tin với Jena 33 2.3.1 Chương trình Hello World! Jena 33 2.3.2 Tạo mơ hình RDF 33 2.3.3 Đọc mơ hình RDF 39 2.4 Chuyển đổi liệu web ngữ nghĩa .41 2.4.1 Dữ liệu từ Excel 41 2.4.2 Dữ liệu từ DBF 42 2.5 Chuẩn Dublin Core Metadata .44 2.6 Tiểu kết Chương 2………………………………………………………… 44 Chương - PHÁT TRIỂN ỨNG DỤNG LOPD 47 3.1 Giới thiệu toán .47 3.1.1 Yêu cầu toán 47 3.1.2 Phân tích vấn đề 47 3.1.3 Chuẩn bị liệu 48 3.2 Giải pháp hệ thống .49 3.2.1 Kiến trúc hệ thống 49 3.2.2 Thiết kế sở liệu 51 3.3 Xây dựng ứng dụng 57 3.3.1 Mô tả User case .57 3.3.2 Đặc tả chức 58 3.3.3 Thiết kế giao diện 59 KẾT LUẬN VÀ KIẾN NGHỊ .61 DANH MỤC TÀI LIỆ THAM KHẢO 62 PHỤC LỤC 63 DANH MỤC CÁC KÝ HIỆU, CÁC CHỮ VIẾT TẮT Viết tắt API CDF CSDL HTML HTTP Tiếng Anh Application Programming Interface Tiếng Việt Giao diện lập trình ứng Computable Document Format Database Hyper Text Markup Language dụng Một định dạng file Cơ sở liệu Ngôn ngữ đánh dấu siêu Hyper Text Transfer Protocol văn giao thức chuẩn mạng Internet LOPD OWL URI Linked Open PTIT Data Web Ontology Language Uniform Resource Identifier Ngôn ngữ thể web Một chuỗi ký tự dùng để xác định tài URL Uniform Resource Locator nguyên Địa dùng để tham chiếu đến tài nguyên URN Uniform Resource Name mạng Internet Định danh Tài nguyên thống WWW World Wide Web mạng lưới toàn cầuHệ XML eXtensible Markup Language thống Web Ngôn ngữ đánh dấu mở rộng DANH MỤC CÁC BẢNG Bảng 2.5 Các yếu tố chuẩn Dublin Core Metadata 45 Bảng 3.2.2.2 Thông tin cấu trúc bảng dblp_author_ref_new 55 Bảng 3.2.2.3 Thông tin cấu trúc bảng dblp_ref 55 Bảng 3.2.2.4 Thông tin cấu trúc bảng dbsa_sbj .56 Bảng 3.2.2.5 Thông tin cấu trúc bảng dbsa_pub_in_dblp 56 Bảng 3.2.2.6 Thông tin cấu trúc bảng dbsa_pub 57 DANH MỤC CÁC HÌNH Hình Mơ hình liên kết liệu Web ngữ nghĩa Hình 1.3.1.3 Đồ thị RDF 15 Hình 1.3.2.1 Quan hệ kế thừa 20 Hình 1.3.2.3 Khơng gian miền giới hạn thuộc tính RDFS 23 Hình 1.3.1 Mơ hình liên kế liệu Web ngữ nghĩa .27 Hình 2.1 Tiến trình xuất Linked Data lên Web .29 Hình 2.2.2 Các thành phần Jena API 32 Hình 2.2.3 Kiến trúc Jena 32 Hình 2.3.2.1 Biểu diễn phát biểu dạng đồ thị .34 Hình 3.1.3.2 Cơ sở liệu DBLP 48 Hình 3.2.1 Quá trình thực LOSM 50 Hình 3.2.2.1 Các bảng sở liệu DBLP 52 Hình 3.2.2.2 Các bảng sở liệu hệ thống 57 Hình 3.3.1 Use case hệ thống tìm kiếm thông tin tác giả 58 Hình 3.3.3.1 Ứng dụng tìm kiếm thơng tin tác giả .59 Hình 3.3.3.2 Kết tìm kiếm tác giả PGS.TS Hồng Hữu Hạnh gợi ý tác giả có báo hay cơng trình chủ đề 59 MỞ ĐẦU Lý chọn đề tài Thuật ngữ “Linked Data” Tim Berner-Lee đưa ghi chép kiến trúc “Linked Data Web” Thuật ngữ cách thức để xuất liên kết liệu có cấu trúc Web Giả thuyết Linked Data lợi ích giá trị liệu tăng lên liên kết với liệu khác Nói cách khác, Linked Data đơn giản sử dụng Web để tạo liên kết định kiểu (typed link) liệu từ nhiều nguồn tài nguyên khác Điều giống hai CSDL hai tổ chức vùng địa lý khác hay đơn giản hệ thống hỗn tạp tổ chức không dễ dàng để trao đổi, liên thông mức liệu Do vậy, Linked Data nhằm vào liệu đưa lên Web theo cách máy tính đọc được, có ngữ nghĩa rõ ràng liên kết đến tập liệu bên ngồi ngược lại liệu liên kết đến nó[1] Trong đơn vị Web (hay gọi Web siêu liên kết) tài liệu HTML kết nối siêu liên kết không định kiểu (không xác định kiểu liệu hay kiểu quan hệ), Linked Data dựa vào tài liệu chứa liệu dạng RDF Tuy nhiên, tốt tài liệu kết nối đơn giản, Linked Data sử dụng RDF để làm câu định kiểu liên kết đối tượng gới thực Kết quả, tham chiếu Web liệu, thực mơ tả Web đối tượng giới thực, mô tả liệu Web Linked Data sử dụng công nghệ Web để kết nối tài nguyên (đối tượng liệu) liên quan đến mà không cần liên kết trước, nghĩa bỏ rào chắn liên kết liệu mà liên kết nhiều phương thức khác Linked Data kết nối liệu phân tán Web Linked Data thuật ngữ dùng để mô tả cách thức tốt đề nghị để duyệt, chia sẻ kết nối liệu, thông tin, tri thức Web ngữ nghĩa cách sử dụng URI RDF 54 Hình 3.1.3.3 Hệ thống xây dựng sở liệu DBLP Từ đầu vào file TOCs nhập vào tác giả hệ thống sử dụng đoạn script parser để phân tích rút trích thơng tin báo Đồng thời với việc sử dụng liệu có sẵn danh sách tên tác giả, thông tin báo có, hệ thống xây dựng lên trang thơng tin tác giả (Author Page) Author Page chứa thông tin tác thông tin báo mà tác giả viết đồng tác giả 3.2 Giải pháp hệ thống 3.2.1 Kiến trúc hệ thống LOPD (Linked Open PTIT DATA): dịch vụ dùng SPARQL để truy vấn liệu DBLP Hình 3.2.1 cho thấy tổng quan kiến trúc dịch vụ Trong vài trường hợp, Các hệ thống dịch truy vấn SPARQL tới dãy cầu nối (lặp) API, thu thập liệu trả lại cho người dùng Dịch vụ hỗ trợ SPARQL truy vấn thông qua HTTP GET Bộ phân tích cú pháp sử dụng máy quét để nhận dạng lexemes truy vấn SPARQL tạo cấu trúc liệu cần thiết Query Manager Mơ-đun có trách nhiệm tách truy vấn vào truy vấn theo điều khiển từ xa API sẵn có ResultManager xử lý truy vấn phụ kết để tạo đồ kết cuối 55 Result Manager Parser Scanner Client Browser Server Results SPARQL ser ver over HTTP Jena API Quer y mana ger SPARQL QUẺY http request LOPD DB Output fomat generator Query results Hình 3.2.1 Quá trình thực LODP Như mơ tả hình 3.2.1, LODP duợc thiết kế với kiểu kiến trúc lớp tách biệt, đảm nhận nhiệm vụ riêng, dựa tư tưởng mô hình truy vấn liên hồn Theo dó, kiến trúc ứng dụng phân làm bốn lớp: Lớp giao diện nguời sử dụng: hiển thị khung nhìn tích hợp cho người dùng cuối Lớp mashup: kết hợp nguồn liệu truy vấn với LOPD DB thông qua Query manager Lớp tích hợp, tương tác lưu trữ: đóng vai trị cầu nối chương trình liệu liên kết xuất (LOPD DBLP DB) Lớp liệu xuất bản: sở liệu liên kết ứng dụng 3.2.2 Thiết kế sở liệu 3.2.2.1 Mô tả cấu trúc liệu DBLP Sau cấu trúc bảng SQL DBLP Tiến sĩ Jörg Diederich xây dựng lên từ file XML DBLP Dữ liệu sử dụng hệ thống tìm kiếm Faceted DBLP cập nhật tuần lần cách sử dụng đoạn script đọc liệu trực tiếp từ file XML 56 Dữ liệu lưu trữ bảng: - dblp_pub_new: lưu thông tin báo Thông tin bảng bao gồm: tựa đề báo, năm xuất bản, số trang, tên nhà xuất bản, số thông tin định danh báo file XML DBLP giải thích chi tiết phần mơ tả phía Trong sở liệu báo có id riêng dùng chung cho bảng có liên quan đến báo - dblp_author_ref_new: lưu thông tin tác giả báo Thông tin bảng bao gồm: tên tác giả, tác giả có phải người biên tập (editor) hay không Trong bảng này, tác giả viết báo có id giống giống id tương ứng báo cótrong bảng dblp_pub_new - dblp_ref_new: lưu thông tin tham chiếu (reference) báo Bài báo có id tương ứng bảng dblp_pub_new tham chiếu báo xác định khóa dblp key Hình 3.2.2.1 Các bảng sở liệu DBLP 57 Chi tiết trường bảng giải thích sau: Khóa PRIMARY Kiểu Chú thích (Comment) id (Type) int(8) dblp_key varchar(150) Trường (Field) title longtext source varchar(150) source_id varchar(50) series year type volume number month pages ee ee_PDF url publisher varchar(100) Khóa Khóa file XML liệu DBLP – Cấu trúc: tên loại tài liệu (book, conf)/ nhà xuất bản/tên tác giả tài liệu năm công bố Tựa đề tài liệu Tên hội nghị nơi viết cơng bố: tên hội nghị, tạp chí, … Tham chiếu đến nguồn xuất (phần dblp_key) - cấu trúc: tên tạp chí/tênviết tắt hội nghị + Năm diễn hội nghị Series tài liệu (chỉ áp dụng với sách proceeding) int(4) unsigned Năm xuât tài liệu Thể loại tài liệu ví dụ article, varchar(20) proceedings, … Tập nơi phát hành tài liệu (tài liệu varchar(50) thuộc tập phát hành ) Số tập nơi phát hành tài liệu (nơi varchar(20) phát hành có tập ) varchar(30) Tháng tài liệu xuất Tài liệu thuộc trang varchar(100) xuất varchar(200) Địa URL tới điện tử tài liệu varchar(200) Địa URL tới PDF tài liệu Địa tài liệu liệu varchar(150) DBLP (bắt đầu db/ ) varchar(250) Tên nhà xuất ; tên trường tài liệu luận văn; trang chủ 58 nơi xuất International Standard Book Number Isbn varchar(25) mã số tiêu chuẩn quốc tế có tính chất thương mại để xác định sách Tham chiếu chéo đến tài liệu khác crossref titleSignature doi mdate varchar(50) varchar(255) Các tài liệu hội nghị, năm có crossref giống Tựa đề tài liệu không bao gồm khoảng trắng ký tự đặc biệt digital object identifier – cung cấp varchar(255) thông tin giúp người dùng tìm Date tài liệu Internet Lần cuối chỉnh sửa thông tin tài liệu Bảng 3.2.2.1 Thơng tin cấu trúc bảng dblp_pub_new 59 Khóa Trường Kiểu Chú thích (Field) (Type) (Comment) PRIMARY id int(8) PRIMARY author editor Khóa tương ứng với id bảng dblp_pub_new varchar(70) Tên tác giả Giá trị trả giá trị tác giả int(1) người biên tập (editor) Số thứ tự tác giả (tương ứng file gốc XML) Một báo có tác giả số author_num int(3) tương ứng 0, tác giả có số tương ứng có author_num tương tự Bảng 3.2.2.2 Thơng tin cấu trúc bảng dblp_author_ref_new Khóa Chính PRIMARY Trường Kiểu Chú thích (Field) (Type) id int(8) (Comment) Khóa tương ứng với id bảng ref_id varchar(150) dblp_pub_new Khóa dblp_key báo trích dẫn 60 Bảng 3.2.2.3 Thông tin cấu trúc bảng dblp_ref 3.2.2.2 Cơ sở liệu hệ thống Như cấu trúc bảng dblp trình bày trên, hệ thống khơng chứa liệu tóm tắt báo (abstract) Từ cấu trúc nhóm bổ sung thêm vào cấu trúc bảng sau để đảm bảo việc cập nhật liệu DBLP lưu thơng tin chủ đề, tóm tắt báo - dbsa_sbj: lưu thông tin chủ đề lĩnh vực khoa học máy tính - dbsa_pub: lưu thơng tin báo thu thập từ thư viện số - dbsa_pub_in_dblp: bảng lưu thông tin bổ sung báo liệu dblp bao gồm chủ đề, đường dẫn mở rộng (nơi mà báo tìm thấy – trang cá nhân tác giả …) Khóa Chính PRIMARY Trường (Field) Id Kiểu (Type) int(8) Chú thích (Comment) Khóa chủ đề sbj_name varchar(150) Tên chủ đề Bảng 3.2.2.4 Thông tin cấu trúc bảng dbsa_sbj Khóa Chính PRIMARY Trường Kiểu Chú thích (Field) (Type) Id int(8) (Comment) Khóa tương ứng với id bảng sbj_id int(8) Links longtext dblp_pub_new Khóa ngoại dbsa_sbj Những đường dẫn mà người dùng tìm báo Bảng 3.2.2.5 Thông tin cấu trúc bảng dbsa_pub_in_dblp Khóa Chính PRIMARY Trường Kiểu Chú thích (Field) Id (Type) int(8) (Comment) Khóa bảng 61 sbj_id int(8) Khóa ngoại dbsa_sbj Abstract Title year publisher longtext longtext int(4) varchar(250) Authors Varchar(250) Tóm tắt báo Tựa đề báo Năm xuất tài liệu Tên nhà xuất Tên tác giả báo, tên Links longtext cách dấu “ ,” Những đường dẫn mà người dùng tìm báo Mỗi link khác cách dâu “,” Bảng 3.2.2.6 Thông tin cấu trúc bảng dbsa_pub Hình 3.2.2.2 Các bảng sở liệu hệ thống 3.3 Xây dựng ứng dụng 3.3.1 Mô tả User case Phần xây dựng mơ hình use-case nhằm cung cấp cách chi tiết chức tìm kiếm thơng tin, xem thơng tin nhà khao học cụ 62 thể (duyệt thông tin) xem thông tin chi tiết nhà khoa học Mơ hình usecase thể hình sau: Duyệt thơng tin Kết tìm kiếm Ngườ i dùng Tìm kiếm Hình 3.3.1 Use case hệ thống tìm kiếm thơng tin tác giả 3.3.2 Đặc tả chức - Chức tìm kiếm: Chức cho phép người sử dụng tìm thơng tin hệ thống cách nhập từ khóa thơng tin muốn tìm Hệ thống duyệt file TACGIA.rdf tìm tất tài nguyên liên quan đến từ khóa muốn tìm trả kết Khi lấy thông tin phù hợp hiển thị - Chức duyệt thông tin: Chức cho phép người sử dụng xem thông tin danh sách tài nguyên liên quan đến từ khóa cách chọn mục thông tin cần xem Hệ thống tìm thực thể liên quan đến mục thơng tin chọn trả kết cho người sử dụng 63 3.3.3 Thiết kế giao diện 3.3.3.1 Giao điện người dùng mặc định Hình 3.3.3.1 Ứng dụng tìm kiếm thơng tin tác giả 3.3.3.2 Kết tìm kiếm với tác giả Hình 3.3.3.2 Kết tìm kiếm tác giả PGS.TS Hoàng Hữu Hạnh gợi ý tác giả có báo hay cơng trình chủ đề 3.4 Tiểu kết Chương 64 Chương tổng hợp lại kiến thức web ngữ nghĩa để xây dựng ứng dụng minh họa Trước hết phần mơ tả tốn tìm kiếm thông tin tác giả, nhà khoa học Tiếp theo giải pháp cho hệ thống tìm kiếm thơng tin tác giả: trình bày mơ hình hệ thống, chuyển đổi (RDF) lưu trữ liệu (Jena) Chương trình bày cách thức tải liệu, chỉnh sửa liệu Cuối ứng dụng minh họa cụ thể hệ thống tìm kiếm thơng tin tài ngun thông tin trường đại học 65 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN Luận văn nghiên cứu trình bày kiến thức web ngữ nghĩa kiến thức RDF, RDF Schema, ngôn ngữ truy vấn liệu web ngữ nghĩa SPARQL, môi trường lập trình web ngữ nghĩa trực quan hóa liệu Qua luận văn đạt số kết sau: Về lý thuyết, luận văn sâu nghiên cứu nhiều kiến thức RDF RDFS, từ hiểu cơng nghệ web ngữ nghĩa để dựa vào triển khai ứng dụng khác Trình bày cụ thể phương pháp lập trình với web ngữ nghĩa, cách chuyển đổi liệu cho web ngữ nghĩa Luận văn trình bày cách trích xuất xử lý liệu từ DBLP Computer Science Bibliography Về ứng dụng minh hoạ, với mục tiêu làm rõ thêm lý thuyết, luận văn ứng dụng xây dựng web ngữ nghĩa với công cụ hỗ trợ Cụ thể xây dựng liệu RDF tác giả khoa học dựa liệu thu thập từ DBLP trích xuất liệu khai thác tính truy xuất tài liệu có mơ tả ngữ nghĩa nhằm chia sẻ tài ngun thơng tin báo, cơng trình khoa học thực tìm kiếm với kết xác hơn, đồng thời tận dụng hết nguồn tài nguyên hệ thống Hướng phát triển: Xây dựng ontology để hỗ trợ trình truy xuất tìm kiếm thơng tin hiệu Phát triển ứng dụng với chức bổ sung cập nhật thông tin ontology Sử dụng công cụ lập trình di động liệu để tạo ứng dụng truy cập thiết bị di động DANH MỤC TÀI LIỆ THAM KHẢO Hoàng Hữu Hạnh - Lê Mạnh Thạnh, Giáo trình Web ngữ nghĩa, NXB giáo dục David Wood - Marsha Zaidman and Luke Ruth with Michael Hausenblas, Linked data Structured Data on the Web 66 [1] Glen Hart – Catherine Dolbear, Linked Data A Geographic Perspective [2] Liyang Yu, A Developer’s Guide to the Web ngữ nghĩa [3] Danh mục website tham khảo [4] http://www dblp.uni-trier.de/ [5] https://www.w3.org/2004/02/skos/ 67 PHỤC LỤC DataSample.rdf Hanh Huu Hoang Hue University, Vietnam Vienna University of Technology, Austria 68 provenance information for RDF data of dblp person 'h/Hoang:Hanh_Huu' 2020-03-13T22:10:19+0100 Nguyen Duy Phuong provenance information for RDF data of dblp person 'p/Phuong:Nguyen_Duy' 2020-01-23T22:56:39+0100 ... đề tài: “Mơ hình hố tài ngun thơng tin trường đại học hỗ trợ truy xuất thông tin theo tiếp cận Linked Data? ?? Tổng quan vấn đề nghiên cứu Đề tài ứng dụng đặc điểm tính chất mơ hình kỹ thuật Linked. ..HỌC VIỆN CƠNG NGHỆ BƯU CHÍNH VIỄN THƠNG - NGUYỄN VĂN NHÂN MƠ HÌNH HỐ TÀI NGUN THƠNG TIN TRƯỜNG ĐẠI HỌC VÀ HỖ TRỢ TRUY XUẤT THÔNG TIN THEO TIẾP CẬN LINKED DATA Chuyên... sử dụng Linked Data Chương 2: Ứng dụng quản lý truy xuất tài nguyên thông tin trường đại học – Linked Open PTIT Data (LOPD) Chương tìm hiểu phân loại nguồn tài ngun thơng tin trường đại học, tập