Một Ontology tra cứu thông tin qua hình ảnh sinh viên trường Đại học Công nghiệp Thực phẩm Tp. Hồ Chí Minh

Tra cứu thông tin là nhu cầu cần thiết của người học tại các cơ sở giáo dục nói chung và tại Trường Đại học Công nghiệp Thực phẩm TP.Hồ Chí Minh (HUFI) nói riêng. Vì vậy, trong bài báo này, một Ontology mô tả cho tập dữ liệu ảnh sinh viên HUFI được xây dựng bán tự động nhằm tra cứu thông tin qua hình ảnh. Để thực hiện vấn đề này, tập dữ liệu ảnh được tiền xử lý và trích xuất đặc trưng HOG (Histogram of Oriented Gradient) làm đầu vào cho việc huấn luyện bộ phân lớp SVM (Support Vector Machine) để từ đó phân lớp hình ảnh.

Tạp chí Khoa học Cơng nghệ Thực phẩm 21 (3) (2021) 32-49 MỘT ONTOLOGY TRA CỨU THÔNG TIN QUA HÌNH ẢNH SINH VIÊN TRƯỜNG ĐẠI HỌC CƠNG NGHIỆP THỰC PHẨM TP HỒ CHÍ MINH Nguyễn Văn Thịnh1, Nguyễn Thị Định1 Lê Thị Vĩnh Thanh2, Đinh Thị Mận1,* Trường Đại học Công nghiệp Thực phẩm TP.HCM Trường Đại học Bà Rịa - Vũng Tàu *Email: mandt@hufi.edu.vn Ngày nhận bài: 07/6/2021; Ngày chấp nhận đăng: 12/7/2021 TÓM TẮT Tra cứu thông tin nhu cầu cần thiết người học sở giáo dục nói chung Trường Đại học Cơng nghiệp Thực phẩm TP.Hồ Chí Minh (HUFI) nói riêng Vì vậy, báo này, Ontology mô tả cho tập liệu ảnh sinh viên HUFI xây dựng bán tự động nhằm tra cứu thơng tin qua hình ảnh Để thực vấn đề này, tập liệu ảnh tiền xử lý trích xuất đặc trưng HOG (Histogram of Oriented Gradient) làm đầu vào cho việc huấn luyện phân lớp SVM (Support Vector Machine) để từ phân lớp hình ảnh Trước hết, cấu trúc phân cấp lớp Ontology thuộc tính, mối quan hệ tạo Sau đó, cá thể ảnh phân lớp thêm vào Ontology cách tự động Cuối cùng, câu truy vấn SPARQL tạo từ phân lớp ảnh đầu vào để truy vấn Ontology nhằm trích xuất thông tin tập ảnh tương tự Nhằm minh chứng tính hiệu phương pháp đề xuất, thực nghiệm xây dựng đánh giá tập liệu ảnh Yale Face ảnh sinh viên HUFI Kết thực nghiệm cho thấy tính khả thi hiệu phương pháp, đồng thời dễ dàng mở rộng cho việc tra cứu thông tin liên quan đến học thuật Từ khóa: Image retrieval, Ontology, SPARQL,nhận dạng khuôn mặt, SVM, HOG GIỚI THIỆU Hiện nay, vấn đề tra cứu thông tin học sinh, sinh viên, học viên (người học) nói chung Trường Đại học Cơng nghiệp Thực phẩm TP Hồ Chí Minh (HUFI) nói riêng thường thực cách nhập thơng tin định danh cá nhân (ví dụ tên truy cập mật khẩu) qua giao diện ứng dụng sau thực tra cứu Điều gây thời gian thao tác phải nhớ thông tin định danh, đồng thời gặp vấn đề rắc rối quên để lộ thơng tin định danh Bên cạnh đó, Trường tổ chức sở liệu riêng để phục vụ nhu cầu tra cứu cho người học đơn vị dẫn đến khó khăn liệu tăng trưởng việc tích hợp hệ thống dùng chung cho nhiều sở đào tạo Theo thống kê Bộ Giáo dục Đào tạo, năm học 2019 - 2020, nước có 24 triệu học sinh sinh viên, tăng 500 ngàn so với năm học trước [1] Vì vậy, nhu cầu tra cứu thơng tin thuận tiện, nhanh chóng người học lớn cần có giải pháp để giải vấn đề Một tiếp cận cho toán tra cứu thơng tin nhiều nhóm nghiên cứu quan tâm năm gần tổ chức tra cứu thông tin dựa Ontology như: xây dựng Ontology miền từ tập tài liệu tham khảo để tra cứu thông tin động đất [2], hệ thống truy vấn thông tin đa phương tiện dựa khái niệm ứng dụng tìm kiếm di sản văn hóa [3], hệ thống tra cứu thông tin nông nghiệp thông minh dựa Ontology [4] Vấn đề tra cứu thông tin liên 32 Một ontology tra cứu thơng tin qua hình ảnh sinh viên Trường Đại học Công nghiệp Thực phẩm… quan đến người học có nhiều cơng trình cơng bố [5-8] Tuy nhiên, tất cơng trình xử lý thông tin dạng văn (text) tra cứu thông qua ngôn ngữ SPARQL dẫn đến không thuận tiện cho người dùng Do đó, phát triển hệ thống tra cứu thơng tin qua hình ảnh u cầu cấp thiết có tính ứng dụng cao thực tế Trong báo này, Ontology mô tả liệu ảnh xây dựng nhằm truy vấn nhanh thông tin sinh viên qua ảnh khuôn mặt đảm bảo độ xác, đồng thời dễ dàng mở rộng cho tốn liệu lớn Đóng góp báo gồm: (1) xây dựng Ontology mô tả tập liệu ảnh dựa ngôn ngữ OWL; (2) đề xuất phương pháp rút trích đặc trưng ảnh khn mặt huấn luyện phân lớp SVM cho toán nhận diện khn mặt; (3) đề xuất mơ hình tra cứu thơng tin qua ảnh khuôn mặt dựa sở lý thuyết thuật toán xây dựng; (4) xây dựng ứng dụng thực nghiệm mơ hình tra cứu thông tin ảnh khuôn mặt liệu Yale face sinh viên HUFI Phần lại báo gồm: Phần đề cập đến cơng trình nghiên cứu liên quan nhằm phân tích tính khả thi phương pháp đề xuất; Phần trình bày mơ hình xây dựng Ontology cho liệu ảnh để phục vụ tra cứu thông tin tập ảnh tương tự; Phần đưa phương pháp nhận dạng ảnh khuôn mặt nhằm phân lớp ảnh đầu vào, phương pháp trích xuất đặt trưng ảnh trình bày phần này; mơ hình tra cứu thơng tin qua ảnh khn mặt thực nghiệm trình bày Phần 5; kết luận hướng phát triển trình bày Phần CÁC CƠNG TRÌNH LIÊN QUAN Vấn đề tra cứu thơng tin Ontology có nhiều phương pháp khác nhiều nhóm nghiên cứu cơng bố như: tìm kiếm ảnh theo tiếp cận ngữ nghĩa dựa Ontology [9], tìm kiếm hình ảnh dựa từ vựng thị giác Ontology [10], mơ hình tìm kiếm thông tin Trường Đại học dựa Ontology [11], hệ thống hướng dẫn quy trình phân cơng thực tập dựa Ontology [12], phát triển Ontology hệ thống thi Trường đại học cho web ngữ nghĩa sử dụng protégé [13] Bên cạnh đó, nhiều kỹ thuật nhận dạng khn mặt ứng dụng rộng rãi nhiều lĩnh vực khác nhận dạng ảnh khuôn mặt dựa mạng nơ-ron tích chập (Convolutional Neural Network – CNN) [14], nhận dạng khuôn mặt sử dụng thuật giải di truyền [15], nhận dạng khuôn mặt sử dụng kỹ thuật Kernel Discriminant Analysis (KDA), k-NN SVM [16], nhận dạng khuôn mặt sử dụng Histogram of Oriented Gradient (HOG) SVM [17], nhận dạng khuôn mặt sử dụng phép biến đổi cosin rời rạc [18] Khalid & Noah (2017) đề xuất mơ hình tìm kiếm ảnh theo tiếp cận ngữ nghĩa với Ontology mờ đa phương thức Dbpedia nhằm nâng cao độ xác [19] Ontology mờ xây dựng cách sử dụng khái niệm mô tả đối tượng ảnh Các khái niệm hình ảnh liên kết với giá trị mờ Ontology Tuy nhiên, phương pháp tìm kiếm từ khóa, khơng hỗ trợ tìm kiếm qua hình ảnh, chưa liên kết ngữ nghĩa với đặc trưng cấp thấp Đồng thời, Ontology xây dựng tập ảnh nhỏ với phân lớp ngữ nghĩa, chưa đại diện cho tập ảnh lớn đa dạng thực tế Ullah & Hossain (2019) đề xuất khung chung cho phát triển Ontology minh họa cụ thể việc xây dựng Ontology Trường Đại học sử dụng phần mềm protégé phiên 4.3 Ontoloy mô tả thông tin việc quản lý học tập quản lý Trường Đại học, đồng thời cài đặt chế lập luận qua logic mô tả dựa Fact++ Hermic 1.3.8 [8] Kết phương pháp hạn chế Ontology phải tạo tay protégé dẫn đến tốn nhiều công sức bị giới hạn phần mềm Bên cạnh đó, việc truy vấn thơng tin phải thực ngơn ngữ SPARQL protege nên khó triển khai ứng dụng thực tế Moussa M cộng (2018) phát triển hệ thống nhận dạng khuôn mặt cách sử dụng giải thuật di truyền kết hợp với phép biến đổi cosin rời rạc (Discrete Cosine Transform 33 Nguyễn Văn Thịnh, Nguyễn Thị Định, Lê Thị Vĩnh Thanh, Đinh Thị Mận – DCT) kỹ thuật phân tích thành phần (Principal Component Analysis - PCA) để chọn lọc giảm chiều đặc trưng nhằm tăng tốc độ độ xác Thực nghiệm đánh giá tập liệu ảnh ORL, UMIST Yale Face để chứng minh tính hiệu phương pháp [20] Hệ thống có hạn chế là việc trích xuất đặc trưng chưa xét đến đặc thù ảnh khuôn mặt hệ thống dừng lại mức phân lớp cho hình ảnh đầu vào, chưa hỗ trợ tra cứu thơng tin liên quan đến hình ảnh Najafi Khanbebin S Mehrdad V (2021) giới thiệu hướng tiếp cận cho toán nhận dạng khuôn mặt cách dựa mẫu cục để trích xuất đặc trưng có tính phân biệt cao nhằm tăng độ xác cho trình phân lớp Kết thực nghiệm phương pháp tập liệu ORL, Yale face Faces94 có độ xác 95,95%, 94,09% 98,01% [21] Cơng trình có hạn chế chưa hỗ trợ tra cứu thông tin liên quan đến hình ảnh đầu vào Hơn nữa, việc trích xuất mẫu đặc trưng cục mà không xét đặc trưng tồn cục dẫn đến sai sót số trường hợp Trên sở kế thừa từ cơng trình có khắc phục hạn chế phương pháp liên quan công bố, đồng thời tạo hệ tra cứu thông tin sinh viên HUFI qua ảnh khuôn mặt, đề xuất mơ hình tra cứu ảnh dựa Ontology cách phân lớp đặc trưng ảnh khuôn mặt trở thành nhãn lớp ngữ nghĩa kỹ thuật SVM chuyển đổi thành câu lệnh truy vấn SPARQL để từ thực truy vấn Ontology tập ảnh xây dựng MƠ HÌNH XÂY DỰNG ONTOLOGY CHO DỮ LIỆU ẢNH SINH VIÊN HUFI 3.1 Xây dựng Ontology Hình Mơ hình xây dựng Ontology mơ tả liệu ảnh sinh viên Để trích xuất thơng tin tập ảnh tương tự ảnh đầu vào, Ontology miền mô tả ngữ nghĩa tập liệu ảnh tạo Trong báo này, Ontology miền xây dựng sử dụng ngôn ngữ ba dạng Turtle dựa ngữ nghĩa tập liệu ảnh sinh viên HUFI, ảnh thiết kế cá thể thuộc lớp sinh viên liên kết đến thơng tin mơ tả tương ứng Mơ hình xây dựng Ontology mô tả liệu ảnh sinh viên HUFI đề xuất Hình gồm bước sau: − Bước Xác định lĩnh vực phạm vi Ontology: Lĩnh vực quan tâm cần xây dựng Ontology nghiên cứu thông tin sinh viên HUFI, cụ thể thông tin cá nhân họ tên, ngày sinh, giới tính, số điện thoại, địa thông tin liên quan đến học tập khóa học, ngành học, chuyên ngành − Bước Tạo lớp phân cấp lớp: Theo quy tắc tổ chức quản lý thông tin sinh viên HUFI, lớp gồm: khoa, ngành, khóa học, sinh viên phân cấp Hình − Bước Tạo thuộc tính (properties): Có loại thuộc tính OWL, thuộc tính đối tượng (object properties), thuộc tính liệu (data properties) thuộc tính thích (annotation properties) [8] Thuộc tính đối tượng liên kết cá thể lớp, thuộc tính liệu liên kết cá thể với giá trị, thuộc tính thích chứa thơng tin mơ tả ngữ nghĩa lớp cá thể Từ nhu cầu tra cứu thông tin thực tế sinh viên 34 Một ontology tra cứu thơng tin qua hình ảnh sinh viên Trường Đại học Cơng nghiệp Thực phẩm… HUFI, thuộc tính liệu thuộc tính thích Ontology mơ tả Hình Minh họa thuộc tính lớp cá thể ảnh Hình 4, Hình Hình Cấu trúc phân cấp lớp Ontology sinh viên HUFI Hình Thuộc tính liệu (a) thuộc tính thích (b) Ontology sinh viên HUFI Các thuộc tính liệu cá thể ảnh gồm: tên file ảnh (dprImgFileName), phân lớp ảnh (dprImgListClass), đường dẫn tới hình ảnh (dprImgPath), URI hình ảnh (dprImgURL) thơng tin mơ tả (ImgDescription) cá thể ảnh Các thuộc tính thích lớp gồm: đường dẫn tới file chứa thông tin (anoFilename), đường dẫn tới file ảnh đại diện (PreImage) URI (anoURI) lớp Hình Ví dụ tạo thuộc tính cho lớp (class) 35 Nguyễn Văn Thịnh, Nguyễn Thị Định, Lê Thị Vĩnh Thanh, Đinh Thị Mận Hình Ví dụ tạo thuộc tính cho cá thể ảnh (individuals) − Bước Tạo cá thể: Các cá thể ảnh tập liệu ảnh phân lớp tự động dựa phân lớp SVM huấn luyện thêm vào Ontology cách tự động Các thuật toán để xây dựng Ontology bao gồm tạo lớp, phân cấp lớp cá thể mơ tả sau: Thuật tốn Tạo lớp cho Ontology (CreateOC) Đầu vào: C = {𝑐𝑖 , i = N} Đầu ra: Ontology Function (𝐶) Begin For 𝑐𝑖 ∈ 𝐶 𝑆𝑢𝑏 = "sbir:" + 𝑐𝑖 ; 𝑃𝑟𝑒 = "rdf:type"; 𝑂𝑏𝑗 = "owl:" + 𝑐𝑖 ; 𝑂𝑛𝑡𝑜𝑙𝑜𝑔𝑦 = 𝑂𝑛𝑡𝑜𝑙𝑜𝑔𝑦 ∪ 𝑇𝑟𝑖𝑝𝑙𝑒(𝑆𝑢𝑏, 𝑃𝑟𝑒, 𝑂𝑏𝑗) ; End For Return 𝑂𝑛𝑡𝑜𝑙𝑜𝑔𝑦; End Thuật toán Tạo phân cấp lớp cho Ontology (CreateOCH) Đầu vào: superClass, SubClass, Ontology Đầu ra: Ontology Function (𝐶) Begin For 𝑐𝑖 ∈ 𝐶 𝑆𝑢𝑏 = "sbir:" + 𝑠𝑢𝑏𝐶𝑙𝑎𝑠𝑠 ; 𝑃𝑟𝑒 = "rdf:subClassOf"; 𝑂𝑏𝑗 = "owl:" + 𝑠𝑢𝑝𝑒𝑟𝐶𝑙𝑎𝑠𝑠; 𝑂𝑛𝑡𝑜𝑙𝑜𝑔𝑦 = 𝑂𝑛𝑡𝑜𝑙𝑜𝑔𝑦 ∪ 𝑇𝑟𝑖𝑝𝑙𝑒(𝑆𝑢𝑏, 𝑃𝑟𝑒, 𝑂𝑏𝑗) ; End For Return 𝑂𝑛𝑡𝑜𝑙𝑜𝑔𝑦; End Thuật toán Tạo cá thể cho Ontology (CreateOCI) Đầu vào: C = {𝑐𝑖 , i = N}, Individual, Ontology Đầu ra: Ontology Function (𝐶) Begin For 𝑐𝑖 ∈ 𝐶 𝑆𝑢𝑏 = "sbir:" + 𝐼𝑛𝑑𝑖𝑣𝑖𝑑𝑢𝑎𝑙 𝐸𝑙𝑒𝑚𝑒𝑛𝑡𝐴𝑡(𝑖) ; 𝑃𝑟𝑒 = "rdf:type"; 𝑂𝑏𝑗 = "owl:NamedIndividual"; 𝑂𝑛𝑡𝑜𝑙𝑜𝑔𝑦 = 𝑂𝑛𝑡𝑜𝑙𝑜𝑔𝑦 ∪ 𝑇𝑟𝑖𝑝𝑙𝑒(𝑆𝑢𝑏, 𝑃𝑟𝑒, 𝑂𝑏𝑗) ; 36 Một ontology tra cứu thơng tin qua hình ảnh sinh viên Trường Đại học Công nghiệp Thực phẩm… End For Return 𝑂𝑛𝑡𝑜𝑙𝑜𝑔𝑦; End Thuật toán thực tạo class có Ontology gồm danh sách khoa, ngành, khóa học sinh viên Tiếp theo, mối quan hệ phân cấp class subclass tạo Thuật tốn Sau đó, cá thể ảnh sau phân lớp tự động phân lớp SVM thêm vào Ontology cách tự động Thuật tốn Một ví dụ Ontology xây dựng dạng ngôn ngữ RDF/XML dựa ngữ nghĩa tập liệu ảnh sinh viên HUFI mơ tả Hình 6, cách hiển thị mơ hình Ontology trực quan Protege Ontology ảnh sinh viên HUFI Yale face mô tả Hình Hình 3.2 Truy vấn Ontology Dựa nhãn lớp ảnh đầu vào nhận dạng từ phân lớp SVM, câu truy vấn SPARQL tạo để thực truy vấn Ontology nhằm tìm tập ảnh tương tự, ảnh đại diện thích mơ tả hình ảnh Thuật toán tạo câu truy vấn SPARQL để truy vấn thông tin, ảnh đại diện tập ảnh tương tự sinh viên Ontology mô tả sau: Thuật tốn Truy vấn thơng tin sinh viên (CSPARQLAno) Đầu vào: Class label Đầu ra: Câu truy vấn 𝑆𝑃𝑅𝐴𝑄𝐿 Function CSPARQL(𝑐𝑙𝑎𝑠𝑠𝐿𝑎𝑏𝑒𝑙) Begin 𝑠𝑆𝑃𝐴𝑅𝑄𝐿 = ""; 𝑠𝑆𝑃𝐴𝑅𝑄𝐿 += “SELECT DISTINCT ?FileAnotation + WHERE { sbir: classLabel sbir: anoFilename ? FileAnotation }”; Return 𝑠𝑆𝑃𝐴𝑅𝑄𝐿; End Thuật toán Truy vấn ảnh đại diện (CSPARQLPreImg) Đầu vào: Class label Đầu ra: Câu truy vấn 𝑆𝑃𝑅𝐴𝑄𝐿 Function CSPARQL(𝑐𝑙𝑎𝑠𝑠𝐿𝑎𝑏𝑒𝑙) Begin 𝑠𝑆𝑃𝐴𝑅𝑄𝐿 = ""; 𝑠𝑆𝑃𝐴𝑅𝑄𝐿 += “SELECT DISTINCT ?FilePreImage + WHERE { sbir: classLabel sbir: anoPreImage ? FilePreImage }”; Return 𝑠𝑆𝑃𝐴𝑅𝑄𝐿; End Thuật toán Tìm kiếm tập ảnh tương tự (CSPARQLSI ) Đầu vào: Class label Đầu ra: Câu truy vấn 𝑆𝑃𝑅𝐴𝑄𝐿 Function CSPARQL(𝑐𝑙𝑎𝑠𝑠𝐿𝑎𝑏𝑒𝑙) Begin 𝑠𝑆𝑃𝐴𝑅𝑄𝐿 = ""; 𝑠𝑆𝑃𝐴𝑅𝑄𝐿 += “SELECT DISTINCT ?ImgName + WHERE { {? IMG sbir: imgName? ImgName ? IMG sbir: opClassLabel sbir: inClassLable 37 Nguyễn Văn Thịnh, Nguyễn Thị Định, Lê Thị Vĩnh Thanh, Đinh Thị Mận sbir: inClassLabel rdf: type owl: NamedIndividual sbir: inClassLabel rdf: type sbir: ClassLabel } }”; Return 𝑠𝑆𝑃𝐴𝑅𝑄𝐿; End Hình Một ví dụ Ontology sinh viên HUFI dạng ngơn ngữ RDF/XML Hình Ontology tập liệu sinh viên HUFI Protege Hình Ontology tập liệu ảnh Yale face Protege 38 Một ontology tra cứu thơng tin qua hình ảnh sinh viên Trường Đại học Cơng nghiệp Thực phẩm… MƠ HÌNH NHẬN DẠNG ẢNH KHN MẶT Hình Mơ hình nhận dạng ảnh khuôn mặt Một hệ thống nhận dạng khuôn mặt bao gồm thành phần chính: (1) phát khn mặt (face detection), (2) rút trích đặc trưng (feature extraction), (3) nhận diện khuôn mặt (face recognition) [22] Trong báo này, phương pháp nhận khuôn mặt đề xuất Hình gồm bước sau: (1) Phát khn mặt mơ hình Haar Cascade sử dụng đặc trưng Haar-like; (2) Rút trích đặc trưng ảnh khuôn mặt phương pháp HOG; (3) Huấn luyện thuật toán SVM để phân lớp véc-tơ đặc trưng ảnh đầu vào 4.1 Phát trích xuất ảnh khuôn mặt Phát khuôn mặt việc xác định vị trí kích thước khn mặt người ảnh số [23] Trong báo này, mơ hình Haar Cascade sử dụng đặc trưng Haar-like [24, 25] sử dụng để dị tìm trích xuất vùng khn mặt ảnh Ảnh sau làm đầu vào cho thuật tốn rút trích đặc trưng để từ làm sở cho việc xây dựng mơ hình nhận dạng Hình 10 Ví dụ ảnh đầu vào ảnh trích xuất khn mặt 4.2 Trích xuất đặc trưng HOG từ ảnh khuôn mặt Từ ảnh khuôn mặt trích xuất trên, thuật tốn HOG [26] sử dụng để rút trích đặc trưng ảnh này, tạo thành véc-tơ mô tả cho ảnh ban đầu Đầu vào thuật toán HOG ảnh đa mức xám (gray scale), bước xử lý chuyển đổi ảnh không gian RGB (ảnh màu) sang ảnh đa mức xám Bước tính tốn biến thiên màu sắc tất pixel ảnh theo chiều X chiều Y ảnh F với hàm kernel 𝑘𝑥 𝑘𝑦 công thức (1), thu ảnh 𝐹𝑥 (đạo hàm theo trục x) 𝐹𝑦 (đạo hàm theo trục y) có kích thước với kích thước ảnh gray-scale cơng thức (2) Giá trị biên độ (G) hướng gradient (θ) tính theo cơng thức (3) −1 𝑘𝑥 = [−1 1] 𝑘𝑦 = [ ] (1) 𝐹𝑥 = 𝐹 ∗ 𝑘𝑥 ; 𝐹𝑦 = 𝐹 ∗ 𝑘𝑦 (2) 39 Nguyễn Văn Thịnh, Nguyễn Thị Định, Lê Thị Vĩnh Thanh, Đinh Thị Mận 𝐹 |𝐺| = √𝐹𝑥2 + 𝐹𝑦2 𝑣à 𝜃 = 𝑡𝑎𝑛−1 ( 𝑦 ) 𝐹 (3) 𝑥 Sau đó, tiến hành tính tốn véc-tơ đặc trưng cho cell sau ghép lại tạo thành véc-tơ đặc trưng biểu diễn cho khối (block) Tập lược đồ histogram block tạo thành mô tả đặc trưng HOG cho ảnh khuôn mặt 4.3 Huấn luyện phân lớp SVM Đặc trưng HOG rút trích bước làm đầu vào để huấn luyện nhằm tạo mơ phân lớp để nhận dạng ảnh đầu vào SVM chọn để thực nghiệm phương pháp phân lớp hiệu giúp phân loại liệu phân tách tuyến tính khơng tuyến tính [26, 27] Nhiều cơng trình ứng dụng thành công SVM nhiều lĩnh vực phân loại văn bản, nhận dạng ảnh, sinh-tin học, nhận dạng chữ viết tay, nhận dạng khuôn mặt [26, 27] Hình 11 Một ví dụ phân lớp tuyến tính với SVM Xét ví dụ phân lớp nhị phân với tập liệu sau: 𝒟 = {(𝒙𝑖 , 𝑦𝑖 ) | 𝒙𝑖 ∈ ℛ 𝑛 , 𝑦𝑖 ∈ {−1, 1}}𝑚 𝑖=1 , với siêu phẳng < wx > +b = Thuật tốn SVM [27, 28] tìm siêu phẳng tối ưu xác định véc-tơ pháp tuyến w độ lệch siêu phẳng với góc tọa độ b để tách liệu thành lớp Hình 11 Vấn đề tìm siêu phẳng tối ưu SVM dẫn đến việc giải toán quy hoạch toàn phương (4): 𝑚 𝑚 𝑚 𝑚 ∑ 𝑦𝑖 𝛼𝑖 = ∑ ∑ 𝑦𝑖 𝑦𝑗 𝛼𝑖 𝛼𝑗 𝐾⟨𝑥𝑖 , 𝑥𝑗 ⟩ − ∑ 𝛼𝑖 với ràng buộc { (4) 𝛼 𝑖=1 𝑖=1 𝑗=1 𝑖=1 ≤ 𝛼𝑖 ≤ 𝐶, ∀𝑖 = 1,2, … , 𝑚 Trong đó: C số dương dùng để điều chỉnh độ rộng lề tổng khoảng cách lỗi; 𝐾〈𝑥𝑖 , 𝑥𝑗 〉 hàm kernel 𝐾〈𝑥𝑖 , 𝑥𝑗 〉 = 〈𝑥𝑖 𝑥𝑗 〉 Giải toán quy hoạch toàn phương thu 𝑠 phần tử x𝑖 tương ứng với 𝛼𝑖 > gọi véc-tơ hỗ trợ Bộ phân lớp SVM thực phân lớp phần tử x đầu vào công thức (5): 𝑠 𝑝𝑟𝑒𝑑𝑖𝑐𝑡(𝑥) = sign (∑ 𝑦𝑖 𝛼𝑖 𝐾〈𝑥, 𝑥𝑖 〉 − 𝑏) (5) 𝑖=1 Để giải vấn đề phân lớp đa lớp (số lớp từ trở lên), thuật toán SVM thường mở rộng theo phương pháp one-vs-all one-vs-one [29] 40 Một ontology tra cứu thơng tin qua hình ảnh sinh viên Trường Đại học Công nghiệp Thực phẩm… Trong thực nghiệm báo này, thuật toán SVM huấn luyện để phân lớp thành n lớp (n > 2), sử dụng kernel RBF, K(𝑥𝑖 , 𝑥𝑗 ) = 𝑒 −𝛾(𝑥𝑖−𝑥𝑗) ; hệ số C 200 Gamma 0,0001; số lần lặp tối đa 1000 hệ số epsilon 0,0001 Tập liệu chia thành phần, 70% dành cho huấn luyện 30% dành cho kiểm thử mơ hình THỰC NGHIỆM VÀ ĐÁNH GIÁ Mơ hình tổng quát hệ thống tra cứu thông tin qua ảnh khuôn mặt gồm pha mô tả Hình 12 Pha tiền xử lý nhằm huấn luyện phân lớp SVM tạo Ontology mô tả cho tập liệu ảnh, pha truy vấn thực tra cứu thông tin tập ảnh tương tự cho ảnh đầu vào 5.1 Mơ hình thực nghiệm Hình 12 Mơ hình hệ thống tra cứu thơng tin qua ảnh khn mặt Pha tiền xử lý: (1) Phát khuôn mặt trích xuất đặc trưng phương pháp HOG cho tập ảnh; (2) Huấn luyện thuật toán SVM để tạo phân lớp SVM nhằm phân lớp tự động cho ảnh đầu vào, từ tạo câu truy vấn SPARQL; (3)(4) Xây dựng Ontology mô tả cho tập liệu ảnh Trong đó, hình ảnh thơng tin mơ tả phân lớp trích xuất tự động, đồng thời thêm vào Ontology cách tự động Pha truy vấn: (5) Từ ảnh truy vấn, dị tìm khn mặt rút trích đặc trưng HOG cho ảnh; (6)(7) Sử dụng phân lớp SVM huấn luyện để phân lớp véc-tơ đặc trưng ảnh đầu vào, từ tạo câu truy vấn SPARQL để truy vấn Ontology xây dựng; (8)(9) Kết xuất thông tin mô tả tập ảnh tương tự ảnh truy vấn 5.2 Dữ liệu thực nghiệm Để đánh giá hiệu mơ hình nhận dạng, chúng tơi sử dụng tập liệu ảnh chuẩn Yale Face [30], cộng đồng nghiên cứu nhận dạng khuôn mặt giới sử dụng Tập liệu ảnh bao gồm 164 ảnh đa mức xám 15 người với giới tính, độ tuổi khác định dạng jpg Người có 10 ảnh, 14 người cịn lại người có 11 ảnh, hình ảnh có biểu khuôn mặt điều kiện ánh sáng khác như: hạnh phúc, buồn, 41 Nguyễn Văn Thịnh, Nguyễn Thị Định, Lê Thị Vĩnh Thanh, Đinh Thị Mận ngạc nhiên, nháy mắt, ánh sáng trung tâm, ánh sáng phía bên trái, có đeo kính…Kích thước ảnh 243×320 pixels với 256 mức xám cho pixel Hình 13 Các ảnh mẫu tập ảnh Yale Face Bên cạnh đó, để xây dựng hệ tra cứu thông tin sinh viên HUFI qua hình ảnh, chúng tơi xây dựng tập liệu ảnh sinh viên HUFI gồm 2000 ảnh màu 104 sinh viên, sinh viên từ 10 đến 20 ảnh, ảnh chụp điều kiện ánh sáng biểu khn mặt khác hình Các ảnh chuẩn hóa kích thước 512×512 pixel trước thực dị tìm khn mặt trích xuất đặc trưng Hình 14 Các ảnh mẫu tập ảnh sinh viên HUFI 5.3 Kết thực nghiệm Thực nghiệm thực thi máy PC CPU Intel Core i5-7200U CPU @ 2.50GHz, 12.0 GB RAM, hệ điều hành Windows 10 Pro 64 bit, sử dụng ngơn ngữ lập trình C# NET Framework 4.8, biểu đồ đường cong Precision-Recall ROC đường vẽ Matlab Kết thực nghiệm đánh giá tập liệu Yale Face sinh viên HUFI mô tả Để đánh giá hiệu phương pháp, phần thực nghiệm đánh giá giá trị gồm: độ xác (𝑝𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛), độ phủ (𝑟𝑒𝑐𝑎𝑙𝑙) độ đo dung hòa 𝐹1 − 𝑠𝑐𝑜𝑟𝑒 Cơng thức tính giá trị cho tốn phân lớp [31] cơng thức (6) tốn tìm kiếm ảnh tương tự [32] cơng thức (7) 𝑝𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛 = ∑𝐶 ∑𝐶 𝑐=1 𝑇𝑃 𝑐=1(𝑇𝑃+𝐹𝑃) 𝑟𝑒𝑐𝑎𝑙𝑙 = ∑𝐶 ∑𝐶 𝑐=1 𝑇𝑃 𝐹1 − 𝑠𝑐𝑜𝑟𝑒 = × 𝑐=1(𝑇𝑃+𝐹𝑁) (𝑝𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛×𝑟𝑒𝑐𝑎𝑙𝑙) (𝑝𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛+𝑟𝑒𝑐𝑎𝑙𝑙) (6) Trong đó, TP (True Positive): số ảnh thuộc lớp positive phân loại positive; TN (True Negative): số ảnh thuộc lớp negative phân loại negative; FP (False Posivite): số ảnh thuộc lớp negative bị phân loại nhầm positive; FN (False Negative): số ảnh thuộc lớp positive bị phân loại nhầm negative; C số lớp tập liệu ảnh 𝑝𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛 = 𝑟𝑒𝑐𝑎𝑙𝑙 = |𝑟𝑒𝑙𝑒𝑣𝑎𝑛𝑡 𝑖𝑚𝑎𝑔𝑒𝑠 ∩ 𝑟𝑒𝑡𝑟𝑖𝑒𝑣𝑒𝑑 𝑖𝑚𝑎𝑔𝑒𝑠| |𝑟𝑒𝑡𝑟𝑖𝑒𝑣𝑒𝑑 𝑖𝑚𝑎𝑔𝑒𝑠| |𝑟𝑒𝑙𝑒𝑣𝑎𝑛𝑡 𝑖𝑚𝑎𝑔𝑒𝑠 ∩𝑟𝑒𝑡𝑟𝑖𝑒𝑣𝑒𝑑 𝑖𝑚𝑎𝑔𝑒𝑠| |𝑟𝑒𝑙𝑒𝑣𝑎𝑛𝑡 𝑖𝑚𝑎𝑔𝑒𝑠| 𝐹 − 𝑚𝑒𝑎𝑠𝑢𝑟𝑒 = × (7) (𝑝𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛 × 𝑟𝑒𝑐𝑎𝑙𝑙) (𝑝𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛 + 𝑟𝑒𝑐𝑎𝑙𝑙) Trong đó, relavant images tập ảnh tưởng tự với ảnh truy vấn có tập liệu ảnh, retrieved images tập ảnh tìm kiếm 42 Một ontology tra cứu thơng tin qua hình ảnh sinh viên Trường Đại học Công nghiệp Thực phẩm… Kết thực nghiệm phương pháp mô tả Hình 18 – Hình 24 Hiệu suất nhận dạng phương pháp trình bày Bảng 1, kết tập ảnh sinh viên HUFI thấp Yale face chất lượng ảnh sinh viên tự chụp chưa chuẩn; giá trị MAP phương pháp nhận dạng đề xuất so sánh với phương pháp khác liệu Yale face mô tả Bảng Đường cong Precision-Recall ROC mô tả hình từ Hình 18 – Hình 20, đường cong mô tả liệu phân lớp hình ảnh truy vấn; diện tích đường cong cho thấy độ xác việc truy vấn ảnh cao Kết Bảng cho thấy phương pháp đề xuất tương đối xác so với cơng trình nhận dạng khuôn mặt đượcc công bố năm gần Qua Bảng cho thấy hiệu suất tìm kiếm ảnh Ontology phương pháp đề xuất cao ứng dụng cho hệ thống tra cứu thông tin thực tế Chúng không so sánh với cơng trình tìm kiếm ảnh Ontology khác khơng tập liệu thực nghiệm Hình 15 Ứng dụng thực nghiệm phương pháp đề xuất Hình 16 Kết tìm kiếm tập ảnh tương tự Ontology sinh viên HUFI 43 Nguyễn Văn Thịnh, Nguyễn Thị Định, Lê Thị Vĩnh Thanh, Đinh Thị Mận Hình 17 Kết tìm kiếm tập ảnh tương tự Ontology Yale face Bảng Hiệu suất nhận dạng ảnh khuôn mặt phương pháp đề xuất liệu thực nghiệm Yale Face 165 132 33 Độ xác trung bình (precision) 96,67% Sinh viên HUFI 2000 1600 400 84,42% Tập ảnh Tổng số Số ảnh Số ảnh kiểm ảnh huấn luyện thử 97,78% Độ dung hòa trung bình (F1-score) 96,44% 89,19% 84,26% Độ phủ trung bình (recall) Bảng So sánh độ xác nhận dạng phương pháp liệu Yale Face Phương pháp Độ xác nhận dạng trung bình (MAP) Sufyanu Z cộng (2016) [18] 93,40% Al-Dabagh cộng (2018) [16] 95,25% Moussa M cộng (2018) [20] 95,50% Najafi Khanbebin S & Mehrdad V (2021) [21] 94,09% Đề xuất nhóm tác giả 96,67% Bảng Hiệu suất tìm kiếm ảnh tương tự Ontology Tập ảnh Độ xác trung bình Độ phủ trung bình Độ dung hịa trung bình Yale face 0,971890 0,974647 0,971366 Sinh viên HUFI 0,945817 0,936424 0,938623 44 Một ontology tra cứu thơng tin qua hình ảnh sinh viên Trường Đại học Cơng nghiệp Thực phẩm… Hình 18 Biểu đồ Precision-Recall đường cong ROC hệ thống tập liệu Yale face Hình 19 Biểu đồ Precision-Recall đường cong ROC tập liệu sinh viên HUFI (01-52) Hình 20 Biểu đồ Precision-Recall đường cong ROC tập liệu sinh viên HUFI (53-104) 45 Nguyễn Văn Thịnh, Nguyễn Thị Định, Lê Thị Vĩnh Thanh, Đinh Thị Mận Hình 21 Trung bình độ xác, độ phủ độ dung hòa nhận dạng tập liệu Yale face Hình 22 Trung bình độ xác, độ phủ độ dung hòa nhận dạng tập liệu sinh viên HUFI Hình 23 Hiệu suất tìm kiếm ảnh Ontology hệ thống tập liệu Yale face 46 Một ontology tra cứu thông tin qua hình ảnh sinh viên Trường Đại học Cơng nghiệp Thực phẩm… Hình 24 Hiệu suất tìm kiếm ảnh Ontology hệ thống tập liệu sinh viên HUFI KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN Trong báo này, Ontology bán tự động mô tả tập ảnh sinh viên xây dựng nhằm tra cứu thông tin qua ảnh khuôn mặt Ảnh đầu vào phân lớp qua phân lớp SVM dựa đặc trưng HOG Từ đó, câu truy vấn SPARQL tạo tự động truy vấn Ontology xây dựng nhằm trích xuất thơng tin hình ảnh tập ảnh tương tự Dựa phương pháp mơ hình đề xuất, thực nghiệm xây dựng đánh giá kết dựa giá trị recall, precision, F-score, F-measure Kết thực nghiệm so sánh với phương pháp khác tập liệu ảnh cho thấy phương pháp đề xuất tương đối hiệu Thực nghiệm cho thấy tính đắn mơ hình phương pháp đề xuất, phương pháp làm sở để phát triển hệ thống tra cứu thông tin qua ảnh khuôn mặt ứng dụng thực tế Hướng phát triển của mơ hình phát triển Ontology mô tả thông tin học thuật liên quan đến sinh viên xem thời khóa biểu, kết học tập,… đồng thời xây dựng ứng dụng thực nghiệm thiết bị di động để thuận tiện cho người sử dụng Lời cảm ơn: Nhóm tác giả chân thành cảm ơn Trường Đại học Công nghiệp Thực phẩm TP.HCM nơi bảo trợ cho nghiên cứu Trân trọng cảm ơn nhóm nghiên cứu SBIR-HCM Trường Đại học Sư phạm TP.HCM hỗ trợ chuyên môn sở vật chất để nhóm tác giả hồn thành nghiên cứu TÀI LIỆU THAM KHẢO Bộ Giáo dục Đào tạo - Số liệu thống kê giáo dục năm 2019-2020 (2021), truy cập tại: https://moet.gov.vn/thong-ke/Pages/thong-ke.aspx Chi N.W., Jin Y.H & Hsieh S.H - Developing base domain ontology from a reference collection to aid information retrieval, Automation in Construction 100 (2019) 180-189 Kambau R.A & Hasibuan Z.A - Concept-based multimedia information retrieval system using ontology search in cultural heritage, in: Proceedings of the 2nd International Conference on Informatics and Computing, ICIC 2017, Institute of Electrical and Electronics Engineers Inc (2018) 1-6 Qin X, Zhang H & Zheng H - Research on intelligent retrieval system for agricultural information resources based on ontology, in Journal of Physics: Conference Series IOP Publishing (2019) 022041 Elnozahy W.A., El Khayat G.A., Cheniti-Belcadhi L & Said B - Question answering system to support university students’ orientation, Recruitment and Retention Procedia Computer Science 164 (2019) 56-63 47 Nguyễn Văn Thịnh, Nguyễn Thị Định, Lê Thị Vĩnh Thanh, Đinh Thị Mận Obeid C., Lahoud I., El Khoury H & Champin P.-A - Ontology-based recommender system in higher education, in Companion Proceedings of the The Web Conference 2018 (2018) 1031-1034 Ibrahim M.E., Yang Y & Ndzi D - Using ontology for personalised course recommendation applications, in International Conference on Computational Science and Its Applications Springer (2017) 426-438 Ullah M.A., & Hossain S.A - Ontology-based information retrieval system for university: methods and reasoning, in Emerging Technologies in Data Mining and Information Security (2019) 119-128 Manzoor U., Balubaid M.A., Zafar B., Umar H & Khan M.S - Semantic image retrieval: An ontology based approach, in International Journal of Advanced Research in Artificial Intelligence (4) (2015) 1-8 10 Filali J., Zghal H & Martinet J - Towards visual vocabulary and ontology-based image retrieval system, in International Conference on Agents and Artificial Intelligence (2016) 560-565 11 Reshma P & Lajish V - Ontology based semantic information retrieval model for university domain, Int J Appl Eng Res 13 (2018) 12142-12145 12 M'Baya A., Laval J., Moalla N., Ouzrout Y & Bouras A - Ontology based system to guide internship assignment process, in 2016 12th International Conference on SignalImage Technology & Internet-Based Systems (SITIS) (2016) 589-596 13 Venkataraman D & Haritha K - Knowledge representation of university examination system ontology for semantic web, in 2017 4th International Conference on Advanced Computing and Communication Systems (ICACCS) (2017) 1-4 14 Cokun M., Uỗar A., Yildirim ệ & Demir Y - Face recognition based on convolutional neural network, in 2017 International Conference on Modern Electrical and Energy Systems (MEES) (2017) 376-379 15 Sukhija P., Behal S & Singh P - Face recognition system using genetic algorithm, Procedia Computer Science 85 (2016) 410-417 16 Al-Dabagh M.Z.N., Alhabib M M & Al-Mukhtar F - Face recognition system based on kernel discriminant analysis, k-nearest neighbor and support vector machine, International Journal of Research and Engineering (3) (2018) 335-338 17 Julina J.K.J & Sharmila T.S - Facial recognition using histogram of gradients and support vector machines, in 2017 International Conference on Computer Communication and Signal Processing (ICCCSP) (2017) 1-5 18 Sufyanu Z., Mohamad F.S., Yusuf A.A & Mamat M.B - Enhanced face recognition using discrete cosine transform, Engineering Letters 24 (1) (2016) 52-61 19 Khalid Y.I.A, & Noah S - Semantic text-based image retrieval with multi-modality ontology and DBpedia, The Electronic Library 35 (2017) 1191-1214 20 Moussa M., Hmila M & Douik A - A novel face recognition approach based on genetic algorithm optimization, Studies in Informatics and Control 27 (1) (2018) 127-134 21 Najafi Khanbebin S., & Mehrdad V - Local improvement approach and linear discriminant analysis-based local binary pattern for face recognition, Neural Computing and Applications 33 (2021) 7691-7707 22 Kortli Y., Jridi M., Al Falou A & Atri M - Face recognition systems: A survey Sensors 20 (2) (2020) 342 23 Kumar A., Kaur A & Kumar M - Face detection techniques: a review, Artificial Intelligence Review 52 (2) (2019) 927-948 48 Một ontology tra cứu thông tin qua hình ảnh sinh viên Trường Đại học Cơng nghiệp Thực phẩm… 24 OpenCV - Cascade classifier, Available from: https://docs.opencv.org/3.4/db/d28/tutorial_cascade_classifier.html 25 Opencv - Trained classifiers for detecting objects, Available from: https://github.com/opencv/opencv/tree/master/data 26 Annalakshmi M., Roomi S.M.M & Naveedh A.S - A hybrid technique for gender classification with SLBP and HOG features, Cluster Computing 22 (1) (2019) 11-20 27 Cervantes J., Garcia-Lamont F., Rodríguez-Mazahua L & Lopez A - A comprehensive survey on support vector machine classification: Applications challenges and trends Neurocomputing 408 (2020) 189-215 28 Cortes C & Vapnik V - Support-vector networks, Machine Learning 20 (3) (1995) 273-297 29 Anthony G., Gregg H & Tshilidzi M - Image classification using SVMs: one-againstone vs one-against-all, arXiv preprint arXiv (2007) 0711.2914 30 UCSD Computer Vision - Yale Face Database, Available from: http://vision.ucsd.edu/content/yale-face-database 31 Susmaga R - Confusion matrix visualization, In: Kłopotek M.A., Wierzchoń S.T., Trojanowski K (eds) Intelligent Information Processing and Web Mining, Advances in Soft Computing 25, Springer, Berlin, Heidelberg (2004) 107-116 32 Alzu'bi, A., Amira, A., & Ramzan N - Semantic content-based image retrieval: A comprehensive study, Journal of Visual Communication and Image Representation 32 (2015) 20-54 ABSTRACT AN INFORMATION RETRIEVAL ONTOLOGY BY IMAGES OF HUFI’S STUDENTS Nguyen Van Thinh1, Nguyen Thi Dinh1 Le Thi Vinh Thanh2, Dinh Thi Man1,* ,1 Ho Chi Minh City University of Food Industry Ba Ria - Vung Tau University *Email: mandt@hufi.edu.vn Searching for information is an urgent necessity of students in educational institutions in general and Ho Chi Minh City University of Food Industry (HUFI) in particular Therefore, in this paper, an Ontology describing the HUFI’s image dataset is built semi-automatically to retrieve information by images To solve this problem, the image dataset is preprocessed and the HOG (Histogram of Oriented Gradient) features are extracted to input for training the SVM (Support Vector Machine) classifier, from there images are classified Firstly, a hierarchical classes, attributes and relationships of Ontology are created After that, image individuals are classified and added to Ontology automatically Finally, the SPARQL query is created from the classification of input image to query on Ontology for extracting the information and similar image To demonstrate the efficiency of the proposed method, an experiment is conducted and evaluated rely on the Yale Face and images of students from HUFI datasets The experiment results showed the possibility and efficiency of the method while making it easier to expand the retrieval information related to academics Keywords: Image Retrieval, Ontology, SPARQL, Face Recognition, SVM, HOG 49 ... thích chứa thơng tin mơ tả ngữ nghĩa lớp cá thể Từ nhu cầu tra cứu thông tin thực tế sinh viên 34 Một ontology tra cứu thơng tin qua hình ảnh sinh viên Trường Đại học Cơng nghiệp Thực phẩm? ?? HUFI,... images tập ảnh tưởng tự với ảnh truy vấn có tập liệu ảnh, retrieved images tập ảnh tìm kiếm 42 Một ontology tra cứu thơng tin qua hình ảnh sinh viên Trường Đại học Công nghiệp Thực phẩm? ?? Kết thực nghiệm.. .Một ontology tra cứu thơng tin qua hình ảnh sinh viên Trường Đại học Công nghiệp Thực phẩm? ?? quan đến người học có nhiều cơng trình cơng bố [5-8] Tuy nhiên, tất cơng trình xử lý thông tin