Luận văn thạc sĩ công nghệ thông tin phân lớp ngữ nghĩa hình ảnh dựa trên mạng nơ ron tích chập

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÀ RỊA-VŨNG TÀU  ận Lu n vă TRƯƠNG HỮU CHIẾN ạc th sĩ Cơ ng PHÂN LỚP NGỮ NGHĨA HÌNH ẢNH DỰA TRÊN MẠNG NƠ-RON TÍCH CHẬP hệ ng g ôn th tin LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN BÀ RỊA VŨNG TÀU - 2020 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÀ RỊA-VŨNG TÀU  ận Lu n vă TRƯƠNG HỮU CHIẾN ạc th sĩ PHÂN LỚP NGỮ NGHĨA HÌNH ẢNH DỰA TRÊN MẠNG NƠ-RON TÍCH CHẬP ng Cơ hệ Mã ngành: 8480201 ng Chun ngành: Công nghệ thông tin g ôn th LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN tin NGƯỜI HƯỚNG DẪN KHOA HỌC: TS VĂN THẾ THÀNH BÀ RỊA VŨNG TÀU - 2020 LỜI CAM ĐOAN Tôi xin cam đoan luận văn “Phân lớp ngữ nghĩa hình ảnh dựa mạng nơ-ron tích chập” cơng trình nghiên cứu tơi hướng dẫn giảng viên hướng dẫn, không trùng lắp người khác Tơi trích dẫn đầy đủ tài liệu tham khảo, cơng trình nghiên cứu liên quan nước quốc tế Các tài liệu luận văn tham khảo, kế thừa trích dẫn liệt kê danh mục tài liệu tham khảo Lu Tơi xin chịu hồn tồn trách nhiệm lời cam đoan ận n vă Bà rịa - Vũng tàu, ngày 12 tháng 12 năm 2020 Học viên ạc th sĩ Cô Trương Hữu Chiến ng hệ ng g ôn th tin i LỜI CẢM ƠN Trước tiên, xin gửi lời cảm ơn và bày tỏ biết ơn chân thành tới TS.Văn Thế Thành – Giáo viên hướng dẫn khoa học trực tiếp hướng dẫn tơi, hết lịng hỗ trợ giúp đỡ tơi q trình nghiên cứu hồn thiện luận văn Tơi xin gửi lời cảm ơn chân thành tới thầy, cô giảng viên Trường Đại Lu học Bà Rịa Vũng Tàu tạo điều kiện thuận lợi cho học tập nghiên cứu ận suốt trình học tập trường vă Và muốn gửi lời cảm tới các anh, chị, em lớp MIT18K1 khóa Thạc sĩ n ngành công nghệ thông tin, bên cạnh và động viên suốt thời gian học tập ạc th và trình thực luận văn tốt nghiệp Cuối cùng, xin gửi lời cảm ơn tới cha, vợ và các con, người thân sĩ thạc sĩ này ng Cơ gia đình tơi, chăm lo, động viên tơi tích cực học tập và hồn thành thật tốt khóa học Vì thời gian có hạn, cố gắng hồn thành luận văn chắn ng khơng tránh khỏi thiếu sót Rất mong nhận cảm thông, chia sẻ, đóng góp hệ ý kiến tận tình q thầy bạn để luận văn hồn thiện g ơn th Tơi xin chân thành cảm ơn! tin ii MỤC LỤC LỜI CAM ĐOAN i MỤC LỤC iii DANH MỤC CÁC TỪ VIẾT TẮT vi Lu DANH MỤC HÌNH VẼ i ận DANH MỤC BẢNG BIỂU iv vă LỜI MỞ ĐẦU n CHƯƠNG th ạc TỔNG QUAN PHÂN TÍCH NGỮ NGHĨA HÌNH ẢNH sĩ 1.1 Đặc trưng văn kèm ảnh ng Cô 1.2 Đặc trưng nội dung ảnh 1.3 Hướng tiếp cận theo ngữ nghĩa hình ảnh 10 hệ ng 1.4 Trích xuất đặc trưng 13 1.4.1 Ý nghĩa trích xuất đặc trưng 14 g ôn th 1.4.2 Các đặc trưng phổ biến 14 1.5 Các nghiên cứu liên quan 15 tin 1.6 Kết luận 17 CHƯƠNG 18 TỔNG QUAN VỀ MẠNG NƠ-RON TÍCH CHẬP 18 2.1 Giới thiệu 18 2.2 Một số khái niệm 20 2.3 Kiến trúc mạng nơ-ron tích chập 21 iii 2.3.1 Lớp tích chập (Convolutional) 23 2.3.2 Hàm kích hoạt ReLU 27 2.3.3 Lớp lấy mẫu (Pooling) 28 2.3.4 Lớp kết nối đầy đủ 29 2.4 Kỹ thuật tối ưu mạng 31 Lu 2.5 Một số Kiến trúc mạng CNN phổ biến 32 ận 2.5 Kiến trúc LeNet-5 33 n vă 2.5 Kiến trúc AlexNet 34 2.5 Kiến trúc VGG-16 36 th ạc 2.5.4 Kiến trúc Inception (GoogleLeNet) 38 sĩ 2.6 Kết luận 40 ng Cô CHƯƠNG 41 ĐỀ XUẤT MƠ HÌNH PHÂN LOẠI ẢNH VÀ KẾT HỢP 41 ng TÌM KIẾM THEO NGỮ NGHĨA 41 hệ 3.1 Kiến trúc hệ thống 41 g ôn th 3.2 Mơ hình phân lớp hình ảnh CNN 42 3.3 Mơ hình tìm kiếm theo ngữ nghĩa 46 tin 3.3.1 Các thích cho hình ảnh 47 3.3.2 Phát triển Ontology 49 3.3.3 Ontology hình ảnh 50 3.3.4 Truy xuất hình ảnh ngữ nghĩa (SIR-Semantic Image Retrieval) 53 3.4 Kết luận 55 iv CHƯƠNG 56 KẾT QUẢ THỰC NGHIỆM VÀ ĐÁNH GIÁ 56 4.1 Môi trường và các công cụ sử dụng cho thực nghiệm 56 4.2 Tập liệu thực nghiệm 56 4.3 Xây dựng mơ hình phân loại ảnh cho hệ thống tìm kiếm 58 Lu 4.3.1 Vai trò Dropout 60 ận 4.3.2 Ảnh hưởng Batch size đến kết phân lớp dữ liệu 61 n vă 4.4 Kết tìm kiếm ảnh theo ngữ nghĩa 62 4.5 Kết luận 69 th ạc TÀI LIỆU THAM KHẢO 70 sĩ Tiếng Việt 70 ng Cô Tiếng Anh 70 hệ ng g ôn th tin v DANH MỤC CÁC TỪ VIẾT TẮT Từ viết tắt 01 AI 02 03 04 Tiếng anh Giải thích Artificial Intelligence Trí tuệ nhân tạo ANN Artificial Neural Network Mạng nơ-ron nhân tạo CBIR Content-Based Images Retrieval Tìm kiếm ảnh theo nội dung Convolutional Neural Network Mạng nơ-ron tích tập Database Cơ sở liệu ận Lu STT CNN vă CSDL 06 DL 07 DNN 08 DT 09 FNN Feedforward Neural Network Mạng nơ-ron truyền thẳng 10 GPU Graphic Proccessing Unit Bộ vi xử lý liệu hình ảnh 11 HOG Histograms of Oriented Gradients Biểu đồ độ dốc định hướng 12 k-NN k-Nearest Neighbors n 05 ng hệ ng K-láng giềng gần nhất Cuộc thi thử thách nhận biết hình ảnh quy mô lớn ImageNet tin ImageNet Large Scale Visual Recognition Challenge g ôn th 15 Cây định Decision Tree Cô IoT Mạng nơ-ron sâu Deep Neural Network sĩ 14 Học sâu ạc ILSVRC th 13 Deep Learning Internet of Things Internet vạn vật OWL Ontology Web language Ngôn ngữ ontology web 16 QBIC Query Based Image Content Truy vấn ảnh theo nội dung 17 SBIR Semantic Based Image Retrieval Truy vấn ảnh theo ngữ nghĩa vi SIFT Scale Invariant Feature Transform Biến đổi đặc trưng cục bất biến SIFT 19 SURF Speeded Up Robust Features Trích chọn đặc trưng SURF 20 SVM Support Vector Machine Máy vec-tơ hỗ trợ 21 ReLU Rectified Linear Unit Điều chỉnh đơn vị tuyến tính 22 RGB Red Green Blue Hệ màu Lu RDF Resource Description Framework Khung mô tả tài nguyên 24 SIR Semantic Image Retrieval Truy vấn ảnh nghữ nghĩa SPARQL Protocol And RDF Query Language Ngôn ngữ truy vấn cho CSDL ngữ nghĩa ạc Truy xuất hình ảnh dựa văn 23 ận 18 n vă SPARQL 26 TBIR th 25 Text-Based Image Retrieval sĩ ng Cô hệ ng g ơn th tin vii DANH MỤC HÌNH VẼ Hình 1.1: Ví dụ hiển thị ảnh……………………………………………….…………… Hình 1.2: Ví dụ truy vấn “d-80” Google……………………………….……………… Hình 1.3: Ví dụ truy vấn “Apple” Google……………………………….…………… Lu Hình 1.4: Ví dụ số lọai kết cấu………………………………………….….………….9 ận Hình 1.5: Minh họa tầng ngơn ngữ dùng ontology……… …….…………….13 vă n Hình 2.1: Mơ hình não người…………………………………………………………… 18 th ạc Hình 2.2: Mạng nơ-ron tích chập hay Convolutional Neural Networks (CNN)……… 19 sĩ Hình 2.3: Kiến trúc CNN………………………………………………………………….22 Cơ Hình 2.4: Mạng nơ-ron thơng thường……………………………………………………….22 ng Hình 2.5: Mạng nơ-ron tích chập………………………………………….… ….…………22 ng hệ Hình 2.6: Minh họa ảnh dữ liệu đầu vào và lọc……………………………………… 23 g ơn th Hình 2.7: Minh họa tích chập ảnh đầu vào kết quả Bảng đồ đặc trưng…………….24 Hình 2.8: Minh họa q trình tích chập nhiều lớp…………………….………………… 26 tin Hình 2.9: Minh họa bảng đồ đặc trưng xếp chồng lên nhau………………….…………27 Hình 2.10: Các hàm kích hoạt…………………………………………….………………….28 Hình 2.11: Minh họa việc lấy mẫu con………………………………….……………… 29 Hình 2.12: Một ví dụ mô hình học sâu dựa mạng nơ-ron tích chập…….….….31 Hình 2.13: Mạng nơ-ron trước sau trình Dropout…………………………… 32 i 4.3 Xây dựng mơ hình phân loại ảnh cho hệ thớng tìm kiếm Mơ hình giải tốn phân lớp ảnh vào lớp 15 chủ đề khác (Cat, Dog, Peacok, … ) Đầu mơ hình vector có 1.000 phần tử Phần tử thứ i vector đại diện cho xác suất ảnh thuộc lớp thứ i Do đó, tổng phần tử vector Phân loại hình ảnh mạng AlexNet với hỗ trợ thư viện nguồn mở Lu TensorFlow tảng mã nguồn mở end-to-end dành cho học máy giúp đào tạo ận mơ hình ML [27] vă Để xây dựng mơ hình phân loại ảnh cho hệ thống tìm kiếm, tập liệu thực n nghiệm chia thành tập liệu tập huấn luyện (training set) gồm 7.110 ảnh th (60%), tập kiểm thử (test set) gồm 2.370 ảnh (20%) tập giám sát (validation set) gồm ạc 2.370 ảnh (20%) Tập liệu giám sát dùng để giám sát trình học xem mạng có sĩ trạng thái bị học chậm (underfitting) khớp (overfitting) không? Cô ng Dữ liệu huấn luyện chia thành batch, với batch size 500 ảnh để đưa vào huấn luyện nhằm tránh tắt nghẽn mạng giảm dung lượng nhớ cần thiết để huấn ng luyện Phương pháp tính độ lỗi mạng Momentum với tham số base learning hệ 0,05 lr_decay 0,96 Khi mạng học qua toàn ảnh tập huấn luyện lặp tối đa là 5.688 lần theo công thức sau: g ơn th lần xem mạng học chu kỳ (epoch) số epoch 400 nên phải tin (4.1) Qua trình huấn luyện kiểm tra mơ hình mạng nơ-ron tích chập thu số kết qua bảng thống kê thời gian h́n luyện mơ hình Bảng 58 Bảng 4.1: Kết h́n luyện mơ hình Thời gian Bước lặp (giờ:phút:giây) ận Lu 00:15:39 00:45:39 01:15:26 01:45:52 02:15:36 02:45:36 03:15:25 03:45:19 04:15:58 04:45:38 05:15:29 06:09:30 Độ xác n vă 270 790 1,268 1,778 2,289 2,829 3,352 3,868 4,232 4,639 5,129 5,688 ạc th 36.80% 52.39% 63.52% 69.27% 72.36% 73.38% 75.79% 77.26% 80.37% 82.52% 83.26% 85.39% sĩ Để học mơ hình đạt độ xác 85% tập train cần Cơ h́n luyện Để kiểm tra độ xác mơ hình phân lớp tập test chúng ng đánh giá theo độ đo là Confusion matrix Hình 4.2 Precision Hình 4.3 hệ ng g ôn th tin Hình 4.2: Biểu đồ Confusion matrix đánh giá theo chủ đề ảnh 59 Lu ận Hình 4.3: Biểu đồ Precision đánh giá mơ hình phân loại theo chủ đề ảnh vă Hình 4.2 hình 4.3 cho thấy mơ hình phân lớp chủ đề ảnh ngựa vằn (zebras) có n độ xác khá cao, đạt 97,89% Nguyên nhân là các đặc trưng ngựa vằn bật th so với chủ đề ảnh lại có các vệt vằn đen lưng Ngược lại mơ hình ạc phân lớp chủ đề ảnh mèo (cat) có độ xác chưa cao, đạt 68,79% Nguyên nhân sĩ có thể là các đặc trưng mèo khó nhận dạng các chủ đề ảnh khác có nhiều đặc Cơ trưng tương đồng với số chủ đề ảnh khác chó và khỉ chúng động ng vật chân, hình dáng nhỏ nhắn khác biệt rõ nhất gương mặt hệ ng 4.3.1 Vai trò Dropout Như đề cập phần trên, lớp Dropout loại bỏ số ngẫu nhiên nơ- g ôn th ron, từ đó giúp cho quá trình h́n luyện khơng bị overfitting Để đánh giá vai trò lớp Dropout việc phân loại liệu hình ảnh thơng qua việc sử dụng tỉ lệ dropout khác nhau: 0% (tức không sử dụng lớp dropout), 30%, 50%, 70% 90% Chú ý tỉ tin lệ dropout thể tỉ lệ nơ-ron loại bỏ Kết đưa thể xu học mơ hình và mơ tả Bảng Bảng 4.2: Tỉ lệ lỗi thay đổi giá trị Dropout hệ thống 60 Thông qua kết nhận được, ta thấy mơ hình khơng có lớp Dropout cho tỉ lệ lỗi huấn luyện thấp nhất (9,31%) Nhưng độ chênh lệch tỉ lệ lỗi trình huấn luyện kiểm tra lại cao so với các trường hợp khác Mối quan hệ tỉ lệ dropout, tỉ lệ lỗi huấn luyện kiểm tra cho thấy tượng overfitting rõ ràng trường hợp khơng có lớp Dropout Hiện tượng giảm dần tăng tỉ lệ dropout Tuy nhiên, tỉ lệ dropout q lớn, ví dụ 90%, tỉ lệ lỗi nhận dạng huấn luyện kiểm tra tăng vọt (thể trình underfitting) Nguyên nhân gây tượng thông ận Lu tin bị mất nhiều trình xử lý dẫn đến phân loại khơng xác Thực tế, để có tỉ lệ phân loại tối ưu nhất, yêu cầu phải thực thử nghiệm vă nhiều tỉ lệ khác riêng lẻ cho mơ hình n ạc th 4.3.2 Ảnh hưởng Batch size đến kết phân lớp liệu Batch size định số lượng ảnh dùng cho lần cập nhật trọng số, với sĩ kích thước tập huấn luyện tập liệu thu thập 11.850 ảnh Một chu kỳ học tương Cô ứng với xử lý 11.850 ảnh Nếu chọn batch size = 20, có nghĩa là liệu chia ng thành 592 gói để xử lý Tương tự, batch size = 200, số gói liệu 59 gói ng Bảng kết có thay đổi kích thước gói liệu batch g ơn th kết thu có thay đổi khả quan hệ Với kích thước Batch size nhỏ, tỉ lệ lỗi cao (47,41%) Khi kích thước tăng dần, Nhìn chung, batch size lớn, trọng số cập nhật cách ổn định Nhưng lưu ý rằng, batch size lớn yêu cầu nhiều nhớ tin Bảng 4.3: Kết phân lớp sử dụng liệu với batch size khác 61 Kích thước tập huấn luyện ảnh hưởng đến độ xác tăng lên số lượng liệu tăng lên Càng nhiều liệu tập huấn luyện, tác động lỗi huấn luyện lỗi thử nghiệm nhỏ cuối là độ xác có thể cải thiện Bằng quá trình này, mơ hình đào tạo sử dụng để phân loại hình ảnh có liệu thử nghiệm minh họa Hình 4.4 ận Lu n vă ạc th sĩ ng Cơ hệ ng 4.4 Kết tìm kiếm ảnh theo ngữ nghĩa g ôn th Hình 4.4: Minh họa phân lớp dữ liệu hình ảnh tin Truy xuất hình ảnh dựa Ontology tập trung nhiều vào việc nắm bắt nội dung ngữ nghĩa (tức ánh xạ các tính hình ảnh với khái niệm), điều có thể giúp đáp ứng yêu cầu người dùng theo cách tốt nhiều Người dùng có thể đưa khái niệm / từ khóa làm đầu vào văn có thể nhập hình ảnh Kết thực nghiệm cho thấy hiệu và độ xác hệ thống đề xuất 62 Bằng cách đưa hình ảnh dạng truy vấn Hình 4.5, cơng cụ tìm kiếm, so sánh với tập hợp hình ảnh lưu trữ sở liệu gắn nhãn có (hình ảnh đào tạo) để tìm điểm tương đồng Hình ảnh truy vấn phải đặt số danh mục ảnh có Nếu có bất kỳ hình ảnh khơng rõ ràng nào, chúng đặt vào danh mục hình ảnh gần nhất, theo mức độ phù hợp với ảnh truy vấn người dùng Mô hình thể học ngữ nghĩa với liệu cá thể hình ảnh có thể sử dụng để tìm mối quan hệ hình ảnh chọn hình ảnh khác sở ận Lu liệu lưu trữ Những hình ảnh này giới thiệu cho người dùng, tập kết xếp vă theo thứ tự giảm dần theo giá trị phù hợp Chúng không nhất thiết phải phù hợp với truy n vấn lọc có khả quan tâm ạc th sĩ ng Cô hệ ng g ôn th tin Hình 4.5: Minh họa biểu đồ truy vấn khớp hình ảnh 63 - Trường hợp thực nghiệm 1, người dùng sử dụng hình ảnh ngựa vằn làm đầu vào Công cụ truy vấn tạo truy vấn cho truy vấn thực thi nó sở kiến thức ontology Kết hình ảnh tìm thấy sở liệu ảnh phù hợp nhất Hình 4.6 ận Lu n vă ạc th sĩ ng Cô hệ ng g ôn th tin Hình 4.6: Trường hợp thực nghiệm với hình ảnh ngựa vằn 64 Hình 4.7 tương tự trường hợp thực nghiệm Hình 4.6 đó người dùng nhập hình ảnh hình ảnh liên quan phù hợp nhất trả người dùng ận Lu n vă ạc th sĩ ng Cô hệ ng g ôn th tin Hình 4.7: Trường hợp thực nghiệm với hình ảnh chú chó 65 - Trường hợp thực nghiệm 2, người dùng sử dụng tính nhập văn hệ thống SIR cung cấp đầu vào dạng văn Ở đưa vào từ khóa “Dog” để truy vấn ảnh, ta thấy kết trả hình ảnh liên quan đến dog Hình 4.8 ận Lu n vă ạc th sĩ ng Cơ hệ ng g ơn th tin Hình 4.8: Trường hợp thực nghiệm với từ khóa truy vấn “Dog” 66 Tương tự Hình 4.9 với từ khóa truy vấn “Monkey” hệ thống SIR tạo truy vấn tương ứng cho truy vấn thực thi nó sở liệu ảnh để đưa hình ảnh liên quan hiển thị cho người dùng ận Lu n vă ạc th sĩ ng Cô hệ ng g ôn th tin Hình 4.9: Trường hợp thực nghiệm với từ khóa truy vấn “Monkey” 67 - Trường hợp thực nghiệm với từ khóa “animal” Do khơng có hình ảnh hệ thống có chủ đề “animal” nên tìm với ngữ nghĩa trả hình số loại động vật monkey, zebra, dog, tất các loài này là động vật ận Lu n vă ạc th sĩ ng Cô hệ ng g ơn th tin Hình 4.10: Tìm kiếm với từ khóa “Animal” 68 4.5 Kết luận Trong nghiên cứu này, tơi đề x́t mơ hình phân lớp liệu hình ảnh dựa mạng tích chập CNN với mơ hình kiến trúc AleNet kết hợp với domain ontology để hỗ trợ tìm kiếm theo ngữ nghĩa Tác giả phân tích tác động tốc độ học đến việc rút ngắn thời gian huấn luyện, cho thấy vai trò lớp dropout việc giảm overfitting, kích thước gói batch size ảnh hưởng đến kết phân lớp đối tượng Trong đó, kết thực nghiệm cho thấy mơ hình kiến trúc AlexNet với kỹ thuật học sâu Lu sử dụng để trích x́t thơng tin đặc trưng ảnh cho phân lớp hiệu với độ ận xác cao 85% vă Nghiên cứu xây dựng domain ontology cụ thể giúp cho việc biểu diễn mối n th quan hệ ngữ nghĩa chủ đề ảnh rõ ràng hơn, việc tạo thể luận (ontology) ạc cho sưu tập hình ảnh thiết lập mối quan hệ chúng, giúp cho việc chuẩn sĩ hóa từ khóa tìm kiếm, bổ sung thơng tin cho hình ảnh để việc truy x́t hình ảnh có liên Cơ quan đến truy vấn người dùng Truy vấn SPARQL sử dụng cho trình truy xuất hiệu hình ảnh và văn dựa chủ đề, vị từ và đối tượng cách sử dụng ng domain ontology Hệ thống đề xuất thử nghiệm liệu hình ảnh thu thập ng liên quan đến miền này, kết thực nghiệm cho thấy kiểu truy xuất hình ảnh này, hệ truy xuất hiệu hình ảnh rất gần với hình ảnh truy vấn từ sở liệu thể học So với các phương pháp truy xuất hình ảnh dựa văn / từ khóa nội dung, g ơn th truy x́t hình ảnh dựa Ontology tập trung nhiều vào việc nắm bắt nội dung ngữ nghĩa (tức ánh xạ tính hình ảnh với khái niệm), điều này giúp tăng ứng yêu cầu người dùng cách tốt tin tính truy xuất hình ảnh với tốc độ nhanh so với truy xuất thông thường, đáp Tuy nhiên, hướng phát triển dự kiến mở rộng tập liệu ảnh với số lượng lớn để cải thiện độ xác phân lớp liệu ảnh 85% Hiệu việc tìm kiếm hình ảnh có thể cải thiện cách tích hợp thể học SPARQL để truy x́t hình ảnh có liên quan cách xác hơn./ 69 TÀI LIỆU THAM KHẢO Tiếng Việt [1] Nguyễn Đắc Thành, (2017) Nhận dạng và phân loại hoa ảnh màu [2] Vũ Hữu Tiệp, (2017) Machine Learning ận Lu http://machinelearningcoban.com/general/2017/02/06/featureengineering/ Tiếng Anh vă [3] P Muneesawang, N Zhang, L Guan, Multimedia Database Retrieval: Technology n ạc th and Applications, Springer, New York, 2014 [4] Yushi Chen, Hanlu Jiang, Chunyang Li, Xiuping Jia, and Pedram Ghamisi, “Deep sĩ Feature Extraction and Classification of Hyperspectral Images Based on Convolutional ng Cô Neural Networks” IEEE Trans Geosci Remote Sens., vol 54, no 10, Oct 2016 [5] https://towardsdatascience.com/applied-deep-learning-part-4-convolutional-neural- ng networks-584bc134c1e2#5777 hệ [6] Li, Man, Xiao-Yong Du, and Shan Wang 2005 “Learning Ontology from Relational International Conference On, 6:3410–3415 IEEE g ôn th Database.” In Machine Learning and Cybernetics, 2005 Proceedings of 2005 tin [7] Arivazhagan, S., Shebiah, R N., Nidhyanandhan, S S., & Ganesan, L (2010) Fruit Recognition using Color and Texture Features Information Sciences, 1(2), 90–94 [8] Sergey Sosnovsky, D., Dicheva, “Ontological technologies for user modeling”, Int J Metadata, Semantics and Ontologies, Vol 5, No 1, 2010 [9] Website: www.w3.org/rdf-sparql-query “SPARQL Query Language for RDF”; Website:http://www.w3.org.- "Resource Description Framework (RDF)” 70 [10] Y Kim, “Convolutional neural networks for sentence classification”, 2016 [11] Tee Cheng Siew (2008) Feature selection for content-based image retrieval using statistical discriminant analysis PhD thesis Faculty of Computer Science and Information System Universiti Teknologi Malaysia [12] Hyvönen, Eero, Samppa Saarela, Avril Styrman, and Kim Viljanen 2003 “Ontology-Based Image Retrieval.” In WWW (Posters) Lu ận [13] Magesh, N., and P Thangaraj 2011 “Semantic Image Retrieval Based on Ontology and SPARQL Query.” In International Conference on Advanced Computer Technology n vă (ICACT) th [14] Van T T , Le M T (2017), “Mot so cai tien cho he truy van anh dua tren cay S- ạc Tree”, proceeding o f Publishing House for Science and Technology sĩ [15] Patel, Shabaz Basheer, and Anand Sampat 2017 “Semantic Image Search Using ng Cô Queries.” Accessed September [16] Tim Morris: Computer Vision and Image Processing Palgrave Macmillan (2004) ng hệ [17] AbdAlmageed, W., Wu, Y., Rawls, S., Harel, S., Hassne, T., Masi, I., Choi, J., Lekust, J., Kim, J., Natarajana, P., Nevatia, R., Medioni, G Face recognition using deep g ôn th multi-pose representations In: IEEE Winter Conference on Applications of Computer Vision (WACV) (2016) tin [18] Ian Goodfellow, Yoshua Bengio, Aaron Courville, Deep Learning, The MIT Press, 2016 [19] Andrej Karpathy CS231n Convolutional Neural Networks for Visual RecognitionImage Classification http://cs231n.github.io/classification/ 71 [20] N Srivastava, G E Hinton, A Krizhevsky, I Sutskever, R Salakhutdinov, Dropout: a simple way to prevent neural networks from overfitting, Journal of machine learning research 15, 2014, pp 1929-1958 [21] Lecun, Y.; Bottou, L.; Bengio, Y.; Haffner, P (1998) "Gradient-based learning applied to document recognition" Proceedings of the IEEE 86 (11): 2278–2324 [22] Krizhevsky, A., Sutskever, I., & Geoffrey E., H (2012) ImageNet Classification Lu with Deep Convolutional Neural Networks Advances in Neural Information Processing ận Systems 25 (NIPS2012), 1–9 vă [23] Source: Illustrated: 10 CNN Architectures - Raimi Karim n ạc th https://towardsdatascience.com/illustrated-10-cnn-architectures-95d78ace614d [24] A Gauthami Latha, Ch Satyanarayana, Y Srinivas Semantic Image Annotation sĩ using Ontology And SPARQL International Journal of Innovative Technology and Cô Exploring Engineering (IJITEE) ISSN: 2278-3075, Volume-9 Issue-3, January 2020 ng [25] Russakovsky, O., Deng, J., Su, H., Krause, J., Satheesh, S., Ma, S., Fei-Fei, L ng (2015) ImageNet Large Scale Visual Recognition Challenge International Journal of hệ Computer Vision, 115(3), 211–252 g ôn th [26] http://www.image-net.org/challenges/LSVRC/ [27] https://www.tensorflow.org/api_docs/python/tf/keras/applications/alexnet tin 72