Truy vấn nội dung hình ảnh dựa trên sơ đồ nổi bật sử dụng phương pháp học sâu

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM THÀNH PHỐ HỒ CHÍ MINH Vũ Văn Thành Ân TRUY VẤN NỘI DUNG HÌNH ẢNH DỰA TRÊN SƠ ĐỒ NỔI BẬT SỬ DỤNG PHƯƠNG PHÁP HỌC SÂU LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH Thành phố Hồ Chí Minh – 2020 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM THÀNH PHỐ HỒ CHÍ MINH Vũ Văn Thành Ân TRUY VẤN NỘI DUNG HÌNH ẢNH DỰA TRÊN SƠ ĐỒ NỔI BẬT SỬ DỤNG PHƯƠNG PHÁP HỌC SÂU Chuyên ngành : Khoa học máy tính Mã số : 8480101 LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH NGƯỜI HƯỚNG DẪN KHOA HỌC: PGS.TS NGUYỄN THANH BÌNH Thành phố Hồ Chí Minh - 2020 LỜI CAM ĐOAN Tơi xin cam đoan cơng trình nghiên cứu thân hướng dẫn khoa học PGS.TS Nguyễn Thanh Bình Luận văn khơng có chép tài liệu, cơng trình nghiên cứu khác mà khơng ghi rõ nguồn tài liệu tham khảo Kết thực nghiệm luận văn khách quan chưa cơng bố cơng trình nghiên cứu khác Tp Hồ Chí Minh, ngày 26 tháng 11 năm 2020 Học viên Vũ Văn Thành Ân LỜI CẢM ƠN Trước tiên, xin bày tỏ biết ơn chân thành sâu sắc đến PGS.TS Nguyễn Thanh Bình Thầy hướng dẫn, tận tình giúp đỡ, hỗ trợ động viên tơi suốt q trình nghiên cứu hồn thiện luận văn Tơi chân thành gửi lời cảm ơn sâu sắc đến quý thầy, quý cô giảng dạy, truyền đạt kiến thức cho tơi q trình học tập Đồng thời, tơi xin gửi lời cảm ơn hỗ trợ tạo điều kiện Phòng Sau Đại học Trường Đại học Sư phạm Thành phố Hồ Chí Minh Tơi xin cảm ơn bạn bè, đồng nghiệp chia sẻ kinh nghiệm, giúp đỡ tơi q trình học tập thực luận văn Tơi muốn bày tỏ lịng biết ơn sâu sắc đến gia đình tơi, lãnh đạo nơi tơi công tác, người động viên tạo điều kiện cho thời gian học tập nghiên cứu Mặc dù thân cố gắng để hồn thành luận văn kiến thức cịn hạn chế nên khơng thể tránh khỏi thiếu sót Kính mong nhận thơng cảm góp ý quý thầy cô bạn Tôi xin chân thành cảm ơn! MỤC LỤC Lời cam đoan Lời cảm ơn Danh mục thuật ngữ viết tắt Danh mục bảng Danh mục biểu đồ Danh mục hình vẽ Chương GIỚI THIỆU TỔNG QUAN 1.1 Giới thiệu đề tài 1.2 Mục tiêu nội dung đề tài 1.3 Giới hạn thách thức đề tài 1.4 Phương pháp nghiên cứu 1.5 Đóng góp mặt khoa học 1.6 Đóng góp mặt thực tiễn 1.7 Cấu trúc báo cáo Chương CƠ SỞ LÝ THUYẾT 2.1 Cơ sở lý thuyết 2.1.1 Image Retrieval 2.1.2 Similarity search 2.1.3 Sơ đồ bật Saliency Map 10 2.1.4 CBIR dựa mơ hình CNN 13 2.1.5 Deep learning Neural Network (DNN) 14 2.2 Các nghiên cứu liên quan 23 Chương TRUY XUẤT NỘI DUNG ẢNH DỰA TRÊN SƠ ĐỒ NỔI BẬT DÙNG PHƯƠNG PHÁP HỌC SÂU 28 3.1 Mô tả toán truy xuất nội dung ảnh dựa sơ đồ bật 28 3.2 Truy xuất ảnh hoa dựa vào sơ đồ bật 28 3.2.1 Lưu đồ thuật toán 28 3.2.2 Tiền xử lý liệu 30 3.2.3 Huấn luyện mơ hình ResNet 31 3.2.4 Tinh chỉnh liệu 33 3.3 Phương pháp đánh giá 33 Chương THỰC NGHIỆM VÀ ĐÁNH GIÁ KẾT QUẢ 36 4.1 Tài nguyên máy tính 36 4.1.1 Phần cứng 36 4.1.2 Phần mềm 36 4.2 Chuẩn bị tập liệu 37 4.2.1 Tập liệu hoa 37 4.2.2 Tiền xử lý tập liệu 39 4.3 Thực nghiệm 41 4.3.1 Thực nghiệm 41 4.3.2 Thực nghiệm 42 4.4 Đánh giá kết thực nghiệm 45 4.4.1 Kết ResNet56 45 4.4.2 So sánh hiệu mơ hình đề xuất với mơ hình CNNs 46 4.5 Thảo luận kết 48 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 47 TÀI LIỆU THAM KHẢO 49 DANH MỤC THUẬT NGỮ VÀ VIẾT TẮT Từ viết tắt Từ đầy đủ CSDL Cơ sở liệu CBIR Content Based Image Retrieval CCN Classical Convolutional Networks CNN Convolution Neural Network CNNs Multi Convolution Neural Network DNN Deep Neural Network FCN Fully Convolutional Network IR Image Retrieval SIFT Scale-Invariant Feature Transform ReLU Rectified Linear Unit DANH MỤC CÁC BẢNG Bảng 3.1 Các lớp mơ hình huấn luyện 56-layer với đầu vào (384x384x3) 32 Bảng 4.1 Số liệu hình ảnh tập liệu huấn luyện kiểm tra 37 Bảng 4.2 Bảng kết thực nghiệm trước sau tăng cường liệu 42 Bảng 4.3 Kết độ xác thời gian predict ResNet56 45 DANH MỤC CÁC BIỂU ĐỒ Biểu đồ 4.1 Biểu đồ so sánh Accuracy Training Testing ResNet56 45 DANH MỤC CÁC HÌNH VẼ Hình 2.1 Image Features / Distance Measures Hình 2.2 Mơ hình CBIR tổng quát Hình 2.3 Similarity Search Faiss Hình 2.4 Minh họa Saliency map 10 Hình 2.5 Methods of CBIR system 11 Hình 2.6 Các ứng dụng mơ hình saliency map 12 Hình 2.7 Ví dụ mơ hình CNN - BVLC Reference CaffeNet 16 Hình 2.8 Minh họa cơng thức tính tích chập Convolution 2D 17 Hình 2.9 Ví dụ cách thực tích chập 18 Hình 2.10 Mơ hình Neural Network layers với lớp ẩn hidden 19 Hình 2.11 ResNet-50 Model 20 Hình 2.12 a) Lỗi huấn luyện (Training error) b) Lỗi kiểm tra (Test error) liệu CIFAR-10 mạng Resnet 20 layer 56 layer 21 Hình 2.13 Vanishing Gradient ResNet 22 Hình 2.14 Kiến trúc mạng nơ ron ResNet 22 Hình 2.15 Minh họa đồ grouth-truth 24 Hình 2.16 Mơ hình hai luồng CNNs MAC 26 Hình 3.1 Mơ hình CBIR saliency map đề xuất 28 Hình 3.2 Euclide Distance 34 Hình 4.1 Hình ảnh liệu Oxford Flowers 38 Hình 4.2 Hình ảnh liệu Kaggle Flowers 38 Hình 4.3 Hình ảnh liệu An Flower 39 Hình 4.4 Đọc ảnh đầu vào với original size 40 Hình 4.5 Ảnh sau khoanh vùng 40 Hình 4.6 Ảnh hoa heat map saliency map ảnh đầu vào 40 Hình 4.7 Normalize ảnh predict 41 41 Normalize ảnh predict: Với ảnh map trên, tạo heat map (Hình 4.3) phương pháp normalize ảnh predict, với điểm ảnh mức ngưỡng threshold định 1, điểm ảnh lại Với mức threshold = 0.1, ta thu ảnh cần thiết Tất ảnh tập liệu database sau xử lý ảnh thu ảnh normalize xong lưu Database Predict Hình 4.7 Normalize ảnh predict 4.3 Thực nghiệm Sau huấn luyện mơ hình xong, chúng tơi tiến hành nhiều thực nghiệm để kiểm tra hiệu mơ hình đề xuất Dưới mơ tả số thực nghiệm tiêu biểu 4.3.1 Thực nghiệm Để xác thực mơ hình triển khai có hiệu cao Chúng tơi thực nghiệm kiểm tra độ xác mơ hình đề xuất với Top ghi lại với lần test thử nghiệm Trong đó, lần thực trước tăng cường liệu, lần thực sau tăng cường liệu Số lượng ảnh thực tăng cường 920 ảnh, ảnh có cánh hoa có màu sắc nhạt, khó phân biệt chủ thể hoa phần ảnh Tỉ lệ ảnh tăng cường chiếm 7,3% tổng số lượng ảnh huấn luyện 42 Bảng 4.2 Bảng kết thực nghiệm trước sau tăng cường liệu Lần thứ Trước tăng cường Accuracy Map@5 Lần 0.8630 0.8109 Lần 0.8596 0.8042 Lần thứ Sau tăng cường Accuracy Map@5 Lần 0.8820 0.8733 Lần 0.8904 0.8762 Bảng 4.2 cho thấy độ xác accuracy 0.85% trở lên thử nghiệm có Top (k=5) Đặc biệt, hai lần huấn luyện cho kết accuracy precision (Map@5) cao so với hai lần Điều cho thấy hiệu mơ hình có thay đổi theo chiều hướng tăng sau tăng cường liệu biện pháp nêu mục 3.2.4 4.3.2 Thực nghiệm Sau thực nghiệm 1, thiết lập số k = tiến hành thực nghiệm (pha testing) Yêu cầu thực nghiệm kiểm tra testing sau: Lần lượt chọn ảnh input ngẫu nhiên có tập liệu test, hệ thống tự động trích xuất đặc trưng sơ đồ bật cho ảnh đầu vào tiến hành tìm kiếm, sau so khớp với kho liệu sơ đồ bật tập liệu huấn luyện trước thu pha training Kết đầu ouput ảnh (k=5) Nếu tập kết thể hình ảnh có nhãn index gần giống với ảnh đầu vào, kết luận mơ hình đề xuất đạt hiệu tốt Ngược lại, cần phải tinh chỉnh lại liệu mơ hình Chúng tơi thực nhiều lần với đầu vào ảnh hoa khác (input 1, 2, 3, ), ảnh có đặc điểm nhận dạng khác tương ứng với loại hoa khác Kết truy xuất tương ứng tập ảnh đầu (output 1, 2, 3, ) Đầu tiên, tiến hành kiểm tra với ảnh hoa sen hình 4.8: 43 a) Input b) Output Hình 4.8 Kết tìm kiếm ảnh hoa sen Hình 4.8 có ảnh Input1 ảnh hoa sen ngẫu nhiên, cánh hoa nở xếp thành tầng, hoa có màu hồng, hoa có màu Ảnh đầu vào (hình 4.8a) có nhãn index 77 Kết Output1 thu ảnh có nhãn 77 Quan sát ảnh kết hoa sen gần giống với ảnh input Tương tự, tiếp tục thực nghiệm với ảnh hoa phượng mơ tả hình 4.9 Ảnh đầu vào Input2 ảnh hoa phượng ngẫu nhiên tập test, hoa phượng nở đỏ, nằm sân Ảnh đầu vào có nhãn index 105 (như hình 4.9a) Kết thu Output2 tập 05 ảnh có nhãn 105 (hình 4.9b) Quan sát ảnh kết hoa phượng gần giống với ảnh input a) Input b) Output Hình 4.9 Kết tìm kiếm ảnh hoa phượng 44 Lần tiếp theo, tiến hành thực nghiệm với loại hoa có đặc trưng nhiều cánh nhỏ dài, có nhụy lớn Cụ thể: Input3 ảnh bơng hoa nở, có nhiều cánh nhỏ, có nụ hoa hình trịn lớn, hoa có màu tím Ảnh đầu vào có nhãn index 58 (như hình 4.10a) Output3 thu ảnh có nhãn giống với index ảnh đầu vào 58 (hình 4.10b) Các ảnh kết hoa có hình dạng đặc trưng nhiều cánh, có nụ hoa hình trịn lớn giữa, quan sát thấy gần giống với ảnh input3 a) Input b) Output Hình 4.10 Kết tìm kiếm ảnh hoa nở, có nhiều cánh Để kiểm tra hiệu mơ hình, chúng tơi tăng độ khó thử nghiệm cách tiến hành thực nghiệm với hình ảnh có nhiều cành hoa, đặc trưng màu tím đậm, bơng hoa có thân đỡ hình trụ Cụ thể hình 4.11: a) Input b) Output Hình 4.11 Kết tìm kiếm ảnh hoa khoe sắc, có thân đỡ hình trụ 45 Input 4: Chọn ảnh đầu vào cụm hoa có nhiều bơng, bơng có nhiều cánh lớn, cành hoa hình trụ, hoa có màu tím Ảnh đầu vào có nhãn index 43 (hình 4.11a) Output 4: Kết thu output ảnh có nhãn 43 (hình 4.11b) Các ảnh kết hoa có hình dạng đặc trưng nhiều cánh to, xếp xoắn gần nhau, có thân đỡ hình trụ mảnh gần giống với ảnh input Trong lần thực nghiệm với loại hoa cụ thể này, chúng tơi thu kết tìm kiếm tập gồm ảnh có nội dung ảnh gần giống với ảnh đầu vào Chứng tỏ, mơ hình đề xuất áp dụng có kết truy vấn đạt hiệu mục tiêu toán đặt 4.4 Đánh giá kết thực nghiệm 4.4.1 Kết ResNet56 Để đánh giá kết thực nghiệm, phương pháp đề xuất đánh giá mô hình ResNet56 với số liệu độ xác huấn luyện (Training Accuracy), độ xác kiểm tra (Testing Accuracy), thời gian dự đoán kết (Predict Time) tính giây Độ xác vượt mức kỳ vọng 85% mục tiêu ban đầu toán đặt đạt yêu cầu Bảng 4.3 Kết độ xác thời gian predict ResNet56 Mơ hình ResNet56 Training Testing Prediction Accuracy Accuracy Time (%) (%) (giây) 0.8703 0.8653 2134 46 Chart Title 100% 80% 60% 40% 20% 0% Training Accuracy Testing Accuracy Biểu đồ 4.1 Biểu đồ Accuracy Training Testing ResNet56 Biểu đồ 4.1 thể mơ hình đề xuất đạt hiệu tương đối cao, vượt mức 85% so với mục tiêu toán hai pha huấn luyện pha kiểm tra Bảng 4.3 cho thấy thời gian Prediction ResNet56 xấp xỉ 35 phút 4.4.2 So sánh hiệu mơ hình đề xuất với mơ hình CNNs So sánh hiệu xác định sơ đồ bật mơ hình đề xuất với mơ hình CNNs (MAC) [28] Hình 4.12 cho thấy [28] có sử dụng 04 liệu khác nhau, có sử dụng liệu Oxford Flower với số lượng lồi hoa 102 Mơ hình luận văn có sử dụng liệu Hình 4.12 - Thống kê liệu cơng trình [28] Kết thực nghiệm mơ hình [28] xác định sơ đồ bật liệu Flower có hiệu tương đương với mơ hình đề xuất Khi ngưỡng 47 lamda luồng DeepFixNet 0.06 luồng VGG 0.04 thu sơ đồ bật (hình 4.13) (a) (b) Hình 4.13 - Trích xuất Saliency map mơ hình DeepFixNet [28] (a) Input (b) Saliency map thu ngưỡng luồng DeepFixNet 0.06 luồng VGG 0.04 Trong đó, ảnh train qua mơ hình ResNet đề xuất ngưỡng lamda cần thiết để thu ảnh sơ đồ bật 0.1 (Hình 4.6) Mơ hình đề xuất cần xác định ngưỡng lamda, mơ hình [28] tổng hai ngưỡng lamda hai luồng phụ Hình 4.14 - Saliency map mơ hình Multiscale Deep CNN feature [25] 48 Tích hợp tính cấp thấp làm thủ công với Deep Contrast Feature (DCF) Sơ đồ Ground truth (GT), sơ đồ sử dụng Low level Feature (LF), sơ đồ bật sử dụng tính sâu đa cấp độ Multiscale Deep Feature (MDF), sơ đồ bật sử dụng tính kết hợp sâu thủ cơng Hybrid deep and Handcrafted Feature (HDHF) Ngồi ra, theo cơng trình [25] hình 4.14 biểu thị kết trích xuất đặc trưng ảnh dựa tích hợp đặc trưng cấp thấp, bao gồm phương pháp GT, LF, MDF, HDHF Trong đó, phương pháp trích xuất sơ đồ bật HDHF sử dụng tính kết hợp sâu thủ cơng có độ xác cao Cả phương pháp hình 4.14 cho kết trích xuất sơ đồ tương đương với kết normalize (hình 4.7) mơ hình đề xuất Tuy nhiên, màu sắc hiển thị hai màu trắng đen Điều chứng tỏ mơ hình đề xuất đạt hiệu tốt việc trích xuất đặc trưng mức thấp so với phương pháp HDHF Bản đồ normalize giữ lại đặc trưng màu cường độ màu ảnh input, giúp dễ dàng đo lường độ tương đồng ảnh phương pháp trích xuất đặc trưng tương phản sâu Deep Contrast Feature mơ hình Multiscale Deep CNN Feature [25] Đây phát thú vị, ngụ ý việc sử dụng mơ hình ResNet để trích xuất đặc trưng sơ đồ bật giúp trì thuộc tính đối tượng mà khơng cần sử dụng kết hợp trích xuất nhiều đặc trưng cấp thấp thủ công 4.5 Thảo luận kết Sự cải thiện rõ rệt độ xác mơ hình truy xuất sau tăng cường sở liệu cho tập ảnh huấn luyện cho thấy hiệu thực tế phép xử lý ảnh Các phép biến đổi kích cỡ ảnh, xoay ảnh, heat map để tăng cường màu tương phản, crop vùng chủ thể ảnh trước thực trích xuất đặc trưng sơ đồ bật 49 Mơ hình đạt hiệu đề ban đầu, sai khác ảnh kết output ảnh đầu vào input không lớn Ảnh input với tập ảnh kết output có khác biệt khơng trùng khớp 100% theo tỉ lệ 1:1 Điều chứng minh liệu huấn luyện training ban đầu liệu test không tồn hai tệp ảnh chép Với tiến việc kiểm tra thông tin to lớn, học sâu sử dụng cho tình mà bao gồm biện pháp thơng tin không giám sát Chúng kết thúc nghiên cứu cách đề xuất ResNet cơng cụ dự đốn khuyến nghị tốt cho nhiệm vụ phân loại dự đốn hình ảnh Tổn thất thấp, mơ hình tốt Sự mát tính đào tạo xác nhận giải thích mơ hình tốt làm cho hai Tổn thất khơng tính theo phần trăm độ xác mà tổng hợp lỗi thực cho ví dụ tập hợp liệu training testing 50 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN Luận văn nghiên cứu, tìm hiểu toán truy vấn nội dung ảnh dựa sơ đồ bật sử dụng phương pháp học sâu, xây dựng mơ hình giải cho tốn u cầu dựa thống kê hướng tiếp cận công bố qua nhiều báo, công trình khoa học năm gần Các kết mà luận văn đạt được, tương ứng với mục tiêu đề ban đầu sau: Một là, mơ hình truy vấn ảnh dựa sơ đồ bật dùng phương pháp học sâu mà luận văn đạt hiệu cao (accuracy 0,87 trở lên) sau tinh chỉnh liệu Mơ hình đo tương đồng sơ đồ bật ảnh đầu vào với sơ đồ bật ảnh đầu Mơ hình luận văn xây dựng đạt mục tiêu luận văn đề Hai là, luận văn góp phần hồn thiện sở liệu ảnh phục vụ huấn luyện nhận dạng cho 110 loài hoa phổ biến giới Việt Nam, với số lượng ảnh gốc trung bình cho loại hoa từ 50-100 ảnh Ba là, cài đặt chuyển tiếp mạng huấn luyện trước, ứng dụng vào tốn truy vấn nội dung hình ảnh Đồng thời xây dựng hệ thống truy xuất nội dung ảnh dựa sơ đồ bật dùng phương pháp học sâu Về ưu điểm phương pháp đề xuất, lĩnh vực mà đề tài thực có khả ứng dụng cao thực tế Ngoài truy xuất nội dung ảnh loại hoa, ứng dụng vào nhận dạng hình ảnh thời gian thực dùng cho robot hình ảnh y tế Bên cạnh đó, liệu thu thập từ lồi hoa có nước ta cịn q so với liệu Oxford hay Kaggle Bản thân người quê hương Việt Nam, ln mong muốn đóng góp phần cơng sức để góp phần quảng bá hình ảnh đất nước Việt Nam, nguyện tiếp tục nghiên cứu, thu thập bổ sung để liệu hoa, thực vật mà Việt Nam có 51 Bên cạnh ưu điểm, hệ thống mà luận văn xây dựng tồn điểm hạn chế chưa đưa tên lồi hoa chữ mà xác định tên nhóm số index Trong tương lai, nhận thấy số khả tiến hành để tiếp tục nghiên cứu sau: Hướng nghiên cứu thứ nhất, khả ứng dụng CBIR dựa sơ đồ bật sử dụng phương pháp học sâu để nhận dạng hình ảnh giới thực dùng cho Robot hình ảnh y tế chủ đề cần nghiên cứu Thứ hai, cần cải tiến bổ sung độ xác kết hợp với giảm chi phí tính tốn vấn đề mà đề xuất tương lai cần giải Thứ ba, thực nghiệm với liệu test thực tế cho kết tốt, nguyên nhân phạm vi số lượng loài hoa để thực nghiệm hạn chế 110 loại, số khiêm tốn so với số lượng thực tế Hệ thống truy xuất nội dung ảnh dựa sơ đồ bật cần nhiều cải thiện, đặc biệt khả mở rộng phạm vi loại hoa kích thước, chất lượng CSDL ảnh huấn luyện Trong tương lai, để cải thiện độ xác mơ hình truy xuất, tơi đề xuất cài đặt thử nghiệm đánh giá hệ thống đề xuất mơ hình ResNet với số lớp cao 52 TÀI LIỆU THAM KHẢO [1] https://courses.cs.washington.edu/courses/cse576/07sp/notes/CBIR_white.p df [Accessed 12 2019] [2] Anum Masood, Muhammad Alyas Shahid and Muhammad Sharif, "ContentBased Image Retrieval Features: A Survey," Int J Advanced Networking and Applications,, vol 10, no 01, pp 3741-3757, 2018 [3] "Image similarity measurement by Kullback-Leibler divergences between complex wavelet subband statistics for texture retrieval," IEEE International Conference on Image Processing, pp 12-15, 2008 [4] Facebook Engineering, "Facebook AI Similarity Search (FAISS)," [Online] Available: https://engineering.fb.com/2017/03/29/data-infrastructure/faiss-alibrary-for-efficient-similarity-search/ [Accessed 2020] [5] J Pan, E Sayrol, X Giro-i-Nieto, K McGuinness and a N E O’Connor, "Shallow and deep convolutional networks for saliency prediction," CVPR, p 598–606, 2016 [6] S Wei, L Lixin and L Jia, "Saliency Inside: Learning Attentive CNNs for CBIR," IEEE Transaction On Image Processing, vol 8, no 9, pp 4580-4593, 2019 [7] Laurent Itti, Christof Koch, and Ernst Niebur, "A model of saliency-based visual attention for rapid scene analysis," IEEE Institute of Electrical and Electronics Engineers, vol 20, pp 1254 - 1259, 1998 [8] Tie Liu, Jian Sun, Nan-Ning Zheng, Xiaoou Tang, Heung-Yeung Shum, "Learning to Detect A Salient Object," IEEE, 2007 [9] Radhakrishna Achanta, Francisco Estrada, Patricia Wils, and Sabine Susstrunk, "Salient Region Detection and Segmentation," EPFL, 2016 [10] Stas Goferman, Lihi Zelnik-Manor, Ayellet Tal, "Context-Aware Saliency Detection," IEEE Transactions on Pattern Analysis and Machine Intelligence, vol 34, no 10, pp 1915 - 1926, 2012 53 [11] Alex Krizhevsky, Ilya Sutskever, and Geoffrey E Hinton, "Imagenet Classification with Deep Convolutional Neural Networks," Advances in neural information processing systems, p 1097–1105, 2017 [12] Kevin Lin, Huei-Fang Yang, Jen-Hao Hsiao, and Chu-Song Chen, "Deep learning of binary hash codes for fast image retrieval," The IEEE Conference on Computer Vision and Pattern Recognition (CVPR) Workshops, 2015 [13] Christian Szegedy, Wei Liu, Yangqing Jia, Pierre Sermanet, Scott Reed, Dragomir Anguelov, Dumitru Erhan, Vincent Vanhoucke, and Andrew Rabinovich, "Going deeper with convolutions," IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp 1-9, 2015 [14] Kaiming He, Xiangyu Zhang, Shaoqing Ren, Jian Sun, "Deep Residual Learning for Image Recognition," IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2016 [15] Dmytro Mishkin, Nikolay Sergievskiy, and Jiri Matas, "Systematic evaluation of CNN advances on the imagenet," CoRR, 2016 [16] Ian J Goodfellow, Yoshua Bengio, and Aaron Courville, Deep learning Chapter 9, MIT Press, 2016 [17] [Online] Available: https://stats.stackexchange.com/questions/269893/2dconvolution-with-depth [Accessed 12 10 2020] [18] "Convolutional Neural Networks (CNNs / ConvNets)," [Online] Available: https://cs231n.github.io/convolutional-networks/ [Accessed 12 2019] [19] Yann LeCun, Yoshua Bengio, and Geoffrey Hinton, "Deep learning," Nature, vol 521, p 436–444, 2015 [20] Qingge Ji, Jie Huang, Wenjie He, Yankui Sun, "Optimized Deep Convolutional Neural Networks for Identification of Macular Diseases from Optical Coherence Tomography Images," Algorithms MDPI, pp 12-51, 2019 54 [21] P Dwivedi, "Understanding and Coding a ResNet in Keras," Toward Data Science, June 2019 https://towardsdatascience.com/understanding-andcoding-a-resnet-in-keras-446d7ff84d33 [Accessed 15 November 2019] [22] Ying Liu, Dengsheng Zhang, Guojun Lu, "Region-based image retrieval with high-level semantics using decision tree learning," Pattern Recognition, vol 41, p 2554 – 2570, 2008 [23] Papushoy, B A G and Alex, "Image Retrieval Based on Query by Saliency," Springer International Publishing AG, pp 171-209, 2017 [24] Manno-Kovacs and Andrea, "Content based image retrieval using salient orientation histograms," IEEE International Conference on Image Processing (ICIP), pp 2481-2484, 2016 [25] G Li and Y Yu, "Visual Saliency Detection Based on Multiscale Deep CNN Features" [26] "DeepFix: A Fully Convolutional Neural Network for predicting Human Eye Fixations," IEEE Transactions on Image Processing, pp 4446 - 4456, 2017 [27] S S S Kruthiventi, K Ayush and R V Babu, "DeepFix: A Fully Convolutional Neural Network for predicting Human Eye Fixations," IEEE Transactions on Image Processing PP(99), pp 1-11, 2015 [28] Y Fei, L Jia, S Wei, Z Qinjie, L Ting and Z Yao, "Two-stream Attentive CNNs for Image Retrieval," In Proceedings of MM’17, pp 1513-1521, 2017 [29] V T H Tuyet, N M Hien, P B Quoc, N T Son and N T Binh, "Adaptive Content-Based Medical Image Retrieval Based On Local Features Extraction In Shearlet Domain," EAI Endorsed Transactions on context-aware Systems and Applications, pp 15-21, 2018 [30] K He, X Zhang, S Ren and J Sun, "Deep Residual Learning for Image Recognition," IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp 770-778, 2016 [31] https://iq.opengenus.org/euclidean-distance/ [Accessed 10 2020] 55 [32] Maria-Elena Nilsback and Andrew Zisserman, "Flower Datasets," Visual Geometry Group, https://www.robots.ox.ac.uk/~vgg/data/flowers/ [Accessed 10 12 2019] [33] Alexander Mamaev, "Flower Kaggle Dataset," 2018 [Online] Available: https://www.kaggle.com/alxmamaev/flowers-recognition [Accessed 12 2020] [34] T Acharya and A K Ray, Image Processing Principle and Applications, Canada: Wiley Interscience, 2015 [35] "VGG16 – Convolutional Network for Classification and Detection," Neurohive, 20 12 2019 [Online] Available: https://neurohive.io/en/popularnetworks/vgg16/ [Accessed 20 12 2019] [36] W Ji, W Dayong, C H H Steven, W Pengcheng, Z Jianke, Z Yongdong and L Jintao, "A comprehensive study Deep learning for content-based image retrieval," Proceedings of the 22nd ACM International Conference on Multimedia, pp 157-166, November 3-7, 2014, Orlando ... DUNG ẢNH DỰA TRÊN SƠ ĐỒ NỔI BẬT DÙNG PHƯƠNG PHÁP HỌC SÂU 28 3.1 Mơ tả tốn truy xuất nội dung ảnh dựa sơ đồ bật 28 3.2 Truy xuất ảnh hoa dựa vào sơ đồ bật 28 3.2.1 Lưu đồ thuật... độ sâu tăng lên đáng kể 28 Chương TRUY XUẤT NỘI DUNG ẢNH DỰA TRÊN SƠ ĐỒ NỔI BẬT DÙNG PHƯƠNG PHÁP HỌC SÂU 3.1 Mơ tả tốn truy xuất nội dung ảnh dựa sơ đồ bật Bài tốn có đầu vào ảnh u cầu truy vấn. .. kiếm ảnh tương tự dựa nội dung, sử dụng sơ đồ bật phương pháp học sâu Thứ nhất, luận văn trả lời vấn đề phương pháp phát bật có hữu ích cho việc truy xuất hình ảnh liệu (cơ sở liệu hình ảnh bật