LỜI CAM ĐOAN Tôi xin cam đoan đề tài nghiên cứu luận văn cơng trình nghiên cứu dựa tài liệu, số liệu tơi tự tìm hiểu nghiên cứu Chính vậy, kết nghiên cứu đảm bảo trung thực khách quan Đồng thời, kết chƣa xuất nghiên cứu Các số liệu, kết nêu luận văn trung thực sai tơi hồn chịu trách nhiệm Tác giả luận văn lu an n va p ie gh tn to d oa nl w nf va an lu z at nh oi lm ul z m co l gm @ an Lu n va ac th I si LỜI CẢM ƠN Đề tài "Nghiên cứu giải thuật phân cụm phổ cho tra cứu ảnh dựa nội dung" nội dung chọn để nghiên cứu làm luận văn tốt nghiệp cao học sau hai năm theo học Viện Hàn lâm Khoa học Cơng nghệ Việt Nam Trong q trình làm hồn thiện luận văn tốt nghiệp nhận đƣợc nhiều giúp đỡ Đầu tiên xin gửi lời cảm ơn chân thành tới thầy giáo hƣớng dẫn Ngô Quốc Tạo Thầy ngƣời tận tình giúp đỡ, dẫn dắt, truyền đạt kiến thức nhƣ kinh nghiệm cho tơi, khơng q trình thực luận văn tốt nghiệp mà suốt thời gian học tập Viện Hàn lâm Khoa học Công nghệ Việt Nam lu an n va tn to Tiếp xin gửi lời cảm ơn đến quý thầy cô Viện Công nghệ thông tin, ngƣời giảng dạy suốt thời gian theo học Viện Hàn lâm Khoa học Công nghệ Việt Nam p ie gh Tôi xin gửi lời cám ơn đơn vị chun mơn, ban Lãnh đạo, phịng Đào tạo, phòng chức Học viện Khoa học Cơng nghệ để luận văn đƣợc hồn thành w d oa nl Sau muốn gửi lời cảm ơn đến gia đình, bạn bè, đàn anh đàn chị, bạn học khóa ITT20B01 ln động viên, giúp đỡ tơi q trình làm luận văn nf va an lu z at nh oi lm ul Trong q trình làm luận văn, tơi cố gắng để hoàn thành thật tốt đề tài khả Tuy nhiên điều kiện thời gian nhƣ kiến thức hạn chế, nên luận văn chắn cịn nhiều thiết sót Tơi thực mong nhận đƣợc góp ý thầy cô bạn Một lần nữa, xin chân thành cảm ơn! z gm @ co l Hà Nội, ngày tháng năm 2022 m Học viên thực an Lu n va ac th II si MỤC LỤC LỜI CAM ĐOAN i LỜI CẢM ƠN ii MỤC LỤC iii DANH MỤC CÁC BẢNG v DANH MỤC HÌNH VẼ vi MỞ ĐẦU viii CHƢƠNG TỔNG QUAN VỀ CÁC PHƢƠNG PHÁP TRA CỨU ẢNH 1.1 MỘT SỐ KHÁI NIỆM CƠ BẢN .1 lu 1.1.1 Xử lý ảnh 1.1.2 Hệ thống xử lý ảnh .2 an n va 1.1.3 Một số thuật ngữ xử lý ảnh .2 1.2 CÁC PHƢƠNG PHÁP TRA CỨU ẢNH Tra cứu ảnh dựa văn .5 1.2.2 Tra cứu ảnh dựa nội dung .6 1.2.3 Trích chọn đặc trƣng tra cứu ảnh .7 1.2.4 1.2.5 Phản hồi liên quan tra cứu ảnh 13 Một số độ đo khoảng cách 17 p ie gh tn to 1.2.1 oa nl w KIẾN TRÚC CỦA HỆ THỐNG TRA CỨU ẢNH 19 d 1.3 Các vấn đề nghiên cứu đƣợc quan tâm 20 1.3.2 Một số hệ thống tra cứu ảnh dựa nội dung 22 nf va an 1.4 lu 1.3.1 LĨNH VỰC ỨNG DỤNG CỦA TRA CỨU ẢNH 27 lm ul z at nh oi CHƢƠNG CÁC PHƢƠNG PHÁP TRA CỨU ẢNH DỰA TRÊN NỘI DUNG VÀ PHƢƠNG PHÁP PHẢN HỒI LIÊN QUAN 28 2.1 GIỚI THIỆU 28 z 2.1.1 Trích chọn đặc trƣng sử dụng phƣơng pháp gói (Wrapper methods) 28 @ l gm 2.1.2 Trích chọn đặc trƣng sử dụng phƣơng pháp lọc (Filter methods) 31 m co 2.1.3 Trích chọn đặc trƣng sử dụng phƣơng pháp nhúng (Embedded methods) 36 an Lu 2.1.4 So sánh phƣơng pháp Filter, Wrapper Embedded 37 2.2 PHƢƠNG PHÁP PHẢN HỒI LIÊN QUAN 38 n va ac th III si 2.2.1 Giới thiệu phản hồi liên quan 38 2.2.2 CBIR với phản hồi liên quan 40 2.3 TRA CỨU ẢNH DỰA TRÊN PHÂN CỤM ĐỒ THỊ 45 2.3.1 Phân cụm đồ thị thuật toán phân cụm phổ 45 2.3.2 Mã giả thuật toán Spectral Clustering 50 2.3.3 Các thuật toán phân cụm phổ 54 2.4 PHƢƠNG PHÁP TRA CỨU ẢNH SỬ DỤNG PHÂN CỤM PHỔ 55 2.4.1 Phát biểu toán 55 2.4.2 Phân tích xây dựng mơ hình 58 lu 2.5 THUẬT TOÁN PHÂN CỤM TRONG PHƢƠNG PHÁP TRA CỨU ẢNH 59 2.5.1 Ý tƣởng 59 an va 2.5.2 Thuật toán phân cụm tập ảnh phản hồi từ ngƣời dùng 60 n 2.5.3 Tìm ảnh đại diện cho cụm 66 to 2.5.5 Thuật toán tra cứu ảnh sử dụng phân cụm phổ phản hồi liên quan 67 p ie gh tn 2.5.4 Khoảng cách từ ảnh đến truy vấn đa điểm 66 nl w CHƢƠNG CHƢƠNG TRÌNH MƠ PHỎNG KỸ THUẬT PHÂN CỤM PHỔ VÀ ỨNG DỤNG ĐỂ TRA CỨU ẢNH DỰA TRÊN NỘI DUNG 69 d oa 3.1 CHƢƠNG TRÌNH MƠ PHỎNG KỸ THUẬT PHÂN CỤM PHỔ 69 3.1.1 Các bƣớc mô phân cụm phổ 69 lu nf va an 3.1.2 Công cụ liệu 69 3.1.3 Các bƣớc phân cụm với liệu blods 70 lm ul 3.1.4 Kết phân cụm liệu moons, circle aniso 75 z at nh oi 3.2 CHƢƠNG TRÌNH TRA CỨU ẢNH DỰA TRÊN NỘI DUNG SỬ DỤNG KỸ THUẬT PHÂN CỤM PHỔ 77 z 3.2.1 Mơ hình chƣơng trình tra cứu ảnh dựa nội dung sử dụng kỹ thuật phân cụm phổ 77 gm @ 3.2.2 Môi trƣờng kỹ thuật 78 co l 3.2.3 Bộ liệu ảnh 79 3.2.4 Thực nghiệm thảo luận 84 m KẾT LUẬN 91 an Lu TÀI LIỆU THAM KHẢO 92 n va ac th IV si DANH MỤC CÁC BẢNG Bảng Bảng so sánh phƣơng pháp Filter, Wrapper Embedded 37 Bảng Thông tin liệu moons, circle aniso 75 Bảng Chi tiết lớp số lƣợng mẫu liệu 81 Bảng 3 Danh sách lớp liệu Oxford 82 Bảng Kết truy vấn với 10 ngƣời hợp ảnh đầu vào Corel 87 Bảng Kết truy vấn với 06 ảnh đầu vào Oxford 89 lu an n va p ie gh tn to d oa nl w nf va an lu z at nh oi lm ul z m co l gm @ an Lu n va ac th V si DANH MỤC HÌNH VẼ lu Hình 1.1 Quá trình xử lý ảnh Hình 1.2 Các giai đoạn hệ thống xử lý ảnh Hình 1.3 Quan hệ vùng lân cận điểm ảnh Hình 1.4 Khơng gian màu RGB Hình 1.5 Không gian màu HSV 11 Hình 1.6 Thủ tục phản hồi liên quan 14 Hình 1.7 Phản hồi liên quan tìm kiếm ảnh, ngƣời dùng xem kết truy vấn ban đầu truy vấn bike 15 Hình 1.8 Phản hồi liên quan tìm kiếm ảnh, ngƣời dùng xem tập kết đƣợc hiệu chỉnh 15 Hình 1.9 Kiến trúc hệ thống tra cứu ảnh dựa nội dung 20 Hình 1.10 Hệ thống QBIC 22 Hình 1.11 Hệ thống VisualSeek 25 Hình 1.12 Hệ thống WebSeek 26 an n va p ie gh tn to Hình Sơ đồ khối phƣơng pháp Wrapper 30 Hình 2 Sơ đồ khối phƣơng pháp Filter 31 Hình Sơ đồ khối phƣơng pháp Embedded 36 Hình Kiến trúc hệ thống CBIR sử dụng RF 41 Hình Phân loại thuật tốn phản hồi liên quan 42 Hình 6(a) Dịch chuyển điểm truy vấn (b) Hình dạng lồi (đa điểm)(c) Hình dạng lõm (đa điểm) 58 Hình Cấu trúc phƣơng pháp SCRF 59 Hình Đồ thị biểu diễn sở liệu ảnh 63 d oa nl w an lu nf va Hình Minh họa phân bố điểm liệu 70 Hình Biểu đồ Heat Map ma trận Laplacian liệu blods 71 Hình 3 Biểu đồ giá trị riêng đồ thị Laplacian tập blods 72 Hình Biểu đồ 10 giá trị riêng đại diện đồ thị Laplacian liệu blods 72 Hình Độ lớn phần tử vector riêng đồ thị Laplacian liệu blods 73 Hình Phƣơng pháp elbow xác định số cụm tập blods 74 Hình Kết phân thành 03 cụm tập blods 74 Hình Kết phân cụm tập moons với số cụm 02 75 Hình Kết phân cụm tập circle với số cụm 02 76 Hình 10 Kết phân cụm tập aniso với số cụm 03 76 Hình 11 Mơ hình hệ thống tra cứu ảnh dựa nội dung 77 Hình 12 Quy trình tra cứu ảnh dựa phân cụm phổ 78 Hình 13 Kiến trúc mạng VGG16 79 Hình 14 Các thƣ mục chứa liệu lớp ảnh 80 z at nh oi lm ul z m co l gm @ an Lu n va ac th VI si Hình 15 Các lớp tƣơng ứng với giống loài liệu Oxford 83 Hình 16 Trang hệ thống CBIR dựa kỹ thuật phân cụm phổ 84 Hình 17 Thời gian cho trích xuất thuộc tính phân cụm 85 Hình 18 Thử nghiệm với ảnh truy vấn động vật 86 Hình 19 Thử nghiệm với ảnh truy vấn lâu đài 87 Hình 20 Thử nghiệm với ảnh truy vấn hoa 87 Hình 21 Truy vấn ảnh nhóm Chihuahua 88 Hình 22 Truy vấn ảnh lớp american_pit_bull_terrier 89 lu an n va p ie gh tn to d oa nl w nf va an lu z at nh oi lm ul z m co l gm @ an Lu n va ac th VII si MỞ ĐẦU Lý chọn đề tài Ngành khoa học máy tính ngày phát triển thời đại cơng nghệ 4.0 Chúng ta nhận phát triển nhanh chóng lĩnh vực khoa học máy tính, từ trí tuệ nhân tạo, chế tạo robot, liệu lớn, mỹ thuật đồ họa, công nghệ in ấn 3D, vân vân tất nhiên phân ngành đó, khơng thể thiếu đƣợc phân ngành xử lý ảnh lu an n va p ie gh tn to Sự phổ biến lan rộng nhanh chóng Internet nhƣ thiết bị điện tử công nghệ cao khiến cho hoạt động trao đổi, lƣu trữ tìm kiếm thơng tin trở thành hoạt động thƣờng nhật thiếu đƣợc đời sống đại Hình ảnh đƣợc xem dạng thông tin thƣờng gặp thƣờng đƣợc sử dụng, có tác động mạnh tới thị giác ngƣời Song song với phát triển khoa học cơng nghệ, nhu cầu sử dụng ảnh số ngƣời ngày tăng cao chắn khơng dừng lại Chúng ta nhận thấy diện ảnh số khắp nơi, từ sống bình thƣờng, ví dụ ảnh đƣợc đăng tải trang mạng, hình ảnh mà ngƣời chia sẻ với qua mạng xã hội, lĩnh vực chun mơn sâu, ví dụ nhƣ việc nhận dạng khuôn mặt, chữ viết, dấu vân tay công việc quản lý sở liệu dân cƣ an ninh điều tra Ngay ngành khoa học khác nhƣ viễn thám, vũ trụ, y sinh, thiết kế đồ họa, vân vân, cần đến thông tin ảnh số d oa nl w nf va an lu z at nh oi lm ul Ngành khoa học xử lý ảnh đời đáp ứng đƣợc nhu cầu sử dụng ảnh số giới đại Xử lý ảnh bao gồm nhiều phân ngành nhỏ, nhƣ nâng cao chất lƣợng hình ảnh, phân tích hình ảnh, phục hồi hình ảnh, nén định dạng ảnh, đốn nhận ảnh tất nhiên khơng thể khơng nhắc tới tra cứu ảnh z Tra cứu ảnh hay tìm kiếm hình ảnh, chuyên ngành phổ biến có tính ứng dụng cao ngành khoa học xử lý ảnh Chúng ta đặt nhiều câu hỏi, ví dụ nhƣ với lƣợng thông tin khổng lồ tảng lƣu trữ ví dụ nhƣ khơng gian internet có khơng liệu ảnh số, làm để ta tìm đƣợc hình ảnh theo nhƣ mong muốn ? Và nhƣ trƣờng hợp tìm thấy ảnh, làm cách biết đƣợc liệu liệu ảnh có với yêu cầu mà m co l gm @ an Lu n va ac th VIII si mong muốn hay không ? Rồi giả sử nhƣ tìm đƣợc hình ảnh nhƣ ý muốn, liệu có phƣơng án giúp cho việc tra cứu lần sau ngày nhanh chóng, hiệu tốn lần trƣớc khơng ? Nhận vấn đề thiết thực gần gũi với đời sống ngày, chọn làm lĩnh vực tra cứu ảnh cho luận văn cao học mình, với tên đề tài "Nghiên cứu giải thuật phân cụm phổ cho tra cứu ảnh dựa nội dung" Mục đích nghiên cứu lu Giống nhƣ mà tên đề tài nêu ra, mục đích nghiên cứu tơi tìm đƣợc phƣơng án tra cứu ảnh hiệu quả, tối ƣu ứng dụng đƣợc vào lĩnh vực thực tế an va n Nội dung nghiên cứu to p ie gh tn Nội dung đề tài nghiên cứu tìm hiểu, giới thiệu tổng quát phƣơng pháp tra cứu ảnh Trong đó, trọng tâm phƣơng pháp tra cứu ảnh có áp dụng giải thuật phân cụm phổ (spectral clustering) Đồng thời dựa sở phƣơng pháp tra cứu ảnh trên, tiến hành xây dựng chƣơng trình thử nghiệm cho phép đọc vào tập mô tả thẻ đƣợc dán nhãn theo yêu cầu ngƣời dùng, tìm kiếm hình ảnh theo chuẩn mơ tả liệu sẵn có Cơ sở khoa học tính thực tiễn đề tài Hoạt động tra cứu ảnh không đơn giản nhu cầu thiết yếu ngƣời mà nắm vai trò quan trọng nhiều ngành khoa học khác Ta kể tới vài ví dụ nhƣ sau Trong ngành y tế, thông qua việc sử dụng khám phá liệu hình ảnh 3D thể ngƣời, thƣờng đƣợc chụp qua máy chụp cắt lớp hay máy chụp cộng hƣởng, mà bác sĩ tiến hành cơng việc chẩn đốn bệnh hay tìm phƣơng thức điều trị bệnh phù hợp với tình trạng bệnh nhân Hay nhƣ lĩnh vực quân sự, ứng dụng tra cứu ảnh hỗ trợ việc nhận dạng máy bay hay thiết bị quân khác từ hình radar, xác định mục tiêu từ ảnh vệ tinh hay cung cấp đồ dẫn đƣờng cho tên lửa hành trình Có nhiều phƣơng pháp tra cứu ảnh đƣợc đề ra, nghiên cứu phát triển Trong đó, phƣơng pháp tra cứu ảnh dựa nội dung xem d oa nl w nf va an lu z at nh oi lm ul z m co l gm @ an Lu n va ac th IX si lu an n va p ie gh tn to phƣơng pháp tra cứu ảnh phổ biến Thông qua luận văn mình, tơi muốn tìm hiểu nghiên cứu phƣơng phát này, đồng thời tự phát triển hệ thống tra cứu ảnh dựa khám phá đƣợc Những đóng góp luận văn Trong luận văn mình, với chủ đề nghiên cứu "Áp dụng giải thuật phổ cho tra cứu ảnh dựa nội dung", tơi trình bày tìm hiểu khám phá đƣợc Bắt đầu từ khái niệm thuật ngữ xử lý ảnh tra cứu ảnh, sau phƣơng pháp tra cứu ảnh từ đơn giản phức tạp, đến kỹ thuật, thuật tốn đƣợc sử dụng để nâng cao độ xác kết tra cứu Ngoài luận văn tơi cịn đề cập đến phƣơng pháp phản hồi liên quan Đây không phƣơng pháp cải tiến hiệu suất tra cứu dựa phản hồi từ ngƣời dùng, mà cịn q trình tƣơng tác, xây dựng cầu nối để kết nối ngƣời dùng với cơng cụ tìm kiếm nhằm tạo kết có ý nghĩa Phản hồi liên quan khơng phƣơng pháp đƣợc ứng dụng công việc xử lý tra cứu ảnh, mà cịn đƣợc áp dụng cho mơn nghiên cứu khác, ví dụ nhƣ lĩnh vực truy hồi thông tin hay khai phá liệu Phƣơng pháp giúp mơ hình hóa nhận thức ngƣời theo cách tốt Trong chƣơng cuối luận văn, xây dựng đƣợc chƣơng trình mơ phỏng, sử dụng kỹ thuật phân cụm phổ để ứng dụng tra cứu hình ảnh theo nội dung Thơng qua kết thực nghiệm, đƣa đƣợc kết luận thuật tốn phân cụm phổ mà sử dụng đem lại kết có độ xác cao, qua ứng dụng vào hệ thống tra cứu ảnh dựa nội dung tƣơng lai d oa nl w nf va an lu z at nh oi lm ul z m co l gm @ an Lu n va ac th X si 100 Quỹ đạo wl_lepoad 100 Báo obj_ship 100 Thuyền wl_lion 100 Sƣ tử obj_steamen g 100 Xe công nông wl_lizard 100 Con thằn lằn obj_train 100 Tàu hỏa wl_nests 100 Chim yến pet_cat 100 Mèo wl_owls 100 Con chim cú mèo pet_dog 150 Chó wl_porp 100 Cá heo pl_flower 400 Hoa wl_primates 100 Loại linh trƣởng pl_foliage 100 Lá wl_roho 100 Con hà mã pl_mashroo m 100 Nấm wl_tiger 100 Con hổ Sc_ 100 Hang động wl_wolf 100 Chó sói sc_autumn 103 Mùa thu woman 550 Phụ nữ lu obj_orbits an n va Bộ liệu Corel có đặc điểm số lớp nhiều, với 80 lớp tƣơng ứng với 80 tn to chủ đề ảnh Có khác rõ ràng chủ đề nội dung ảnh lớp ie gh 3.2.3.2 Bộ liệu Oxford-IIIT Pet p Bộ liệu Oxford IIIT-Pet [41] liệu loại thú nuôi nl w nhà, gồm 37 lớp tƣơng ứng với 37 giống lồi (Hình 3.15), chứa nhiều giống d oa loài Mỗi lớp bao gồm 200 ảnh với tổng dung lƣợng 755 MB an lu Bảng 3 Danh sách lớp liệu Oxford Tên lớp Tên lớp STT Abyssinian American_bulldog American_pit_bill_terrrier Miniature_pinscher Baser_hound newfoundland Beagle 10 Persian 11 Bengal 12 Pomeraian 13 Birman 14 Pug 15 Bombay 16 17 Boxer 18 Russian_Blue 19 British_Shorthair 20 Saint_bernard 21 Chihuahua 22 Samoyed 23 Egyptian_Mau 24 Scottish_terrier Leonberger Maine_Coon z at nh oi lm ul z nf va STT gm @ m co l an Lu n va ac th 82 Ragdoll si 25 English_coket_spaniel 26 Shiba_inu 27 English_setter 28 Siamese 29 German_shorthaired 30 Sphynx 31 Great_pyrenees 32 Staffordshine_bull_terrier 33 Havanese 34 Wheaten_terrier 35 Japanese_chin 36 Yorkshine_terrier 37 keshound lu an n va p ie gh tn to d oa nl w nf va an lu z at nh oi lm ul z gm @ Hình 15 Các lớp tương ứng với giống loài liệu Oxford l Nhìn chung, liệu Oxford chứa ảnh có độ tƣơng đồng cao co hai lớp Ví dụ, lồi đƣợc chia thành nhiều lớp khác m tƣơng ứng với loài nhƣ pug, chihuahua, chiba_inu hay belgal an Lu n va ac th 83 si 3.2.4 Thực nghiệm thảo luận Chƣơng trình tra cứu ảnh dựa nội dung đƣợc xây dựng hoạt động nên tảng Web, triển khai localhost nhƣ sau: Truy cập chƣơng trình cứu truy cập qua localhost, với giao diện đƣợc thể Hình 3.16: http://localhost/ lu an n va Hình 16 Trang hệ thống CBIR dựa kỹ thuật phân cụm phổ tn to Sau hồn thành trích xuất đặc trƣng cho liệu ảnh, chƣơng trình ie gh hoạt động nhƣ sau: p - Lựa chọn ảnh cần tra cứu (gọi ảnh truy vấn), ảnh nl w liệu trƣớc ảnh bất kỳ; oa - Hệ thống CBIR tra cứu sở liệu đƣa ảnh có độ tƣơng d đồng cao với ảnh truy vấn; an lu , đƣợc tính cơng thức sau: nf va - Hệ thống tính tốn độ xác lm ul @ : Là số ảnh đƣợc chọn mà sai với ảnh truy vấn; m co 3.2.4.2 Trích xuất thuộc tính phân cụm l gm - Là số ảnh đƣợc chọn mà với ảnh truy vấn; z - z at nh oi Trong đó: (3.2) Thuật tốn thực q trình tích xuất thuộc tính phân cụm liệu an Lu ảnh trƣớc cho phép truy vấn Q trình trích xuất thuộc tính diễn tƣơng tự n va ac th 84 si hai liệu Quá trình phân cụm sử dụng thuật toán k-means, tƣơng ứng 80 cụm với liệu Corel 37 cụm với liệu Oxford Thời gian dành cho trích xuất thuộc tính phân cụm đƣợc thể Hình 3.7 Các ảnh đƣợc trích xuất mơi trƣờng Windows 11, cấu hình chip Intel Core i5 8250U, RAM 16GB Thời gian trích xuất thuộc tính phân cụm 3310.6 3500 3000 lu Thời gian (s) 2500 2230.4 2000 1500 an n va 1000 754.4 500 280.6 to Oxford-IIIT Pet 3310.6 2230.4 754.4 280.6 gh Corel DB Trích xuất thuộc tính ie tn p Phân cụm w Bộ liệu Phân cụm d oa nl Trích xuất thuộc tính an lu Hình 17 Thời gian cho trích xuất thuộc tính phân cụm nf va hai liệu Corel Oxford lm ul Nhận xét rằng, việc trích xuất liệu chiếm nhiều thời gian tồn q trình Tuy nhiên, việc trích xuất đƣợc đánh giá nhanh sử dụng z at nh oi chipset dành cho thiết bị laptop di động Thời gian trích xuất thuộc tính liệu Oxford so với Corel, lần lƣợt 2230.4s 3310.6s, điều có z thể đƣợc giải thích số lƣợng ảnh @ l gm Đối với thời gian phân cụm, liệu Corel có thời gian phân cụm 754.4s, chiếm 22.8% so với thời gian trích xuất, cịn liệu Oxford co m 280.6s, chiếm 12.6% so với thời gian trích xuất Điều phần giải thích an Lu số cụm liệu Corel 80, nhiều nhiều so với số cụm Oxford 37 n va ac th 85 si 3.2.4.3 Truy vấn liệu Corel Lần lƣợt thử nghiệm với ảnh truy vấn liệu Corel, ta có kết minh họa nhƣ sau: lu an n va p ie gh tn to d oa nl w nf va an lu lm ul Hình 18 Thử nghiệm với ảnh truy vấn động vật z at nh oi z m co l gm @ an Lu n va ac th 86 si lu an n va Hình 19 Thử nghiệm với ảnh truy vấn lâu đài p ie gh tn to d oa nl w nf va an lu z at nh oi lm ul z Hình 20 Thử nghiệm với ảnh truy vấn hoa @ gm Thử nghiệm với số ảnh truy vấn khác, thu đƣợc kết Bảng 3.4: truy Độ xác Ảnh truy vấn STT Lâu đài 0.97 Bàn ghế Ly rƣợu 1.0 Con cá 1.0 0.98 n ac th 87 va Độ xác an Lu Ảnh vấn m STT co l Bảng Kết truy vấn với 10 người hợp ảnh đầu vào Corel si Thức ăn 1.0 Con chim Con chó 1.0 Ngƣời nữ Bơng hoa 1.0 10 Con bƣớm 0.85 phụ 1.0 0.98 Kết thử nghiệm cho thấy, với hầu hết trƣờng hợp ảnh truy vấn đầu vào, hệ thống CBIR tìm đƣợc ảnh sở liệu với độ xác 1.00, bao gồm: Ly rƣợu, thức ăn, chó, hoa, bàn ghế ngƣời phụ nữ Ảnh truy vấn có độ xác thấp Con chim đạt 0.84 3.2.4.4 Đánh giá liệu Oxford-IIIT Pet Truy vấn với số ảnh đại diện cho lớp, ta đƣợc thể nhƣ sau: lu an n va p ie gh tn to d oa nl w nf va an lu z at nh oi lm ul z co l gm @ m Hình 21 Truy vấn ảnh nhóm Chihuahua an Lu n va ac th 88 si lu an n va p ie gh tn to d oa nl w nf va an lu lm ul Hình 22 Truy vấn ảnh lớp american_pit_bull_terrier Oxford, tƣơng ứng với lớp z at nh oi Bảng 3.5 tóm tắt kết truy vấn với 06 ảnh đầu vào liệu z Bảng Kết truy vấn với 06 ảnh đầu vào Oxford @ Ảnh truy vấn Độ xác STT american_pit_bull_terrier 0.75 chihuahua 0.93 persian 0.93 Ảnh truy vấn Độ xác shiba_inu 1.0 havanese co 1.0 basset_hound 0.84 m l gm STT an Lu Kết thử nghiệm số trƣờng hợp Oxford cho thấy, hệ thống ac th 89 n va đạt đƣợc khả phân loại xác cao với số lớp nhƣ shiba_inu si hay havanese, với 1.0 Tuy nhiên, có số nhóm có độ xác thấp nhƣ american_pit_bull_terrier với độ xác 0.75 hay basset_hound 0.84 Nhìn chung, lớp khác liệu Oxford có tƣơng đồng đáng kể, điều phần ảnh hƣởng tới khả tra cứu hệ thống Kết luận, hệ thống tra cứu ảnh dựa phân cụm phổ trình bày cho phép truy vấn ảnh với độ xác cao tốc độ nhanh Đồng thời, việc triển khai Web giúp cho hệ thống dễ dàng phân phối truy cập số đơng ngƣời dùng mà yêu cầu thêm cài đặt phức tạp Kết luận Chƣơng 3: Kết Chƣơng gồm hai phần, đó, phần thứ chƣơng lu trình mơ thuật toán phân cụm phổ, phần thứ hai chƣơng trình ứng dụng an kỹ thuật phân cụm phổ để tra cứu ảnh dựa nội dung va n Ở phần thứ nhất, thuật toán phân cụm phổ đƣợc minh họa sử dụng ngôn to gh tn ngữ Python, chạy mơi trƣờng Colab, sử dụng thuật tốn K-means để phân ie cụm Bộ liệu đƣợc thử nghiệm gồm blods, moons, circle aniso Kết p cho thấy thuật toán hoạt động hiệu cụm đƣợc phân loại rõ ràng, oa nl w phần tử thuộc cụm có tính chất tƣơng đồng d Ở phần thứ hai, chƣơng trình ứng dụng kỹ thuật phân cụm phổ để phân loại an lu ảnh dựa nội dung, hoạt động nên Web Chƣơng trình cho phép lựa chọn nf va ảnh truy vấn đƣa kết ảnh có độ tƣơng đồng cao với lm ul ảnh truy vấn Thuật toán đƣợc thử nghiệm hai liệu Corel Database Oxford-IIIT Pet Dataset Kết thử nghiệm liệu Corel cho thấy, z at nh oi thuật toán phân cụm phổ có độ xác cao, đạt từ 0.84 đến 1.00 truy vấn thử nghiệm Trên liệu Oxford, độ xác đạt đƣợc từ 0.75 đến z 0.93 Nhìn chung, độ xác phụ thuộc vào yếu tố nhƣ: Ảnh truy @ gm vấn, số lƣợng cụm mức độ tƣơng đồng cụm liệu l Các kết đánh giá thể khả quan hoàn toàn đƣợc ứng dụng m co vào hệ thống tra cứu ảnh dựa nội dung tƣơng lai an Lu n va ac th 90 si lu an n va p ie gh tn to KẾT LUẬN Phƣơng pháp tra cứu ảnh dựa nội dung phƣơng phá tra cứu ảnh phổ biến Một ƣu điểm phƣơng pháp tra cứu này, khả tra cứu tự động thay cách tiếp cận dựa từ khóa truyền thống nhƣ phƣơng pháp tra cứu ảnh dựa văn Đã có nhiều đề tài nghiên cứu xung quanh việc tra cứu ảnh dựa nội dung, với nhiều kỹ thuật tiên tiến nhƣ thuật toán đƣợc áp dụng luận văn cá nhân học viên số Thơng qua luận văn mình, học viên thực đƣợc việc nhƣ sau: Thứ nhất, tìm hiểu, nghiên cứu trình bày đƣợc phƣơng pháp tra cứu ảnh phổ biến Bao gồm khái niệm, định nghĩa xử lý ảnh nói chung tra cứu ảnh nói riêng, kiến trúc thành phần hệ thống tra cứu ảnh, chức hệ thống tra cứu đồng thời trình bày số hệ thống tra cứu ảnh dựa nội dung có Thứ hai, tìm hiểu, nghiên cứu trình bày đƣợc số kỹ thuật hiệu để áp dụng vào hệ thống tra cứu ảnh dựa nội dung, ví dụ nhƣ độ đo khoảng cách, cách cách trích chọn đặc trƣng nhƣ gói, lọc, nhúng, phƣơng pháp phản hồi liên quan kỹ thuật áp dụng Thứ ba, nghiên cứu, phân tích tốn tra cứu ảnh dựa phân cụm đồ thị thuật tốn phân cụm phổ (ví nhƣ nhƣ K-means) Xây dựng đƣợc chƣơng trình mơ kỹ thuật cụm phổ áp dụng để tra cứu ảnh dựa nội dung tập liệu sẵn có Thơng qua thực nghiệm thấy đƣợc thuật toán đem lại độ xác cao, áp dụng vào hệ thống tra cứu ảnh dựa nội dung tƣơng lai Ngồi học viên có tham gia vào nhóm nghiên cứu thầy hƣớng dẫn có bào đƣợc báo cáo tạo Hội Thảo Quốc Gia lần thứ XXV - VNICT 2022, với tên "Nâng cao hiệu tra cứu ảnh sử dụng phân hoạch đồ thị." Do khả hạn chế nhƣ thân chƣa có nhiều kinh nghiệm, luận văn chắn cịn điều cịn thiếu sót cần cải thiện Trong tƣơng lai, học viên hy vọng phát triển đƣợc nghiên cứu mình, nhƣ thử nghiệm chƣơng trình tập liệu lớn phức tạp hơn, hay nhƣ thử sử dụng số độ đo khoảng cách khác d oa nl w nf va an lu z at nh oi lm ul z m co l gm @ an Lu n va ac th 91 si TÀI LIỆU THAM KHẢO I Tài liệu tiếng Việt [1] PGS TS Đỗ Năng Tồn, Giáo trình Xử lý ảnh [2] PGS TS Nguyễn Quang Hoan, Giáo trình Xử lý ảnh [3] TS Đặng Thành Trung, Giáo trình Xử lý ảnh [33] Đ T Thuý Quỳnh, N H Quỳnh, P V Cảnh, and N Q Tạo, “Một Phƣơng Pháp Tra Cứu Ảnh Hiệu Quả Sử Dụng Phân Cụm Phổ Trong Phản Hồi Liên Quan”, tháng năm 2017, DOI:10.15625/vap.2017.00071, Hội thảo: NGHIÊN CỨU CƠ BẢN VÀ ỨNG DỤNG CÔNG NGHỆ THÔNG TIN lu an [34] Nguyễn Thị Hƣờng, 2020, Luận văn "Nghiên cứu phương pháp tra cứu ảnh n va dựa phương pháp phân cụm đồ thị", đại học Thái Nguyên to gh tn II Tài liệu tiếng Anh p ie [4] Mohammed Elmogy, Hazem M El – Bakry, January 2015, Text-based, Content-based, and Semantic-based Image Retrievals: A Survey, International nl w Journal of Computer and Information Technology (ISSN: 2279 – 0764), d oa (Volume 04 – Issue 01) lu an [5] Dr T Santha - Principal Dr GRD College of Science, M Abhayadev - PhD nf va Research Scholar Dr GRD College of Science, 27th March 2015, Proceedings of z at nh oi Applications lm ul the UGC Sponsored National Conference on Advanced Networking and [6] Digital Image Processing, 2nd ed www.imageprocessingbook.com © 2002 z R C Gonzalez & R E Woods Chapter Color Image Processing Chapter @ l gm Color Image [7] Linh Viet Tran, 2003, Efficient Image Retrieval with Statistical Color co m Descriptors, Linkăoping Studies in Science and Technology Dissertation No an Lu 810 n ac th 92 va [9] Asst Lec Wasseem Nahy Ibrahem, Image Processing Lecture si [11] Taiki Aoyama, Akira Fukumoto, Kenjiro Shigita, Kenjiro Shigita, Bile pigment in small-bowel water content may reflect bowel habits: a retrospective analysis of a capsule endoscopy imaging series [14] Kranti Burman1, Rahul Gedam2, 2013, Histogram Based Color Image Authentication By Digital Image Watermark Technique, International Journal of Engineering Research and Applications (IJERA) ISSN: 2248-9622, (Vol 3) [15] Fuhui Long, Hongjiang Zhang, David Dagan Feng Feng (The University of Sydney), Fundamentals of Content-Based Image Retrieval [16] Christopher D Manning, Prabhakar Raghavan, Hinrich Schütze, An lu Introduction to Information Retrieval, Online edition (c) 2009 Cambridge UP an n va [17] Khadidja BELATTAR, Sihem MOSTEFAI, 2013, 5th Conference: tn to Computer Science and Information Technology (CSIT), CBIR using Relevance Feedback: Comparative Analysis and Major Challenges ie gh p [18] Nehal M Varma, Prof Anamika Choudhary, Evaluation Of Distance Measures In Content Based Image Retrieval, 2019 3rd International conference nl w d oa on Electronics, Communication and Aerospace Technology (ICECA) an lu [19] John Eakins, Margaret Graham (University of Northumbria at Newcastle), nf va Content-based Image Retrieval lm ul [20] Dr Fuhui Long, Dr Hongjiang Zhang and Prof David Dagan Feng, 2003, FUNDAMENTALS OF CONTENT-BASED IMAGE RETRIEVAL z at nh oi [21] TS Lê Thị Kim Nga (Chủ biên), PGS TS Đỗ Năng Toàn (Đồng chủ biên), ThS Phạm Trần Thiện, ThS Phùng Văn Minh, ThS Nguyễn Thành Đạt, Xử lý z gm @ ảnh số ứng dụng, nhà xuất Khoa Học Kỹ Thuật m co Perspectives on Content-Based Multimedia Systems l [22] Jian Kang Wu, Mohan S Kankanhalli, Joo-Hwee Lim, Dezhong Hong, an Lu n va ac th 93 si [23] W Niblack R Barber, W Equitz, M Flickner, E Glasman, D Petkovic, P Yanker, C Faloutsos, G Taubin, The QBIC Project: Querying Images by Content, Using Color, Texture, and Shape [24] Distributed Multimedia Databases: Techniques and Applications edited by Timothy K Shih [25] John R Smith, Shih Fu Chang, An image and video search engine for the world-wide web [26] Rabia Musheer Aziz, C.K Verma, Namita Srivastava, 2017, Dimension reduction methods for microarray data: a review lu an n va [27] Nicholas Pudjihartono, Tayaza Fadason, Andreas W Kempa-Liehr, Justin tn to M O'Sullivan, 2022, A Review of Feature Selection Methods for Machine Learning-Based Disease Risk Prediction ie gh p [28] Yap Bee Wah, Nurain Ibrahim, Hamzah Abdul Hamid, Shuzlina Abdul- nl w Rahman, 2018, Simon Fong, Feature Selection Methods: Case of Filter and d oa Wrapper Approaches for Maximising Classification Accuracy lu nf va an [29] Multivariate Analysis in Management, Engineering and the Sciences edited by Leandro Valim de Freitas and Ana Paula Barbosa Rodrigues de Freitas lm ul [30] Hà Thị Minh Phƣơng (Trƣờng ĐH Công nghệ Thông tin Truyền thông z at nh oi Việt-Hàn), Phan Thị Quỳnh Hƣơng (Đại học Đà Nẵng), 2020, Nghiên cứu kỹ thuật lựa chọn đặc trƣng tập liệu z Image Retrieval: Theory and Applications co l gm @ [31] Ricardo da Silva Torres, Alexandre Xavier Falcão, 2006, Content-Based m [32] Khadidja BELATTAR, Sihem MOSTEFAI, CBIR using Relevance an Lu Feedback: Comparative Analysis and Major Challenges, 2013 5th International Conference on Computer Science and Information Technology (CSIT) n va ac th 94 si [35] P R Arantes, M D Polêto, C Pedebos, and R Ligabue-Braun, “Making it Rain: Cloud-Based Molecular Simulations for Everyone,” J Chem Inf Model., vol 61, no 10, pp 4852–4856, 2021, doi: 10.1021/acs.jcim.1c00998 [36] E Bisong, “Introduction to Scikit-learn,” Build Mach Learn Deep Learn Model Google Cloud Platf., pp 215–229, 2019, doi: 10.1007/978-1-4842-44708_18 [37] M Kumagai, K Komatsu, M Sato, and H Kobayashi, “Ising-Based Combinatorial Clustering Using the Kernel Method,” Proc - 2021 IEEE 14th Int Symp Embed Multicore/Many-Core Syst MCSoC 2021, pp 197–203, lu 2021, doi: 10.1109/MCSoC51149.2021.00037 an n va [38] M Grinberg, “Flask Web Development: Developing Web Applications gh tn to with Python,” p 258, 2014 p ie [39] H Qassim, A Verma, and D Feinzimer, “Compressed residual-VGG16 w CNN model for big data places image recognition,” 2018 IEEE 8th Annu oa nl Comput Commun Work Conf CCWC 2018, vol 2018-Janua, pp 169–175, d 2018, doi: 10.1109/CCWC.2018.8301729 an lu nf va [40] D Tao, “The corel database for content based image retrieval,” 2012, [Online] Available: https://sites.google.com/site/dctresearch/Home/content- z at nh oi lm ul %5Cnbased-image-retrieval [41] C V Parkhi, O M., Vedaldi, A., Zisserman, A., & Jawahar, “Cats and dogs,” in 2012 IEEE conference on computer vision and pattern recognition, z gm @ 2012, pp 3498–3505 co l III Trang web m [8] https://docs.microsoft.com/en-us/windows/win32/wcs/color-spaces an Lu n va ac th 95 si [10] https://www.techopedia.com/definition/477/cie-colormodel#:~:text=The%20CIE%20color%20model%20is%20a%20mapping%20sy stem%20that%20uses,a%20human%20eye%20can%20perceive [12] https://www.lifewire.com/what-is-hsv-in-design-1078068 [13] https://www.dynamsoft.com/blog/insights/image-processing/imageprocessing-101-color-models/ [42] https://viblo.asia/newest lu an n va p ie gh tn to d oa nl w nf va an lu z at nh oi lm ul z m co l gm @ an Lu n va ac th 96 si