TÌM KIẾM ẢNH dựa TRÊN HÌNH PHÁC họa

ĐẠI HỌC QUỐC GIA THÀNH PHỐ HỒ CHÍ MINH ĐẠI HỌC CƠNG NGHỆ THƠNG TIN KHOA KHOA HỌC MÁY TÍNH ĐẶNG BẢO ÂN TÌM KIẾM ẢNH DỰA TRÊN HÌNH PHÁC HỌA LUẬN VĂN THẠC SĨ NGÀNH KHOA HỌC MÁY TÍNH MÃ SỐ: 60.48.01.01 GIẢNG VIÊN HƯỚNG DẪN: TS NGÔ ĐỨC THÀNH TP HỒ CHÍ MINH, 2018 LỜI CẢM ƠN Tơi xin gửi lời cảm ơn chân thành đến TS Ngô Đức Thành, người hướng dẫn trực tiếp giúp đỡ tận tình để tơi hồn thành luận văn Xin cảm ơn ban Giám Hiệu, phòng Đào Tạo Sau Đại Học, khoa Khoa Học Máy Tính, phòng thí nghiệm Truyền Thơng Đa Phương Tiện trường Đại học Công Nghệ Thông Tin, Đại học Quốc gia Thành phố Hồ Chí Minh tạo điều kiện thuận lợi để học tập nghiên cứu suốt thời gian qua Tôi xin cảm ơn tác giả báo, dataset liệt kê phần tài liệu tham khảo Những cơng trình q tác giả tiền đề cho việc thực luận văn thạc sĩ TP Hồ Chí Minh, tháng 01 năm 2018 Đặng Bảo Ân LỜI CAM ĐOAN Tôi xin cam đoan cơng trình nghiên cứu riêng Các số liệu, kết nêu luận văn trung thực chưa công bố cơng trình khác, ngoại trừ tư liệu trích dẫn ghi mục tài liệu tham khảo Tác giả luận văn Đặng Bảo Ân TÓM TẮT Cùng với phát triển mạnh mẽ Internet thiết bị chụp ảnh số, số lượng hình ảnh video Internet tăng trưởng cách nhanh chóng Từ đó, đặt yêu cầu cần phải có phương pháp hữu hiệu để tìm kiếm ảnh thời gian ngắn xác Hầu hết, hệ thống tìm kiếm ảnh yêu cầu đầu vào ảnh mẫu đối tượng cần tìm (search by example) Tuy nhiên, khơng phải lúc người dùng có ảnh mẫu để thực tìm kiếm Thay vào đó, tìm kiếm đối tượng dựa hình phác họa (sketch) đối tượng muốn tìm thuận tiện cho người dùng Bên cạnh đó, phổ biến thiết bị điện thoại thông minh máy tính bảng với hình cảm ứng giúp cho người dùng thực việc phác họa hình ảnh cách đơn giản tiện lợi Chính điều kể động lực để học viên thực luận văn Luận văn nghiên cứu phương pháp tìm kiếm ảnh dựa hình phác họa (Sketch Based Image Retrieval - SBIR) tiên tiến nay, phương pháp tìm kiếm ảnh dựa hình phác họa sử dụng đặc trưng cục dày đặc (Sketch Retrieval via local Dense Stroke feature - SRDS) đưa đánh giá để tạo tiền đề cho việc cải tiến toán SBIR nghiên cứu sau Dữ liệu đầu vào phương pháp hình phác họa đối tượng muốn tìm Đầu ảnh phác họa xếp hạng theo mức độ giống với hình phác họa đầu vào Phương pháp SRDS thực lấy mẫu đặc trưng dày đặc nét vẽ kết hợp tăng cường thông tin gradient cục Codebook sử dụng mơ hình phân cấp giúp việc tìm kiếm nhanh Kết phương pháp kiểm chứng tập liệu chuẩn TU Berlin sketch [1] cho độ xác tốt so với phương pháp tiên tiến (phương pháp SPM [2]) NHỮNG ĐĨNG GĨP Luận văn có số đóng góp sau: • Hệ thống lại kiến thức sở tốn tìm kiếm ảnh dựa hình phác họa • Khảo sát đánh giá đặc trưng thị giác, làm tiền đề tham khảo cho nghiên cứu sau lĩnh vực tìm kiếm ảnh dựa hình phác họa • Hiện thực phương pháp tìm kiếm ảnh dựa hình phác họa sử dụng đặc trưng cục dày đặc • Xây dựng ứng dụng minh họa Mục lục Lời cảm ơn iii Lời cam đoan iv Tóm tắt v Đóng góp luận văn vii Mục lục viii Danh sách hình vẽ xi Danh sách bảng xiv Danh sách từ viết tắt xv MỞ ĐẦU 1.1 Đặt vấn đề 1.2 Thách thức, mục tiêu phạm vi 1.2.1 Thách thức 1.2.2 Mục tiêu 1.2.3 Phạm vi Cấu trúc luận văn 1.3 CƠ SỞ LÝ THUYẾT 10 viii MỤC LỤC 2.1 Giới thiệu toán 10 2.2 Rút trích đặc trưng 12 2.2.1 Xác định đặc trưng 12 2.2.2 Biểu diễn đặc trưng 13 2.2.2.1 Đặc trưng SIFT 15 2.2.2.2 Đặc trưng GLOH 16 2.2.2.3 Đặc trưng HOG 17 2.2.2.4 Đặc trưng SURF 18 So khớp đặc trưng 19 2.3.1 Homography 19 2.3.2 Túi từ 20 Một số nghiên cứu liên quan 20 2.3 2.4 TÌM KIẾM ẢNH DỰA TRÊN HÌNH PHÁC HỌA 24 3.1 Rút trích đặc trưng 26 3.1.1 Xác định điểm lấy mẫu 26 3.1.2 Biểu diễn đặc trưng 28 3.1.2.1 Mơ hình BoW 28 3.1.2.2 Đặc trưng PHOG 29 Xây dựng từ vựng 33 3.2.1 Phương pháp 33 3.2.2 Đánh trọng số 34 Biểu diễn hình phác họa đánh mục 35 3.3.1 Biểu diễn hình phác họa 35 3.3.2 Đánh mục 35 Truy vấn xếp hạng kết 36 3.4.1 Truy vấn 36 3.4.2 Xếp hạng kết 37 3.2 3.3 3.4 ix MỤC LỤC THỰC NGHIỆM VÀ ĐÁNH GIÁ 38 4.1 Thực nghiệm 38 4.1.1 Mục đich thực nghiệm 38 4.1.2 Tập liệu chuẩn 39 4.1.3 Độ đo 39 4.1.4 Thực nghiệm với phương pháp SPM 40 4.1.4.1 Thay đổi số tầng SPM 41 4.1.4.2 Thay đổi kích thước codebook 41 4.1.5 Thực nghiệm với phương pháp SRDS 43 4.1.6 Tính Precision Recall 44 Đánh giá 45 4.2.1 Kết thực nghiệm 45 4.2.2 Đánh giá 48 Ứng dụng minh họa 49 4.3.1 Môi trường cài đặt 49 4.3.2 Kiến trúc hệ thống 49 4.3.3 Giới thiệu ứng dụng 51 4.2 4.3 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 54 5.1 Kết luận 54 5.2 Hướng phát triển 55 Tài liệu tham khảo 56 Phụ lục đề cương xét duyệt 62 x Danh sách hình vẽ 1.1 Thống kê truy cập Internet phút 1.2 Tìm kiếm ảnh dựa từ khóa Google Image 1.3 Tìm kiếm ảnh dựa nội dung 1.4 Tìm kiếm ảnh dựa nội dung 1.5 Tìm kiếm logo có chứa chữ E giống với ảnh phác họa 1.6 Một số ảnh phác họa tập liệu TU Berlin sketch, ảnh thường chứa thơng tin kết cấu 1.7 Sự đa dạng hình phác họa táo [3] 1.8 Sự giống hình phác họa táo hình phác họa cam [3] 1.9 Một số ảnh phác họa tập liệu TU Berlin sketch 2.1 Hình phác họa ghế 10 2.2 Minh họa đầu vào đầu phương pháp tìm kiếm ảnh dựa hình phác họa 11 2.3 Mơ hình chung phương pháp SBIR 11 2.4 Phương pháp FAST Corner Dectection 12 2.5 Mơ hình biểu đồ sử dụng đặc trưng toàn cục [19] 13 2.6 Mơ hình túi đặc trưng sử dụng đặc trưng cục 14 2.7 Mô tả đặc trưng SIFT điểm hấp dẫn 15 2.8 Mô tả đặc trưng GLOH điểm hấp dẫn 16 xi TÀI LIỆU THAM KHẢO [8] K Mikolajczyk, T Tuytelaars, C Schmid, A Zisserman, J Matas, F Schaffalitzky, T Kadir, and L V Gool, “A comparison of affline region detectors,” International journal of computer vision, vol 65, no 1-2, pp 43–72, 2005 12, 16 [9] S Smith and M B SUSAN, “A new approach to low level image processing,” International journal of computer vision, vol 23, no 1, pp 45–78, 1997 12 [10] E Rosten, R Porter, and T Drummond, “Faster and better: A machine learning approach to corner detection,” IEEE Transactions on Pattern Analysis and Machine Intelligence, vol 32, pp 32–119, 2010 12 [11] H Bay, A Ess, T Tuytelaars, and L V Gool, “Surf: Speeded up robust features,” Computer Vision and Image Understanding, vol 110, no 3, pp 346–359, 2008 12, 18 [12] M Agrawal, K Konolige, , and M R Blas, “Censure: Center surround extremas for realtime feature detection and matching,” in Proceedings of European Conference on Computer Vision, 2008, pp 102–115 12 [13] G Takacs, V Chandrasekhar, S S Tsai, D M Chen, R Grzeszczuk, and B Girod, “Rotation invariant fast features for large scale recognition and realtime tracking,” in Submitted to EURASIP Journal of Signal Processing, 2012 12 [14] E Rublee, V Rabaud, K Konolige, and G Bradski, “Orb: An efficient alternative to sift or surf,” in Proceedings of International Conference on Computer Vision, 2011, pp 2564–2571 12 [15] V Lepetit and P Fua, “Keypoint recognition using randomized trees,” IEEE Transactions on Pattern Analysis and Machine Intelligence, vol 28, no 9, pp 1465–1479, 2006 12 57 TÀI LIỆU THAM KHẢO [16] R Hu, T Wang, , and J Collomosse, “A bag-of-regions approach to sketch based image retrieval,” ICIP, 2011 13 [17] Y Li, Y.-Z Song, and S Gong, “Sketch recognition by ensemble matching of structured features,” BMCV, 2013 13 [18] Y Cao, C Wang, , Z Li, L Zhang, and L Zhang, “Spatial-bag-of-features,” CVPR, pp 3352–3359, 2010 13 [19] O Boiman and M Irani, “Detecting irregularities in images and in video,” IJVC, pp 17–31, 2007 xi, 13 [20] R Hu, M Barnard, and J Collomosse, “Gradient field descriptor for sketch based retrieval and localization,” in Proceedings of the IEEE Conference on Image Processing, 2010, pp 1025–1028 14, 22, 30 [21] M Eitz, K Hildebrand, T Boubekeur, and M Alexa, “Sketch-based image retrieval: benchmark and bag-of-features descriptors,” in IEEE Trans Vis Comput Graph., 2011, pp 1624–1636 14, 21 [22] N Dalal and B Triggs, “Histograms of oriented gradients for human detection,” CVPR, pp 886–893, 2005 14, 17 [23] J Virmani, V Kumar, N Kalra, and N Khandelwal, “Prediction of cirrhosis from liver ultrasound b-mode images based on laws’ mask analysis,” in Proceedings of the IEEE International Conference on Image Information Processing, 2011, pp 1–5 16 [24] W Leung and T Chen, “Retrieval of sketches based on spatial relation between strokes,” in Proceedings of the IEEE Conference on Image Processing, 2002, pp 908–911 21 58 TÀI LIỆU THAM KHẢO [25] W Leung, “Representation, feature extraction, matching and relevance feedback for sketch retrieval,” in Doctral Dissertation of Carnegie Mellon University, 2003 21 [26] C Zahn and R Roskies, “Fourier descriptor for plane closed curves,” in IEEE Trans.Comput, 1972, pp 269–281 21 [27] E Persoon and K.-S Fu, “Shape discrimination using fourier descriptors,” in IEEE Trans.Pattern Anal Mach Intell., 1986, pp 388–397 21 [28] D.Zhang and G Lu, “Generic fourier descriptor for shape-based image retrieval,” in Proceedings of the IEEE International Conference on Multimedia and Expo, 2002, pp 425–428 21 [29] Y Rui, T Huang, and S.-F Chang, “Image retrieval: current techniques, promising direction, and open issue.” in J Vis Commun Image Represent, 1999, pp 39–62 21 [30] V Ferrari, T Tuytelaars, and L Gool, “Object detection by contour segment networks,” in Proceedings of European Conference on Computer Vision, 2006, pp 14–28 21 [31] V Ferrari, F Jurie, and C Schmid, “From image to shape models for object detection,” in Int.J.Comput.Vis, 2010, pp 284–303 21 [32] M Liu, O Tuzel, A Veeraraghavan, and R Chellappa, “Fast directional chamfer matching,” in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2010, pp 1696–1703 21 [33] M Donoser, H Riemenschneider, and H Bischof, “Efficient partial matching of outer contour,” in Proceedings of Asian Conference on Computer Vision, 2009 21 59 TÀI LIỆU THAM KHẢO [34] T Ma and L Latecki, “From partial shape matching through local deformation to robust global shape similarity for object detection,” in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2011, pp 1441–1448 21 [35] P Srinivasan, Q Zhu, and J Shi, “Many-to-one contour matching for describing and discriminating object shape,” in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2010, pp 1673–1680 21 [36] A Chalechale, G Naghdy, and A Mertins, “Sketch-based matching using angular partitioning,” in IEEE Trans.Syst Man Cybern., 2005, pp 28–41 21 [37] S Belongie, J Malik, and J Puzicha, “Shape matching and object recognition using shape contexts,” in IEEE Trans.Pattern Anal Mach Intell., 2002, pp 509– 522 21 [38] T Shao, W Xu, K Yin, J Wang, K Zhou, and B Guo, “Discriminative sketchbased 3d model retrieval via robust shape matching,” in Comput Graphics Forum, 2011, pp 2011–2020 21 [39] Y Cao, C Wang, L Zhang, and L Zhang, “Edgel index for large-scale sketchbased image search,” in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2011, pp 761–768 21 [40] M Eitz, R Richter, K Hildebrand, T Boubekeur, and M Alexa, “Sketch-based shape retrieval,” in Proceeding of SIGGRAPH SIGGRAPH, 2012, pp 31:1– 31:10 21 [41] T A, Y F, B M, A M, M K, and K J, “The university of surrey visual concept detection system at imageclef 2010: Working notes,” in ICPR, 2010 28 60 TÀI LIỆU THAM KHẢO [42] J Sivic and A Zisserman, “Video google: a text retrieval approach to object matching in videos,” in Proc Ninth IEEE Int Computer Vision Conf, 2003, pp 1470–1477 28, 29 [43] F Jurie and B Triggs, “Create efficient codebooks for visual recognition,” in Proc Tenth IEEE Int Conf Computer Vision ICCV, vol 28, 2005, pp 604–610 29 [44] D Nister and H Stewenius, “Scalable recognition with a vocabulary tree,” in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2006, pp 2161–2168 xii, 29, 33, 34 [45] A Vedaldi, B Fulkerson, K Lenc, D Perrone, M Perdoch, M Sulc, and H Sarbortova, “VLFEAT,” http://www.vlfeat.org/, 2007 38 [46] B C Russell, A Torralba, K P Murphy, and W T F Labelme, “A database and web-based tool for image annotation,” Int J Comput Vision, pp 77(1– 3):157–173, 2008 39 [47] P Shilane, P Min, M Kazhdan, and T Funkhouser, “The princeton shape benchmark,” In Shape Modeling International, 2004 39 [48] G Griffin, A Holub, and P Perona, “Caltech 256 object category dataset,” Technical Report 7694 California Institute of Technology, 2007 39 61 Phụ lục đề cương xét duyệt 62 ĐẠI HỌC QUỐC GIA TP.HCM TRƢỜNG ĐẠI HỌC CƠNG NGHỆ THƠNG TIN CỘNG HỊA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập - Tự - Hạnh phúc ĐỀ XUẤT ĐỀ TÀI LUẬN VĂN THẠC SĨ Họ tên người hướng dẫn: NGƠ ĐỨC THÀNH Cơ quan cơng tác: Trƣờng ĐH Công Nghệ Thông Tin – ĐHQG HCM Đề tài luận văn học viên cao học ngành: Khoa học Máy tính (1) Tên hướng nghiên cứu: Thị giác Máy Tính (2) Tên đề tài luận văn thạc sĩ: Tìm kiếm ảnh dựa hình phác họa (Sketch-based image retrieval) (3) Mục tiêu, đối tượng phạm vi nghiên cứu đề tài: Mục tiêu:  Nghiên cứu phương pháp tăng cường độ xác hiệu phương pháp tìm kiếm ảnh sketch có, dựa cải tiến đặc trưng  Xây dựng thử nghiệm chương trình Đối tượng phạm vi nghiên cứu:  Một số tập liệu hình phác họa chuẩn như:  Tập liệu TU Berlin sketch [9] gồm 250 loại đối tượng với 20.000 hình phác họa  Tập liệu ETHZ shape [11] với 255 hình gồm loại đối tượng: táo, chai lọ, hươu cao cổ, cốc đựng nước thiên nga  Một số hình ảnh tự thu thập thực tế logo, icon,… (4) Thời gian nghiên cứu số tín đề tài: Thời gian nghiên cứu: tháng Số tín chỉ: 15 tín (5) Yêu cầu kiến thức, kỹ gồm tên HV thực đề tài: TP HCM, ngày tháng năm 20 NGƢỜI HƢỚNG DẪN Ngô Đức Thành Mẫu ĐẠI HỌC QUỐC GIA TP HCM TRƢỜNG ĐẠI HỌC CƠNG NGHỆ THƠNG TIN CỘNG HỊA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập - Tự - Hạnh phúc ĐỀ CƢƠNG ĐỀ TÀI LUẬN VĂN THẠC SĨ Tên đề tài hƣớng NC (gồm tiếng Việt tiếng Anh): Tên tiếng Việt: Tìm kiếm ảnh dựa hình phác họa Tên tiếng Anh: Sketch-based image retrieval Ngành mã ngành đào tạo: Ngành khoa học máy tính, mã ngành: 60.48.01.01 Họ tên học viên thực đề tài, khóa- đợt học: Đặng Bảo Ân, cao học khóa đợt Địa email, điện thoại liên lạc: dangbaoan@gmail.com Ngƣời hƣớng dẫn : TS Ngô Đức Thành Địa email, điện thoại liên lạc: thanhnd@uit.edu.vn Tổng quan tình hình NC nước nước: nội dung đề cập cần có trích dẫn tài liệu, cơng trình; cần phân tích, đánh giá kết NC có liên quan đến đề tài hướng NC; cần tồn tại: 4.1 Giới thiệu chung:  Cùng với phát triển mạnh mẽ internet thiết bị chụp ảnh, số lượng hình ảnh video internet tăng trưởng cách nhanh chóng Từ đó, đặt yêu cầu cần phải có phương pháp hữu hiệu để tìm kiếm ảnh thời gian ngắn xác Hầu hết, hệ thống tìm kiếm ảnh yêu cầu đầu vào ảnh mẫu đối tượng cần tìm (query by example) Tuy nhiên, lúc người dùng có ảnh mẫu để thực tìm kiếm Thay vào đó, người dùng tìm kiếm đối tượng dựa hình phác họa (sketch) đơn giản đối tượng muốn tìm thuận tiện cho người dùng Bên cạnh đó, phổ biến thiết bị điện thoại thông minh máy tính bảng giúp cho người dùng thực việc phác họa hình ảnh cách đơn giản tiện lợi Chính điều kể động lực cho đời phát triển phương pháp tìm kiếm ảnh dựa hình phác họa  Tìm kiếm ảnh dựa hình phác họa tốn phân tích đặc trưng hình phác họa để từ tìm ảnh giống với hình phác họa Dữ liệu đầu vào hệ thống hình phác họa đối tượng muốn tìm Đầu ảnh phân cấp theo mức độ giống với hình đầu vào Ví dụ: đưa vào hình phác họa ngựa, đầu ảnh giống với hình phác họa đầu vào (như Hình1) Sketch to image: (a) Sketch to sketch: (b) Hình 1: Minh họa đầu vào đầu hệ thống tìm kiếm ảnh dựa hình phác họa (a) Tìm kiếm hình phác họa ảnh thật (sketch to image) (b) Tìm kiếm hình phác họa hình phác họa (sketch to sketch) 4.2 Các thách thức: Tìm kiếm ảnh dựa hình phác họa gặp phải số thách thức sau: (1) Hình phác họa thường đơn giản không đủ chi tiết so với ảnh chụp thực tế (2) Những người khác có phong cách vẽ khác (3) Sự đa dạng lớn liệu:  Sự đa dạng lớp (Intra-class variation): táo, có nhiều hình ảnh biểu diễn khác Hình 2: Sự đa dạng hình táo  Sự đa dạng lớp (Inter-class variation): hình phác họa thường lược bỏ bớt chi tiết hình ảnh Do đó, hình phác họa táo giống với hình phác họa cam Hình 3: Sự giống hình phác họa táo hình phác họa cam 4.3 Tình hình nghiên cứu: Các hệ thống tìm kiếm ảnh dựa hình phác họa có mơ hình hoạt động chung sau: Hình 4: Mơ hình tổng qt hệ thống tìm kiếm ảnh dựa hình phác họa Từ mơ hình trên, thấy tốn tìm kiếm ảnh dựa hình phác họa tập trung giải hai vấn đề rút trích đặc trưng so khớp đặc trưng Luận văn tập trung vào vấn đề rút trích biểu diễn đặc trưng Hầu hết hệ thống tìm kiếm ảnh sử dụng đặc trưng tồn cục để mơ tả tồn ảnh sử dụng đặc trưng cục để mô tả phần ảnh Kỹ thuật biểu diễn đặc trưng tồn cục có khả khái qt toàn đối tượng vector nhất, thường sử dụng để phân loại lớp Kỹ thuật dễ thực tốn Một số mơ hình sử dụng kỹ thuật biểu diễn đặc trưng tồn cục như: mơ hình túi vùng (bag of regions) [3], mơ hình biểu đồ (star graph) [4], mơ hình túi đặc trưng khơng gian (spatial BOF) [5] mơ hình so khớp hình chóp khơng gian (spatial pyramid matching) [7] Trong mơ hình [3], ảnh chia thành nhiều vùng, sau rút trích đường viền vùng Ở mơ hình biểu đồ [4], đặc trưng biểu diễn thành nút có điểm trung tâm kết nối đến tất nút (Hình 5) Hướng khoảng cách từ nút tới điểm trung tâm sử dụng làm thông tin biểu diễn Mơ hình [5], cải tiến mơ hình túi đặc trưng (bag of feature) tích hợp thêm thơng tin khơng gian Trong mơ hình [7] thực cách phân ảnh thành nhiều vùng với độ mịn tăng dần sau tính biểu đồ cho đặc trưng cục vùng Hình 5: Mơ hình biểu đồ sử dụng đặc trưng toàn cục Kỹ thuật biểu diễn đặc trưng cục thực tính tốn phần ảnh nên xử lý tốt trường hợp ảnh bị nhiễu Tuy nhiên, kỹ thuật tốn nhiều chi phí cho việc tính tốn so với kỹ thuật biểu diễn đặc trưng toàn cục Một số kỹ thuật biểu diễn đặc trưng cục phổ biến như: biến đổi đặc trưng bất biến co giãn (Scale Invariant Feature Transform - SIFT), biểu đồ hướng độ dốc (Histogram of Oriented Gradient HOG), biểu đồ hướng vị trí độ dốc (Gradient Location Orientation Histogram GLOH), Các kỹ thuật biểu diễn đặc trưng cục sử dụng phổ biến phương pháp tìm kiếm ảnh phát đối tượng như: [2], [6], [8], [9], [10] Phương pháp [2] biểu diễn đặc trưng nét vẽ (stroke features) sử dụng biểu đồ lượng tử độ dốc (quantized histogram of gradients) Phương pháp [6] mô tả cấu trúc không gian cục ảnh sử dụng kỹ thuật (Gradient Field HoG - GF-HOG) Phương pháp [8] sử dụng mơ hình túi đặc trưng (bag of feature) (Hình 6) để biểu diễn đặc trưng SIFT Phương pháp [9] sử dụng mơ hình túi đặc trưng kết hợp việc học mơ hình phác họa (sketch model) dựa loại đối tượng cách sử dụng mô hình SVM (Support Vector Machines) để tối ưu hóa tập liệu lớn Trong phương pháp [10] sử dụng mơ hình HOG cho việc phát đối Hình 6: Mơ hình túi đặc trưng sử dụng đặc trưng cục Bên cạnh có phương pháp kết hợp việc sử dụng đặc trưng cục đặc trưng toàn cục [1] để tận dụng ưu điểm đặc trưng nhằm cải thiện khả biểu diễn Phương pháp sử dụng biểu đồ để biểu diễn cấu trúc tổng thể ảnh kết hợp với lọc phân loại (Hình 7) Hình 7: Mơ hình kết hợp đặc trưng cục đặc trưng tồn cục Những NC có trước học viên liên quan đến đề tài luận văn: Tính khoa học tính đề tài: hạn chế thời, vấn đề khoa học cần NC giải tính cấp thiết nó, hướng giải có mới, lợi ích khoa học thực tiễn vấn đề giải quyết: Ý tƣởng khoa học: Đề tài tập trung nghiên cứu đặc trưng biểu diễn hình phác họa  Tìm hiểu loại đặc trưng riêng biệt SIFT, HOG, GLOH, Nghiên cứu phương pháp tăng cường thông tin loại đặc trưng  Sử dụng đặc trưng cục đặc trưng tồn cục có thuận lợi khó khăn hỗ trợ cho (như trình bày phần 4.3) Do đó, đề tài nghiên cứu phương pháp kết hợp đặc trưng để tận dụng mạnh hạn chế khó khăn loại đặc trưng Việc kết hợp đặc trưng bao gồm tìm hiểu loại đặc trưng có khả kết hợp với cách thức kết hợp loại đặc trưng Một cơng trình nghiên cứu gần [1] cho thấy, việc kết hợp đặc trưng để biểu diễn hình phác họa cho kết tốt so với sử dụng riêng lẻ loại đặc trưng Đề tài mở rộng việc kết hợp với nhiều đặc trưng phương pháp trước Tính mới:  Tính đề tài nằm việc đề xuất phương pháp sử dụng đặc trưng biểu diễn hình phác họa nhằm cải thiện độ xác thời gian tìm kiếm so với phương pháp tìm kiếm ảnh dựa hình phác họa Mục tiêu, đối tƣợng phạm vi NC đề tài cần hướng tới khả giải quyết: Nêu cụ thể, súc tích theo mục; khơng viết chung chung, lý giải dài dòng, : Mục tiêu:  Nghiên cứu phương pháp tăng cường độ xác hiệu phương pháp tìm kiếm ảnh sketch có, dựa cải tiến đặc trưng  Xây dựng thử nghiệm chương trình Đối tƣợng phạm vi nghiên cứu:  Một số tập liệu hình phác họa chuẩn như:  Tập liệu TU Berlin sketch [9] gồm 250 loại đối tượng với 20.000 hình phác họa  Tập liệu ETHZ shape [11] với 255 hình gồm loại đối tượng: táo, chai lọ, hươu cao cổ, cốc đựng nước thiên nga  Một số hình ảnh tự thu thập thực tế logo, icon,… Nội dung, phƣơng pháp dự định NC Trình bày theo bước, bước cần có: mục tiêu dự kiến kết quả+, phương pháp, bố trí NC cụ thể (case-study), phương án phối hợp với đơn vị, phòng thí nghiệm, kết dự kiến đạt công bố: Nội dung 1: Mục tiêu:  Khảo sát tổng quan tốn tìm kiếm ảnh dựa hình phác họa, phương pháp tiên tiến liệu chuẩn sử dụng cho toán  Khảo sát phương pháp đo độ tương đồng đặc trưng ảnh Kết quả:  Báo cáo tổng hợp, phân tích phương pháp tiên tiến  Các liệu chuẩn  Mã nguồn phương pháp tiên tiến (nếu có) Nội dung 2: Mục tiêu:  Cài đặt, thử nghiệm phương pháp rút trích biểu diễn đặc trưng cho tốn tìm kiếm ảnh dựa hình phác họa tốn có liên quan dựa kết khảo sát nội dung Kết quả:  Báo cáo tổng hợp, phân tích ưu nhược điểm đặc trưng  Cài đặt thử nghiệm liệu chuẩn Nội dung 3: Mục tiêu:  Phân tích, đề xuất khắc phục hạn chế hạn nêu nội dung Cài đặt thử nghiệm cải thiện độ xác thời gian thực so với phương pháp Kết quả:  Tăng độ xác thời gian việc tìm kiếm Nội dung 4: Mục tiêu:  Tổng hợp kết quả, viết báo, đệ trình xuất báo Kết quả:  Một báo khoa học luận văn 8 Kế hoạch bố trí thời gian NC phải kết hợp nhiệm vụ NC với học tập; làm xêmina, kế hoạch làm việc với người hướng dẫn, kế hoạch viết thảo luận văn, : Nội dung Thời gian 1/2015 – 2/2015 Nội dung 1: Khảo sát tổng quan tốn tìm kiếm ảnh dựa hình phác họa, phương pháp tiên tiến liệu chuẩn sử dụng cho toán Khảo sát phương pháp đo độ tương đồng đặc trưng ảnh 2/2015 – 4/2015 Nội dung 2: Cài đặt thử nghiệm phương pháp rút trích biểu diễn đặc trưng cho tốn tìm kiếm ảnh dựa hình phác họa tốn có liên quan dựa kết khảo sát nội dung 4/2015 – 6/2015 Nội dung 3: Phân tích, đề xuất khắc phục hạn chế hạn nêu nội dung Cài đặt thử nghiệm cải thiện độ xác thời gian thực so với phương pháp 7/2015 – 8/2015 Nội dung 4: Tổng hợp kết quả, viết báo, đệ trình xuất báo 9.Tài liệu tham khảo gồm tài liệu có liên quan với đề tài NC; tài liệu kinh điển phải có tài liệu cận đại (năm năm trở lại) liên quan đến đề tài.Viết theo mẫu+, thuyết minh đề tài phải tham chiếu đến tài liệu tham khảo [1] Yi Li, Yi-Zhe Song, Shaogang Gong, Sketch Recognition by Ensemble Matching of Structured Features In BMCV, 2013 [2] Chao Ma, Xiaokang Yang, Chongyang Zhang, Xian Ruan and Ming-Hsuan Yang Sketch Retrieval via Dense Stroke Features In BMCV, 2013 [3] R Hu, T Wang, and J Collomosse A bag-of-regions approach to sketch based image retrieval In ICIP, 2011 [4] O Boiman and M Irani Detecting irregularities in images and in video IJVC, 74(1): 17–31, 2007 [5] Y Cao, C Wang, Z Li, L Zhang, and L Zhang Spatial-bag-of-features In CVPR, pages 3352–3359, 2010 [6] R Hu, M Barnard, and J Collomosse Gradient field descriptor for sketch based retrieval and localization In ICIP, pages 1025–1028, 2010 [7] S Lazebnik, C Schmid, and J Ponce Beyond bags of features: Spatial pyramid matching for recognizing natural scene categories In CVPR, pages 2169–2178, 2006.LI, SONG, GONG: SKETCH RECOGNITION BY ENSEMBLE MATCHING 11 [8] E Mathias, H Kristian, B Tamy, and A Marc Sketch-based image retrieval: Bench-mark and bag-of-features descriptors TVCG, 17(11):1624–1636, 2011 [9] E Mathias, H James, and A Marc How humans sketch objects? ACM TOG (Proceedings SIGGRAPH), 31(4):44:1–44:10, 2012 [10] N Dalal and B Triggs Histograms of oriented gradients for human detection In CVPR, pages 886–893, 2005 [11] V Ferrari, T Tuytelaars, and L.V Gool Object detection by contour segment networks In ECCV, pages 14–28, 2006 TP HCM, ngày tháng NGƢỜI HƢỚNG DẪN (Họ tên chữ ký) HỌC VIÊN KÝ TÊN (Họ tên chữ ký) Ngô Đức Thành Đặng Bảo Ân năm 20 Một số lưu ý: Văn phong nên diễn đạt cô đọng, hình ảnh, sơ đồ, biểu bảng, rõ ràng; phân tích ý nghĩa nghiên cứu đề tài kết dự kiến cách thuyết phục Dự kiến kết quả, là: Đề xuất quan điểm; Đưa báo cáo trạng; Đề xuất biện pháp tổ chức, quản lý; Tạo lập mơ hình, sản phẩm, công nghệ mẫu,v.v Tài liệu tham khảo: viết theo dạng mẫu, sách hay báo, ví dụ: + với sách tham khảo: [1] Nguyen P K (2005), Flood Simulation in the Vietnam Mekong Delta Proceedings of the 3rd International Symposium on Flood Defense Taylor & Francis Publ., pp.611-616 Netherlands + với báo khoa học: [2] Hai Bang T., Ngoc Thanh N., Phi Khu N (2011), “Fuzzy Ontology Building and Integration for Fuzzy Inference Systems in Weather Forecast Domain” LNAI 6592, the 3rd Intl’ Conference, ACIIDS 2011, Korea Springer, ISSN 0302-9743, ISBN 978-3-642-20042-7 10 ... tốn tìm kiếm ảnh dựa hình phác họa • Khảo sát đánh giá đặc trưng thị giác, làm tiền đề tham khảo cho nghiên cứu sau lĩnh vực tìm kiếm ảnh dựa hình phác họa • Hiện thực phương pháp tìm kiếm ảnh dựa. .. dụ hình 2.1 ảnh phác họa ghế) Hình 2.1: Hình phác họa ghế 10 Chương Cơ sở lý thuyết Luận văn tập trung vào vấn đề tìm kiếm ảnh phác họa ảnh phác họa với (sketch to sketch) • Đầu vào: Một hình phác. .. Do cảnh sát hồn tồn khơng có hình ảnh tên cướp mà có ảnh phác họa chân dung tên cướp từ nhân chứng có mặt trường Phương pháp tìm kiếm ảnh dựa hình phác họa giúp cảnh sát tìm thấy tên cướp từ hình