Nghiên cứu một số phương pháp tra cứu ảnh sử dụng độ đo tương tự và ứng dụng tra cứu ảnh trong camera đường phố

BỘ GIÁO DỤC VÀ ĐÀO TẠO VIỆN HÀN LÂM KHOA HỌC VÀ CÔNG NGHỆ VIỆT NAM HỌC VIỆN KHOA HỌC VÀ CÔNG NGHỆ - Nguyễn Tuấn Vũ NGHIÊN CỨU MỘT SỐ PHƯƠNG PHÁP TRA CỨU ẢNH SỬ DỤNG ĐỘ ĐO TƯƠNG TỰ VÀ ỨNG DỤNG TRA CỨU ẢNH TRONG CAMERA ĐƯỜNG PHỐ LUẬN VĂN THẠC SĨ: CÔNG NGHỆ THÔNG TIN Hà Nội – tháng năm 2020 BỘ GIÁO DỤC VÀ ĐÀO TẠO VIỆN HÀN LÂM KHOA HỌC VÀ CÔNG NGHỆ VIỆT NAM HỌC VIỆN KHOA HỌC VÀ CÔNG NGHỆ - Nguyễn Tuấn Vũ NGHIÊN CỨU MỘT SỐ PHƯƠNG PHÁP TRA CỨU ẢNH SỬ DỤNG ĐỘ ĐO TƯƠNG TỰ VÀ ỨNG DỤNG TRA CỨU ẢNH TRONG CAMERA ĐƯỜNG PHỐ Chuyên ngành: Hệ thống thông tin Mã số: 8480104 LUẬN VĂN THẠC SĨ: CÔNG NGHỆ THÔNG TIN NGƯỜI HƯỚNG DẪN KHOA HỌC PGS.TS Ngô Quốc Tạo Hà nội – Tháng năm 2020 LỜI CAM ĐOAN Tôi xin cam nội dung Luận văn theo nội dung đề cương nội dung thầy hướng dẫn hướng giao dẫn cho Nội dung luận văn, trích lục, tài liệu xác Nếu có xảy sai sót, Tơi xin chịu trách nhiệm hoàn toàn Tác giả luận văn NGUYỄN TUẤN VŨ LỜI CẢM ƠN: Với dẫn hỗ trợ giáo viên Khoa: Công nghệ Thông tin Học viện Khoa học Công nghệ hỗ trợ từ bạn bè đồng nghiệp, đặc biệt hướng dẫn tận tình PGS.TS Ngơ Quốc Tạo TS Nguyễn Hoàng Hà đề tài: "Nghiên cứu phát triển phương pháp phát tự động điểm mốc hình thái ảnh cánh trùng", mã số: VAST01.01/19-20", cộng thêm nỗ lực, cố gắng thân mình, đề tài hồn thành Dù vậy, q trình hồn thiện luận văn, cố gắng nhiều, kiến thức, kinh nghiệm cịn hạn chế, tơi khơng thể tránh khỏi sai sót, tơi mong muốn nhận lời khuyên giáo viên chủ đề thầy để hồn thiện Tơi xin chân thành cảm ơn MỤC LỤC Trang ĐẶT VẤN ĐỀ CHƯƠNG 1: TỔNG QUAN CƠ BẢN VỀ TRA CỨU ẢNH VÀ ĐỘ ĐO TƯƠNG TỰ TRONG TRA CỨU ẢNH KHÁI QUÁT VỀ TRA CỨU ẢNH 1.1 1.1.1 CÁC KHÁI NIỆM CƠ BẢN[2] 1.1.2 XU HƯỚNG TRA CỨU VÀ CHÚ Ý TRONG TRUY VẤN ẢNH 1.1.2.1 MỘT SỐ HỆ THỐNG TRUY VẤN ẢNH VÀ HÌNH THÁI TRUY VẤN 1.1.2.2 MỘT SỐ ỨNG DỤNG TRUY VẤN ẢNH 1.1.2.3 KHÁI NIỆM TRA CỨU FRAME ẢNH TRONG CAMERA[3] 10 1.1.2.4 LƯỢC ĐỒ MÀU VÀ TƯƠNG QUAN MÀU 13 1.1.2.5 ĐẶC ĐIỂM CỦA SỰ VẬN ĐỘNG TRONG VIDEO VÀ XỬ LÝ VẬN ĐỘNG 18 CHƯƠNG 2: MỘT SỐ PHƯƠNG PHÁP SỬ DỤNG ĐỘ ĐO TƯƠNG TỰ 21 2.1 ĐỘ ĐO KHOẢNG CÁCH 21 2.1.1 .ĐỘ ĐO MIN-MAX 21 2.1.2 ĐỘ ĐO EUCLID 21 2.1.3 ĐỘ ĐO KHOẢNG CÁCH HAMMING 22 2.1.4 ĐỘ ĐO PRECISION VÀ RECALL 23 2.2 ĐỘ ĐO HỖN HỢP 23 2.2.1 ĐỘ ĐO CĨ THUỘC TÍNH RỜI RẠC 23 2.2.2 ĐỘ ĐO CĨ THUỘC TÍNH CÓ THỨ TỰ 26 2.2.3 ĐỘ ĐO CĨ THUỘC TÍNH LIÊN TỤC 26 2.2.4 ĐỘ ĐO KẾT HỢP CÁC THUỘC TÍNH 27 2.3 ĐỘ ĐO TƯƠNG TỰ DỰA TRÊN HISTOGRAM [9] 27 2.3.1 GIỚI THIỆU VÀ KHÁI NIỆM 27 2.3.2 LƯỢC ĐỒ XÁM VÀ TÍNH CHẤT 29 2.3.3 QUAN HỆ GIỮA ẢNH TRA CỨU VÀ LƯỢC ĐỒ ẢNH XÁM 30 CHƯƠNG 3: ỨNG DỤNG ĐỘ ĐO TƯƠNG TỰ TRONG VIỆC TRA CỨU ẢNH TRONG FILE CAMERA ĐƯỜNG PHỐ 32 3.1 GIỚI THIỆU 32 3.2 THUẬT TOÁN TRA CỨU ẢNH TRONG CAMERA ĐƯỜNG PHỐ 33 3.2.1 XỬ LÝ ĐỌC ẢNH 33 3.2.2 XỬ LÝ ĐỌC FRAME TRONG CAMERA ĐƯỜNG PHỐ 33 3.2.3 KẾT QUẢ THỰC NGHIỆM VÀ ĐÁNH GIÁ 33 CHƯƠNG 4: KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN TIẾP THEO 46 TÀI LIỆU THAM KHẢO 47 ĐẶT VẤN ĐỀ Trong lĩnh vực nay, xử lý hình ảnh tĩnh với xử lý hình ảnh kỹ thuật số phát triển ý đến năm kỷ thứ XXI Phương pháp để xử lý áp dụng để cải thiện liệu thơng tin hình ảnh đến mắt người xử lý liệu tự động xử lý liệu hệ thống Năm 1920, Một số ứng dụng xử lý hình ảnh cải thiện chất lượng hình ảnh báo truyền qua cáp thành phố Luân Đôn New York Thiết bị đặc biệt mã hóa hình ảnh, truyền chúng qua cáp xử lý phục hồi phía bên nhận Cơng nghệ máy tính phát triển theo đó, nên việc xử lý cho hình ảnh ngày phát triển Các Kỹ thuật phát triển cho phép tìm kiếm kết hợp hình ảnh cho tương xứng để trả kết tốt cho mục đích tìm kiếm Gần đây, nghiên cứu xử lý hình ảnh video (hoạt hình) khơng ngừng quan tâm phát triển mạnh mẽ Kỹ thuật xử lý hình ảnh kỹ thuật số áp dụng sử dụng rộng rãi, giải nhiều vấn đề giúp cải thiện chất lượng hình ảnh Xử lý hình ảnh áp dụng đa lĩnh vực khác sống lĩnh vực sức khỏe, thiên văn học, sinh học, viễn thám, y học… Một ứng dụng thực tiễn vào xử lý hình ảnh mà luận văn muốn đề cập tới So sánh hình ảnh với frame ảnh camera đường phố ghi lại để tìm kiếm tương đồng, từ giúp xử lý cơng việc nhanh tiết kiệm thời gian xem lại camera Vì thế, Tơi chọn đề tài “NGHIÊN CỨU MỘT SỐ PHƯƠNG PHÁP TRA CỨU ẢNH SỬ DỤNG ĐỘ ĐO TƯƠNG TỰ VÀ ỨNG DỤNG TRA CỨU ẢNH TRONG CAMERA ĐƯỜNG PHỐ” nhằm mục đích nghiên cứu kỹ thuật đo lường sử dụng độ đo tương tự phép đo độ tương tự Trainable (TSM) Biểu đồ cột Dựa vào đây, Tôi đưa ý kiến số đánh giá đề xuất hướng phát triển thêm tương lai Tôi tập trung vào giải vấn đề đọc ảnh đối sánh với khung tệp video trích xuất từ camera đường phố để nhận xét Luận án bao gồm chương với nội dung sau: CHƯƠNG 1: TỔNG QUAN CƠ BẢN VỀ TRA CỨU ẢNH VÀ ĐỘ ĐO TƯƠNG TỰ TRONG TRA CỨU ẢNH CHƯƠNG 2: MỘT SỐ PHƯƠNG PHÁP SỬ DỤNG ĐỘ ĐO TƯƠNG TỰ CHƯƠNG 3: ỨNG DỤNG TRA CỨU ẢNH TRONG CAMERA ĐƯỜNG PHỐ CHƯƠNG 4: KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN CỦA ĐỀ TÀI Trong q trình hồn thiện luận văn, cố gắng nhiều, kiến thức, kinh nghiệm cịn hạn chế, tơi khơng thể tránh khỏi sai sót, tơi mong muốn nhận lời khun giáo viên chủ đề thầy cô để hồn thiện Tơi xin chân thành cảm ơn Hà Nội, ngày tháng năm 2020 Học viên thực NGUYỄN TUẤN VŨ CHƯƠNG 1: TỔNG QUAN CƠ BẢN VỀ TRA CỨU ẢNH VÀ ĐỘ ĐO TƯƠNG TỰ TRONG TRA CỨU ẢNH 1.1 KHÁI QUÁT VỀ TRA CỨU ẢNH 1.1.1 CÁC KHÁI NIỆM CƠ BẢN[2] Xử lý ảnh lĩnh vực xem trọng Là gốc rễ để tiếp tục phát triển thêm nhiều nghiên cứu lĩnh vực Hai đặc tính tiến trình xử lý hình ảnh nhằm cải thiện chất lượng hình ảnh thơng tin, có ứng dụng vào xử lý số Quá trình thu thập ảnh đầu vào (bất kì hình ảnh số có tương tự vậy) gửi tới máy tính Ảnh lưu cho q trình xử lý Phần mềm có nhiệm vụ can thiệp vào thuật toán tương đương lên liệu ảnh, cấu trúc ảnh cho, ảnh phù hơp với mục đích khác Xử lý cho việc ảnh nhận dạng, tiếp tục trình thao tác cho ảnh đầu vào đưa kết mong đợi Đầu trình xử lý ảnh kết ảnh “chuẩn hơn” kết Hình 1.1 Q trình ảnh xử lý Hình ảnh xử lý hình ảnh tơi thích hình ảnh nhiều (n) chiều ảnh tập hợp pixel Trong đó, pixel giúp tơi xác định số dấu hiệu có vị trí định xác định đối tượng khơng gian, hàm n có biến P (c1, c2 , cn) Sơ đồ tổng quát xử lý ảnh hệ thống: Hình 1.2 Các bước hệ thống xử lý ảnh 1.1.2 XU HƯỚNG TRA CỨU VÀ CHÚ Ý TRONG TRUY VẤN ẢNH Giai đoạn xử lý đầu tiên: Tiền xử lý hình ảnh kỹ thuật số điến phần giai đoạn này, giai đoạn khác thực như: nâng cấp, khơi phục hình ảnh, điều chỉnh hình học, giảm nhiễu, v.v Đặc điểm tra cứu ảnh: - Thơng tin hồn tồn số hóa - Hình thức biểu hiện: pixel - đọc tải xuống qua Internet - Nội dung truyền tải văn bản, hình ảnh - Hệ thống đa truy cập: Về tính lý thuyết, sản phẩm sử dụng nhiều điểm có truy cập nhiều lần (Dựa tài nguyên điện tử có sẵn 24) /ngày, ngày / tuần) Mọi người lúc sử dụng - Tốc độ: Tìm kiếm, thu thập, tóm tắt thơng tin vào hỉnh ảnh khác, tìm kiếm tham chiếu chéo nhiều hình ảnh khác - Chức năng: hình ảnh cho phép người dùng xem và đối sánh nội dung phương pháp khác - Nội dung: Hình ảnh chứa ý nghĩa Chú ý để sử dụng ảnh dạng đặc trưng mà hình ảnh có, bước phân đoạn hình ảnh để tìm đối tượng Ở phương pháp, Gom cụm Kết trả ảnh có độ đo tương tự với ảnh cần tra cứu, xếp theo thứ tự từ xuống khung hình lấy từ file camera đường phố Chương trình thực nghiệm thiết kế chạy tự động CSDL riêng biệt sau ghi kết tệp để thực so sánh, đánh giá sau Đối với CSDL ảnh, chương trình thực nghiệm cửa sổ chọn ảnh tương ứng với số lượng ảnh trả khác CSDL, độ đo Euclid sử dụng để so sánh Để đánh giá hiệu hệ thống tra cứu, Đánh giá dựa độ đo Chính xác (precision) Bao phủ (recall) Dưới thực nghiệm chương trình Đã thực 25 lần thực nghiệm để đánh giá đưa kết Kết mẫu, thực nghiệm đánh giá: 34 Lần 5: Kết ảnh tra cứu trùng khớp với frame ảnh camera đánh giá so sánh trực quan Hình 3.1 : Giao diện thực nghiệm lần 35 Lần 7: Kết ảnh tra cứu trùng khớp với frame ảnh camera đánh giá so sánh trực quan Hình 3.2 : Giao diện thực nghiệm lần 36 Lần 10: Kết ảnh tra cứu trùng khớp với frame ảnh camera đánh giá so sánh trực quan Hình 3.3 : Giao diện thực nghiệm lần 10 37 Lần 12: Kết ảnh tra cứu khác với frame ảnh có camera đánh giá so sánh dựa độ đo Euclid, có tương tự nhỏ, khơng phải hình ảnh có camera Hình 3.7 : Giao diện thực nghiệm lần 12 38 Lần 15: Kết ảnh tra cứu khác với frame ảnh có camera đánh giá so sánh dựa độ đo Euclid, có tương tự nhỏ, khơng phải hình ảnh có camera Hình 3.8 : Giao diện thực nghiệm lần 15 39 Lần 20: Kết ảnh tra cứu giống hệt với frame ảnh camera đánh giá so sánh trực quan Hình 3.4 : Giao diện thực nghiệm lần 20 40 Lần 22: Kết ảnh tra cứu trùng khớp phần Frame ảnh đánh giá so sánh trực quan Hình 3.6 : Giao diện thực nghiệm lần 22 41 Lần 25: Kết ảnh tra cứu trùng khớp với frame ảnh camera đánh giá so sánh trực quan Hình 3.5 : Giao diện thực nghiệm lần 25 42 Chương trình có hiệu suất quan sát từ bảng đây: Hình 3.10: Giá trị xác để so sánh Hình 3.11: Chính xác so với thu hồi Mặc dù có cải thiện nhỏ hiệu suất độ xác thu hồi, độ 43 phức tạp thời gian hệ thống đề xuất xác No of matches Precision 0.7 0.65 10 0.6 12 0.6 15 0.58 20 0.64 22 0.5 25 0.75 Bảng 3.1 Giá trị xác để so sánh Precision Recall 0.5 0.45 0.6 0.63 0.65 0.68 0.7 0.7 0.75 0.77 0.8 0.85 Bảng 3.2 Chính xác thu hồi Dựa nội dung hiệu cách quan sát Số liệu đối sánh sử dụng để trích xuất kết khớp xác truy xuất ảnh sở xếp hạng * Đánh giá: Trong chương trình này, So sánh ảnh tra cứu frame ảnh trích xuất từ file camera đường phố, tính lược đồ Histogram mức xám dạng đồ thị để so sánh, đánh giá hiệu suất trả kết mong muốn Khi đưa vào hình ảnh chương trình tự động có tính tốn biểu đồ hình ảnh đầu vào, bước tiếp theo, chương trình đọc tệp video ghi lại camera đường phố, nhấn nút Find tự động tách khung hình tệp 44 video so sánh So sánh với biểu đồ tệp hình ảnh đầu vào, khung kết thúc chương trình chọn khung có độ tương tự cao để trả kết Kết chương trình cho thấy bước đơn giản việc áp dụng thuật toán để so sánh hai hình với Nền móng áp dụng quy trình khớp hình ảnh theo thời gian sau 45 CHƯƠNG 4: KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN TIẾP THEO Trong thực tế có nhiều nghiên cứu lập trình viên thực để đưa phương pháp tìm kiếm khác Vấn đề nghiên cứu bước đầu đạt số kết khả quan trên, truy vấn cấp cao chưa áp dụng vào Hơn nữa, vấn đề thời gian truy vấn ảnh cần quan tâm hệ thống mở rộng Những vấn đề giải luận văn: Tìm hiểu số độ đo tương tự, độ đo tương tự dựa Histogram Giới thiệu phương pháp tra cứu ảnh dựa lược đồ Histogram mức xám Xây dựng chương trình thực nghiệm để tra cứu ảnh đầu vào, so khớp với frame file camera đường phố, đánh giá hiệu kết luận ảnh file camera hay khơng Những vấn đề cịn hạn chế: Do thời gian tìm hiểu cịn hạn chế, Trong q trình nghiên cứu, nhận thấy mức độ thành công thuật tốn tơi dừng mức độ nghiên cứu quy mơ nhỏ cịn nhiều phần chưa thực được: Chưa cài đặt kĩ tăng hiệu hệ thống cách sử dụng thêm biểu đồ màu Chưa xây dựng chức tra cứu ảnh theo kết hợp nhiều đặc điểm Độ xác chương trình chưa tốt sử dụng lược đồ xám, dẫn tới trường hợp trả kết khơng xác Trong thời gian tới, có hội Tơi hy vọng giải vấn đề tồn để xây dựng chương trình thực hữu ích, đáp ứng u cầu tốn Tơi xin chân thành cảm ơn! 46 TÀI LIỆU THAM KHẢO J.Eakins, M.Graham (2004), “Content-based Image Retrieval”: A report to the JISC Technology Applications Programme, University of Northumbria at Newcastle Longin J Latecki, R Lamkaemper, D Wolter (2005), “Optimal Partial Shape Similarity”, Dept of Computer and Infomation Sciences Temple University M A Stricker and M Orengo (1995), “Similarity of color images In Proc of the SPIE conference on the Storage and Retrieval for Image and Video Databases III”, pages 381–392 Palaniraja Sivakumar (2004), “Image Similarity Based on Color and Texture”, Report for CIS751 MS Project Sebe N, Lew (2001), “Texture Features for Content-based Retrieval”: Principles of visual Information Retrieval Đỗ Năng Tồn, Phạm Việt Bình (2008) Xử lý ảnh Nhà xuất Khoa học kỹ thuật Peter Howarth, Stefan Ruger (2000), Evaluation of Texture Features for Content-based Image Retrieval, Department of Computing, Imperial College London Eva M.van Rikxoort (2005), “Content-based Image Retrieval Utilizing Color, Texture, and Shape”, Master’s thesis in AI Radbound University Nijmegen The Netherlands Quynh, N H and Tao, N Q (2008), “Combining color and spatial 47 information for retrieving landscape images”, In Proc of IEEE on Image and Signal Processing, vol.2, pp 480-484 10.Fuhui Long, Hongjiang Zhang, David Dagan Feng (2002), Fundamentals of Content-based Image Retrieval, in Multimedia Information Retrieval and Management - Technological Fundamentals and Applications 11.Randy Crane (1997), A simplied approach to Image Processing: clasical and modern technique in C, Prentice Hall, ISBN 0-13-226616-1 48 ... lại camera Vì thế, Tôi chọn đề tài “NGHIÊN CỨU MỘT SỐ PHƯƠNG PHÁP TRA CỨU ẢNH SỬ DỤNG ĐỘ ĐO TƯƠNG TỰ VÀ ỨNG DỤNG TRA CỨU ẢNH TRONG CAMERA ĐƯỜNG PHỐ” nhằm mục đích nghiên cứu kỹ thuật đo lường sử. .. từ camera đường phố để nhận xét Luận án bao gồm chương với nội dung sau: CHƯƠNG 1: TỔNG QUAN CƠ BẢN VỀ TRA CỨU ẢNH VÀ ĐỘ ĐO TƯƠNG TỰ TRONG TRA CỨU ẢNH CHƯƠNG 2: MỘT SỐ PHƯƠNG PHÁP SỬ DỤNG ĐỘ ĐO. .. DỤC VÀ ĐÀO TẠO VIỆN HÀN LÂM KHOA HỌC VÀ CÔNG NGHỆ VIỆT NAM HỌC VIỆN KHOA HỌC VÀ CÔNG NGHỆ - Nguyễn Tuấn Vũ NGHIÊN CỨU MỘT SỐ PHƯƠNG PHÁP TRA CỨU ẢNH SỬ DỤNG ĐỘ ĐO TƯƠNG TỰ VÀ ỨNG DỤNG