Phát hiện đối tượng nổi bật trong video thời gian thực

LỜI CAM ĐOAN Tôi xin cam đoan công trình nghiên cứu khoa học kết nghiên cứu cá nhân Các số liệu tài liệu đƣợc trích dẫn công trình trung thực Kết nghiên cứu không trùng với công trình đƣợc công bố trƣớc Tôi chịu trách nhiệm với lời cam đoan Hà Nội, ngày 06 tháng 06 năm 2017 Tác giả Vũ Đình Thuấn i MỤC LỤC LỜI CAM ĐOAN i MỤC LỤC ii CÁC THUẬT NGỮ VÀ CHỮ VIẾT TẮT iv DANH MỤC HÌNH ẢNH/HÌNH VẼ v DANH MỤC BẢNG BIỂU vii PHẦN MỞ ĐẦU PHẦN NỘI DUNG Chƣơng I: GIỚI THIỆU 1.1 ĐẶT VẤN ĐỀ 1.2 TÌNH HÌNH NGHIÊN CỨU HIỆN NAY 1.3 MỘT SỐ PHƢƠNG PHÁP PHÁT HIỆN ĐỐI TƢỢNG TRONG VIDEO 1.3.1 Phƣơng pháp trừ (Backgroup Subtraction) 1.3.2 Phƣơng pháp dựa vào sai khác theo thời gian (Temporal Differencing) 1.3.3 Phƣơng pháp dòng chảy quang học (Optical flow) 10 Chƣơng II: PHÁT HIỆN ĐỐI TƢỢNG NỔI BẬT TRONG VIDEO THỜI GIAN THỰC 13 2.1 CÁC BỘ LỌC VÀ ỨNG DỤNG 13 2.1.1 Lọc miền không gian 13 2.1.1.1 Lọc trung bình 14 2.1.1.2 Lọc Gaussian 15 2.1.1.3 Lọc trung vị 15 2.1.2 Lọc miền tần số 19 2.1.2.1 Lọc thông thấp 19 2.1.2.2 Lọc thông cao 20 2.2 BẢN ĐỒ NỔI BẬT TRONG ẢNH 21 2.2.1 Không gian màu chuyển đổi không gian màu 22 2.2.1.1 Màu sắc phổ sóng điện từ ánh sáng 22 2.2.1.2 Không gian màu RGB 23 ii 2.2.1.3 Không gian màu CMY(K) 24 2.2.1.4 Không gian màu XYZ 25 2.2.1.5 Không gian màu Lab 26 2.2.1.6 Chuyển đổi không gian màu 28 2.2.1.6.1 Chuyển từ không gian màu RGB sang không gian màu CMY(K) 28 2.2.1.6.2 Chuyển từ không gian màu RGB sang không gian màu XYZ 29 2.2.1.6.3 Chuyển từ không gian màu XYZ sang không gian màu Lab 30 2.2.2 Các cách tiếp cận tính toán đồ bật ảnh 31 2.2.3 Hạn chế đồ bật 33 2.2.4 Phát bật điều chỉnh tần số 34 2.2.4.1 Yêu cầu đồ bật 34 2.2.4.2 Kết hợp lọc thông dải DoG (Difference of Gaussian Bandpass Filters) 35 2.2.4.3 Lựa chọn tham số 36 2.2.4.4 Tính toán bật 36 2.2.4.5 Một số kết 40 2.3 PHÁT HIỆN ĐỐI TƢỢNG NỔI BẬT TRONG VIDEO 53 2.3.1 Bài toán 53 2.3.2 Ý tƣởng thuật toán 53 2.3.3 Giải thuật 54 Chƣơng III: KẾT QUẢ THỰC NGHIỆM 57 3.1 CHƢƠNG TRÌNH THỰC NGHIỆM 57 3.2 MỘT SỐ KẾT QUẢ THU ĐƢỢC 57 3.3 ĐÁNH GIÁ 67 KẾT LUẬN VÀ HƢỚNG PHÁT TRIỂN 72 TÀI LIỆU THAM KHẢO 73 PHỤ LỤC 74 iii CÁC THUẬT NGỮ VÀ CHỮ VIẾT TẮT STT Từ đầy đủ/ý nghĩa Từ viết tắt/Thuật ngữ BG Background CIE Commision Internationale de l’Éclairage CMYK Cyan Magenta Yellow Key (Black) DoG Difference of Gaussian FG Foreground RGB Red Green Blue iv DANH MỤC HÌNH ẢNH/HÌNH VẼ Hình 1-1 Minh họa phƣơng pháp trừ Hình 1-2 Minh họa phƣơng pháp sai khác theo thời gian 10 Hình 1-3 Minh họa phƣơng pháp dòng chảy quang học 11 Hình 2-1 Tính toán miền không gian với ma trận lọc 3x3 13 Hình 2-2 Minh họa lọc trunh bình 15 Hình 2-3 Minh họa lọc Gaussian 16 Hình 2-4 So sánh lọc trung bình trung vị 18 Hình 2-5 Lọc thông thấp Gaussian với ngƣỡng 5,15,30,80,230 20 Hình 2-6 Lọc thông cao Gaussian với ngƣỡng 15,30,80 21 Hình 2-7 Phổ sóng điện từ ánh sáng 22 Hình 2-8 Mô hình màu RGB 23 Hình 2-9 Không gian màu RGB 24 Hình 2-10 Mô hình màu CMYK 24 Hình 2-11 Không gian màu CMY(K) 25 Hình 2-12 Không gian màu XYZ 26 Hình 2-13 Mô hình màu Lab 26 Hình 2-14 Không gian màu Lab 27 Hình 2-15 Thông tin tần số không gian đƣợc lƣu trữ tính toán đồ bật dử dụng phƣơng pháp IT 32 Hình 2-16 Thông tin tần số không gian đƣợc lƣu trữ tính toán đồ bật dử dụng phƣơng pháp SR 33 Hình 2-17 Lƣợc đồ tính toán đồ bật hình ảnh ban đầu 37 Hình 2-18 Kết kiểm thử với hình ảnh Image03 51 Hình 2-19 Kết kiểm thử với hình ảnh Image61 51 Hình 2-20 Kết kiểm thử với hình ảnh Image90 51 Hình 2-21 So sánh kết kiểm thử với hình ảnh Image08 52 Hình 2-22 So sánh kết kiểm thử với hình ảnh Image13 52 Hình 2-23 So sánh kết kiểm thử với hình ảnh Image36 52 Hình 2-24 Thời gian xử lý thuật toán với hình ảnh thực nghiệm 53 Hình 2-25 Lƣợc đồ thuật toán phát đối tƣợng bật video 54 Hình 3-1 Kết kiểm thử với video00 61 Hình 3-2 Kết kiểm thử với video80 62 Hình 3-3 Kết kiểm thử với video33 63 Hình 3-4 Kết kiểm thử với video57 64 v Hình 3-5 Kết kiểm thử với video38 65 Hình 3-6 Kết kiểm thử với video19 66 Hình 4-1 Kết kiểm thử với hình ảnh Image60 74 Hình 4-2 Kết kiểm thử với hình ảnh Image67 74 Hình 4-3 Kết kiểm thử với hình ảnh Image73 74 Hình 4-4 Kết kiểm thử với hình ảnh Image79 75 Hình 4-5 Kết kiểm thử với hình ảnh Image84 75 Hình 4-6 Kết kiểm thử với hình ảnh Image99 75 Hình 4-7 So sánh kết kiểm thử với hình ảnh Image27 76 Hình 4-8 So sánh kết kiểm thử với hình ảnh Image49 76 Hình 4-9 So sánh kết kiểm thử với hình ảnh Image56 76 Hình 4-10 Kết kiểm thử với video04 77 Hình 4-11 Kết kiểm thử với video36 78 Hình 4-12 Kết kiểm thử với video24 79 Hình 4-13 Kết kiểm thử với video53 80 Hình 4-14 Kết kiểm thử với video55 81 Hình 4-15 Kết kiểm thử với video61 82 Hình 4-16 Kết kiểm thử với video22 83 Hình 4-17 Kết kiểm thử với video42 84 Hình 4-18 Kết kiểm thử với video05 85 Hình 4-19 Kết kiểm thử với video12 86 Hình 4-20 Kết kiểm thử với video03 87 Hình 4-21 Kết kiểm thử với video39 88 vi DANH MỤC BẢNG BIỂU Bảng 2-1 Danh sách hình ảnh sử dụng thực nghiệm 40 Bảng 3-1 Danh sách video sử dụng thực nghiệm 57 Bảng 3-2 Tốc độ xử lý thuật toán với video thực nghiệm 67 vii PHẦN MỞ ĐẦU Lý chọn đề tài Trong thời đại bùng nổ thông tin nay, với phát triển nhanh chóng công nghệ đại mạng Internet lƣợng thông tin ngƣời thu nhận đƣợc lớn đa dạng Một phƣơng tiện truyền thông đƣợc sử dụng phổ biến ảnh số/video lƣợng thông tin truyền tải nhƣ độ xác thông tin Theo trang thống kê trực tuyến internetlivestats [3] giây có khoảng 134,608 video đƣợc xem youtube trung bình khoảng gần 10 tỷ video đƣợc xem ngày Đây số ấn tƣợng lĩnh vực xử lý ảnh/video Để lƣợng thông tin trở lên có ích phù hợp với mục đích cụ thể cần phải tiến hành kỹ thuật xử lý ảnh video Xử lý ảnh/video lĩnh vực mẻ hứa hẹn cho ngành công nghệ phần mềm Trên giới có nhiều công trình nghiên cứu có nhiều ứng dụng vào thực tế lĩnh vực Tuy nhiên, Việt Nam chƣa có nhiều ứng dụng thực tế đƣợc áp dụng theo hƣớng tiếp cận phần mềm, vấn đề phát đối tƣợng bật video dựa kỹ thuật xử lý ảnh sau đƣa phân tích, giám sát, dự đoán đối tƣợng nhận đƣợc quan tâm đông đảo nhà nghiên cứu Các phƣơng pháp đánh giá đối tƣợng bật trƣớc mở rộng đƣợc phân loại nhƣ dựa vào mặt sinh học, tính toán hoàn toàn, kết hợp [5][6] Nói chung, tất phƣơng pháp sử dụng cách tiếp cận mức độ thấp cách xác định độ tƣơng phản vùng hình ảnh liên quan đến môi trƣờng xung quanh, sử dụng nhiều đặc trƣng cƣờng độ, màu sắc, hƣớng Tuy nhiên đồ bật tạo hầu hết phƣơng pháp có độ phân giải thấp Một vấn đề quan trọng khác trình xử lý video khiến phức tạp xử lý ảnh vấn đề liên quan đến tốc độ Đây tiêu chí quan trọng xử lý video theo nghiên cứu [7], ảnh, mắt ngƣời nhạy cảm với mức độ tƣơng phản (chất lƣợng ảnh) đồng thời nhạy cảm với dịch chuyển đối tƣợng video (tốc độ chuyển ảnh) Do đó, hầu hết thuật toán xử lý video tốt phải cân hai yếu tố chất lƣợng tốc độ Xuất phát từ thực tế đó, chọn nghiên cứu đề tài “Phát đối tƣợng bật video thời gian thực” với cách tiếp cận thay đổi miền tần số giá trị điểm ảnh để tính toán đồ bật ảnh phát triển thuật toán để áp dụng phát đối tƣợng bật video đảm bảo yêu cầu sau:  Phát xác đối tƣợng video  Đảm bảo tốc độ xử lý thuật toán  Có thể áp dụng video đƣợc phát thời gian thực Mục đích nghiên cứu Luận văn tập trung tìm hiểu nghiên cứu thuật toán nhằm giải toán phát đối tƣợng bật từ liệu video Từ xây dựng chƣơng trình cho phép phát đối tƣợng bật video cách xác nhanh chóng Khách thể đối tƣợng nghiên cứu Khách thể đối tƣợng nghiên cứu luận văn liệu video dƣới định dạng phổ biến Và tập trung vào video nhiều đối tƣợng phức tạp ví dụ: clip thể thao (bóng đá, bóng chầy, ) Giả thuyết khoa học Các liệu video đầu vào đƣợc đọc dƣới dạng frame ảnh, sau tính toán đồ bật frame ảnh, thực tính toán cần thiết sau hiển thị video với đối tƣợng bật đƣợc phát Nhiệm vụ nghiên cứu  Tìm hiểu phƣơng pháp tính toán đồ bật ảnh  Phát triển thuật toán để áp dụng với liệu video  Lập trình chƣơng trình để kiểm thử đánh giá thuật toán Giới hạn phạm vi nghiên cứu Luận văn tập trung nghiên cứu việc phát đối tƣợng số loại video cụ thể: video thể thao (bóng đá, bóng chầy, ) video mà nhiều đối tƣợng phức tạp Phƣơng pháp nghiên cứu  Nghiên cứu lý thuyết, phân tích toán  Tìm hiểu phƣơng pháp phát đối tƣợng kỹ thuật xử lý ảnh  Cài đặt chƣơng trình thực nghiệm  Đánh giá hiệu suất thuật toán Đóng góp luận văn Luận văn nghiên cứu số phƣơng pháp tính toán đồ bật ảnh, sau áp dụng với đối tƣợng liệu video, từ đồ bật thực tính toán cần thiết để phát đối tƣợng bật video cách xác nhanh chóng, hy vọng áp dụng tốt với video đƣợc phát thời gian thực PHỤ LỤC Một số kết khác thực nghiệm với hình ảnh: Hình 3-7 Kết kiểm thử với hình ảnh Image60 Hình 3-8 Kết kiểm thử với hình ảnh Image67 Hình 3-9 Kết kiểm thử với hình ảnh Image73 74 Hình 3-10 Kết kiểm thử với hình ảnh Image79 Hình 3-11 Kết kiểm thử với hình ảnh Image84 Hình 3-12 Kết kiểm thử với hình ảnh Image99 75 Hình 3-13 So sánh kết kiểm thử với hình ảnh Image27 Hình 3-14 So sánh kết kiểm thử với hình ảnh Image49 Hình 3-15 So sánh kết kiểm thử với hình ảnh Image56 76 Một số kết khác thực nghiệm với video: Hình 3-16 Kết kiểm thử với video04 77 Hình 3-17 Kết kiểm thử với video36 78 Hình 3-18 Kết kiểm thử với video24 79 Hình 3-19 Kết kiểm thử với video53 80 Hình 3-20 Kết kiểm thử với video55 81 Hình 3-21 Kết kiểm thử với video61 82 Hình 3-22 Kết kiểm thử với video22 83 Hình 3-23 Kết kiểm thử với video42 84 Hình 3-24 Kết kiểm thử với video05 85 Hình 3-25 Kết kiểm thử với video12 86 Hình 3-26 Kết kiểm thử với video03 87 Hình 3-27 Kết kiểm thử với video39 88 ... thiệu Trong chƣơng trình bày vấn đề nghiên cứu toán phát đối tƣợng video; tình hình nghiên cứu nay; phƣơng pháp phát đối tƣợng video ứng dụng Chương 2: Phát đối tượng bật video thời gian thực Trong. .. dựa vào phân đoạn ảnh để phát đối tƣợng bật video Nội dung chi tiết phƣơng pháp đƣợc trình bày chƣơng 12 Chƣơng 2: PHÁT HIỆN ĐỐI TƢỢNG NỔI BẬT TRONG VIDEO THỜI GIAN THỰC Trong chƣơng này, luận... cứu đề tài Phát đối tƣợng bật video thời gian thực với cách tiếp cận thay đổi miền tần số giá trị điểm ảnh để tính toán đồ bật ảnh phát triển thuật toán để áp dụng phát đối tƣợng bật video đảm