NGHIÊN CỨU GIẢI THUẬT BÁM ĐUỔI ĐỐI TƯỢNG SỬ DỤNG BỘ LỌC PARTICLE.TÓM TẮT LUẬN VĂN THẠC SĨ KỸ THUẬT

BỘ GIÁO DỤC VÀ ĐÀO TẠO ĐẠI HỌC ĐÀ NẴNG TRẦN NGỌC KHOA NGHIÊN CỨU GIẢI THUẬT BÁM ĐUỔI ĐỐI TƯỢNG SỬ DỤNG BỘ LỌC PARTICLE Chuyên ngành: Kỹ thuật Điện tử Mã số: 60.52.02.03 TÓM TẮT LUẬN VĂN THẠC SĨ KỸ THUẬT Đà Nẵng - Năm 2015 Cơng trình hoàn thành ĐẠI HỌC ĐÀ NẴNG Người hướng dẫn khoa học: TS HỒ PHƯỚC TIẾN Phản biện 1: PGS.TS PHẠM VĂN TUẤN Phản biện 2: TS LƯƠNG HỒNG KHANH Luận văn bảo vệ Hội đồng chấm Luận văn tốt nghiệp Thạc sĩ chuyên ngành kỹ thuật điện tử Đại học Đà Nẵng vào ngày 21 tháng năm 2015 * Có thể tìm hiểu luận văn tại: Trung tâm Thông tin - Học liệu, Đại học Đà Nẵng MỞ ĐẦU Tính cấp thiết đề tài Trong giai đoạn khoa học công nghệ phát triển nay, việc chế tạo thiết bị máy móc ứng dụng để thay người làm việc mục tiêu nhiều nghiên cứu giới Cũng vậy, đề đảm báo vấn đề an ninh thành phố lớn, hệ thống giám sát điều hành giao thông nghiên cứu hoàn thiện nâng cao chất lượng Trên thực tế, thành phố lớn nước phát triển hệ thống giám sát đưa vào thực đưa hiệu cao Một yếu tố quan trọng hệ thống q trình làm để bám đuổi nhiều đối tượng xác định mà không bị nhầm lẫn đối tượng trạng thái bị che khuất Mặc dù vấn đề bám đuổi đối tượng nghiên cứu nhiều năm vấn đề “thời sự”, có nhiều nghiên cứu đưa giải thuật để giải toán Một phương pháp áp dụng lọc Particle để bám đuổi đối tượng Đề tài “Nghiên cứu giải thuật bám đuổi đối tượng sử dụng lọc Particle” thực với hy vọng làm bước đầu cho việc thực hệ thống giám sát nước ta Mục tiêu nghiên cứu Nghiên cứu giải thuật bám đuổi đối tượng sử dụng lọc Particle để ứng dụng việc giám sát đối tượng chọn trước Đối tượng phạm vi nghiên cứu Tìm hiểu giải thuật bám đuổi đối tượng sử dụng lọc Particle, xây dựng mơ hình bám đuổi đối tượng sử dụng lọc Particle đánh giá mơ hình bám đuổi đối tượng sử dụng lọc Particle Phương pháp nghiên cứu Phương pháp nghiên cứu luận văn tìm hiểu lý thuyết toán bám đuổi đối tượng, lọc Particle, thực chương trình mơ bám đuổi đối tượng sử dụng lọc Particle Bố cục đề tài Nội dung đề tài thực phần sau Chương Tổng quan bám đuổi đối tượng Chương Bài toán bám đuổi đối tượng sử dụng lọc Particle Chương Xây dựng giải thuật bám đuổi đối tượng sử dựng lọc Particle Chương Mô đánh giá bám đuổi đối tượng sử dụng lọc Particle Kết luận hướng phát triển đề tài Tổng quan tài liệu nghiên cứu Dựa vào kiến thức học, tìm đọc internet với nghiên cứu liên quan tác giả nước, đặc biệt hướng dẫn, giúp đỡ tận tình mặc chun mơn vấn đề khác người hướng dẫn TS Hồ Phước Tiến giúp tơi hồn thành luận văn CHƯƠNG TỔNG QUAN VỀ BÁM ĐUỔI ĐỐI TƯỢNG 1.1 GIỚI THIỆU CHƯƠNG Trong bám đuổi đối tượng, cách tiếp cận bước để giải toán bám đuổi đối tượng.nội dung chương vào tìm hiểu khái niệm tốn 1.2 GIỚI THIỆU VỀ BÀI TỐN BÁM ĐUỔI ĐỐI TƯỢNG Bám đuổi đối tượng (object tracking) công đoạn quan trọng nhiều ứng dụng thị giác máy tính (computer vision applications) Một số hệ thống thường thấy loại bao gồm: hệ thống quan sát – theo dõi đối tượng, hệ thống giám sát giao thông – an ninh, hệ thống điều khiển thiết bị thông minh, hệ thống hỗ trợ tài xế lái xe tự động Một số hướng tiếp cận tốn • Tiếp cận dựa mơ hình • Tiếp cận dựa miền • Tiếp cận dựa đường viền • Tiếp cận dựa đặc trưng 1.3 HƯỚNG GIẢI QUYẾT BÀI TOÁN BÁM ĐUỔI ĐỐI TƯỢNG 1.3.1 Phát đối tượng 1.3.2 Phân vùng 1.3.3 Bám đuổi đối tượng a) So khớp mẫu (Template Matching) b) Bám đuổi Meanshift c) Phương pháp Bayesian Trong ba bước để giải toán bám đuổi đối tượng trình bày trên, hai bước phát phân vùng đối tượng từ lâu nghiên cứu rộng rãi phần đạt kết tốt Trong phạm vi đề tài này, tập trung bước thứ 3, bám đuổi đối tượng vốn đóng vai trị quan trọng hệ thống liên quan đến vấn đề bám đuổi Do đó, hai bước đầu ta xem xét mức độ đơn giản với mục đích làm bước khởi đầu cho bước thứ 3, nghĩa đối tượng cần bám đuổi người sử dụng chọn trước Đây phương pháp thường hay sử dụng nghiên cứu bám đuổi đối tượng 1.4 BỘ LỌC PHI TUYẾN ỨNG DỤNG TRONG BÁM ĐUỔI ĐỐI TƯỢNG 1.4.1 Lọc Kalman 1.4.2 Lọc HMM (Hidden Markov Model) 1.5 KẾT LUẬN CHƯƠNG Kết thúc chương trình bày phần khái niệm trình thực trình bám đuổi đối tượng, số nghiên cứu liên quan ưu nhược điểm số phương pháp sử dụng q trình bám đuổi đối tượng Ngồi chương giới thiệu khái quát lọc Kalman lọc HMM lọc phi tuyến thường sử dụng bám đuổi đối tượng Trong chương ta tiếp tục tìm hiểu lọc cho tốt để giải toán bám đuổi đối tượng, lọc Particle CHƯƠNG BÀI TOÁN BÁM ĐUỔI ĐỐI TƯỢNG SỬ DỤNG BỘ LỌC PARTICLE 2.1 GIỚI THIỆU CHƯƠNG Tiếp theo ta sâu vào phân tích toán bám đuổi đối tượng sử dụng lọc Particle, tìm hiểu sở tốn học cách làm để giải toán bám đuổi đối tượng sử dụng lọc Particle 2.2 GIỚI THIỆU VỀ BỘ LỌC PARTICLE Lọc Particle áp dụng nhiều lĩnh vực mơ hình hóa tài chính, kinh tế lượng (Econometrics), theo dõi đối tượng, dẫn đường cho tên lửa (Missile Guidance), di chuyển dựa vào địa hình (Terrain Navigation), thị giác máy tính, mạng neuron, máy học, robot, Ứng dụng lọc Particle thị giác máy tính nhiều người quan tâm, đặc biệt lĩnh vực bám đuổi đối tượng dựa vào thông tin thị giác 2.2.1 Ước lượng Bayes 2.2.2 Phương pháp lọc Particle (Particle Filter) Khơng tính tổng qt, ta xét hệ (có thể hệ tín hiệu; hệ học có đại lượng vị trí, vận tốc, gia tốc, ) có khơng gian trạng thái mơ hình hóa hàm phân phối phi tuyến, phi Gauss, thỏa giả định toán lọc Bayes đệ quy sau Chuỗi trạng thái hệ thỏa mãn giả thuyết hệ Markov bậc I ( | ) ( | ) (2.7) Các giá trị đo thời điểm phụ thuộc vào trạng thái hệ thời điểm ( | Các trạng thái { ) ∏ ( | ) }, (2.8) hệ có phân phối xác suất ban đầu p(x0) xác suất chuyển trạng thái ( | ),{ }, quan sát tương ứng thời điểm Đồng thời, ta định nghĩa: { } { } chuỗi trạng thái chuỗi quan sát từ đầu thời điểm t Do hệ xét đặc trưng hàm phân phối xác suất sau: ( ) ( | ) (2.9) ( | ) Mục tiêu toán lọc tìm lời giải cho phân phối xác xuất posterior ( | ( ) ), đại lượng đặc trưng kỳ vọng tốn học ( | )[ ( ∫ ( | ) ( | ) (2.10) hàm khả tích bất kỳ, tương ứng Với ( )] ) Các ví dụ hàm bao gồm trung bình có điều kiện (Conditional mean) ( ) hiệp phương sai có điều kiện (Conditional Covariance) Tại thời điểm bất kỳ, hàm phân phối xác suất positerior cho quy tắc Bayes sau ( ) ( )[ | ] ( )[ | ] (2.11) Và phương trình đệ quy để tính phân phối xác suất đồng thời ( | ) cho bởi: ( | ) ( | ( ) | ( ) ( | ) | ) Ta tính hàm phân phối lề ( | (2.12) ) phương pháp đệ quy sau: Phương trình dự đốn ( | ) ∫ ( | ) ( | ) (2.13) Phương trình cập nhật ( | ) ( | ) ( | ∫ ( | ) ( | ) (2.14) ) Những phương trình biểu thức đệ quy đơn giản thực tế, khơng thể tính chúng để tính tích phân ∫ ( | ) ( | ) ∫ ( | ) ( ) đòi hỏi phải thực tính tích phân liệu có số chiều lớn phức tạp Tiếp theo, xem xét tảng lý thuyết quan trọng – phương pháp Monte Carlo – Particle Filter Khơng tính tổng qt, ta xem xét tốn tính tích phân với liệu lớn nhiều chiều (High-Dimensional Intergral) sau: ( ) ∫ ( ) ( | ) (2.15) Trong đó, ( ) hàm ( | ) khả tích Giả sử ta tạo N mẫu ngẫu nhiên với phân phối độc lập đồng { } từ phân phối xác suất ( | ) Như vậy, phân phối xác suất ( | )có thể ước lượng sau: ( ) Trong đó, () ( ∑ () ( ) (2.16) )ký hiệu hàm delta-Dirac có tâm () Vậy, ( ) xấp xỉ tích phân Monte - Carlo sau: ( ) ∫ ( ) ( ) ∑ ( () ) (2.17) Biểu thức ướng lượng (2.17) hợp lệ theo luật mạnh số lớn, ( | )[ phương sai ( ) thỏa phương sai ( ) cho ( )] ( ( )) ( )→ ( ) Vậy ta có: ( ) (2.18) Trong đó→ ký hiệu “hội tụ hầu chắn” (Almost Sure Convergence) Hơn nữa, (hữu hạn) nên định lý giới hạn trung tâm thỏa, nghĩa là: √ [ ( ) Trong ( )] ⇒ ( ) (2.19) ký hiệu cho hội tụ phân phối xác suất.Từ lập luận trên, suy dùng tập mẫu ngẫu nhiên { } dễ dàng ước lượng ( ).Dựa vào ước lượng này, kết hợp với phương trình (2.19) ta dễ dàng tính mức độ hội tụ phép ước lượng, hay mức độ lỗi a Phương pháp Monte Carlo 10 CHƯƠNG XÂY DỰNG GIẢI THUẬT BÁM ĐUỔI ĐỐI TƯỢNG SỬ DỤNG BỘ LỌC PARTICLE 3.1 GIỚI THIỆU CHƯƠNG Nội dung chương trình bày việc xây dựng giải thuật cho toán bám đuổi đối tượng sử dụng lọc Particle, thuật toán sử dụng giải thuật 3.2 CÁC BƯỚC TRONG GIẢI THUẬT Hình 3.1 Ba bước thuật tốn Particle Filter Trong ba bước sau quan trọng: Predict: dự đoán trạng thái đối tượng thời điểm t dựa mô hình động giá trị từ thời điểm t-1 trở trước Measure: tính tốn trọng số mẫu tập hợp dựa quan sát (tín hiệu từ video – so sánh histogram mẫu) thời điểm t tại, từ suy mẫu “giống” với đối tượng 11 Resample: tái chọn mẫu, để tránh tượng thối hóa mẫu từ tập hợp mẫu ta tạo tập mẫu với trọng số không nhỏ 3.3 XÂY DỰNG GIẢI THUẬT BÁM ĐUỔI ĐỐI TƯỢNG SỬ DỤNG BỘ LỌC PARTICLE Giải thuật bám đuổi đối tượng sử dụng lọc Particle thực dựa quan sát histogram màu chuỗi video màu chứa ba kênh RGB Quá trình thực giải thuật tiến hành sau: Đầu vào: Biểu đồ màu (colour histogram) frame đầu video Đầu ra: Mảng khả (likelihood) hạt Các bước thực giải thuật: Bước 1: Chuyển đổi hình ảnh frame video tiêu chuẩn hình đa mức xám (Gray Image) Chọn đối tượng muốn bám đuổi tính histogram vùng đối tượng vừa chọn Bước 2: Tiến hành duyệt tất hạt (Particles) thực hiện: - Lấy ảnh quan sát vị trí hạt (Particle) - Tính tốn histogram ảnh quan sát nhận - Dung độ đo Bhattacharyya để tính khoảng cách giống histogram ảnh mẫu bước ảnh vừa tính sau chứa vào biến likelihood - Gán giá trị likelihood vào cho hạt 12 Dưới trình thực giải thuật lọc Particle q trình thành phần giải thuật: Thuật tốn lấy mẫu quan trọng tuần tự: [{ () ̃ () } ] () [{ () } ] Cho i chạy từ đến N Tạo () ( | () Tính trọng số () ) theo cơng thức ( | () () ( ) ( () | () () | () ) ) Cho i chạy từ đến N, chuẩn hóa trọng số mẫu ̃ () () () ∑ Thuật toán tái chọn mẫu: Từ lý thuyết phương pháp tái chọn mẫu, ta có thuật tốn tái chọn mẫu bước sau: [{ () () } [{ ̃ ] Khởi tạo CMF ( ) Cho i chạy từ đến N Tính ( ) Tạo ( [ ) ⁄ ] ̃ () đặt j = Cho i chạy từ đến N () ̃ () } ] 13 ( Tính ( ) Trong Gán () ) tăng j lên đơn vị () ̃ () () Trong { suất ( ) () ⁄ } tập giá trị hàm tích lũy xác () ( () ∑ ) ̃ () với Thuật toán lọc Particle Mục đích cuối sử dụng lọc Particle để xây dựng giải thuật bám đuổi đối tượng xác định trạng thái đối tượng thời điểm t từ quan sát trạng thái từ thời điểm t-1 [{ () () } ] () [{ () } ] Sinh ngẫu nhiên tập giá trị () Tính trọng số () () () ( | ) theo công thức () ( | ( () ) ( () | () () | () ) ) Dựa vào trọng số để tính trọng số chuẩn hóa ̃ () () ∑ () Tiếp theo tính kích thước mẫu hiệu dụng theo công thức 14 ̂ ∑ ( ̃ () ∑ ) (̃ () ) So sánh kích thước mẫu vừa tính với giá trị ngưỡng gán từ trước Nếu ̂ ta tiến hành tái chọn mẫu để tránh việc thối hóa mẫu { () () [{ ̃ } () ̃ () } ] Nếu không { 3.4 () () } {̃ () ̃ () } KẾT LUẬN CHƯƠNG Kết thúc chương đưa trình thực chương trình bám đuổi đối tượng sử dụng lọc Particle, thuật tốn có liên quan chương trình, đồng thời sơ đồ khối chương trình đề cập 15 CHƯƠNG MÔ PHỎNG VÀ ĐÁNH GIÁ VỀ BÁM ĐUỔI ĐỐI TƯỢNG SỬ DỤNG BỘ LỌC PARTICLE 4.1 GIỚI THIỆU CHƯƠNG Chương trình bày chương trình mô để chạy thử nghiệm đánh giá kết thực đánh giá giải thuật 4.2 Stt THỰC HIỆN CHƯƠNG TRÌNH DEMO Bảng 4.1 Các video dùng thử nghiệm chương trình Tên video Số frame Kích thước Test1 250 320x240 Test2 161 320x240 Test3 185 320x240 Test4 261 320x240 Test5 161 320x240 Test6 100 320x240 Test7 167 320x240 Test8 455 320x240 Test9_left 390 320x240 10 Test10 307 320x240 16 Bảng 4.2 Kết thực với số lượng Particle 50 Stt Tên video Số frame Số frame ok Tỉ lệ % 10 11 Test1 Test2 Test3 Test4 Test5 Test6 Test7 Test8 Test9_left Test9_right Test10 250 161 185 261 161 100 167 455 390 390 307 197 102 184 112 66 59 145 268 252 287 296 78.8% 63.4% 99.5% 42.9% 41% 59% 86.8% 58.9% 64.6% 73.6% 96.4% Bảng 4.3 Kết thực với số lượng Particle 100 Stt 10 11 Tên video Test1 Test2 Test3 Test4 Test5 Test6 Test7 Test8 Test9_left Test9_right Test10 Số frame 250 161 185 261 161 100 167 455 390 390 307 Số frame ok 208 126 184 146 100 90 123 244 254 285 305 Tỉ lệ% 83.2% 78.3% 99.5% 55.9% 62.1% 90% 73.6% 53.6% 65.1% 73.1% 99.3% 17 Bảng 4.4 Kết thực với số lượng Particle 300 Stt 10 11 Tên video Test1 Test2 Test3 Test4 Test5 Test6 Test7 Test8 Test9_left Test9_right Test10 Số frame 250 161 185 261 161 100 167 455 390 390 307 Số frame ok 213 117 183 141 75 65 116 258 265 305 306 Tỉ lệ % 85.2% 72.6% 98.9% 54% 46.5% 65% 69.4% 56.7% 67.9% 78.2% 99.6% Bảng 4.5 Kết thực với số lượng Particle 500 Stt 10 11 4.3 Tên video Test1 Test2 Test3 Test4 Test5 Test6 Test7 Test8 Test9_left Test9_right Test10 Số frame 250 161 185 261 161 100 167 455 390 390 307 Số frame ok 219 124 185 139 85 80 149 242 257 294 307 Tỉ lệ % 87.6% 77% 100% 53.2% 52.7% 80% 89.2% 53.1% 65.8% 75.3% 100% ĐÁNH GIÁ CHẤT LƯỢNG CỦA PHƯƠNG PHÁP Quá trình thử nghiệm đoạn video cho thấy đoạn video mà hình ảnh đối tượng cần bám đuổi có màu sắc phân biệt 18 chuyển động không nhanh, không thay đổi nhiều hình dạng, độ chiếu sáng kết bám đuổi cao Khi tăng lên số lượng hạt kết ước lượng tăng lên tốc độ xử lý tăng lên nhiều Trong trình thử nghiệm chương trình, với số video đơn giản có màu đối tượng chọn mang tính khác biệt lớn, mơi trường xung quanh có độ sáng vừa phải có màu tương đối khác so với màu đối tượng, sau thực nghiệm ta đưa vài kết quả: Video test1: đối tượng chọn để bám đuổi người mặc áo đen, điều kiện quang cảnh xung quanh có mức sáng vừa phải khơng bị chói sáng, đoạn đường có đối tượng khác cắt ngang qua, người mặc áo nâu, người áo đỏ trình bám đuổi thực tốt Hình 4.9 Một số frame kết video test1 Video test7: đối tượng chọn để bám đuổi người qua lại khuôn viên mặc áo sọc ngang màu sáng khác với màu xung 19 quanh, q trình di chuyển kích thước đối tượng khơng có biến đổi lớn Q trình thực chương trình demo tốt Hình 4.10 Một số frame kết video test7 Video test9: đối tượng chọn hai người bộ(một trái phải) qua lại hành lang có che khuất lẫn Trong trình thực chương trình ta thấy kết bám đuổi tương đối, có che khuất xảy chương trình thực trình bám đuổi đối tượng Hình 4.11 Một số frame kết video test9 Video test10: đối tượng chọn người đứng yên video camera di chuyển, đồng thời có che khuất phần Trong trường hợp chương trình thực tốt 20 Hình 4.12 Một số frame kết video test10 Ngoài chương trình cịn thử nghiệm đoạn video đối tượng thường bị che khuất phần hay hồn tồn, đồng thời ánh sáng mơi trường xung quanh có thay đổi kết cho thấy chương trình khơng thực tốt đoạn video đơn giản, số kết quả: Video test2: đối tượng chọn để bám đuổi bóng màu đỏ người đẩy di chuyển qua lại, thay đổi biên độ kích thước lớn q trình di chuyển nên chạy chương trình ta nhận thấy trình bám đuổi thực tốt kết so sánh với ground truth lại không cao, điều việc chọn đường bao ground truth thực demo nên đối tượng thay đổi kích thước độ lệch hai tâm tăng lên làm dẫn đến kết đánh giá 21 Hình 4.13 Một số frame kết video test2 Video test4: đối tượng chọn để bám đuổi người mặc áo sọc màu di chuyển mơi trường có màu tương tự, khung hình đầu video thực chương trình demo thực bám đuổi tốt sau bị che khuất hồn tồn sau nhiều frame chương trình lại bám đuổi đối tượng Hình 4.14 Một số frame kết video test4 Video test8: đối tượng chọn để bám đuổi người hành lang có che khuất hoàn toàn (do người qua vật che nhiều 22 frame liên tiếp), sau có bị che khuất phần có người khác vượt qua, có thay đổi độ sáng đột ngột Trong trình thực demo frame mà đối tượng bị che khuất hoàn toàn frame mà có chiếu sáng mạnh chương trình khơng thể bám đuổi Hình 4.15 Một số frame kết video test8 Một điểm quan trọng áp dụng lọc Particle vào toán bám đuổi đối tượng cải thiện chất lượng bám đuổi nhiều trường hợp đối tượng bị che khuất phần Hình 4.16 Một số frame thử nghiệm có che khuất 23 Chương trình thực bám đuổi tốt với số video đơn giản, nhiên sau bị che khuất hoàn toàn thay đổi chiếu sáng chương trình chưa thực tốt, xảy số khung hình mà chương trình khơng thể thực q trình bám đuổi, mà số frame ứng với trường hợp Hình 4.17 Một số frame mà chương trình khơng thực tốt bám đuổi 4.4 KẾT LUẬN CHƯƠNG Chương trình bày việc thực chương trình demo đưa số hình ảnh kết quả, bảng số liệu biểu thị kết thực chương trình Đồng thời ta phân tích số kết thu được, đánh giá nhũng chương trình thực 24 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN ĐỀ TÀI KẾT LUẬN VỀ ĐỀ TÀI Trong luận văn trình bày cách khái quát trình bám đuổi đối tượng sở toán học để vận dụng lọc Particle vào toán bám đuổi đối tượng Đồng thời đưa mơ hình thực nghiệm áp dụng lọc Particle để bám đuổi đối tượng cự thể dựa vào phương pháp sử dụng mơ hình quan sát histogram màu HƯỚNG PHÁT TRIỂN CỦA ĐỀ TÀI Trong trình thực đề tài điều kiện thời gian kiến thức chưa hồn thiện nên đề tài gói gọn ngữ cảnh hẹp toán bám đuổi đối tượng dựa vào đoạn video có sẵn, hy vọng số hướng phát triển giúp đề tài hoàn thiện - Đề tài thực với phương pháp quan sát dựa histogram màu nên nhiều yếu tố chưa đánh giá, ta thực tốn với nhiều phương pháp khác so khớp mẫu, kết hợp với nhiều phương pháp để trình bám đuổi thực tốt - Cải tiến thuật toán để đẩy nhanh tốc độ xử lý nhằm đưa toán áp dụng vào xử lý thời gian thực để có nhiều ứng dụng thực tế - Kết hợp nhiều camera, xử lý 3D để nhận thơng tin xác tính chất vật lý đối tượng vận tốc, hình dạng, khoảng cách…