Phân loại đối tượng chuyển động trong đoạn video

ĐẠI HỌC QUỐC GIA TP HỒ CHÍ MINH TRƯỜNG ĐẠI HỌC BÁCH KHOA HOÀNG PHƯƠNG THI PHÂN LOẠI ĐỐI TƯỢNG TRONG ĐOẠN VIDEO Chuyên ngành : KHOA HỌC MÁY TÍNH Mã số : 604801 LUẬN VĂN THẠC SĨ TP HỒ CHÍ MINH, tháng năm 2014 Cơng trình hồn thành tại: Trường Đại học Bách Khoa – ĐHQG-HCM Cán hướng dẫn khoa học: TS Phạm Trần Vũ TS Nguyễn Thanh Bình Cán chấm nhận xét 1: TS Lê Thanh Vân Cán chấm nhận xét 2: TS Nguyễn Anh Thi Luận văn thạc sĩ bảo vệ Trường Đại học Bách Khoa, ĐHQG Tp HCM ngày 17 tháng năm 2014 Thành phần Hội đồng đánh giá luận văn thạc sĩ gồm: PGS TS Thoại Nam TS Huỳnh Tường Nguyên TS Lê Thanh Vân TS Nguyễn Anh Thi TS Trần Văn Hoài Xác nhận Chủ tịch Hội đồng đánh giá LV Trưởng Khoa quản lý chuyên ngành sau luận văn sửa chữa (nếu có) CHỦ TỊCH HỘI ĐỒNG TRƯỞNG KHOA KH & KT MÁY TÍNH ĐẠI HỌC QUỐC GIA CỘNG HỊA XÃ HỘI CHỦ NGHĨA VIỆT NAM TRƯỜNG ĐẠI HỌC BÁCH KHOA _ Độc lập – Tự – Hạnh phúc _ Tp HCM, ngày 20 tháng năm 2014 NHIỆM VỤ LUẬN VĂN THẠC SĨ Họ tên học viên: Hoàng Phương Thi MSHV: 11076115 Ngày, tháng, năm sinh: 01/ 10/ 1988 Chuyên ngành: Khoa Học Máy Tính Nơi sinh: Bà Rịa – Vũng Tàu Mã số: 604801 I TÊN ĐỀ TÀI: Phân loại đối tượng chuyển động đoạn video II NHIỆM VỤ VÀ NỘI DUNG: Tìm hiểu loại video Tìm hiểu loại chuyển động, phương pháp biểu diễn đối tượng chẳng hạn biểu diễn đối tượng người xe Khảo sát đánh giá cơng trình nghiên cứu liên quan đến phân loại đối tượng đoạn video Đề xuất giải thuật phân loại đối tượng đoạn video Cụ thể phân loại đối tượng người xe Hiện thực giải thuật đề xuất Đề xuất hướng nghiên cứu phát triển tương lai III NGÀY GIAO NHIỆM VỤ: 20/ 01/ 2014 IV NGÀY HOÀN THÀNH NHIỆM VỤ: 20/ 06/ 2014 V CÁN BỘ HƯỚNG DẪN: TS Phạm Trần Vũ TS Nguyễn Thanh Bình CÁN BỘ HƯỚNG DẪN (Họ tên chữ ký) Tp HCM, ngày 20 tháng năm 2014 TRƯỞNG KHOA KH & KT MÁY TÍNH (Họ tên chữ ký) LỜI CÁM ƠN Tôi xin gửi lời cảm ơn chân thành sâu sắc đến TS Phạm Trần Vũ TS Nguyễn Thanh Bình tận tình hướng dẫn, giúp đỡ tơi suốt q trình nghiên cứu tạo điều kiện để tơi hồn thành luận văn tốt nghiệp Tơi xin cảm ơn gia đình, bạn bè động viên, giúp đỡ tạo điều kiện tốt để tơi theo đuổi việc học tập nghiên cứu TÓM TẮT LUẬN VĂN THẠC SĨ Phát phân loại đối tượng chuyển động lĩnh vực quan trọng nghiên cứu thị giác máy tính Lĩnh vực quan trọng giới quan sát động cảnh video ta gặp thường chứa đựng số lượng lớn đối tượng chuyển động Để phân tách, phát phân loại đối tượng từ chuỗi ảnh video thách thức quan trọng mà chuyên gia thị giác máy tính phải đối mặt Luận văn áp dụng phương pháp phân loại đối tượng dựa đặc trưng dựa vào hình dạng kết hợp với đặc trưng dựa vào chuyển động cho giai đoạn phân loại đối tượng chuyển động SVM phương pháp phân lớp chọn để sử dụng luận văn Các bước để phân loại đối tượng đoạn video gồm: phát đối tượng chuyển động, rút trích đặc trưng phân loại đối tượng Kết thực nghiệm cho thấy tính xác việc phân loại đối tượng luận văn ABSTRACT Moving object detection and classification plays an important role in computer vision filed This field is very important because our observations of the world always change We locate the frame in the video that contains the largest number of moving object Detection, segmentation and classification for image in the video sequence is one of the most challenging problems which computer vision experts have to face it This thesis applies the shape-based object classification and the motion-based object classification in the moving object classification stage Support Vector Machine (SVM) classification methods will be used in this thesis Steps to classify moving object in the observation area include: moving object detection, features extraction and moving objects classification The experimental results have showed the accuracy of moving object classification in this thesis LỜI CAM ĐOAN CỦA TÁC GIẢ LV Tôi xin cam đoan luận văn tốt nghiệp tự làm, khơng chép tài liệu có Những phần có sử dụng tài liệu khố luận ghi rõ tên tài liệu phần tài liệu tham khảo Mã nguồn thực ghi rõ phần tham khảo phần thực Tp HCM, Ngày 20 tháng 07 năm 2014 Hoàng Phương Thi MỤC LỤC Chương TỔNG QUAN VỀ ĐỀ TÀI .1 1.1 Giới thiệu đề tài 1.2 Nội dung đề tài 1.3 Giới hạn đề tài 1.4 Ý nghĩa khoa học thực tiễn 1.5 Cấu trúc luận văn Chương CƠ SỞ LÝ THUYẾT VÀ CÁC CƠNG TRÌNH NGHIÊN CỨU LIÊN QUAN 2.1 Cơ sở lý thuyết 2.1.1 Hệ thống giám sát thông minh 2.1.2 Optical Flow .13 2.1.3 Support Vector Machine 16 2.2 Các công trình nghiên cứu liên quan 22 2.2.1 Phân loại dựa hình dạng (Shape- based Classification) 22 2.2.2 Phân loại dựa chuyển động (Motion- based Classification) .25 2.2.3 Các loại đặc trưng khác .27 Chương HƯỚNG TIẾP CẬN VÀ GIẢI THUẬT ĐỀ XUẤT 29 3.1 Mô hình tổng quan 30 3.1.1 Phát đối tượng chuyển động .31 3.1.2 Rút trích đặc trưng .37 3.1.3 Phân loại đối tượng 40 Chương HIỆN THỰC HỆ THỐNG 45 4.1 Tập liệu 45 4.2 Kết thực nghiệm đánh giá 47 4.2.1 Phát đối tượng chuyển động .47 4.2.2 Phân loại đối tượng chuyển động .49 Chương TỔNG KẾT .54 5.1 Kết luận 54 5.1.1 Kết đạt 54 5.1.2 Ưu điểm nhược điểm 54 5.2 Hướng phát triển tương lai 55 TÀI LIỆU THAM KHẢO 56 DANH MỤC HÌNH Hình 2.1: Mơ hình tốn cần giải hệ thống giám sát Hình 2.2: Cấu trúc phân đoạn video Hình 2.3: Chuyển đổi Lia khung hình thứ thứ Hình 2.4: Bốn khung hình khác song có biểu đồ màu .8 Hình 2.5: Tổng quan khối xử lý tốn phát đối tượng Hình 2.6: Phát vùng ảnh .10 Hình 2.7: Xử lý vùng ảnh (Foreground Processing) 10 Hinh 2.8: Mũi tên vector tịnh tiến trái bóng dịch chuyển khung hình liên tiếp 13 Hình 2.9: Optical flow .14 Hình 2.10: Đường màu vàng hình đường phân chia tập liệu gồm hai thuộc tính [17] .17 Hình 2.11: Một liệu hai chiều phân chia tuyến tính 18 Hình 2.12: Đường biểu diễn H1 H2 .19 Hình 2.13: Các support vector SVM Các support vector hình có viền dày [16] .20 Hình 2.14: Một trường hợp đơn giản khơng gian chiều 21 Hình 2.15: Tổng quan hệ thống xác định theo dõi 23 Hình 2.16: Dữ liệu phân loại bi- viriate mẫu training qua 400 ảnh Cả phân cụm tuyến tính Mahalanobis biểu diễn 24 Hình 2.17: Quá trình phân loại, phải sau vài khung hình đối tượng xác định .24 Hình 2.18: Các đường viền mục tiêu sử dụng cho việc trích rút đặc trưng chuyển động .25 Hình 2.19: (a) Elip vừa khớp (fitted elipse) (b) Khung hình .26 (c) Biểu đồ luồng phân loại .26 Hình 3.1: Mơ hình tổng quan hệ thống .30 Hình 3.2: Lưu đồ bước phát đối tượng chuyển động 31 Hình 3.3: Ví dụ Temporal median filter .32 Hình 3.4 Ví dụ hàm cộng dồn histogram 34 Hình 3.5: Lưu đồ bước rút trích đặc trưng 37 Hình 3.6: Các giá trị thơng thường aspect ratio cho người xe cộ 38 Hình 3.7: Các giá trị thông thường độ phân tán cho người xe cộ 38 Hinh 3.8: Ví dụ vectơ optical flow 39 Hinh 3.9: Phương sai vectơ optical flow 40 ... tính đối tượng lớp  Phân loại đối tượng gì? Phân loại đối tượng trình phân lớp đối tượng chuyển động thuộc lớp vật (người, phương tiện,…) Các vùng chuyển động phát (trong bước phát đối tượng chuyển. .. định đâu đối tượng chuyển động Cụ thể hơn, đối tượng chuyển động đoạn video thu cách trực quan Đầu trình vết, hình dạng đối tượng chuyển động để làm đầu vào khối phân loại đối tượng chuyển động Khối... trình phân loại đối tượng hệ thống theo dõi giám sát Bài toán phân loại đối tượng Đầu vào toán phân loại đối tượng chuyển động vết đối tượng, đặc trưng đối tượng phát thông qua khối xử lý phát đối