Xây dựng hệ thống nhận diện và theo dõi mật độ người và phương tiện có tận dụng camera trên các kiosk phục vụ chính phủ điện tử

BỘ GIÁO DỤC ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI ***************** NGUYỄN VĂN HUÂN XÂY DỰNG HỆ THỐNG NHẬN DIỆN VÀ THEO DÕI MẬT ĐỘ NGƯỜI VÀ PHƯƠNG TIỆN CÓ TẬN DỤNG CAMERA TRÊN CÁC KIOSK PHỤC VỤ CHÍNH PHỦ ĐIỆN TỬ CHUYÊN NGÀNH: KỸ THUẬT ĐIỆN TỬ LUẬN VĂN THẠC SĨ KỸ THUẬT ĐIỆN TỬ VIỄN THÔNG Hà Nội - Năm 2019 BỘ GIÁO DỤC ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI ***************** NGUYỄN VĂN HUÂN XÂY DỰNG HỆ THỐNG NHẬN DIỆN VÀ THEO DÕI MẬT ĐỘ NGƯỜI VÀ PHƯƠNG TIỆN CÓ TẬN DỤNG CAMERA TRÊN CÁC KIOSK PHỤC VỤ CHÍNH PHỦ ĐIỆN TỬ CHUYÊN NGÀNH: KỸ THUẬT ĐIỆN TỬ LUẬN VĂN THẠC SĨ KỸ THUẬT ĐIỆN TỬ VIỄN THÔNG NGƯỜI HƯỚNG DẪN KHOA HỌC TS: PHẠM DOÃN TĨNH Hà Nội - 2019 CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập – Tự – Hạnh phúc BẢN XÁC NHẬN CHỈNH SỬA LUẬN VĂN THẠC SĨ Họ tên tác giả luận văn: Nguyễn Văn Huân Đề tài luận văn: Xây dựng hệ thống nhận diện theo dõi mật độ người phương tiện có tận dụng camera Kiosk phục vụ phủ điện tử Chuyên ngành: Kỹ thuật điện tử Mã số SV: CA160382 Tác giả, Người hướng dẫn khoa học Hội đồng chấm luận văn xác nhận tác giả sửa chữa, bổ sung luận văn theo biên họp Hội đồng ngày 27 tháng 04 năm 2019 với nội dung sau: - Chỉnh sửa lỗi tả, bổ xung phần mục lục - Chỉnh sửa hình (3.2 Sơ đồ trình huấn luyện liệu đặc trưng LBP) - Trích dẫn thêm tài liệu tham khảo vào luận văn - Thêm nội dung ứng dụng camera giám sát Ngày 02 tháng 05 năm 2019 Giáo viên hướng dẫn Tác giả luận văn CHỦ TỊCH HỘI ĐỒNG LỜI CẢM ƠN Tôi xin chân thành cảm ơn TS Phạm Doãn Tĩnh - Viện Điện tử viễn thông – Trường Đại học Bách Khoa Hà Nội, người định hướng, tận tình hướng dẫn, giúp đỡ tơi suốt q trình thực luận văn tốt nghiệp Tôi xin chân thành cảm ơn thầy, cô giáo - Viện Điện tử viễn thông Trường Đại học Bách Khoa Hà Nội, người tận tình truyền đạt kiến thức, quan tâm, động viên, giúp đỡ suốt thời gian học tập nghiên cứu để hoàn thành luận văn Nhân đây, gửi lời cảm ơn tới bạn học lớp 2016A chuyên ngành kỹ thuật điện tử, bạn đồng nghiệp thường xuyên quan tâm, giúp đỡ, chia sẻ kinh nghiệm, cung cấp tài liệu hữu ích suốt thời gian tơi học tập đặc biệt trình thực luận văn tốt nghiệp vừa qua Do trình nghiên cứu, tìm hiểu thực nghiệm luận văn chắn khơng thể tránh khỏi sai sót định, tơi mong nhận góp ý thầy, cô giáo bạn để luận văn hồn chỉnh Tơi xin trân thành cảm ơn! Hà Nội, tháng 03 năm 2019 Tác giả LVTN Nguyễn Văn Huân LỜI CAM ĐOAN Tôi xin cam đoan luận văn “XÂY DỰNG HỆ THỐNG NHẬN DIỆN VÀ THEO DÕI MẬT ĐỘ NGƯỜI VÀ PHƯƠNG TIỆN CÓ TẬN DỤNG CAMERA TRÊN CÁC KIOSK PHỤC VỤ CHÍNH PHỦ ĐIỆN TỬ” cơng trình tìm hiểu, nghiên cứu, trình bày tổng hợp hướng dẫn khoa học TS Phạm Dỗn Tĩnh Trong có q trình thực hồn thành luận văn, tơi có tham khảo tài liệu liên quan tất tài liệu tham khảo liệt kê rõ phần cuối luận văn Các nội dung công bố kết trình bày luận văn trung thực chép cơng trình nghiên cứu khác Hà Nội, Ngày 15 tháng năm 2019 Học viên thực Nguyễn Văn Huân MỤC LỤC DANH MỤC CÁC KÝ HIỆU, CÁC CHỮ VIẾT TẮT DANH MỤC CÁC BẢNG DANH MỤC CÁC HÌNH VẼ, ĐỒ THỊ 10 CHƯƠNG 1: MỞ ĐẦU 11 1.1 Đặt vấn đề 11 1.2 Mục tiêu nghiên cứu 12 1.3 Phương pháp nghiên cứu .12 1.4 Đối tượng phạm vi nghiên cứu 13 1.5 Đóng góp luận văn 13 1.6 Cấu trúc luận văn 13 CHƯƠNG 2: CƠ SỞ LÝ THUYẾT VÀ ĐỀ XUẤT .15 2.1 Một số phương pháp nhận diện, theo dõi đối tượng ưu nhược điểm 15 2.1.1 Tổng quan kiến trúc hệ thống nhận dạng đối tượng 15 2.1.2 Một số phương pháp nhận dạng đối tượng ưu nhược điểm .18 2.1.3 Tổng quan ứng dụng camera giám sát .30 2.2 Đề xuất phương pháp nhận diện theo dõi phương tiện giao thông 35 2.2.1 Phương pháp phân tích, nhận dạng phương tiện giao thơng dựa theo thuật tốn LBP (Local binary parttern) 35 2.2.2 Phương pháp theo dõi phương tiện giao thông dựa theo lọc Kalman thuật toán Hungarian 43 2.2.3 Một số luật theo dõi mật độ phương tiện giao thơng áp dụng .50 2.3 Kết luận chương .50 CHƯƠNG 3: THIẾT KẾ VÀ XÂY DỰNG HỆ THỐNG 52 3.1 Mơ tả tốn, ngun lý hoạt động hệ thống 52 3.1.1 Nhận diện đối tượng chuyển động 52 3.1.2 Rút trích đặc trưng 52 3.1.3 3.1.4 Quá trình phát đối tượng 55 Các điều kiện theo dõi phương tiện 56 3.2 Mô tả liệu thực nghiệm 56 3.3 Tiêu chí đánh giá 59 3.4 Kết thực nghiệm 59 3.5 Tổng kết .63 CHƯƠNG 4: KẾT LUẬN .64 4.1 Kết luận 64 4.2 Hướng phát triển 64 TÀI LIỆU THAM KHẢO .66 DANH MỤC CÁC KÝ HIỆU, CÁC CHỮ VIẾT TẮT Từ viết tắt Thuật ngữ Giải thích FG Foreground Tiền cảnh HOG Histogram of gradients SVM Support Vector Machine KF Kalman Filter Bộ lọc Kalman EKF Extended Kalman Filter Bộ lọc Kalman mở rộng MB Macroblock NAL Network Layer ME Motion Estimation Ước lượng chuyển động MV Motion Vector Vector chuyển động VLC Variable length codes Bộ mã bước chạy SIFT Scale Invariant Feature Giải thuật nhận dạng Transform miêu tả đặc trưng RGB Red, Green, Blue color LBP Local binary Pattern KIOSK Kiosk Camera Abstraction Mơ hình màu RGB(Red, Green, Blue) Bảng 0.1: Các ký hiệu viết tắt DANH MỤC CÁC BẢNG Bảng 0.1: Các ký hiệu viết tắt Bảng 2.1: Các phương trình tổng quan mơ hình hoạt động lọc Kalman 47 DANH MỤC CÁC HÌNH VẼ, ĐỒ THỊ Hình 2.1 Bốn đặc trưng Haar like 20 Hình 2.2: Các đặc trưng cạnh 20 Hình 2.3: Các đặc trưng đường 20 Hình 2.4 Các đặc trưng quanh tâm 20 Hình 2.5: Ví dụ cách tính đặc trưng Haar like vị trí 21 Hình 2.6: Đồ thị ví dụ mô tả liệu mặt siêu phẳng SVM 26 Hình 2.7: Mơ hình mơ tả tổng quan mạng Neural nhân tạo 29 Hình 2.8 Ví dụ camea giám sát 31 Hình 2.9 Ứng dụng camera giao thông 32 Hình 2.10 Ví dụ camera giám sát đặt Kiosk 33 Hình 2.11 Ví dụ camera giám sát người sử dụng Kiosk 34 Hình 2.12: Ví dụ tính tốn LBP 36 Hình 2.13: Tập hợp điểm xung quanh điểm anh trung tâm 36 Hình 2.14: Một ví dụ tính tốn đặc trưng LBP 38 Hình 2.15: Bảng thống kê mẫu đặc trưng đồng dạng LBP 39 Hình 2.16: Một số mẫu quan trọng đặc trưng đồng dạng LBP 39 Hình 2.17: Ví dụ nhận dạng đối tượng sử dụng LBP Escade 40 Hình 2.18: Chu trình lọc Kalman thể cập nhật theo thời gian (time update) dự đoán trạng thái theo thời gian 45 Hình 3.1: Sơ đồ hệ thống tổng quan hệ thống 52 Hình 3.2: Sơ đồ trình huấn luyện liệu đặc trưng LBP 54 Hình 3.3: Sơ đồ khối trình nhận dạng đối tượng 55 Hình 3.4: Một số hình ảnh dùng để huấn luyện LBP 57 Hình 3.5: Một số ảnh từ video đầu vào 58 Hình 3.6: Một số ảnh kết nhận dạng video 60 Hình 3.7: Kết nhận diện chưa khắc phục video 62 10 đặc trưng LBP, trình thu tập tin car.xml motorbike.xml, tập tin chứa đặc trưng LBP phương tiện phía sau 53 Training_Cascade Ảnh Tồn người phương tiện Sai Đúng Vẽ hình chữ nhật quanh vùng biên ảnh trả tọa độ vị trí, kích thước biên Tạo tập tin liệu phương tiện(notCar.txt, notMotobike.txt) Sử dụng opencv_createsamples tạo tập tin *.vec chứa hình ảnh mẫu Sử dụng opencv_traincascade để huấn luyện đặc trưng LBP Đặc trưng LBP đối tượng (car.xml, motorbike.xml) ` Hình 3.2: Sơ đồ trình huấn luyện liệu đặc trưng LBP 54 Quá trình huấn luyện đặc trưng LBP tạo file car.xml motorbike.xml sau: Bước 1: Vẽ hình chữ nhật quanh đối tượng tạo hai file car.txt motorbike.txt với thơng tin dịng chứa đường dẫn chứa ảnh, số đối tượng ảnh, tọa độ (x, y) góc trái phía đối tượng, chiều rộng, chiều cao đối tượng Tạo hai file notCar.txt notMotorbike.txt chưa thông tin đường dẫn đối tượng VD: - / /car001.jpg 500 200 750 675 - / /notCar001.jpg Bước 2: Tạo tập tin car.vec dạng nhị phân chứa số lượng mẫu, độ rộng, chiều cao, phần thân chứa ảnh đối tượng sử dụng lệnh opencv_createsamples Bước 3: Thực trình huấn luyện nhận dạng đối tượng lệnh opencv_traincascade (có thể sử dụng lệnh opencv_harrtraining để huấn luyện với đặc trưng Haar like) Việc huấn luyện đối tượng sử dụng đặc trưng LBP nhanh Haar like chất lượng tập liệu gần huấn luyện vằng Haar like (Phụ thuộc vào cách dùng tham số huấn luyện) Sau kết thúc trình huấn luyện, ta thu tập tin car.xml motorbike.xml tập tin lưu trữ toàn đặc trưng LBP sưu tập mẫu ban đầu 3.1.3 Quá trình phát đối tượng Video, car.xml, motorbike.xml Ảnh, car.xml, motorbike.xml Nhận dạng đối tượng vào biên ảnh Hình 3.3: Sơ đồ khối trình nhận dạng đối tượng 55 Video mô sau khoanh vùng đối tượng Sau thu tập file lưu trữ đặc trưng LBP đối tượng car.xml motorbike.xml từ việc huấn luyện liệu ảnh Ta sử dụng hai file kết hợp với tập liệu ảnh đầu vào liên tiếp (trích xuất từ video đầu vào) để nhận dạng đối tượng sử dụng hàm detectMultiScale opencv để nhận dạng Cuối khoanh vùng đối tượng nhận dạng frame ảnh để thu tập liệu frame ảnh đầu (Các ảnh đầu khoanh vùng đối tượng nhận dạng) 3.1.4 Các điều kiện theo dõi phương tiện Bằng việc sử dụng luật theo dõi đối tượng sau nhận dạng sử dụng đường thẳng ảo đánh dấu giống qua frame ảnh Ta có số điều kiện sau: - Hạn chế mức độ rung lắc camera (sự thay đổi tập liệu ảnh đầu vào) - Vị trí khoảng cách camera đến đối tượng cần theo dõi - Cấu hình ảnh thu nhận đầu vào camera… 3.2 Mô tả liệu thực nghiệm Dưới số liệu liệu hình ảnh thu thập sử dụng thuật toán LBP máy phân lớp Cascade of Adaboost 56 ` Hình 3.4: Một số hình ảnh dùng để huấn luyện LBP 57 Từ hình ảnh đầu vào qua liệu hình ảnh tính tốn sử dụng thuật toán Local Binary Parttern đưa khác mẫu hình kết hợp máy phân lớp Cascade of Adaboost Kết sau thực đưa file liệu cấu xml tương ứng với liệu đầu vào Kết sử dụng việc nhận diện theo dõi đối tượng tốn trình bày - Một số hình ảnh đầu vào mơ video đầu vào: Hình 3.5: Một số ảnh từ video đầu vào 58 Trên số liệu hình ảnh từ video đầu vào Video sử dụng số ảnh liên tiếp sau để dựa theo file training.xml để thực trình xử lý tách ảnh, nhận điện đối tượng sau theo dõi đối tượng phạm vi định khung ảnh Dữ liệu ban đầu người phương tiện giao thơng có kích thước khơng nằm ngồi vùng nhận diện (kích thước nhỏ kích thước to ảnh để đối tượng nhận diện) 3.3 Tiêu chí đánh giá Từ tập liệu đầu vào, sau thực trình phân tách liệu, nhận diện đối tượng đưa số tiêu chí đánh giá sau: - Tỉ lệ training đối tượng ảnh phụ thuộc vào tỉ lệ nhỏ tỉ lệ lớn đối tượng video (khoảng cách từ camera tới đối tượng) - Đối tượng bị khuất đối tượng di chuyển khác - Tỉ lệ góc khuất đối tượng camera ghi hình 3.4 Kết thực nghiệm Sau mơ thuật toán, phương pháp Escade of adaboost, lọc Kalman kết hợp thuật toán Hungarian, sử dụng video ngẫu nhiên ta thu số kết sau: 59 Hình 3.6: Một số ảnh kết nhận dạng video 60 Dữ liệu thu ảnh số phương tiện giao thơng có người xe máy người điều khiển ô tô với kích thước độ phân giải khác giao động từ (125 x 300) đến (220 x 500) xe máy (350 x 150 x 135) đến (920 x 828) ô tô Đây độ phân giải thiết lập sử dụng để nhận diện đối tượng 61 Trường hợp đối tượng chưa nhận diện: Hình 3.7: Kết nhận diện chưa khắc phục video 62 Từ kết cho thấy, số trường hợp không nhận diện không theo dõi đối tượng số nguyên nhân sau: + Kích thước đối tượng nhận diện nằm ngồi vùng kích thước cấu hình file liệu cấu hình xml + Khi hai đối tượng sát dẫn đến che lấp tốc độ xảy trường hợp bị nhận diện không + Tỷ lệ đối tượng lệch so với tỷ lệ file liệu cấu hình xml 3.5 Tổng kết Bài toán nghiên cứu số kỹ thuật, phương pháp phát đối tượng theo dõi, đánh dấu đối tượng Sau xác định đượng vị trí đối tượng theo dõi, hệ thống xử lý cho kết đếm số lượng phương tiện giao thông, phân loại đối tượng ô tô xe máy 63 CHƯƠNG 4: KẾT LUẬN 4.1 Kết luận  Về mặt lý thuyết Luận văn lên tổng quan số phương pháp nhận dạng, theo dõi đối tượng, khái niệm liên quan đến xử lý ảnh việc nhận dạng (training) bám mục tiêu Phân tích loại nhiễu trạng thái mơ hình ảnh hưởng đến trình theo dõi mục tiêu di chuyển Các phương pháp nhận dạng đối tượng phương pháp Background subtraction, sử dụng đặc trưng haar-like, đặc trưng HOG, máy phân lớp Cascade of adaboost, phương pháp máy học SVM, lọc Kalman, thuật toán Hungarian… Mỗi phương pháp có điểm mạnh hạn chế riêng khác sử dụng cho loại đối tượng, mục đích phù hợp với yêu cầu Tuy nhiên việc sử dụng phương pháp LBP, máy phân lớp Cascade, lọc Kalman kết hợp với thuật toán Hungarian lựa chọn tối ưu cho trình nhận dạng bám mục tiêu xuất phát từ ưu nhược điểm  Về mặt thực tiễn Luận văn đưa hướng tiếp cận ứng dụng lọc Kalman toán theo dõi đối tượng, bám đối tượng kết hợp với phương pháp trích chọn đặc trừng LBP máy phân lớp cascade of adaboost để theo dõi đối tượng chuyển động Đưa số kết mô phỏng, đánh giá kết dựa theo video thực tiễn thu thập 4.2 Hướng phát triển Dựa theo kết nghiên cứu đề tài, hạn chế kinh nghiệm thời gian thực hiên đề tài, chương trình xây dựng phát chuyển động theo mục tiêu, đối tượng dựa video Đối với đối tượng xe tải, xe 64 container khó nhận diện hơn, trường hợp xe liên kề khó để tách xe với camera có góc quay nhỏ Từ kết cho thấy, việc nghiên cứu triển khai thực tế cần thêm thời gian hoàn thiện - Kết hợp việc phát đối tượng biển số xe, hình dáng người, phát chủ phương tiện vi phạm tham gia giao thông - Xây dựng thuật toán cải thiện chất lượng video thời gian thực chất lượng loại trừ nhiễu, tối ưu thuật toán nhằm tăng chất lượng chương trình 65 TÀI LIỆU THAM KHẢO [1] Greg Welch and Gary Bishop, “An Introduction to Kalman Filter”, TR-95-041, Updated Monday July, 24, 2006; [2] G Ayorkor Mills-Tettey, Anthony Stentz, M Bernardine Dias (July 2007), The Dynamic Hungarian Algorithm forthe Assignment Problem with ChangingCosts; [3] Lưu Văn Quyến (2013), “Sử dụng lọc Kalman toán bám mục tiêu”; [4] Edgar Osuna, Robert Freund, Federico Giosi, "Training Support Vector Machine: An Application to Face Detection", appear in the Proceedings of CVPR '97, June 17-19 1997, Puerto Rico; [5] Reyes Rios-Cabrera, Tinne Tuytelaars and Luc Van Gool, “Efficient multicamera vehicle detection, tracking, and identification in a tunnel surveillance application”, Accepted 20 February 2012; [6] Paul Viola, Michael Jones, “Rapid Object Detection using a Boosted Cascade of Simple Features”, accepted Conference on computer vision and parttern recognition 2001; [7] Herry A Rowley, Shumeet Baluja and Takeo Kanade, “Neural Network-Based Face Detection” (1996); [8] TRẦN TRUNG KIÊN, VẠN DUY THANH LONG (2010), “Phát khn mặt với thuật tốn adaboost”; [9] K C Yow R Cipolla, “Feature-base human face detection” (1997), accepted 20 January 1997; 66 [10] Di Huang, Caifeng Shan, Mohsen Ardebilian, Yunhong Wang, and Liming Chen, “Local Binary Patterns and Its Application to Facial Image Analysis” 67 ... XÂY DỰNG HỆ THỐNG NHẬN DIỆN VÀ THEO DÕI MẬT ĐỘ NGƯỜI VÀ PHƯƠNG TIỆN CÓ TẬN DỤNG CAMERA TRÊN CÁC KIOSK PHỤC VỤ CHÍNH PHỦ ĐIỆN TỬ CHUYÊN NGÀNH: KỸ THUẬT ĐIỆN TỬ LUẬN VĂN THẠC SĨ KỸ THUẬT ĐIỆN TỬ... phần vào việc nghiên cứu giải pháp hỗ trợ giải vấn đề trên, chọn đề tài “XÂY DỰNG HỆ THỐNG NHẬN DIỆN VÀ THEO DÕI MẬT ĐỘ NGƯỜI VÀ PHƯƠNG TIỆN CÓ TẬN DỤNG CAMERA TRÊN CÁC KIOSK PHỤC VỤ CHÍNH PHỦ ĐIỆN... tài luận văn: Xây dựng hệ thống nhận diện theo dõi mật độ người phương tiện có tận dụng camera Kiosk phục vụ phủ điện tử Chuyên ngành: Kỹ thuật điện tử Mã số SV: CA160382 Tác giả, Người hướng dẫn