Xây dựng giải pháp giám sát camera tập trung trên nền tảng bản đồ số

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC QUY NHƠN NGUYỄN THỊ THANH THẮNG XÂY DỰNG GIẢI PHÁP GIÁM SÁT CAMERA TẬP TRUNG TRÊN NỀN TẢNG BẢN ĐỒ SỐ Chuyên ngành: Khoa học máy tính Mã số: 8.48.01.01 Người hướng dẫn: PGS.TS Nguyễn Tấn Khôi LỜI CAM ĐOAN Tôi xin cam đoan toàn nội dung luận văn với đề tài: “Xây dựng giải pháp giám sát Camera tập trung tảng đồ số n thực hướng dẫn trực tiếp PGS.TS Nguyễn Tấn Khôi - Trường Đại học Bách Khoa Đà Nẵng Phần thực nghiệm chương trình tơi tự xây dựng có hướng dẫn giảng viên, có sử dụng số thư viện chuẩn thuật toán tác giả xuất công khai Kết thực nghiệm minh họa luận văn trung thực Nội dung luận văn chưa công bố hay xuất hình thức Các tài liệu tham khảo sử dụng luận văn có nguồn gốc rõ ràng trích dẫn xác, đầy đủ.Nếu sai tơi xin hồn tồn chịu trách nhiệm Bình Định, ngày 22 tháng 04 năm 2020 Người cam đoan Nguyễn Thị Thanh Thắng LỜI CẢM ƠN Trong trình nghiên cứu luận văn, cịn gặp nhiều khó khăn, nhận quan tâm, giúp đỡ quý thầy cô, bạn bè người thân Đây nguồn động lực lớn giúp tơi hồn thành đề tài luận văn Tôi xin gửi lời cảm ơn chân thành lòng biết ơn sâu sắc đến quý Thầy (Cô), người nuôi dưỡng chắp cánh ước mơ cho thân đến với đường nghiên cứu khoa học đầy đam mê, đặc biệt PGS.TS Nguyễn Tấn Khôi - Trường Đại học Bách Khoa Đà Nẵng Với tâm huyết mình, thầy bảo tận tình chu thân hồn thành tốt cơng việc Và xin cảm ơn cán bộ,nhân viên phòng Đào tạo Sau đại học, trường Đại học Quy Nhơn tạo điều kiện tốt cho tơi suốt q trình học tập trường Cuối cùng, cho gửi lời biết ơn đến gia đình, bạn bè tất người thân, bên cạnh động viên thân suốt thời gian học tập nghiên cứu Kính chúc q Thầy (Cơ) anh chị em lớp cao học ngành Khoa học Máy tính khóa 21 sức khỏe, hạnh phúc thành đạt Xin chân thành cảm ơn! Nguyễn Thị Thanh Thắng MỤC LỤC •• Trang LỜI CAM ĐOAN LỜI CẢM ƠN DANH MỤC CÁC CHƯ VIẾT TẮT DANH MỤC CÁC HÌNH 2.1 Chương THỬ NGHIỆM ỨNG DỤNG GIÁM SÁT CAMERA TẬP QUYẾT ĐỊNH GIAO ĐỀ TÀI LUẬN VĂN THẠC SĨ (bản sao) DANH MỤC CÁC CHỮ VIẾT TẮT Chữ tắt Dạng đầy đủ Nghĩa tiếng Việt Không gian hai chiều 2D Two-dimensional space CPU Central Processing Unit Bộ xử lý trung tâm CRT Cathode ray tube Đèn điện tử chân không IP Internet Protocol Giao thức mạng Joint Photographic Experts Định dạng ảnh JPEG Group LCD PIXEL Liquid Crystal Display Màn hình tinh thể lỏng Picture Element Điểm ảnh DANH MỤC CÁC HÌNH ẢNH Số Tên hình hiệu Trang 1.1 Mơ hình hóa cấu trúc hệ thống 1.2 Mơ hình hệ thống phát đối tượng 10 1.3 Chuyển đổi từ liệu raster thành vector 16 2.1 Sơ đồ nhận dạng khuôn mặt 20 2.2 Các dạng đặc trưng Haar - Like 20 2.3 Đặc trưng Haar - Like 21 2.4 Đặc trưng cạnh 21 2.5 Đặc trưng đường 21 2.6 Đặc trưng xung quanh tâm 21 2.7 Tính giá trị ảnh tích phân điểm có tọa độ (x,y) 22 2.8 Tính nhanh giá trị vùng ảnh D 22 2.9 Mô hình phân tầng 23 2.10 2.11 Kết hợp phận loại yếu thành phận loại mạnh AdaBoost Mơ hình YOLO 24 26 2.12 Cách thức hoạt động YOLO 27 2.13 Phép chiếu Homography 33 2.14 Quan hệ mặt phẳng phép chiếu với ma trận Homography 34 3.1 Bản đồ cục 44 3.2 Vị trí lắp camera 45 3.3 Giao diện chương trình 46 3.4 Kết nối camera 46 3.5 Xác định 04 điểm đồ 47 3.6 Xác định 04 điểm camera 48 3.7 Quy trình hệ thống 48 3.8 Quy trình hệ thống 49 MỞ ĐẦU Lý chọn đề tài Ngày nay, hệ thống camera giám sát thành phần quan trọng việc đảm bảo an ninh nhiều khu vực đông người Cuộc sống ngày phát triển, dẫn đến người ngồi nhu cầu ăn uống cịn có nhu cầu khác nghỉ ngơi, thư giãn, du lịch Chính mà ngày nhiều khu du lịch, khu sinh thái, hay tour đến viếng đình chùa mở để phục vụ đời sống tinh thần người Tuy nhiên khu du lịch phải đối mặt với nhiều vấn đề phức tạp Chẳng hạn có địa điểm thu hút hàng chục ngàn lượt khách nước quốc tế đến tham quan, hành hương Đây mơi trường để bọn tội phạm trà trộn để thực hành vi vi phạm pháp luật hành vi trộm cắp, cướp giật, lừa đảo Các hành vi gây ảnh hưởng nghiêm trọng đến tình hình an ninh trật tự địa phương Mặt khác, tồn số khách du lịch thiếu ý thức gây ảnh hưởng đến cảnh quan, di chuyển vùng cấm, vùng nguy hiểm địa hình phức tạp khu du lịch Với điều kiện vậy, việc áp dụng giám sát camera khu du lịch giải pháp thiết yếu điều kiện ngày Bên cạnh đó, phổ biến thiết bị sẵn có mạng khơng dây băng thơng rộng tốc độ cao, ngày nhiều camera giám sát an ninh triển khai thực cho thấy tính khả thi mặt kinh tế kỹ thuật Đây sở để thực nhiều vấn đề nghiên cứu ứng dụng hệ thống camera Mục tiêu ban đầu mục tiêu quan trọng hệ thống camera theo dõi đối tượng phạm vi lắp đặt hệ thống camera Thông thường, người trực hệ thống camera phải quan sát lúc nhiều camera giám sát đối tượng Tuy nhiên có khó khăn để đánh giá cách tổng thể đối tượng toàn khu vực địa lý lắp đặt camera Giải pháp tập trung vào việc xây dựng đồ quan sát hệ thống camera giám sát, giải pháp hỗ trợ việc quan sát vùng không gian địa lý chung mà hệ thống camera lắp đặt.Trong đó, đối tượng phát khung hình camera riêng lẻ, sau dựa vào mối quan hệ khung nhìn camera với vùng địa lý thực, tọa độ đối tượng khung hình ánh xạ sang khơng gian địa lý hiển thị lên đồ theo dõi khu vực Từ lý trên, chọn đề tài “XÂY DỰNG GIẢI PHÁP GIÁM SÁT CAMERA TẬP TRUNG TRÊN NỀN TẢNG BẢN ĐỒ SỐ” Mục đích nghiên cứu Tìm hiểu nghiên cứu giải pháp giám sát camera tập trung tảng đồ số Phát đối tượng khung hình giám sát camera, ánh xạ tọa độ đối tượng sang không gian thực để hiển thị đồ đánh giá thử nghiệm Đối tượng phạm vi nghiên cứu 3.1 Đối tượng nghiên cứu Một số kỹ thuật phát đối tượng ánh xạ tọa độ đối tượng từ không gian camera sang không gian đồ 3.2 Phạm vi nghiên cứu Các kỹ thuật áp dụng phạm vi liệu khung hình camera, luồng video trực tiếp từ file video lưu trữ ổ cứng Dữ liệu thể góc nhìn vùng khơng gian địa lý thu nhận ống kính camera Dữ liệu từ nhiều camera riêng lẻ quan sát nhiều góc khác khu vực địa lý Phương pháp nghiên cứu Phương pháp nghiên cứu đề tài lựa chọn lý thuyết kết hợp với thực nghiệm Các vấn đề cần giải liên quan đến thuật tốn lý 10 thuyết truyền thơng mạng, xử lý ảnh, thị giác máy đồ họa máy tính thực phần mềm máy tính với đầu vào thông tin thu nhận từ thực tế Quá trình tiến hành dựa việc tìm hiểu tài liệu, cài đặt thử nghiệm sau đánh giá kết thực nghiệm cải tiến nhằm nâng cao chất lượng hệ thống Như vậy, cần tiến hành tìm hiểu lý thuyết phát đối tượng ảnh với phép biến đổi ánh xạ tọa độ đối tượng Tìm hiểu kỹ thuật mặt lý thuyết kết hợp với việc cài đặt thực nghiệm liệu luồng hình ảnh từ camera để kiểm chứng đánh giá nội dung tìm hiểu lý thuyết từ cải tiến hồn thiện chương trình Ý nghĩa khoa học thực tiễn đề tài 5.1 Ý nghĩa khoa học Việc sử dụng giải pháp giúp tăng hiệu công việc người vận hành hệ thống camera giám sát việc giảm thiểu phần công sức công đoạn quan sát đồng thông tin nhiều camera lúc Giải pháp kênh tham chiếu cho liệu camera độc lập Những điều góp phần cải tiến quy trình làm việc, nâng cao hiệu suất làm việc kiểm tra, giám sát 5.2 Ý nghĩa thực tiễn Giải pháp phần mềm xây dựng sở xử lý ảnh thị giác máy nên không xung đột với giải pháp phần cứng hệ thống camera mà trái lại cần Việc kết hợp giải pháp đề xuất tạo ưu việc kinh doanh cho hệ thống camera giám sát vốn thường cung cấp tính quan sát đơn lẻ Giải pháp cung cấp mơ hình giám sát tập trung nhiều camera dựa xử lý ảnh thị giác máy nhằm tạo sở quản lý đối tượng di chuyển vùng camera giám sát cách suốt hiệu Giái ứng vị trí đối tượng lên mặt phẳng tương ứng phần mơ hình đồ 2D chứa không gian quan sát camera Giải pháp cho ánh xạ sử dụng ma trận Homography, sử dụng ta thiết lập phép chiếu từ mặt phẳng khung hình đến mặt phẳng đồ 48 Chương - THỬ NGHIỆM ỨNG DỤNG GIÁM SÁT CAMERA TẬP TRUNG TRÊN NỀN TẢNG BẢN ĐỒ SỐ 3.1 Giới thiệu toán Hệ thống camera giám sát thành phần quan trọng việc đảm bảo an ninh nhiều khu vực đông người Mục tiêu ban đầu mục tiêu quan trọng hệ thống camera theo dõi đối tượng phạm vi lắp đặt hệ thống camera Giải pháp giám sát camera tập trung tảng đồ số giải pháp hỗ trợ việc quan sát vùng không gian địa lý chung mà hệ thống camera lắp đặt 3.2 Phân tích tốn Các đối tượng phát khung hình camera riêng lẻ, sau dựa vào mối quan hệ khung nhìn camera với vùng địa lý thực, tọa độ đối tượng khung hình ánh xạ sang không gian địa lý hiển thị lên đồ theo dõi khu vực 3.3 Xây dựng chương trình thử nghiệm 3.3.1 Mơ tả liệu Trong phạm vi luận văn, chương trình thử nghiệm thuật tốn với liệu tự thu thập Tập liệu bao gồm hình ảnh từ camera thu thập nhiều góc quay khác 3.3.2 Mơi trường cài đặt Để cài đặt chương trình thử nghiệm, yêu cầu: - Nền mặt phẳng không thay đổi, điểm chọn hình ảnh camera phải tương ứng với điểm đồ, điểm phải nằm mặt phẳng - Camera dùng để quay phải đặt vị trí cố định - Ánh sáng phịng phải ổn định, khơng tối q sáng q chức thực xác 49 - Máy tính phải có cấu hình tối thiểu sau: * Cấu hình phần cứng: Máy tính phải có cấu hình tối thiểu CPU có tốc độ 2.0 GHz, RAM GB, nhớ 80 GB • Ngơn ngữ mơi trường cài đặt: Chương trình thử nghiệm xây dựng dựa sơ đồ hệ thống nêu Chương trình phát triển tảng Visual C++ 2015, thư viện thị giác máy mã nguồn mở OpenCV (địa http://sourceforge.net/projects/opencvlibrary) 3.3.3 Quy trình thực Quy trình thực diễn theo bước: phát đối tượng khung hình giám sát camera ánh xạ tọa độ đối tượng sang không gian thực để hiển thị đồ Bước việc xử lý tiến hành riêng rẽ liệu camera cụ thể Với khung hình đầu vào, chương trình cần đưa vị trí cụ thể đối tượng quan tâm khung hình tương ứng danh sách hình chữ nhật Bước thực phương pháp YOLO darket, mơ hình phát đối tượng sử dụng mạng nơ ron tích chập hiệu Sau nhận danh sách vị trí đối tượng khung hình camera, ta ánh xạ chúng sang khơng gian đồ địa lý khu vực quan sát Các vị trí đối tượng khung hình xem xét điểm 2D tọa độ khung hình, trọng tâm bước thiết lập quy tắc ánh xạ tương ứng vị trí đối tượng lên mặt phẳng tương ứng phần mơ hình đồ 2D chứa khơng gian quan sát camera Giải pháp cho ánh xạ sử dụng ma trận Homography, sử dụng ta thiết lập phép chiếu từ mặt phẳng khung hình đến mặt phẳng đồ 50 Từ bước trên, ta có giải pháp kỹ thuật rõ ràng bước để đạt mục tiêu đề Theo đó, từ hình ảnh camera riêng lẻ thu được, ta tạo hình ảnh quan sát đồ đối tượng khu vực 3.3.4 Xây dựng thuật toán Thuật toán xây dựng để giải toán đặt ra: Dữ liệu từ camera đầu vào, xuất vị trí đối tượng đồ Input: Hình ảnh thu từ camera có điều kiện ánh sáng tốt khơng thay đổi Với khung hình đầu vào, chương trình cần đưa vị trí cụ thể đối tượng quan tâm khung hình tương ứng danh sách hình chữ nhật Bước thực phương pháp YOLO darket Sau nhận danh sách vị trí đối tượng khung hình camera, ta ánh xạ chúng sang không gian đồ địa lý khu vực quan sát Các vị trí đối tượng khung hình xem xét điểm 2D tọa độ khung hình, trọng tâm bước thiết lập quy tắc ánh xạ tương ứng vị trí đối tượng lên mặt phẳng tương ứng phần mơ hình đồ 2D chứa khơng gian quan sát camera Giải pháp cho ánh xạ sử dụng ma trận Homography, sử dụng ta thiết lập phép chiếu từ mặt phẳng khung hình đến mặt phẳng đồ Output: Hiển thị tọa độ đối tượng lên đồ theo dõi khu vực Đánh dấu đối tượng dấu chấm màu hồng 3.4 Đánh giá kết khả mở rộng chương trình 3.4.1 Kết thử nghiệm 51 Luận văn đánh giá kết chương trình với tập liệu thu từ camera ghi lại phòng máy thực hành - Cơ sở thực hành Nhơn Phú, Trường Cao đẳng Bình Định nhằm đánh giá khả học tập sinh viên mộtcách hiệu khoa học Đối tượng quan tâm hệ thống người qua lại xuất vùng camera quan sát Hệ thống phát ánh xạ tương đối xác hầu hết lượt thử nghiệm vận hành + Xây dựng đồ cục bộ: sơ đồ phòng máy thực hành 52 Hình 3.1 Bản đồ cục 53 + Vị trí lắp đặt camera: vị trí phịng Hình 3.2 Vị trí lắp camera + Số người thử nghiệm: 01 04 người Một số hình ảnh chụp lại từ cửa sổ chương trình: 54 3.4.1.1 Giao diện chương trình Hình 3.3 Giao diện chương trình 3.4.1.2 Kết nối camera Video Source Hình 3.4 Kết nối Camera 3.4.1.3 Chọn 04 điểm đồ: 55 Hình 3.5 Xác định 04 điểm đồ 56 3.4.1.4 Chọn 04 điểm tương ứng camera Hình 3.6 Xác định 04 điểm camera _ , T _ f 3.4.1.5 Kết Hình 3.7 Quy trình hệ thống 1: Hệ thống phát đối tượng khung hình giám sát camera (khoanh hình chữ nhật màu xanh cây) Hệ thống ánh xạ tọa độ đối tượng lên không gian thực (thể chấm màu hồng đồ phòng) 57 Hình 3.8 Quy trình hệ thống 3.4.2 Đánh giá Sau thực chương trình, chương trình hoạt động với điều kiện ràng buộc tỷ lệ phát định vị đối tượng cao với 80% Đối tượng quan tâm hệ thống người qua lại xuất vùng camera quan sát Hệ thống phát ánh xạ tương đối xác hầu hết lượt thử nghiệm vận hành Đây kết bước đầu thời gian tới thử nghiệm áp dụng vào số vị trí quan sát tiềm khác lớp học, phòng họp, 3.5 Kết luận chương Trong chương này, luận văn tiến hành cài đặt thử nghiệm thuật tốn trình bày phạm vi phòng máy thực hành - Cơ sở thực hành Nhơn Phú, Trường Cao đẳng Bình Định Về bản, nội dung thể bước để giải toán thực tế Từ việc phân tích u cầu tốn đến quy trình xử lý chương trình thử nghiệm với kết Trong số trường hợp kết không mong muốn, nhiên, cần phải phát triển khắc phục số hạn chế để đạt kết tốt 58 KẾT LUẬN VÀ KIẾN NGHỊ •• Nội dung nghiên cứu kết đạt luận văn Quản lý giám sát tập trung nhiều camera dựa xử lý ảnh thị giác máy có ý nghĩa khoa học lẫn thực tiễn Nhằm tạo giải pháp giám sát hiệu quan, nhà máy, xí nghiệp có nhiều văn phòng nơi khác chí nước khác Giúp quản lý khả hoạt động công việc hiệu hơn, giúp nhà quản lý có nhìn tổng thể giám sát cần thiết mơ hình thiết kế Giải pháp cung cấp cho công ty kinh doanh camera giám sát phần mềm kèm hệ thống camera giám sát lắp đặt cho quan cách suốt đồng Trong nội dung nghiên cứu đề tài, thân tìm hiểu thuật toán phát đối tượng, định vị đối tượng áp dụng thuật toán để giải toán đặt Qua nghiên cứu, kết mà luận văn đạt sau: - Khái quát hệ thống Camera giám sát tập trung, vấn đề định vị đồ - Trình bày số kỹ thuật phát đối tượng, ánh xạ đối tượng sang không gian đồ - Cài đặt thử nghiệm thuật toán phát ánh xạ đối tượng sang không gian đồ cục Kiến nghị hướng nghiên cứu 2.1 Kiến nghị Bên cạnh thành công đạt được, luận văn số hạn chế cần phải khắc phục như: - Chương trình thực nghiệm đồ cục bộ, liệu đầu vào từ camera, chưa kết hợp nhiều camera - Vì đối tượng phát phải nằm mặt phẳng 59 chọn trước nên phát định vị có số đối tượng khơng phát - Kết chương trình phụ thuộc vào khoảng cách camera mặt phẳng chọn, góc nghiêng camera - Thời gian chạy thử nghiệm chương trình với độ dài cố định 2.2 Hướng phát triển Trong trình thực đề tài, hạn chế mặt trình độ thời gian thực luận văn có hạn, chương trình phần demo thuật toán phát đối tượng, ánh xạ đối tượng sang không gian đồ cục Để triển khai thực tế cần đòi hỏi nhiều cải tiến Hy vọng tương lai, phát triển giúp chương trình hồn thiện - Thực chương trình đồ số - Chạy chương trình với độ dài thời gian thực - Phát tất đối tượng phạm vi giám sát Định vịquan sát đối tượng đồ số diện rộng với nhiều camera DANH MỤC TÀI LIỆU THAM KHẢO •• [1] TS Nguyễn Đăng Bình (2011), “Giáo trình - xử lý ảnh số’” [2] Nguyễn Quang Hoan, Giáo Trình Xử Lý Ảnh, Học Viện Bưu Chính Viễn Thơng, Hà Nội, 2006 [3] Nguyễn Văn Long (2016), “Ứng dụng xử lý ảnh thực tế với thư viện OpenCV” [4] TS Lê Thị Kim Nga (2017), “Bài giảng xử lý ảnh” [5] PGS TS Đỗ Năng Toàn (2007), “Bài giảng xử lý ảnh số” [6] Adrian Kaehler & Gary Bradski (2016), “Learning OpenCV Computer Visicon in C++ with the OpenCV Library” [7] Joseph Redmon, Santosh Divvala, Ross Girshick, Ali Farhadi (2016), “YouOnlyLookOnce: Unified, Real-TimeObjectDetection” [8] Paul Viola, Michael Jones (2001), “Rapid Object Detection using a Boosted Cascade of Simple Features” [9] Richard Hartley and Andrew Zisserman, “Multiple View Geometry in Computer Vision Second Edition” [10] Zhengxia Zou, Zhenwei Shi, Member, IEEE, Yuhong Guo, and Jieping Ye, Senior Member, IEEE (2019), “Object Detection in 20 Years: A Survey” [11] https://www.slideshare.net/trongthuy3/luan-van-nghien-cuu-he- thong- giam-sat-tren-nen-camera-ip-hot [12] https://gis21.thuathienhue.gov.vn/kh%C3%A1i-ni%E1%BB %87m- b%E1%BA%A3n-%C4%91%E1%BB%93-s%E1%BB%911.aspx [13] https://viblo.asia/p/tim-hieu-ve-phuong-phap-nhan-dien-khuon- mat-cua- violas-john-ByEZkNVyKQ0 [14] https://itzone.com.vn/vi/article/tim-hieu-ve-yolo-trong-bai-toan- real- time-object-detection/ [15] https://pjreddie.com/media/files/papers/yolo_1.pdf ... “XÂY DỰNG GIẢI PHÁP GIÁM SÁT CAMERA TẬP TRUNG TRÊN NỀN TẢNG BẢN ĐỒ SỐ” Mục đích nghiên cứu Tìm hiểu nghiên cứu giải pháp giám sát camera tập trung tảng đồ số Phát đối tượng khung hình giám sát. .. QUAN VỀ GIÁM SÁT CAMERA TẬP TRUNG VÀ VẤN ĐỀ ĐỊNH VỊ TRÊN BẢN ĐỒ SỐ 1.1 Hệ thống camera giám sát tập trung 1.1.1 Giới thiệu chung 1.1.2 Vấn đề phát đối tượng camera 1.2 Vấn đề định vị đồ số 1.2.1... vực địa lý lắp đặt camera 9 Giải pháp tập trung vào việc xây dựng đồ quan sát hệ thống camera giám sát, giải pháp hỗ trợ việc quan sát vùng không gian địa lý chung mà hệ thống camera lắp đặt.Trong