Hệ thống camera giám sát đang dần trở nên quen thuộc với sự phổ biến của các loại camera cùng với các dịch vụ lắp đặt camera. Thông thường những hệ thống này chỉ hỗ trợ việc quan sát từng màn hình camera riêng lẻ mà không thiết lập một cách nhìn toàn cảnh để có thể theo dõi, đánh giá vị trí của một đối tượng quan tâm trong khu vực.
Kỷ yếu Hội nghị KHCN Quốc gia lần thứ XII Nghiên cứu ứng dụng Công nghệ thông tin (FAIR); Huế, ngày 07-08/6/2019 DOI: 10.15625/vap.2019.00035 MỘT KỸ THUẬT ĐỊNH VỊ ĐỐI TƯỢNG TRONG HỆ THỐNG CAMERA GIÁM SÁT PHỤC VỤ THEO DÕI TRỰC QUAN Đỗ Năng Toàn1, Hà Mạnh Tồn2, Phạm Bá Mấy1, Ngơ Đức Vĩnh3 Viện Công nghệ thông tin, Đại học Quốc gia Hà Nội Viện Công nghệ thông tin, Viện Hàn lâm Khoa học Công nghệ Việt Nam Trường Đại học Cơng nghiệp Hà Nội dntoan@vnu.edu.vn, hmtoan@ioit.ac.vn, mayioit@gmail.com, ngoducvinh@haui.edu.vn TĨM TẮT: Hệ thống camera giám sát dần trở nên quen thuộc với phổ biến loại camera với dịch vụ lắp đặt camera Thông thường hệ thống hỗ trợ việc quan sát hình camera riêng lẻ mà khơng thiết lập cách nhìn tồn cảnh để theo dõi, đánh giá vị trí đối tượng quan tâm khu vực Khắc phục điều đó, báo trình bày kỹ thuật định vị đối tượng phục vụ theo dõi trực quan hệ thống camera giám sát với việc kết hợp phát vị trí đối tượng camera cụ thể xây dựng ánh xạ sang khơng gian địa lý đồng thời phân tích sai số dựa thông số lắp đặt camera Từ khóa: object location, object detection, camera system… I GIỚI THIỆU Hệ thống camera giám sát ngày trở nên phổ biến rộng rãi quen thuộc với sống người, Hệ thống camera giám sát thành phần quan trọng việc đảm bảo an ninh sân bay, ngân hàng, sòng bạc quan cải huấn Gần hơn, quan phủ, doanh nghiệp chí trường học hướng tới giám sát video phương tiện để tăng cường an ninh công cộng Với gia tăng thiết bị sẵn có mạng khơng dây băng thơng rộng tốc độ cao, ngày nhiều camera giám sát an ninh triển khai thực bước đầu cho thấy tính khả thi mặt kinh tế kỹ thuật Hình Một mơt hình hệ thống camera giám sát Các nghiên cứu hệ thống camera giám sát thường tập trung vào thuật tốn phân tích liệu video để xác định thông tin cần lưu ý Một tốn quan trọng định vị đối tượng hệ thống camera Đối với người sống hàng ngày, định vị đối tượng cơng việc quen thuộc hiển nhiên đến mức nhiều không kịp nhận Khi lái xe đường, ta liên tục phải đánh giá vị trí đối tượng khác đường để đưa thao tác điều khiển xe hợp lý, chơi thể thao đánh cầu lông hay đá bóng ta ln cần phải biết cầu hay bóng đâu… Nói chung, ta hiểu đơn giản định vị đối tượng việc xác định vị trí đối tượng khơng gian chứa vật định nghĩa trước Với cách hiểu vậy, toán định vị đối tượng camera nhìn nhiều góc nhìn khác Nhiều nhóm nghiên cứu tiếp cận việc định vị với không gian chứa vật hiểu khơng gian khung hình camera riêng biệt Một cơng trình tiếng Paul Viola Micheal Jones [1], tác giả sử dụng tiếp cận boosting để kết hợp nhiều đặc trưng Haar lại thành phân lớp mạnh phục vụ phát đối tượng ảnh Phương pháp thành công trở thành phương pháp phổ biến cho việc phát khuôn mặt Dollar đồng nghiệp [2] đề xuất phần mở rộng cho cơng trình Viola-John, đặc trưng Haar tính nhiều kênh liệu hình ảnh, bao gồm kênh màu LUV, thang màu xám số 278 MỘT KỸ THUẬT ĐỊNH VỊ ĐỐI TƯỢNG TRONG HỆ THỐNG CAMERA GIÁM SÁT PHỤC VỤ THEO DÕI TRỰC QUAN tính tốn gradient Từ tác giả đưa quy trình đơn giản thống cho việc tích hợp nhiều loại đặc trưng Mở rộng cách tiếp cận này, với phân tích đặc trưng tính mức sử dụng để mô tả gần mức tỉ lệ gần nó, cơng trình [3] trình bày kỹ thuật phát đối tượng nhiều mức tỉ lệ Hình Tiếp cận tính xấp xỉ đặc trưng nhiều mức tỉ lệ [3] Một cách tiếp cận khác nhìn nhận khơng gian chứa vật không gian chung mà camera thiết lập bên với mối quan hệ không gian tương ứng Chẳng hạn từ liệu quan sát camera hệ thống camera giám sát tịa nhà, ta định vị đối tượng quan tâm sở tương quan vị trí camera quan sát tịa nhà, từ đưa ước lượng tương đối vị trí người tòa nhà đến gần cửa, cầu thang… gần camera khác Tiếp cận sử dụng việc định vị đối tượng camera toán con, tức từ liệu video, cần thiết ước lượng vị trí xuất đối tượng khung hình Đây bước quan trọng để tính tốn vị trí đối tượng khơng gian kết hợp camera Một hướng sử dụng không gian chung hệ thống cần đến chuyển tiếp camera Cơng trình [4] có sử dụng đặc trưng đường việc kết hợp với điểm so khớp Trong đó, đặc trưng đường mơ tả điểm theo việc so khớp ước lượng với đặc trưng đường Hình Ví dụ đặc trưng đường [4], đặc trưng khớp tô màu Thông thường hệ thống camera giám sát cung cấp giao diện quan sát theo nhóm camera cụ thể không sâu vào việc định vị khơng gian chung, chí việc định vị đối tượng camera cụ thể có tính mở rộng Bài báo tiếp cận việc định vị đối tượng hệ thống camera giám sát theo hướng ước lượng tương đối vị trí đối tượng hệ tọa độ chung, chẳng hạn với camera giám sát khu vực sảnh, vấn đề đặt phát vị trí đối tượng tọa độ khung hình camera, sau tìm cách thức ánh xạ đối tượng phát khung hình camera lên khơng gian đồ 2D khu vực sảnh quan sát Đây sở để tạo khung nhìn khơng gian đồ toàn cục mà hệ thống camera giám sát Với quy trình đặt ra, báo tiến hành phân tích sai số dựa thông số thiết lập camera Đây tiền đề quan trọng để đánh giá chất lượng thiết kế lắp đặt camera phục vụ theo dõi trực quan đồ 2D II ĐỊNH VỊ ĐỐI TƯỢNG TRONG HỆ THỐNG CAMERA GIÁM SÁT PHỤC VỤ THEO DÕI TRỰC QUAN Trong hệ thống camera giám sát, thông tin đối tượng xác định dựa liệu đầu vào thu nhận từ camera giám sát Mỗi camera thể hình ảnh vùng không gian thật chiếu lên cảm biến Đỗ Năng Toàn, Hà Mạnh Toàn, Phạm Bá Mấy, Ngơ Đức Vĩnh 279 camera Trong hệ thống nhiều camera lắp đặt để giám sát khu vực, chất hệ thống thu thập phân tích tập hình chiếu vùng khơng gian nhỏ khu vực Khơng gian camera giám sát hiểu trực tiếp khơng gian ảnh tương ứng với khung hình thu nhận camera, hiểu theo ngữ cảnh liên hệ với vùng khơng gian thật theo nghĩa có liên kết với camera khác hệ thống dạng liên kết nút đồ thị Vấn đề quan tâm báo ước lượng tương đối vị trí đối tượng hệ tọa độ chung, chẳng hạn với camera giám sát khu vực sảnh, cần tìm cách thức ánh xạ đối tượng phát khung hình camera lên khơng gian đồ 2D khu vực sảnh quan sát Đây sở sau muốn đánh giá tương quan vị trí người tòa nhà đến gần cửa, cầu thang…, để ghép nối tạo khung nhìn khơng gian đồ tồn cục mà hệ thống camera giám sát Như từ liệu video thu được, chương trình xử lý để tính tốn vị trí xuất đối tượng khung hình Trên sở đưa ước lượng tương đối vị trí đối tượng khơng gian đồ 2D khu vực quan sát Quy trình thực diễn theo giai đoạn: xác định đối tượng hệ tọa độ camera xác định đối tượng hệ tọa độ chung; cụ thể định vị đối tượng camera sau ánh xạ vị trí từ khơng gian camera sang không gian chung A Định vị đối tượng camera Bước việc xử lý tiến hành riêng rẽ liệu camera cụ thể Với khung hình đầu vào, chương trình cần đưa vị trí cụ thể đối tượng quan tâm khung hình tương ứng danh sách hình chữ nhật Bước thực dựa [5], đó, chương trình xét duyệt vị trí khung hình đầu vào; vị trí, mạng nơ ron tích chập áp dụng để trả lời câu hỏi khung hình có phải đối tượng quan tâm hay khơng Trong [5], mạng nơ ron tích chập thiết kế dựa công thức: INPUT -> [[CONV -> RELU]*N -> POOL?]*M -> [FC -> RELU]*K -> FC Trong đó, ký hiệu * lặp lại, ký hiệu POOL? lựa chọn xem có sử dụng tầng POOL không Ở đây, N ≥ thường N ≤ 3, M ≥ 0, K ≥ thường K < Một trường hợp INPUT -> FC, tương ứng mơ hình phân lớp tuyến tính Ở N = M = K = Hình Cấu trúc mạng CNN [5] B Ánh xạ từ không gian camera sang khơng gian chung Sau có vị trí đối tượng khung hình camera, bước thực ánh xạ từ không gian camera sang không gian đồ 2D khu vực quan sát Từ vị trí đối tượng xác định khơng gian ảnh khung hình camera, vị trí ta coi điểm 2D khơng gian ảnh, việc tính tốn thực để 280 MỘT KỸ THUẬT ĐỊNH VỊ ĐỐI TƯỢNG TRONG HỆ THỐNG CAMERA GIÁM SÁT PHỤC VỤ THEO DÕI TRỰC QUAN xây dựng ánh xạ cho phép chiếu tương ứng vị trí đối tượng lên mặt phẳng tương ứng với mơ hình đồ 2D chứa khơng gian quan sát camera Q trình quy việc tính ma trận Homography, tức xây dựng ánh xạ từ mặt phẳng đối tượng đến mặt phẳng ảnh ngược lại Hình Tương quan điểm ảnh camera với điểm đối tượng Ma trận Homography liên quan đến việc biến đổi điểm hai mặt phẳng theo quan hệ sau: [ ] Như với hai tập điểm tương ứng { việc cực tiểu hàm sai số: ∑ (( [ ] ⌋[ ] ⌊ } { } ) ( , việc tính ma trận Homography quy ) ) Trong trường hợp có tồn vài cặp điểm ngoại lai, ta áp dụng số chiến lược khác chẳng hạn ước lượng ma trận Homography với việc sử dụng ngẫu nhiên số tập cặp điểm sau đánh giá sai số với ma trận Homography ước lượng chọn kết tốt C Vấn đề sai số Qua bước trên, ta có quy trình tính tốn từ khung hình đầu vào camera đến vị trí đối tượng đồ 2D khu vực quan sát Một vấn đề quan trọng cần đánh giá mức độ sai số mơ hình này, cụ thể trường hợp ta xét sai số bước ánh xạ từ không gian camera sang khơng gian chung Có bước quan trọng cần tính tốn vị trí đại diện điểm 2D đối tượng không gian ảnh để làm sở thực ánh xạ Homography Với kết việc định vị đối tượng camera hình chữ nhật thể vị trí đối tượng, có nhiều lựa chọn cho vị trí điểm 2D đại diện, điểm tâm hình chữ nhật, trung điểm cạnh đáy… Như điểm đại diện chọn không nằm mặt phẳng mà ta lựa chọn cho việc tính tốn ma trận Homography Chưa kể đến thực tế bước tính tốn vị trí hình chữ nhật có sai số Chẳng hạn với camera quan sát người lại sảnh phòng, lựa chọn tự nhiên cho mặt phẳng để tính ma trận Homography mặt phẳng sàn, điểm 2D cần thiết phải ước lượng điểm tâm vùng người tiếp xúc với sàn Với hình dung vậy, ta dễ dàng thấy khả tồn sai số ước lượng vị trí đồ 2D thông qua điểm 2D đại diện vị trí khung hình camera Ta phân tích cách tương đối ảnh hưởng sai số q trình tính tốn sau Coi đối tượng đoạn thẳng AB vng góc với mặt sàn, điểm B chân đối tượng nằm mặt sàn, camera C có hình chiếu H mặt phẳng sàn, đường thẳng nối camera C qua điểm A cắt mặt sàn điểm D Như vậy, ta xét điểm A, B, C, D, H phẳng phẳng qua camera C, qua đối tượng AB vng góc với mặt sàn Hình Mô mặt phẳng qua camera, đối tượng vng góc mặt sàn Đỗ Năng Tồn, Hà Mạnh Tồn, Phạm Bá Mấy, Ngơ Đức Vĩnh 281 Từ khung hình camera, ta phát vị trí đối tượng AB theo xác định điểm 2D đại diện khung hình theo lý thuyết, điểm đại diện nằm đoạn thẳng hình chiếu đoạn thẳng AB khung hình camera Như vậy, điểm đại diện sau thực biến đổi Homography nằm đoạn thẳng DB sai số việc ước lượng khoảng cách từ điểm đến điểm B Dễ dàng nhận thấy, đoạn thẳng DB lớn giá trị sai số khả việc ước lượng cao, DB lớn mà giá trị góc ̂ ̂ nhỏ Xét tương quan đến giá trị góc θ góc vector từ đối tượng đến camera so với mặt sàn, ta không xét đối tượng điểm nên giá trị góc θ hiểu giá trị nằm [ ̂ , ̂ ] Như nói rằng, sai số ước lượng lớn góc θ nhỏ, tương tự, θ đạt π/2 III THỬ NGHIỆM Quy trình cài đặt thử nghiệm đánh giá hai trường hợp: với liệu giả lập với liệu thực từ camera giám sát Với trường hợp liệu giả lập, để phục vụ mục đích đánh giá sai số phân tích, báo sử dụng kỹ thuật đồ họa máy tính để dựng mơ đối tượng phòng Trong thử nghiệm này, mặt phẳng đại diện cho mặt phẳng sàn phòng thiết lập mặt phẳng Oxy với tâm mặt phẳng sàn gốc tọa độ 100 đối tượng sinh cho di chuyển ngẫu nhiên mặt phẳng sàn Hình Dữ liệu dựng giả lập: đối tượng khối hộp có màu sắc sinh cho di chuyển ngẫu nhiên mặt phẳng sàn Để tiến hành đánh giá sai số, camera thiết lập đặt mặt cầu với tâm gốc tọa độ (0, 0, 0) bán kính lần kích thước phịng Điểm 2D đại diện cho đối tượng lấy cách chọn ngẫu nhiên điểm 3D trục thẳng đứng tâm đối tượng với dao động đoạn [-2/3, 2/3] chiều cao đối tượng hình chiếu điểm 3D mặt phẳng quan sát chọn làm điểm 2D đại diện đối tượng mặt phẳng ảnh Để đánh giá sai số ước lượng vị trí đối tượng, ta thực ánh xạ vị trí điểm 2D đại diện đối tượng lên mặt phẳng đồ 2D tính khoảng cách Euclid so với vị trí xác Bằng cách tính trung bình 100 đối tượng sinh cho di chuyển ngẫu nhiên theo N khung hình liên tiếp, ta có ước lượng tương đối sai số việc ước lượng, thử nghiệm, với lần đánh giá chọn N=1000 Chi tiết việc đánh giá, tiến hành thử nghiệm với trường hợp khác hai tham số góc lệch α β Trong α góc lệch vector từ gốc tọa độ đến camera so với mặt phẳng sàn β góc lệch vector từ gốc tọa độ đến hình chiếu camera mặt phẳng Oxy so với trục Ox Như vậy, góc α nằm nửa đoạn (0, π /2] góc β nằm đoạn [0, 2π] Ta phân tích sai số việc ước lượng vị trí đối tượng phụ thuộc vào góc θ góc vector từ đối tượng đến camera so với mặt sàn, nhiên đối tượng thay đổi vị trí vùng quan sát, nên việc sử dụng góc θ để đánh giá khơng thực tế Thay vào đó, thử nghiệm ta thiết lập mặt phẳng sàn Oxy với tâm trùng với gốc tọa đồ nên ta sử dụng góc α xấp xỉ tương đối cho góc θ đối tượng quan sát Về mặt lý thuyết, ta dự đốn sai số khơng thay đổi ta giữ nguyên góc α thay đổi góc β đồng thời cố định β, sai số lớn dần α dần đạt cực tiểu α đạt π /2 Trong thử nghiệm đánh giá tương quan sai số hệ thống giá trị α, dễ dàng nhận thấy dự đoán từ lý thuyết xác sai số giảm dần giá trị α dần đén π /2 sai số tăng α dần Điều khẳng định với thử nghiệm ta cố định giá trị α cụ thể cho β thay đổi Có thể thấy, với mức α cụ thể, sai số hệ thống tương đối ổn định ta thay đổi giá trị β lại có cách biệt rõ ràng mức sai số giá trị α khác Đây tiêu chí quan trọng để đánh giá chất lượng định vị hệ thống với thiết kế lắp đặt camera 282 MỘT KỸ THUẬT ĐỊNH VỊ ĐỐI TƯỢNG TRONG HỆ THỐNG CAMERA GIÁM SÁT PHỤC VỤ THEO DÕI TRỰC QUAN Hình Thử nghiệm đánh giá sai số hệ thống cho thay đổi α (0, π /2] với β=0 Hình Thử nghiệm đánh giá sai số hệ thống cho thay đổi β [0, π] với mức giá trị α cụ thể Hình 10 Triển khai áp dụng hệ thống camera Đỗ Năng Toàn, Hà Mạnh Toàn, Phạm Bá Mấy, Ngô Đức Vĩnh 283 Bên cạnh việc thử nghiệm với liệu mô để đánh giá sai số, tiến hành triển khai thử nghiệm hệ thống camera giám sát với chức định vị người Để thực hiện, tiến hành vẽ lại sơ đồ phòng để làm liệu đồ 2D khu vực quan sát Do góc nhìn thường bị khuất phần thân dưới, hướng đến việc phát người dựa việc phát vùng đầu người, theo mạng CNN tiến hành học với liệu đầu người liệu SCUT-HEAD [6] với vùng đầu người mở rộng Do vị trí bắt đối tượng cao so với sàn, thực xây dựng ánh xạ cặp điểm cho việc tính ma trận Homography với điểm đặt mặt bàn thay đặt sàn Cũng phân tích liệu mơ phỏng, chất lượng định vị đồ tốt với với đối tượng dưới, tức tương ứng với vị trí có góc α lớn, với vị trí xa, chẳng hạn vùng bàn uống nước, việc định vị nhầm với vùng nằm ngồi lề phịng IV KẾT LUẬN Định vị đối tượng hệ thống camera giám sát vấn đề quan trọng nghiên cứu lý thuyết xử lý ảnh việc ứng dụng thực tế hệ thống camera giám sát Thông thường hệ thống camera giám sát cung cấp giao diện quan sát theo nhóm camera cụ thể không sâu vào việc định vị khơng gian chung Bài báo trình bày kỹ thuật định vị đối tượng thể không gian đồ 2D phục vụ theo dõi trực quan đồng thời tiến hành thử nghiệm cho phép đánh giá sai số với ảnh hưởng góc lắp đặt camera Đây sở quan trọng ta thiết kế lắp đặt camera quan sát phục vụ việc định vị để theo dõi trực quan không gian đồ 2D TÀI LIỆU THAM KHẢO [1] Viola, Paul, and Michael Jones "Rapid object detection using a boosted cascade of simple features." CVPR (1) (2001): 511-518 [2] P Dollar, Z Tu, P Perona, and S Belongie, “Integral Channel Features,” Proc British Machine Vision Conf., 2009 [3] P Dollar, S Belongie, and P Perona, “The Fastest Pedestrian Detector in the West,” Proc British Machine Vision Conf., 2010 [4] Zhang, Zhong, et al "Video surveillance using a multi-camera tracking and fusion system." Multi-Camera Networks: Principles and Applications (2009): 435-456 [5] Hà Mạnh Toàn, Nguyễn Văn Năng, Trịnh Hiền Anh, Nguyễn Thị Lan Phương, Trịnh Xuân Hùng, “Một kỹ thuật phân lớp người sử dụng mạng nơron tích chập”, tr.182-185, Kỷ yếu Hội thảo Quốc gia, Một số vấn đề chọn lọc Công nghệ thông tin truyền thơng, @ lần thứ XXI, Thanh Hóa, 27-28/07/2018 [6] Peng, Dezhi, et al "Detecting Heads using Feature Refine Net and Cascaded Multi-scale Architecture." 2018 24th International Conference on Pattern Recognition (ICPR) IEEE, 2018 AN OBJECT LOCATING TECHNIQUE IN CAMERA SYSTEM FOR VISUAL MONITORING Do Nang Toan, Ha Manh Toan, Pham Ba May, Ngo Duc Vinh ABSTRACT: Surveillance camera system is gradually becoming familiar with the popularity of cameras with camera installation services Usually these systems only support the observation of individual camera screens without establishing a panoramic view to be able to track and assess the location of an interested area Overcoming that, the paper presents an object locating technique for visual monitoring in surveillance camera system with the combination of detecting the object position on each specific camera and building the map to geospatial space, then analyzing errors based on camera settings ... lắp đặt camera phục vụ theo dõi trực quan đồ 2D II ĐỊNH VỊ ĐỐI TƯỢNG TRONG HỆ THỐNG CAMERA GIÁM SÁT PHỤC VỤ THEO DÕI TRỰC QUAN Trong hệ thống camera giám sát, thông tin đối tượng xác định dựa... định vị khơng gian chung, chí việc định vị đối tượng camera cụ thể có tính mở rộng Bài báo tiếp cận việc định vị đối tượng hệ thống camera giám sát theo hướng ước lượng tương đối vị trí đối tượng. .. gian ảnh khung hình camera, vị trí ta coi điểm 2D khơng gian ảnh, việc tính toán thực để 280 MỘT KỸ THUẬT ĐỊNH VỊ ĐỐI TƯỢNG TRONG HỆ THỐNG CAMERA GIÁM SÁT PHỤC VỤ THEO DÕI TRỰC QUAN xây dựng ánh