THEO DÕI VÀ PHÂN LOẠI ĐỐI TƯỢNG DỰA TRÊN BIÊN TRONG BÀI TOÁN GIÁM SÁT ĐỐI TƯỢNG CHUYỂN ĐỘNG Nguyễn Văn Căn Giới thiệu chung Hiện nay, giới hệ thống giám sát thơng minh hình ảnh phát triển chứng minh hiệu định số lĩnh vực giám sát hoạt động người, giám sát giao thông, Từ hình ảnh thu từ nơi quan sát, ta phát chuyển động đối tượng khung hình, xác định đối tượng người, phương tiện hay vật thể Nhiều hệ thống nghiên cứu phát triển Chẳng hạn, với toán giám sát giao thơng cho biết số lượng phương tiện lưu thông qua đoạn đường theo dõi, đưa thông tin tốc độ chuyển động, đường đối tượng theo dõi Tuy nhiên, hệ thống gặp phải số tồn hiệu việc quan sát phụ thuộc vào điệu kiện môi trường quan sát, kiểu chuyển động đối tượng hay lý khách quan khác Vì vậy, hệ thống cịn nhiều nhà khoa học, trung tâm nghiên cứu giới Việt nam quan tâm phát triển Nhóm nghiên cứu thuộc trường ĐH KT-HC CAND, với đề tài "Nghiên cứu xây dựng hệ thống phát hiện, giám sát đối tượng khu vực bảo vệ thông qua camera quan sát", Mã số: "BX-2013-T36-02" tập trung sâu vào việc khảo sát đặc trưng video, đặc trưng ảnh, đặc trưng đối tượng chuyển động, đặc trưng nền, từ áp dụng thuật tốn phù hợp, kết hợp với thuật toán máy học với tham khảo tri thức huấn luyện trước để rút ngắn thời gian tính tốn chi phí nhớ, để từ hệ thống phù hợp với thời gian thực Những vấn đề tổng quan Đầu vào toán theo dõi giám sát đối tượng chuyển động khung hình video Qua trình xử lý phát đối tượng chuyển động (Object Detection ) đưa đối tượng chuyển động Các đối tượng phát qua trình phân lớp đối tượng (Object Classification ) để xem thuộc lớp nào, vật Và cuối trình xử lý để theo dõi đối tượng (Object Tracking) việc tìm đường chuyển động đối tượng, dự đoán chuyển động, xử lý nhập nhằng chuyển động Khối phát đối tượng chuyển động coi khối xử lý hệ thống giám sát thơng minh hình ảnh Vì hiệu quả, tính xác khối xử lý ảnh hưởng đến đầu vào đầu khối xử lý Chính ảnh hưởng lớn đến hiệu tính tin cậy tồn hệ thống giám sát thông minh Phân loại đối tượng khâu trung gian đóng vai trị quan trọng tồn hệ thống, đầu vào khối theo vết đối tượng đầu toàn hệ thống Bởi phần khơng thể thiếu tồn hệ thống Khối xử lý theo vết đối tượng khối xử lý thiếu hệ thống giám sát thông minh hiệu khối xử lý ảnh hưởng trực tiếp đến đầu toàn hệ thống Do giải tốt vấn đề theo vết đối tượng đưa lại tính xác độ tin cậy cho hệ thống giám sát Việc xử lý hệ thống giám sát thơng minh hình ảnh việc phân tích xử lý hình ảnh video qua việc giải toán sau: Bài toán 1: Phát đối tượng chuyển động bước tốn phân tích hình ảnh video, cơng việc khái qt lại việc tách các đối tượng chuyển động từ hình ảnh đối tượng Phương pháp thường sử dụng tốn là: phương pháp trừ ảnh nền, phương pháp dựa thống kê, phương pháp chênh lệch tạm thời, phương pháp dựa luồng thị giác Bài toán 2: Phân lớp đối tượng công việc phân loại lớp đối tượng tìm theo lớp định nghĩa trước như: Lớp người, lớp phương tiện, lớp động vật,… Đây bước cần thiết để tiếp tục phân tích hoạt động chúng Hiện có hai hướng tiếp cận để giải tốn là: Hướng tiếp cận dựa hình dáng vết hướng tiếp cận dựa chuyển động đối tượng Hướng tiếp cận dựa hình dáng đối tượng hồn tồn dựa vào tính chất 2D vết tìm được, hương tiếp cận dựa chuyển động đối tượng dựa tính chất chuyển động đối tượng theo thời gian Bài tốn 3: Theo dõi đối tượng cơng việc đưa chuỗi hành vi đối tượng chuyển động thời gian từ khung hình thu Thủ tục đưa thơng tin đối tượng theo dõi đường đối tượng, tốc độ hay hướng chuyển động đối tượng Từ dự đốn hành động đối tượng mô tả hành động chúng Đầu vào q trình đầu trình tìm phân lớp đối tượng chuyển động Các tốn khơng nghiên cứu áp dụng hệ thống giám sát mà áp dụng lĩnh vực khác như: thực ảo, nén hình ảnh, giao diện người máy, biên tập video sở liệu đa phương tiện, hướng tiếp cận phát triển công nghệ đa phương tiện tương lai Nhóm nghiên cứu Trường Đại học Kỹ thuật - Hậu cần CAND tiến hành thực nghiên cứu tài liệu, lập mơ hình thuật tốn, mơ hình vật lý thực nghiệm Qua kết đạt chúng tơi thấy rằng: - Về cấu hình thiết bị camera quan sát tích hợp hệ thống mạng máy tính, cải tiến cách thức hoạt động, lập trình thiết bị tích hợp làm cho hệ thống mạng hoạt động hiệu quả, vào thực thu thập thông tin theo mong muốn người nhằm đáp ứng mục tiêu hệ thống Cơng việc hồn tồn đáp ứng việc lập trình dựa tập thuật toán xử lý liệu video phát đối tượng chuyển động phương pháp giảm trừ nền, phân tách đối tượng chồng lấp, tính tốn độ dài thị giác Các thuật toán nhà khoa học nghiên cứu phát triển ngày nâng cao độ xác, nâng cao tốc độ xử lý đáp ứng thời gian thực Việc thu nhận đoạn video đưa vào hệ thống phụ thuộc vào nhiều yếu tố, độ cao việc treo camera, góc nhìn xuống lịng đường, chiều dài ống kính quay,… - Thu nhận liệu (tín hiệu) từ trạm quan sát trung tâm điều máy chủ hệ thống tiến hành xử lý thông tin, dựa theo thuật tốn nhận dạng, phân tích xử lý ảnh ngày cải tiến cho kết xác cao - Đối với mục tiêu bảo vệ giám sát trường học, quan, khu công nghiệp, nhà máy, khu vực an ninh, quốc phịng; giám sát tình giao thơng, xác định chứng vi phạm giao thông, xác định mật độ phương tiện giao thông… thực hiệntheo phương pháp truyền thống khó có khả hiệu sử dụng nhân lực, tính khách quan số liệu thu thập thông qua thời gian - Khu vực bảo vệ trang bị hệ thống giám sát camera kết hợp mạng khơng dây giúp cho việc nâng cao hiệu giám sát, xây dựng số liệu đầy đủ quản lý vào ra, chống xâm nhập trái phép hỗ trợ số cơng tác hành khác - Các thơng số đo qua camera mạng máy tính hệ thống giám sát bảo vệ quan, trường học, khu cơng nghiệp, khu vực an ninh, quốc phịng bao gồm: Số lượng, chủng loại xe ô tô, mô tô vào/ra qua cổng theo thời gian thực; Số lượng người vào/ra qua cổng theo thời gian thực; Xác định không gian, thời gian đối tượng xâm nhập vào trường ngồi trái phép khơng qua cổng bảo vệ; Số liệu thu thập, xử lý đưa cảnh báo, báo động theo thời gian thực - Để phát trích chọn đối tượng chuyển động, phương pháp sử phổ biến phương pháp giảm trừ Bốn bước giải thuật trừ là: Tiền xử lý, mô hình hóa nền, phát đối tượng hợp lệ hóa liệu Tiền xử lí bao gồm tác vụ xử lí ảnh đơn giản cho video đầu vào tạo điều kiện cho xử lí bước Mơ hình hóa sử dụng frame video để tính tốn cập nhật mơ hình Mơ hình cung cấp phần mơ tả thống kê tồn cảnh Dị tìm đối tượng xác định pixel frame video khơng tương ứng với mơ hình nền, đưa mặt nạ nhị phân tương ứng với đối tượng Cuối cùng, hợp lệ liệu khảo sát mặt nạ thích hợp , loại bỏ pixel khơng tương ứng với đối tượng chuyển động thật, đưa mặt nạ cuối - Sau bóc tách đối tượng chuyển động, phát khối đối tượng Phân đoạn khối thành đối tượng riêng rẽ Để hỗ trợ phân đoạn, sử dụng đường bao đối tượng, độ dài thị giác xác định đoạn khối dính theo hướng: dính theo chiều ngang, chiều dọc, so le trước sau bên trái, so le trước sau bên phải Để phân loại xác định đối tượng dựa vào đường bao đối tượng Đường bao phương tiện ô tô khác với đường bao phương tiện thô sơ (xe máy, xe đạp) người Nhóm nghiên cứu tập trung xử lý phát xử lý biên đối tượng chuyển động sau thực xong khối phát hiện, trước chuyển sang khối theo dõi thực tính tốn theo dõi Phân đoạn đối tượng dựa phát biên Vị trí biên phân tích ảnh: Phân tích ảnh qua trình gồm nhiều giai đoạn Đầu tiên giai đoạn tiền xử lý ảnh Sau giai đoạn này, ảnh tăng cường hay khôi phục đề làm nồi đặc tính (feature extraction), phân đoạn ảnh (segmentation) thành phần tử Thí dụ, phân đoạn dựa theo biên, dựa theo vùng,… Và tuỳ theo ứng dụng, giai đoạn nhận dạng ảnh (phân thành lớp có miêu tả) giải thích miêu tả ảnh Các đặc trưng ảnh thường gồm: mật độ xám, phân bố xác xuất, phân bố không gian, biên ảnh Các kỹ thuật phân đoạn ảnh chủ yếu dựa vào biên Do đó, biên có tầm quan trọng đặc biệt qua trình phân tích ảnh Hình Các bước phân tích ảnh Khái niệm biên ảnh: Một điểm ảnh coi điểm biên có thay đổi đột ngột mức xám Tập hợp điểm biên tạo thành biên hay đường bao ảnh ảnh (boundary) Thí dụ, ảnh nhị phân, điểm gọi biên điểm đen có điểm trắng lân cận Nhìn chung mặt tốn học người ta coi điểm biên ảnh điểm có biến đổi đột ngột độ xám Như phát biên cách lý tưởng xác định tất đường bao đối tượng Định nghĩa toán học biên sở cho kỹ thuật phát biên Điều quan trọng biến thiên mức xám ảnh vùng thường nhỏ, biến thiên mức xám điểm vùng giáp ranh (khi qua biên) lại lớn Phân loại kỹ thuật phát biên: Xuất phát từ định nghĩa toán học biên người ta thường sử dụng phương pháp phát biên: trực tiếp gián tiếp Phương pháp trực tiếp: nhằm làm biên dựa vào biến thiên giá trị độ sáng điểm ảnh Kỹ thuật chủ yếu dùng phát biên kỹ thuật đạo hàm Nếu lấy đạo hàm bậc ảnh ta có phương pháp Gradient Nếu lấy đạo hàm bậc hai ta có kỹ thuật Laplace Hai phương pháp gọi phương pháp dò biên cục Qui trình phát biên trực tiếp: Bước Khử nhiễu ảnh Vì ảnh thu nhận thường có nhiễu, nên bước phải khử nhiễu việc khử nhiễu thực kỹ thuật khử nhiễu khác Bước Làm biên Tiếp theo làm biên toán tử đạo hàm Bước Định vị điểm biên Vì kỹ thuật làm biên có hiệu ứng phụ tăng nhiễu , có số điểm biên giả cần loại bỏ Bước Liên kết trích chọn biên Như nói, phát biên phân vùng ảnh tốn đối ngẫu Vì phát biên thông qua việc phân vùng ảnh Phương pháp gián tiếp: Nếu cách đấy, ta phân ảnh thành vùng đường phân ranh vùng biên việc phân vùng ảnh thường dựa vào kết cấu (texture) bề mặt ảnh Ngồi người ta cịn sử dụng nhiều phương pháp khác dựa vào phát triển mở rộng phương pháp Cũng cần lưu ý rằng, kỹ thuật dò biên phân vùng ảnh hai tốn đối ngẫu Dị biên để thực phân lớp đối tượng phân lớp xong có nghĩa phân vùng ảnh Khi phân vùng, ảnh phân lập thành đối tượng, phát biên Phương pháp dị biên trực tiếp tỏ hiệu chịu ảnh hưởng nhiễu Song biến thiên độ sáng không đột ngột, phương pháp lại hiệu Phương pháp dò biên gián tiếp có khó cài đặt song lại áp dụng tốt biến thiên độ sáng nhỏ Một số kết thực nghiệm bàn luận Thực nghiệm so sánh số đoạn video cung đường khác (Hình 2) Máy quay cố định, đặt độ cao mét, góc quay 30 o, cung đường sân bay nội bài, máy quay đặt độ cao 10m Thử nghiệm máy tính 2.5GHz, ngơn ngữ lập trình C++ thư viện OpenCV2.4.8 Trước hết so sánh mục tiêu ảnh hưởng mức độ dày đặc luồng phương tiện (số lượng xe di chuyển phút), chất lượng video ảnh hưởng đến mức độ xác, sau thực thử nghiệm thời gian xử lý thuật toán a) Xe đường đại lộ Thăng Long b) Xe sân bay nội c) Xe cầu Thanh Trì Hình Một số hình ảnh từ camera đưa vào thực nghiệm a) Phát đối tượng chuyển động b) Sử dụng luồng quang học để đếm (đốm vàng thân xe) Hình Giao diện kết thực nghiệm hệ thống Sau tiến hành thử nghiệm so sánh với kỹ thuật trừ ảnh trừ mức độ lỗi trung bình, độ nhiễu tỷ lệ xác gặp phải nguồn ảnh nguồn video chất lượng thấp, mức độ dày đặc dịng phương tiện phương pháp Optical flow kết hợp tái chọn mẫu đạt độ ổn định qua bảng đánh giá sau: Bảng So sánh phản ứng phương pháp với mật độ xe cung đường Cung đường Cầu Như Quỳnh Đại lộ Thăng Long Sân bay nội Cầu Thanh Trì Số khung hình theo dõi 1450 1110 462 1450 Mật độ xe Rất thưa Tương đối thưa Trung bình Rất dày đặc Số lượng thực 35 115 Số lượng đếm phần mềm Độ xác 35 120 100% 95.83% 70 170 80 185 87.50% 87.17% Tại bảng 1, thấy hệ thống phản ứng với mật độ rõ nét; xe khơng chồng lấp lên độ xác lên tới 100%; mật độ dày tăng lên, xe có chồng lấp bóng hình làm chồng chấp, thuật toán tách khối chưa áp dụng, dẫn đến sai số Số lượng xe đếm hệ thống có xu hướng cao số lượng thực, lý do ngưỡng đặt phân khối tơ cịn bé, hệ thống đếm nhầm sang xe máy Các vấn đề khắc phục hệ thống phát triển kết hợp toán phân loại theo dõi loại đối tượng độc lập (bao hàm đếm xe máy phương tiện khác) Kết luận Chúng tiến hành thử nghiệm đếm xe với phương pháp đề xuất tập liệu video thu từ số tuyến đường Hà Nội phụ cận Kết thu tương đối xác với mật độ xe khác đường cao tốc Hệ thống giám sát tự động, có q trình phát biên đối tượng có nhiều ứng dụng thực tiễn cơng tác công an, giám sát cổng vào, giám sát bảo vệ kho tàng bến bãi, giám sát giao thông Do vậy, cần đẩy mạnh công tác nghiên cứu triển khai ứng dụng CNTT hệ thống kỹ thuật nghiệp vụ Hướng nghiên cứu tiếp theo, cần áp dụng thuật kỹ thuật phát biên (2D, 3D) để phân loại, theo dõi đếm nhiều đối tượng đồng thời (xe ô tô, xe máy, phương tiện khác), qua xác định ngưỡng đường bao, ngưỡng hình dạng để nâng cao độ xác hệ thống Tài liệu tham khảo [1] Cheung S., Kamath C Robust Background Subtraction with Foreground Validation for Urban Traffic Video, Journal of Applied Signal Processing, Special Issue on Advances in Intelligent Vision Systems: Methods and Applications, EURASIP 2005, Issue 14, pages 2330-2340, New York, USA, 2005 [2] Biswas S., Sil J., Sengupta N Background Modeling and Implementation using Discrete Wavelet Transform: a Review, JICGST-GVIP, Volume 11, Issue 1, pages 29-42, March 2011 [3] Butler D., Sridharan S Real-Time Adaptive Background Segmentation, ICASSP 2003, 2003 [4] Maddalena L., Petrosino A A self organizing approach to background subtraction for visual surveillance applications, IEEE Transactions on Image Processing, Volume17, No 7, pages 1729– 1736, 2008 [334]Bouwmans T Subspace Learning for Background Modeling: A Survey, Recent Patents on Computer Science, Volume 2, No 3, pages 223-234, November 2009