(Luận văn thạc sĩ) nghiên cứu một số thuật toán xử lý ảnh ứng dụng trong bài toán giảm sát tự động

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ Trịnh Hiền Anh NGHIÊN CỨU MỘT SỐ THUẬT TOÁN XỬ LÝ ẢNH ỨNG DỤNG TRONG BÀI TOÁN GIÁM SÁT TỰ ĐỘNG LUẬN VĂN THẠC SĨ Hà Nội – 2011 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ Trịnh Hiền Anh NGHIÊN CỨU MỘT SỐ THUẬT TOÁN XỬ LÝ ẢNH ỨNG DỤNG TRONG BÀI TOÁN GIÁM SÁT TỰ ĐỘNG Ngành Chuyên ngành Mã số : Công nghệ thông tin : Công nghệ phần mềm : 60 48 10 LUẬN VĂN THẠC SĨ NGƯỜI HƯỚNG DẪN KHOA HỌC: PGS.TS Đỗ Năng Toàn Hà Nội - 2011 MỤC LỤC PHẦN MỞ ĐẦU 999 CHƯƠNG 111111 KHÁI QUÁT VỀ XỬ LÝ ẢNH VÀ GIÁM SÁT ĐỐI TƯỢNG 111111 1 Khái quát xử lý ảnh 111111 1 Xử lý ảnh gì? 111111 1 Một số vấn đề xử lý ảnh 121212 1 Một số ứng dụng xử lý ảnh 121212 1 Xử lý video 131313 1 Sơ lược lịch sử phát triển 131313 1 Một số khái niệm định nghĩa xử lý video 141414 1 3 Một số dạng chuẩn kiến trúc Video 161616 1 Một số vấn đề xử lý video 212121 Giám sát đối tượng 212121 Lịch sử phát triển hệ thống giám sát đối tượng 212121 2 Các thành phần xây dựng hệ thống giám sát đối tượng 232323 Các bước cần thực hệ thống giám sát đối tượng 242424 Ứng dụng giám sát đối tượng 242424 CHƯƠNG 262626 MỘT SỐ KỸ THUẬT XỬ LÝ ẢNH TRONG GIÁM SÁT TỰ ĐỘNG ĐỐI TƯỢNG 262626 Phát đối tượng 262626 1 Kỹ thuật trừ ảnh 262626 2 1 Kỹ thuật trừ ảnh dựa vào điểm ảnh 272727 2 Trừ ảnh phân khối 292929 2 Phương pháp biểu đồ 313131 2 Phương pháp thống kê 353535 2 Trừ ảnh dựa vào đặc trưng 363636 2 Kỹ thuật trừ 373737 2 Phương pháp Frame Differencing 393839 2 Mơ hình Gauss hỗn hợp 403939 2 Bám sát đối tượng (Tracking) 444344 2 Đánh dấu đối tượng 464445 2 Kỹ thuật bám sát đối tượng 474546 CHƯƠNG 595657 CHƯƠNG TRÌNH THỬ NGHIỆM 595657 Bài toán 595657 1 Phát biểu toán 595657 Yêu cầu hệ thống 595657 3 Tư tưởng 595657 Cài đặt chương trình số hình ảnh thử nghiệm 615758 Yêu cầu phần cứng 615758 2 Một số hình ảnh thử nghiệm 615859 PHẦN KẾT LUẬN 646061 TÀI LIỆU THAM KHẢO 666263 PHỤ LỤC 686465 Các bước thao tác với file AVI 686465 DANH MỤC TỪ VIẾT TẮT Từ viết tắt Ý nghĩa CRT Cathode Ray Tube CCTV Closed-Circuit Television EM Expectation Miximization GMM Gaussian Mixture Model Kbps thousand bits per second Mbps million bits per second MPEG Moving Pictures Experts Group OF Optical Flow VCR Video Cassette Recorder VHS Video Home System VTR Video Tape Recorder DANH MỤC HÌNH VẼ Hình 1- Quá trình xử lý ảnh 111111 Hình 2- Các bước hệ thống xử lý ảnh 121212 Hình 3- Zeotrope 141414 Hình - Khung hình 151515 Hình 5- Thước đo độ xám 151515 Hình 6- Khơng gian màu RGB 161616 Hình 7- Khơng gian màu CMY 161616 Hình 8- Phịng điều khiển hệ thống giám sát đĩa từ truyền thống 222222 Hình 9- Phòng điều khiển hệ thống giám sát đại 222222 Hình 10- Mơ hình hệ thống giám sát đối tượng 232323 Hình 11- Các bước cần thực trình giám sát tự động 242424 Hình 1- Các cửa sổ sở thuật toán so sánh thực 303030 Hình 2- So sánh biểu đồ hai ảnh 323232 Hình 3- Mẫu vector cho di chuyển camera 363636 Hình 4- Qui trình trừ 383738 Hình 5- Thể đối tượng điểm (a) điểm trọng tâm (b) tập hợp điểm 464445 Hình 6- Thể đối tượng hình bao (a) bao đối tượng hình chữ nhật (b) bao đối tượng hình ellipse 464445 Hình 7- Thể đối tượng (a) khớp kết nối (b) đường biên đầy đủ (c) điểm điểm khiển đường biên đối tượng (d) bóng đối tượng 474546 Hình 8- Phân loại kỹ thuật bám sát đối tượng 484647 Hình 9- (a) Tiếp cận bám sát đa điểm tương ứng (b) bám sát theo dịch chuyển khung hình chữ nhật (c,d) bám sát theo đường biên 494748 Hình 10- (a) Các cạnh quan sát theo biên thông thường (b) Thể mức đường biên, vị trí lưới mã hóa khoảng cách Euclide điểm lưới đường biên; thể giá trị mức xám lưới 575455 Hình 1- Tiến trình xử lý tốn 605758 Hình 2- Giao diện chương trình 615859 Hình 3- Đếm số đối tượng có khung hình thời điểm 625859 Hình 4- Đánh dấu vùng quan sát đối tượng đường thẳng 635960 Hình 5- Đánh dấu vùng quan sát đối tượng hình chữ nhật 635960 DANH MỤC BẢNG BIỂU Bảng 1- So sánh số định dạng file video thị trường PHẦN MỞ ĐẦU Trong năm gần đây, giám sát tự động lĩnh vực quan tâm phát triển rộng rãi Một lý khiến giám sát tự động phát triển mạnh mẽ tiến khoa học công nghệ khả ứng dụng rộng khắp hệ thống Ở Việt Nam số trục đường trọng điểm Nguyễn Thái Học, Khuất Duy Tiến, Kim Mã…, số đường cao tốc Pháp Vân-Cầu Giẽ, hệ thống camera giám sát sử dụng để ghi lại hình ảnh phương tiện lưu thông đường, trợ giúp quan sát điểm bị ách tắc giao thông để xác định phải trái có tai nạn giao thông Trong siêu thị, cửa hàng bán lẻ… ta nhận thấy diện camera quan sát Một số điểm trông giữ xe công cộng trang bị hệ thống camera Tuy nhiên, tại, hệ thống camera sử dụng mang tính giám sát Chúng ta cần có quan sát viên theo dõi đoạn video thu nhận từ camera, liệu thu nhận từ camera dùng làm liệu cung cấp thêm chứng sau có điều đáng tiếc xảy Với mục đích xây dựng phát triển hệ thống giám sát có hiệu kinh tế kịp thời ngăn chặn bất trắc, xây dựng hệ thống giám sát tự động cần thiết Hệ thống giám sát tự động không giúp quan sát thời gian thực (24/24h) mà giúp cảnh báo mối nghi ngờ nhằm ngăn chặn điều bất cập xảy Trong giám sát tự động thơng qua hình ảnh video thu nhận từ camera, việc phát bám theo đối tượng khâu quan trọng Để phát đối tượng ta cần kỹ thuật xử lý ảnh nhằm phân biệt đối tượng cần bám sát với đoạn video thu nhận Quá trình bám sát đối tượng thực chất so sánh vị trí đối tượng chuỗi hình ảnh ghi nhận 10 Xuất phát từ hồn cảnh đó, luận văn lựa chọn đề tài “Nghiên cứu số thuật toán xử lý ảnh ứng dụng toán giám sát tự động” Đây vấn đề khơng có tính khoa học mà cịn mang đậm tính thực tiễn, hồn cảnh Việt Nam, chưa có nhiều nghiên cứu Bố cục luận văn gồm phần mở đầu, phần kết luận ba chương nội dung bố cục sau: Chương 1- Khái quát xử lý ảnh giám sát đối tượng Chương đưa khái niệm tổng quan ảnh video Các khái niệm giám sát đối tượng trình bày chương Chương 2- Một số kỹ thuật xử lý ảnh giám sát tự động đối tượng Nội dung chương đề cập tới số kỹ thuật giám sát đối tượng tự động số thuật toán xử lý ảnh ứng dụng giám sát đối tượng Chương 3- Chương trình thử nghiệm Kế thừa nghiên cứu trình bày chương 2, chương ứng dụng kỹ thuật giám sát tự động trình bày để cài đặt thử nghiệm chương trình 56 Với tập điểm u cho trước ảnh I, ta cần tìm vị trí tương ứng v=u+d ảnh J, hay nói cách khác cần tìm giá trị vectơ thay d (trong cơng thức 1) Với L  0, , Lm , định nghĩa u L  u xL u yL  giá trị tương ứng điểm u ảnh tháp I L Theo công thức (2 2)(2.44), (2 3)(2.45) (2 4)(2.46) ta tính giá trị vectơ u L sau uL  u 2L (2 5)(2.47) Không tổng quan u  u Trước tiên tính giá trị mức sâu tháp L m sau ta tính tới mức L m 1 tới mức Nói cách khác ta tính lùi giá trị ảnh gốc Ta tính giá trị vectơ thay d theo hàm  L L L L L L  (d )   (d x , d y )  u L  wy u L  wx y x ( I L ( x, y ) J L ( x  g L  d L , y  g L  d L ))   x x x y xu L  wx y u L  wy x y (2 6)(2.48) Nhận xét rằng, cửa sổ tích hợp có kích thước số 2wx  1  2wy  1 cho giá trị L Giá trị khởi tạo vectơ dự đoán g L để tiền xử lý ảnh ảnh J thứ hai Vectơ phần dư d L  d xL d yL  nhỏ Kết phép tính sử dụng để tính bước L-1 cách sử dụng giá trị khởi tạo g L 1 cho biểu thức  g L 1  g L  d L  (2 7)(2.49) Quá trình thực tiếp tục đạt ảnh gốc Lúc giá trị khởi tạo mức Lm tới g Lm  0  T (2 8)(2.50) 57 Giá trị cuối cho d công thức (2 1)(2.43) tính lại sau d  g0  d0 (2 9)(2.51) Hoặc theo công thức mở rộng Lm d  2 L dL L0 (2 (3 10) 2 Silhouette tracking Các đối tượng có hình dạng phức tạp bàn tay, đầu, vai…khơng thể mơ tả khối hình học (hình 10) Phương pháp Silhouette tracking cung cấp phương thức mơ tả hình dáng thích hợp cho đối tượng thuộc nhóm Hình 10- (a) Các cạnh quan sát theo biên thông thường (b) Thể mức đường biên, vị trí lưới mã hóa khoảng cách Euclide điểm lưới đường biên; thể giá trị mức xám lưới Mục tiêu phương pháp tìm vùng đối tượng khung nhìn cách tính trung bình mơ hình sinh đối tượng từ khung hình trước Mơ hình sử dụng dạng biểu đồ màu Silhouette tracking thường chia thành hai nhóm là: đối sánh hình dạng (shape matching) bám sát biên (contour tracking) Formatted: Tab stops: 5,08 cm, Left 58 Đối sánh hình dạng tìm bóng (silhouette) đối tượng khung hình Đối sánh hình dạng thực tương tự bám sát dựa đối sánh mẫu, cần tìm bóng đối tượng mơ hình liên quan khung hình Quá trình tìm kiếm thực cách tính độ tương tự đối tượng với mơ hình sinh giả thuyết dựa khung hình trước Bám sát biên phát triển từ đường biên khởi đầu tới vị trí khung hình cách sử dụng mơ hình khơng gian trạng thái sử dụng trực tiếp số hàm cực tiểu hóa 59 CHƯƠNG CHƯƠNG TRÌNH THỬ NGHIỆM Bài tốn 1 Phát biểu toán Với luồng Từ đoạn video thu nhận từ camera giám sát tĩnh môi trường đường cao tốc, xây dựng chương trình thử nghiệm phát đối tượng chuyển động đoạn video, đánh dấu bám theo vết chuyển động đối tượng xác định Yêu cầu hệ thống Hệ thống có chức phát đối tượng bám sát đối tượng tự động Hệ thống có chức đánh dấu phạm vi cần quan sát Chương trình có chức chính: - Mở file video có thư viện - Đánh dấu đối tượng xuất khung hình (sử dụng hình bao hình chữ nhật) - Đếm số đối tượng xuất khung hình (đánh số đối tượng từ 0) - Đánh dấu vùng cần quan sát đường thẳng hình chữ nhật 3 Tư tưởng - Xây dựng mô đun thử nghiệm trình xác định giám sát đối tượng - Áp dụng kỹ thuật trừ để xác định đối tượng có đoạn video thu nhận được, tách đối tượng với - Sử dụng kỹ thuật bám sát điểm để bám sát chuyển động đối tượng xác định 60 Các bước thực Hình 1- Tiến trình xử lý tốn Chương trình sử dụng thuật toán Gaussian Mixture Model để xác định mơ hình làm sở cho q trình xác định đối tượng có khung hình Các đối tượng chuyển động khung hình đánh dấu hình chữ nhật Quá trình bám sát đối tượng trình bám sát theo khung hình chữ nhật đánh dấu Bên cạnh đó, chương trình có mở rộng với đường ranh giới ảo khung hình chữ nhật đánh dấu phạm vi cần quan sát đặc biệt Theo đó, đối tượng với hình bao khối hình chữ nhật chạm vào đường ranh giới ghi nhận chuyển sang màu đỏ Riêng trường hợp phạm vi quan sát khối hình chữ nhật có chức đếm số đối tượng vào vùng quan sát 61 Khi bắt đầu mở file video, khung hình xem hình Các đối tượng xất khung hình xem xét đánh dấu lại để bám theo rời khỏi khung hình Cài đặt chương trình số hình ảnh thử nghiệm Yêu cầu phần cứng Chương trình thử nghiệm viết ngơn ngữ C++, có sử dụng số thư viện OpenCV Yêu cầu cấu hình máy: CPU: Dual Core RAM: 1GB 2 Một số hình ảnh thử nghiệm Hình 2- Giao diện chương trình Các đối tượng xuất khung hình bám theo rời khỏi khung hình Số lượng đối tượng đánh từ 62 Hình 3- Đếm số đối tượng có khung hình thời điểm 63 Kẻ đường thẳng để đánh dấu phần cần quan sát đặc biệt Các đối tượng đến đường đánh dấu hình chữ nhật màu đỏ Hình 4- Đánh dấu vùng quan sát đối tượng đường thẳng Người sử dụng kéo hình chữ nhật để xác định phạm vi cần giám sát, đối tượng di chuyển vào khu vực gán số thứ tự từ Khi đối tượng rời khỏi vùng giám sát tự động số thứ tự giảm Hình 5- Đánh dấu vùng quan sát đối tượng hình chữ nhật 64 PHẦN KẾT LUẬN Xử lý ảnh lĩnh vực khoa học có nhiều ứng dụng, chuyên ngành nhiều triển vọng phát triển Một lĩnh vực ứng dụng kỹ thuật xử lý ảnh để giải cơng việc giám sát tự động Cũng xử lý ảnh, cho dù đời, giám sát tự động chiếm ưu khả ứng dụng thực tiễn giới nói chung Việt Nam nói riêng Nhờ có hệ thống giám sát tự động giảm thiểu sức người nhiều lĩnh vực mà thu kết cao Hệ thống giám sát tự động ứng dụng nhiều lĩnh vực như: giáo dục; kinh tế; kỹ thuật… cụ thể điều tiết giao thơng, kiểm sốt an ninh khu vực công cộng nhà ga, sân bay, bến xe…, kiểm sốt vào tịa nhà, chung cư…; Qua tìm hiểu nghiên cứu tài liệu, luận văn giới thiệu khái niệm xử lý ảnh, cấu trúc video, hệ thống giám sát tự động Luận văn nêu tính cấp thiết đề tài “Nghiên cứu số thuật toán xử lý ảnh ứng dụng hệ thống giám sát tự động” Các kết tìm hiểu nghiên cứu tổng kết quy trình cần thực hệ thống giám sát tự động gồm: - Phát đối tượng - Bám sát đối tượng Sau trình bày số kỹ thuật phát đối tượng bám sát đối tượng Học viênTác giả lựa chọn thuật toán trừ phương pháp mơ hình hỗn hợp Gaussian để phát đối tượng thu nhận từ camera đặt trời Đối tượng phát đánh dấu khung hình chữ nhật sau chuyển tiếp tới mơ đun bám sát đối tượng Với kỹ thuật Kanade-Lucas, đối tượng bám sát tới rời khỏi khung hình Trên số kết mà luận văn đạt Các kết phù hợp với mục tiêu đề đề cương nghiên cứu 65 Tuy nhiên, trình bày, giám sát tự động lĩnh vực đầy triển vọng Do vậy, tương lai gần, tác giả phát triển kết nghiên cứu tìm hiểu thêm để xây dựng hệ thống giám sát đối tượng hệ thống có nhiều camera giải số vấn đề va chạm hệ thống 66 TÀI LIỆU THAM KHẢO Tiếng Việt [1] Đỗ Năng Toàn, Phạm Việt Bình, Giáo trình xử lý ảnh, Đại học Thái Nguyên, NXB Khoa học Kỹ thuật, 2008 Tiếng Anh [2] Alper Yilmaz, Omar Javed and Mubarak Shah, Object Tracking: A survey, ACM Computing Surveys Vol 38 No4, Article 13, 12,2006 [3] Badatosh Chanda, Dwijesh Dutta Majumder, Digital Image Processing and Analysis, Prentice Hall of India, 2001 [4] C Stauffer and W Grimson Adaptive background mixture models for realtime tracking In Proc of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2005 [5] Comaniciu,D ,Ramesh,V , and Meer, P Kernel-based object tracking IEEE Trans Patt Analy Mach Intell 25 564-575,2003 [6] Dorin Comaniciu, Peter Meer “Mean shift analysis and application”, Proceedings of the seventh IEEE International Conference on Computer Vision, 1999, Vol 2, 1197-1203 [7] Hampapur, A , Jain, R , Weymouth, T , Digital Video Segmentation, Proc ACM Multimedia 94, San Francisco CA, 1994, pp 357 – 364 [8] Jyrpi Korki - Anttila (2002), “Automatic color enhancement and sence change detection of digital video”, Dept of Automation and Systems, Lab of Media Technology, Hensiki University of Technology [9] Katharina Quast and Andre Kaup, “AUTO GMM-SAMT: An Automatic Object Tracking System for Video Surveillance in Trafic Scenarios”, EURASIP Journal on Image and Video Processing, Volume 2011 67 [10] NanLu, Jihong Wang, Q H Wu and Li Yang, “An improved motion detection method for real time surveillence”, IAENG International Journal of Computer Science, 35:1,IJCS_35_1_16 [11] Shahraray, B , Scene Change Detection and Content-Based Sampling of Video Sequences, Digital Video Compression: Algorithms and Technologies, A Rodriguez, R Safranek, E Delp, Editors, Proc SPIE 2419, 1995, pp – 13 [12] Serby, D Koller-Meier, S and Gook L V Probabilistic object tracking using multiple features In IEEE International Conference of Pattern Recognition (ICPR), 184-187, 2004 [13] Veenman, C , Reinders, M , and Backer, E Resolving motion correspondence for densely moving points IEEE Trans Patt Analy Mach Intell 23,1,54-72, 2001 [14] Xiong, W , Lee, J C -M , Ip, M C , Net comparison: a fast and effective method for classifying image sequences, SPIE Conf Storage and Retrieval for Image and Video Databases III, Proceedings, San Jose, CA, 1995, pp 318 – 328 68 PHỤ LỤC Các bước thao tác với file AVI AVI chuẩn video tích hợp thư viện mơi trường lập trình Để thực xử lý file video ta cần thực thao tác để chuyển sang xử lý ảnh cho khung hình (frames) Bước Mở đóng thư viện Để thực thao tác với file AVI cần thực mở thư viện Công việc thực hàm AVIFileInit() Đây hàm khơng cần tham số, có nhiệm vụ khởi động thư viện cung cấp hàm hỗ trợ thao tác với file AVI Thư viện khai báo file vfw h Sau thực xong để tránh lỗi đáng tiếc, nên sử dụng hàm đóng thư viện lúc đầu lệnh AVIFileExit() Bước Mở đóng file avi Sau mở thư viện, xác định địa file AVI mà cần thao tác, tiến hành mở file lệnh AVIFileOpen(PQVIFILE*ppfile,LPCSTR fname, UINT mode, CLSID pclsidHandler) Hàm tạo vùng đệm chứa trỏ trỏ đến file có tên fname cần mở ppfile trỏ trỏ đến vùng đệm Tham số mode qui định kiểu mở file: mở để đọc OF_READ, mở để ghi…OF_WRITE… Tham số cuối NULL Sau thao tác xong với file, ta cần gõ dịng lệnh đóng file AVI mở trước đóng thư viện AVIFileRelease(PAVIFILE pfile) 69 pfile trỏ trỏ tới file cần đóng Bước 3: Mở dịng liệu hình ảnh âm file AVI để thao tác Để bắt đầu thao tác với liệu hình ảnh âm file AVI, ta sử dụng câu lệnh AVIFileGetStream(PAVIFILE fccType, LONG lParam) pfile, PAVISTREAM *ppavi,DWORD Trong đó, pfile trỏ trỏ đến file mở ppavi trỏ đến dòng liệu kết fccType loại dòng liệu chọn để mở, âm giá trị streamtypeAUDIO, cịn hình ảnh giá trị streamVIDEO lParam: đếm số loại dòng mở, thao tác với loại dòng liệu Sau thao tác xong với liệu ta nhớ phải sử dụng lệnh AVIStreamRelease(PAVISTREAM pavi) để đóng liệu cần thao tác lại Bước 4: Thao tác với khung hình (frames) AVIStreamGetFramOpen(PAVISTREAMpavi, LPBITMAPINFOHEADER lpbiWanted) đó, pavi trỏ đến dịng liệu mở lpbiWanted trỏ trỏ đến cấu trúc mong muốn hình ảnh, ta dùng NULL để sử dụng cấu trúc mặc định Hàm trả đối tượng có kiểu PGETFRAME để dùng cho hàm AVIStreamGetFrame(PGETFRAME pget, LONG lpos) 70 Hàm trả trỏ trỏ tới liệu frame thứ lpos Dữ liệu có kiểu DIB định khối Sau thực thao tác mong muốn với frame, ta cần gọi hàm đóng frame AVIStreamGetFrameClose(PGETFRAME pget) Formatted: Font: Times New Roman ... giám sát đối tượng trình bày chương Chương 2- Một số kỹ thuật xử lý ảnh giám sát tự động đối tượng Nội dung chương đề cập tới số kỹ thuật giám sát đối tượng tự động số thuật toán xử lý ảnh ứng dụng. .. QUÁT VỀ XỬ LÝ ẢNH VÀ GIÁM SÁT ĐỐI TƯỢNG 111111 1 Khái quát xử lý ảnh 111111 1 Xử lý ảnh gì? 111111 1 Một số vấn đề xử lý ảnh 121212 1 Một số ứng dụng xử lý ảnh ... Sơ đồ tổng quát hệ thống xử lý ảnh Hình 2- Các bước hệ thống xử lý ảnh 1 Một số vấn đề xử lý ảnh Tiền xử lý: Tiền xử lý giai đoạn xử lý ảnh số Tùy thuộc vào trình xử lý giai đoạn thực công đoạn