Nghiên cứu một số thuật toán xử lý ảnh ứng dụng trong bài toán giảm sát tự động

ĐẠI HỌC QUỐC GIA HÀ N ỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ Trịnh Hiền Anh NGHIÊN C ỨU MỘT SỐ THUẬT TOÁN X Ử LÝ ẢNH ỨNG DỤNG TRONG BÀI T OÁN GIÁM SÁT T Ự ĐỘNG LUẬN VĂN THẠC SĨ Hà Nội – 2011 ĐẠI HỌC QUỐC GIA HÀ N ỘI TRƯỜNG ĐẠI HỌC CÔNG NGH Ệ Trịnh Hiền Anh NGHIÊN C ỨU MỘT SỐ THUẬT TOÁN X Ử LÝ ẢNH ỨNG DỤNG TRONG BÀI T OÁN GIÁM SÁT T Ự ĐỘNG Ngành Chuyên ngành Mã số : Công ngh ệ thông tin : Công ngh ệ phần mềm : 60 48 10 LUẬN VĂN THẠC SĨ NGƯỜI HƯỚNG DẪN KHOA HỌC: PGS.TS Đỗ Năng Toàn Hà Nội - 2011 MỤC LỤC PHẦN MỞ ĐẦU CHƯƠNG KHÁI QUÁT VỀ XỬ LÝ ẢNH VÀ GIÁM SÁT ĐỐI TƯỢNG 1 Khái quát xử lý ảnh 1 Xử lý ảnh gì? 1 Một số vấn đề xử lý ảnh 1 Một số ứng dụng xử lý ảnh 1 Xử lý video 1 1 1 1 Giám sát đối tượng Lịch sử phát triển hệ thống giám sát đối tượng 2 Các thành phần xây dựng hệ thống giám sát đố Các bước cần thực hệ thống giám sá Ứng dụng giám sát đối tượng CHƯƠNG MỘT SỐ KỸ THUẬT XỬ LÝ ẢNH TRONG GIÁM SÁT TỰ ĐỘNG ĐỐI TƯỢNG Phát đối tượng 1 Kỹ thuật trừ ảnh 2 2 2 2 2 2 Kỹ thuật trừ 2 2 2 Bám sát đối tượng (Tracking) 2 Đánh dấu đối tượng 2 Kỹ thuật bám sát đối tượng CHƯƠNG CHƯƠNG TRÌNH THỬ NGHIỆM Bài toán 1.Phát biểu toán 2.Yêu cầu hệ thống 3.Tư tưởng Cài đặt chương trình số hình ảnh thử nghiệm 1.Yêu cầu phần cứng 2.2 Một số hình ảnh thử nghiệm PHẦN KẾT LUẬN TÀI LIỆU THAM KHẢO PHỤ LỤC Các bước thao tác với file AVI DANH MỤC TỪ VIẾT TẮT Từ viết tắt CRT CCTV EM GMM Kbps Mbps MPEG OF VCR VHS VTR DANH MỤC HÌNH VẼ Hình 1- Quá trình xử lý ảnh 111111 Hình 2- Các bước hệ thống xử lý ảnh .121212 Hình 3- Zeotrope 141414 Hình - Khung hình 151515 Hình 5- Thước đo độ xám 151515 Hình 6- Không gian màu RGB 161616 Hình 7- Khơng gian màu CMY 161616 Hình 8- Phòng điều khiển hệ thống giám sát đĩa từ truyền thống 222222 Hình 9- Phịng điều khiển hệ thống giám sát đại 222222 Hình 10- Mơ hình hệ thống giám sát đối tượng 232323 Hình 11- Các bước cần thực trình giám sát tự động 242424 Hình 1- Các cửa sổ sở thuật toán so sánh thực .303030 Hình 2- So sánh biểu đồ hai ảnh 323232 Hình 3- Mẫu vector cho di chuyển camera 363636 Hình 4- Qui trình trừ .383738 Hình 5- Thể đối tượng điểm (a) điểm trọng tâm (b) tập hợp điểm 464445 Hình 6- Thể đối tượng hình bao (a) bao đối tượng hình chữ nhật (b) bao đối tượng hình ellipse 464445 Hình 7- Thể đối tượng (a) khớp kết nối (b) đường biên đầy đủ (c) điểm điểm khiển đường biên đối tượng (d) bóng đối tượng 474546 Hình 8- Phân loại kỹ thuật bám sát đối tượng 484647 Hình 9- (a) Tiếp cận bám sát đa điểm tương ứng (b) bám sát theo dịch chuyển khung hình chữ nhật (c,d) bám sát theo đường biên Hình 10- (a) Các cạnh quan sát theo biên thông thường (b) Thể mức đường biên, vị trí lưới mã hóa khoảng cách Euclide điểm lưới đường biên; thể giá trị mức xám lưới Hình 1- Tiến trình xử lý tốn Hình 2- Giao diện chương trình Hình 3- Đếm số đối tượng có khung hình thời điểm Hình 4- Đánh dấu vùng quan sát đối tượng đường thẳng Hình 5- Đánh dấu vùng quan sát đối tượng hình chữ nhật DANH MỤC BẢNG BIỂU Bảng 1- So sánh số định dạng file video thị trường PHẦN MỞ ĐẦU Trong năm gần đây, giám sát tự động lĩnh vực quan tâm phát triển rộng rãi Một lý khiến giám sát tự động phát triển mạnh mẽ tiến khoa học công nghệ khả ứng dụng rộng khắp hệ thống Ở Việt Nam số trục đường trọng điểm Nguyễn Thái Học, Khuất Duy Tiến, Kim Mã…, số đường cao tốc Pháp Vân-Cầu Giẽ, hệ thống camera giám sát sử dụng để ghi lại hình ảnh phương tiện lưu thông đường, trợ giúp quan sát điểm bị ách tắc giao thông để xác định phải trái có tai nạn giao thông Trong siêu thị, cửa hàng bán lẻ… ta nhận thấy diện camera quan sát Một số điểm trông giữ xe công cộng trang bị hệ thống camera Tuy nhiên, tại, hệ thống camera sử dụng mang tính giám sát Chúng ta cần có quan sát viên theo dõi đoạn video thu nhận từ camera, liệu thu nhận từ camera dùng làm liệu cung cấp thêm chứng sau có điều đáng tiếc xảy Với mục đích xây dựng phát triển hệ thống giám sát có hiệu kinh tế kịp thời ngăn chặn bất trắc, xây dựng hệ thống giám sát tự động cần thiết Hệ thống giám sát tự động không giúp quan sát thời gian thực (24/24h) mà giúp cảnh báo mối nghi ngờ nhằm ngăn chặn điều bất cập xảy Trong giám sát tự động thơng qua hình ảnh video thu nhận từ camera, việc phát bám theo đối tượng khâu quan trọng Để phát đối tượng ta cần kỹ thuật xử lý ảnh nhằm phân biệt đối tượng cần bám sát với đoạn video thu nhận Quá trình bám sát đối tượng thực chất so sánh vị trí đối tượng chuỗi hình ảnh ghi nhận 56 Với tập điểm u cho trước ảnh I, ta cần tìm vị trí tương ứng v=u+d ảnh J, hay nói cách khác cần tìm giá trị vectơ thay d (trong công thức 1) Với L = 0, , Lm , định nghĩa u L = [uxLu yL ] giá trị tương ứng điểm u ảnh tháp I L Theo cơng thức 4) (2.46) ta tính giá trị vectơ u L sau uL = Không tổng quan u = u L Trước tiên tính giá trị mức sâu tháp m sau ta tính tới mức Lm −1 tới mức Nói cách khác ta tính lùi giá trị ảnh gốc Ta tính giá trị vectơ thay d theo hàm ε L ε L (d L ) =ε L (d L x,d L y) = Nhận xét rằng, cửa (2wx + 1) × (2wy + 1) cho giá trị L Giá trị khởi tạo vectơ dự đoán g L để tiền xử lý ảnh ảnh J thứ hai Vectơ phần dư d L = [d xL d yL ] nhỏ Kết phép tính sử dụng để tính bước L-1 cách sử dụng giá trị khởi tạo g L −1 cho biểu thức ( g L −1 = g L + d L ) Quá trình thực tiếp tục đạt ảnh gốc Lúc giá trị khởi tạo mức Lm tới g Lm = [0 57 Giá trị cuối cho d công thức (2 1)(2.43) tính lại sau d = g0 +d0 Hoặc theo công thức mở rộng Lm d = ∑2 L dL L=0 2 Silhouette tracking Các đối tượng có hình dạng phức tạp bàn tay, đầu, vai…không thể mô tả khối hình học (hình 10) Phương pháp Silhouette tracking cung cấp phương thức mơ tả hình dáng thích hợp cho đối tượng thuộc nhóm Hình 10- (a) Các cạnh quan sát theo biên thông thường (b) Thể Left mức đường biên, vị trí lưới mã hóa khoảng cách Euclide điểm lưới đường biên; thể giá trị mức xám lưới Mục tiêu phương pháp tìm vùng đối tượng khung nhìn cách tính trung bình mơ hình sinh đối tượng từ khung hình trước Mơ hình sử dụng dạng biểu đồ màu Silhouette tracking thường chia thành hai nhóm là: đối sánh hình dạng (shape matching) bám sát biên (contour tracking) Formatted: Tab stops: 5,08 cm, 58 Đối sánh hình dạng tìm bóng (silhouette) đối tượng khung hình Đối sánh hình dạng thực tương tự bám sát dựa đối sánh mẫu, cần tìm bóng đối tượng mơ hình liên quan khung hình Q trình tìm kiếm thực cách tính độ tương tự đối tượng với mơ hình sinh giả thuyết dựa khung hình trước Bám sát biên phát triển từ đường biên khởi đầu tới vị trí khung hình cách sử dụng mơ hình khơng gian trạng thái sử dụng trực tiếp số hàm cực tiểu hóa 59 CHƯƠNG CHƯƠNG TRÌNH THỬ NGHIỆM Bài toán 1 Phát biểu toán Với luồng Từ đoạn video thu nhận từ camera giám sát tĩnh môi trường đường cao tốc, xây dựng chương trình thử nghiệm phát đối tượng chuyển động đoạn video, đánh dấu bám theo vết chuyển động đối tượng xác định Yêu cầu hệ thống Hệ thống có chức phát đối tượng bám sát đối tượng tự động Hệ thống có chức đánh dấu phạm vi cần quan sát Chương trình có chức chính: - Mở file video có thư viện - Đánh dấu đối tượng xuất khung hình (sử dụng hình bao hình chữ nhật) - Đếm số đối tượng xuất khung hình (đánh số đối tượng từ 0) - Đánh dấu vùng cần quan sát đường thẳng hình chữ nhật 3 Tư tưởng - Xây dựng mô đun thử nghiệm trình xác định giám sát đối tượng - Áp dụng kỹ thuật trừ để xác định đối tượng có đoạn video thu nhận được, tách đối tượng với - Sử dụng kỹ thuật bám sát điểm để bám sát chuyển động đối tượng xác định 60 Các bước thực Hình 1- Tiến trình xử lý tốn Chương trình sử dụng thuật tốn Gaussian Mixture Model để xác định mơ hình làm sở cho q trình xác định đối tượng có khung hình Các đối tượng chuyển động khung hình đánh dấu hình chữ nhật Quá trình bám sát đối tượng trình bám sát theo khung hình chữ nhật đánh dấu Bên cạnh đó, chương trình có mở rộng với đường ranh giới ảo khung hình chữ nhật đánh dấu phạm vi cần quan sát đặc biệt Theo đó, đối tượng với hình bao khối hình chữ nhật chạm vào đường ranh giới ghi nhận chuyển sang màu đỏ Riêng trường hợp phạm vi quan sát khối hình chữ nhật có chức đếm số đối tượng vào vùng quan sát 61 Khi bắt đầu mở file video, khung hình xem hình Các đối tượng xất khung hình xem xét đánh dấu lại để bám theo rời khỏi khung hình Cài đặt chương trình số hình ảnh thử nghiệm Yêu cầu phần cứng Chương trình thử nghiệm viết ngơn ngữ C++, có sử dụng số thư viện OpenCV Yêu cầu cấu hình máy: CPU: Dual Core RAM: 1GB 2 Một số hình ảnh thử nghiệm Hình 2- Giao diện chương trình Các đối tượng xuất khung hình bám theo rời khỏi khung hình Số lượng đối tượng đánh từ 62 Hình 3- Đếm số đối tượng có khung hình thời điểm 63 Kẻ đường thẳng để đánh dấu phần cần quan sát đặc biệt Các đối tượng đến đường đánh dấu hình chữ nhật màu đỏ Hình 4- Đánh dấu vùng quan sát đối tượng đường thẳng Người sử dụng kéo hình chữ nhật để xác định phạm vi cần giám sát, đối tượng di chuyển vào khu vực gán số thứ tự từ Khi đối tượng rời khỏi vùng giám sát tự động số thứ tự giảm Hình 5- Đánh dấu vùng quan sát đối tượng hình chữ nhật 64 PHẦN KẾT LUẬN Xử lý ảnh lĩnh vực khoa học có nhiều ứng dụng, chuyên ngành nhiều triển vọng phát triển Một lĩnh vực ứng dụng kỹ thuật xử lý ảnh để giải cơng việc giám sát tự động Cũng xử lý ảnh, cho dù đời, giám sát tự động chiếm ưu khả ứng dụng thực tiễn giới nói chung Việt Nam nói riêng Nhờ có hệ thống giám sát tự động giảm thiểu sức người nhiều lĩnh vực mà thu kết cao Hệ thống giám sát tự động ứng dụng nhiều lĩnh vực như: giáo dục; kinh tế; kỹ thuật… cụ thể điều tiết giao thơng, kiểm sốt an ninh khu vực công cộng nhà ga, sân bay, bến xe…, kiểm soát vào tịa nhà, chung cư…; Qua tìm hiểu nghiên cứu tài liệu, luận văn giới thiệu khái niệm xử lý ảnh, cấu trúc video, hệ thống giám sát tự động Luận văn nêu tính cấp thiết đề tài “Nghiên cứu số thuật toán xử lý ảnh ứng dụng hệ thống giám sát tự động” Các kết tìm hiểu nghiên cứu tổng kết quy trình cần thực hệ thống giám sát tự động gồm: - Phát đối tượng - Bám sát đối tượng Sau trình bày số kỹ thuật phát đối tượng bám sát đối tượng Học viênTác giả lựa chọn thuật tốn trừ phương pháp mơ hình hỗn hợp Gaussian để phát đối tượng thu nhận từ camera đặt trời Đối tượng phát đánh dấu khung hình chữ nhật sau chuyển tiếp tới mô đun bám sát đối tượng Với kỹ thuật Kanade-Lucas, đối tượng bám sát tới rời khỏi khung hình Trên số kết mà luận văn đạt Các kết phù hợp với mục tiêu đề đề cương nghiên cứu 65 Tuy nhiên, trình bày, giám sát tự động lĩnh vực đầy triển vọng Do vậy, tương lai gần, tác giả phát triển kết nghiên cứu tìm hiểu thêm để xây dựng hệ thống giám sát đối tượng hệ thống có nhiều camera giải số vấn đề va chạm hệ thống 66 TÀI LIỆU THAM KHẢO Tiếng Việt [1] Đỗ Năng Tồn, Phạm Việt Bình, Giáo trình xử lý ảnh, Đại học Thái Nguyên, NXB Khoa học Kỹ thuật, 2008 Tiếng Anh [2] Alper Yilmaz, Omar Javed and Mubarak Shah, Object Tracking: A survey, ACM Computing Surveys Vol 38 No4, Article 13, 12,2006 [3] Badatosh Chanda, Dwijesh Dutta Majumder, Digital Image Processing and Analysis, Prentice Hall of India, 2001 [4] C Stauffer and W Grimson Adaptive background mixture models for realtime tracking In Proc of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2005 [5] Comaniciu,D ,Ramesh,V , and Meer, P Kernel-based object tracking IEEE Trans Patt Analy Mach Intell 25 564-575,2003 [6] Dorin Comaniciu, Peter Meer “Mean shift analysis and application”, Proceedings of the seventh IEEE International Conference on Computer Vision, 1999, Vol 2, 1197-1203 [7] Hampapur, A , Jain, R , Weymouth, T , Digital Video Segmentation, Proc ACM Multimedia 94, San Francisco CA, 1994, pp 357 – 364 [8] Jyrpi Korki - Anttila (2002), “Automatic color enhancement and sence change detection of digital video”, Dept of Automation and Systems, Lab of Media Technology, Hensiki University of Technology [9] Katharina Quast and Andre Kaup, “AUTO GMM-SAMT: An Automatic Object Tracking System for Video Surveillance in Trafic Scenarios”, EURASIP Journal on Image and Video Processing, Volume 2011 67 [10] NanLu, Jihong Wang, Q H Wu and Li Yang, “An improved motion detection method for real time surveillence”, IAENG International Journal of Computer Science, 35:1,IJCS_35_1_16 [11] Shahraray, B , Scene Change Detection and Content-Based Sampling of Video Sequences, Digital Video Compression: Algorithms and Technologies, A Rodriguez, R Safranek, E Delp, Editors, Proc SPIE 2419, 1995, pp – 13 [12] Serby, D Koller-Meier, S and Gook L V Probabilistic object tracking using multiple features In IEEE International Conference of Pattern Recognition (ICPR), 184-187, 2004 [13] Veenman, C , Reinders, M , and Backer, E Resolving motion correspondence for densely moving points IEEE Trans Patt Analy Mach Intell 23,1,54-72, 2001 [14] Xiong, W , Lee, J C -M , Ip, M C , Net comparison: a fast and effective method for classifying image sequences, SPIE Conf Storage and Retrieval for Image and Video Databases III, Proceedings, San Jose, CA, 1995, pp 318 – 328 68 PHỤ LỤC Các bước thao tác với file AVI AVI chuẩn video tích hợp thư viện mơi trường lập trình Để thực xử lý file video ta cần thực thao tác để chuyển sang xử lý ảnh cho khung hình (frames) Bước Mở đóng thư viện Để thực thao tác với file AVI cần thực mở thư viện Công việc thực hàm AVIFileInit() Đây hàm khơng cần tham số, có nhiệm vụ khởi động thư viện cung cấp hàm hỗ trợ thao tác với file AVI Thư viện khai báo file vfw h Sau thực xong để tránh lỗi đáng tiếc, nên sử dụng hàm đóng thư viện lúc đầu lệnh AVIFileExit() Bước Mở đóng file avi Sau mở thư viện, xác định địa file AVI mà cần thao tác, tiến hành mở file lệnh AVIFileOpen(PQVIFILE*ppfile,LPCSTR fname, UINT mode, CLSID pclsidHandler) Hàm tạo vùng đệm chứa trỏ trỏ đến file có tên fname cần mở ppfile trỏ trỏ đến vùng đệm Tham số mode qui định kiểu mở file: mở để đọc OF_READ, mở để ghi…OF_WRITE… Tham số cuối NULL Sau thao tác xong với file, ta cần gõ dịng lệnh đóng file AVI mở trước đóng thư viện AVIFileRelease(PAVIFILE pfile) 69 pfile trỏ trỏ tới file cần đóng Bước 3: Mở dịng liệu hình ảnh âm file AVI để thao tác Để bắt đầu thao tác với liệu hình ảnh âm file AVI, ta sử dụng câu lệnh AVIFileGetStream(PAVIFILE pfile, PAVISTREAM *ppavi,DWORD fccType, LONG lParam) Trong đó, pfile trỏ trỏ đến file mở ppavi trỏ đến dòng liệu kết fccType loại dòng liệu chọn để mở, âm giá trị streamtypeAUDIO, cịn hình ảnh giá trị streamVIDEO lParam: đếm số loại dòng mở, thao tác với loại dòng liệu Sau thao tác xong với liệu ta nhớ phải sử dụng lệnh AVIStreamRelease(PAVISTREAM pavi) để đóng liệu cần thao tác lại Bước 4: Thao tác với khung hình (frames) AVIStreamGetFramOpen(PAVISTREAMpavi, LPBITMAPINFOHEADER lpbiWanted) đó, pavi trỏ đến dịng liệu mở lpbiWanted trỏ trỏ đến cấu trúc mong muốn hình ảnh, ta dùng NULL để sử dụng cấu trúc mặc định Hàm trả đối tượng có kiểu PGETFRAME để dùng cho hàm AVIStreamGetFrame(PGETFRAME pget, LONG lpos) 70 Hàm trả trỏ trỏ tới liệu frame thứ lpos Dữ liệu có kiểu DIB định khối Sau thực thao tác mong muốn với frame, ta cần gọi hàm đóng frame AVIStreamGetFrameClose(PGETFRAME pget) Formatted: Font: Times New Roman ... QUÁT VỀ XỬ LÝ ẢNH VÀ GIÁM SÁT ĐỐI TƯỢNG 1 Khái quát xử lý ảnh 1 Xử lý ảnh gì? 1 Một số vấn đề xử lý ảnh 1 Một số ứng dụng xử lý ảnh 1 Xử lý video 1 1 1 1 Giám sát. .. Sơ đồ tổng quát hệ thống xử lý ảnh Hình 2- Các bước hệ thống xử lý ảnh 1 Một số vấn đề xử lý ảnh Tiền xử lý: Tiền xử lý giai đoạn xử lý ảnh số Tùy thuộc vào trình xử lý giai đoạn thực công đoạn... VỀ XỬ LÝ ẢNH VÀ GIÁM SÁT ĐỐI TƯỢNG 1 Khái quát xử lý ảnh 1 Xử lý ảnh gì? Formatted: French (France) Định nghĩa Trong khoa học máy tính xử lý ảnh dạng xử lý tín hiệu với đầu vào hình ảnh: ảnh