Nghiên cứu thuật toán phát hiện và định vị đối tượng trong dãy ảnh liên tiếp

ỦY BAN NHÂN DÂN TP.HCM SỞ KHOA HỌC VÀ CÔNG NGHỆ ĐẠI HỌC QUỐC GIA TP.HCM TRƯỜNG ĐH KHOA HỌC TỰ NHIÊN BÁO CÁO GIÁM ĐỊNH/NGHIỆM THU NGHIÊN CỨU THUẬT TOÁN PHÁT HIỆN VÀ ĐỊNH VỊ ĐỐI TƯỢNG TRONG DÃY ẢNH LIÊN TIẾP TS PHẠM THẾ BẢO THÀNH PHỐ HỒ CHÍ MINH 2012 TĨM TẮT NỘI DUNG NGHIÊN CỨU Phát định vị thay đổi đối tượng dãy ảnh liên tiếp vấn đề chủ yếu phân tích ảnh động, theo dõi đối tƣợng Ở chúng tơi xin trình bày phƣơng pháp giải toán dựa thuật toán Fast Marching Level Set Ban đầu, từ kiểm định thống kê nguyên lý hợp lý cực đại ta đánh dấu pixel chắn thuộc đối tƣợng (đánh dấu nhãn động), pixel chắn thuộc (đánh dấu nhãn tĩnh) Bƣớc tiếp theo, thuật toán Fast Marching đƣợc sử dụng để lan truyền hai tập hợp pixel đánh dấu sang pixel cịn lại, hình thành vùng thay đổi hai ảnh Từ hai vùng động tĩnh có đƣợc trên, ta tiếp tục sử dụng thuật toán Fast Marching để mở rộng thu hẹp lại tạo thành vùng chứa xác đƣờng biên đối tƣợng Cuối thuật tốn Seeded Region Growing đƣợc áp dụng để tìm đƣờng biên xác đối tƣợng thay đổi Trang SUMMARY OF RESEARCH CONTENT Detection and localization of moving objects in an image sequence is a crucial issue in moving video analysis, object tracking We present here a method to solve this problem using a Fast Marching algorithm and Region Growing algorithm At first, statiscal tests and Maximum Likelihood„s principle are used to label pixels belonging to object (mobile label) and pixels belonging to background (static label) The next step, we use the Fast Marching algorithm for propagating these sets towards the unlabelled space From two zone we had above, the Fast Marching algorithm is used again to determine the region, which contains the accuracy boundary of moving object Finally, we use Seeded Region Growing algorithm to have the last result Trang MỤC LỤC PHẦN MỞ ĐẦU TỔNG QUAN CHƢƠNG Level Set & Fast Marching 10 Giới thiệu 10 Phƣơng pháp Level Set 11 2.1 Phƣơng trình Level Set 11 2.2 Nghiệm xấp xỉ phƣơng trình Level Set 13 2.3 Kỹ thuật Narrow Band 13 Phƣơng pháp Fast Marching 14 3.1 Phƣơng trình Eikonal 14 3.2 Nghiệm xấp xỉ phƣơng trình Eikonal 16 3.3 Thuật toán Fast Marching Level Set 16 3.4 Chi tiết bƣớc thuật toán FMLS 18 Thuật toán Multi - Class Fast Marching 21 CHƢƠNG Phát Hiện Sự Thay Đổi Của Đối Tƣợng Trong Dãy Ảnh Liên Tiếp 23 Tóm tắt phƣơng pháp sử dụng FMLS SRG 23 Phát đối tƣợng chuyển động 24 2.1 Thiết lập mơ hình thống kê 24 2.2 Gán nhãn khởi tạo ban đầu 25 2.3 Lan truyền nhãn 27 Định vị đối tƣợng 29 3.1 Khởi tạo 29 3.2 Tạo vùng chứa biên 30 3.3 Lọc biên đối tƣợng 31 CHƢƠNG Cài Đặt Chƣơng Trình 34 Chƣơng trình minh họa 34 Kết thực nghiệm 38 Hƣớng phát triển 40 TÀI LIỆU THAM KHẢO Trang DANH SÁCH CÁC CHỮ VIẾT TẮT VIẾT TẮT THUẬT NGỮ TIẾNG VIẾT FMLS Fast Marching Level Set SRG Seeded Region Growing DANH SÁCH BẢNG SỐ TÊN BẢNG SỐ LIỆU TRANG Các giá trị w 24 Kết thực nghiệm 33 DANH SÁCH HÌNH TÊN HÌNH ẢNH SỐ TRANG Sự tiến triển đƣờng cong Sự tiến triển đƣờng tròn theo phƣơng pháp Level Set 10 Kỹ thuật đánh dấu điểm phƣơng pháp Narrow Band 12 Biểu diễn mặt nón T 13 Minh họa thuật toán Fast Marching 15 Cập nhật thời gian tiếp cận 17 Thuật toán Multi-Class Fast Marching 20 Đánh dấu mẫu ban đầu 24 Kết q trình lan truyền nhãn thuật tốn Fast Marching 27 10 Kết tạo vùng chứa biên đối tƣợng 29 11 Kết sau sử dụng thuật toán SRG 31 12 Sơ đồ thực việc so khớp ảnh 32 13 Giao diện chƣơng trình minh họa 33 Trang PHẦN MỞ ĐẦU Tên đề tài/dự án: Nghiên cứu thuật toán phát định vị đối tượng dãy ảnh liên tiếp Chủ nhiệm đề tài/dự án: TS Phạm Thế Bảo Cơ quan chủ trì: Trường ĐH KHTN Tp.HCM Thời gian thực hiện: 12 tháng Kinh phí duyệt: 80.000.000 đồng Kinh phí cấp: 72.000.000 đồng theo TB số: TB-SKHCN ngày / Mục tiêu: hệ thống theo dõi camera phải lưu trữ liệu 24/24, có vấn đề tìm phải theo dõi tất liệu, khơng gian lữu trữ lớn tốn nhiều thời gian cho việc kiểm tra Nếu trinh lưu trữ biết chắn khoảng thời gian mà khơng có thay đổi, khơng phải lưu trữ không gian lưu trữ giảm đáng kể xử lý liệu hiệu nhiều Bài toán đặt xác định thay đổi đối tượng dãy ảnh liên tiếp, sau phải định vị đối tượng Q trình địi hỏi thời gian xử lý hợp lý Mỗi camera tĩnh có góc mở quan sát đối tượng phạm vi từ 100 – 300 mét thời gian xử lý 02 giây thời gian đáp ứng tốt yêu cầu đặt Các đối tượng có thay đổi phải trích gần xác tối đa a Mục tiêu ngắn hạn: nghiên cứu từ lý thuyết Level Set, thuật toán Fast Marching trinh bày chi tiết thuật toán cài đặt để phát thay đổi đối tượng định vị chúng dãy ảnh liên tiếp Lưu trữ liệu chọn lọc Viết tài liệu hỗ trợ giảng dạy mơn “Thị giác máy tính”, chuyển giao mã nguồn tài liệu cho đơn vị quan tâm b Mục tiêu dài hạn: phát triển cho hướng xử lý ảnh, nhận dạng, an ninh, tự động, xã hội, … đặc biệt thúc đẩy hướng nghiên cứu “Thị giác máy tính” Đây tiền đề để phát triển tiếp tục số ứng dụng hệ thống quản lý gửi xe tự động, lưu trữ khuôn mặt người rút tiền máy ATM, trả tiền xăng tự động, … Nội dung: a Lý thuyết Level Set i Phương trình Level Set ii Nghiệm xấp xỉ phương trình Level Set iii Kỹ thuật Narrow band b Phương pháp Fast Marching Trang i Phương trình Eikonal ii Nghiệm xấp xỉ phương trình Eikonal iii Thuật toán Fast Marching Level Set c Thuật toán Multi-class Fast Marching d Thuật toán phát đối tượng chuyển động e Định vị đối tượng lưu trữ có chọn lọc f Lý thuyết Region Growing g Cài đặt thử nghiệm Sản phẩm đề tài/dự án: a Chương trình máy tính b Tài liệu thuật toán c Tài liệu sử dụng mã nguồn chương trình Trang TỔNG QUAN Trong thời đại bùng nổ thơng tin nhƣ nay, máy tính ngày đƣợc sử dụng rộng rãi lĩnh vực nghiên cứu khoa học đời sống hàng ngày Các ứng dụng từ việc nghiên cứu sử dụng máy tính mang lại lợi ích thiết thực vơ lớn cho ngƣời, phải kể đến ứng dụng lĩnh vực thị giác máy tính, xử lý ảnh… Và ứng dụng thƣờng gặp lĩnh vực hệ thống camera theo dõi, quan sát sử dụng an ninh, quốc phòng, mà mấu chốt hệ thống nhận biết thay đổi frame ảnh liên tiếp Trong trình lƣu trữ liệu video có thay đổi dãy ảnh liên tiếp, thay lƣu trữ toàn ghi nhận đƣợc thay đổi Mục tiêu đặt hệ thống phải báo động phát thay đổi frame ảnh Cơng việc thực đƣợc làm giảm bớt không gian lƣu trữ, lƣu lại ảnh khác hệ thống thay phải lƣu lại toàn ảnh chụp đƣợc Ngoài ra, xác định đƣợc xác đối tƣợng thay đổi frame ảnh liên tiếp, ta tạo đƣợc tiền đề lớn cho hệ thống mở rộng sau nhƣ : nén ảnh video (chuẩn MPEG), hệ thống nhận dạng đối tƣợng động online, kỹ thuật phân tích ƣớc lƣợng chuyển động Bài tốn trích xuất đối tƣợng động đoạn phim đƣợc nhà nghiên cứu phát triển hai thập kỉ qua Thơi gian đầu, thuật toán phân đoạn áp dụng ảnh đƣợc đƣa vào để trích xuất đối tƣợng động phim P Salembier and F Marqués [1] sơ lƣợc số thuật toán phân đọan ảnh ví dụ nhƣ watershed [2] thuật toán Split and Merge [3] Tuy nhiên thuật toán nêu hầu hết đƣợc sử dụng cách rời rạc đọan phim Do để thực đƣợc tốn truy tìm đối tƣợng, thuật toán đƣợc kết hợp với số kỹ thụât khác ví dụ nhƣ thuật tốn hình thái học [1] Phân vùng đối tƣợng đƣợc chiếu lên khung ảnh nhằm xác định phân đọan thuộc đối tƣợng Từ phân đoạn đƣợc phát triển nhằm xác định phân vùng đối tƣợng khung ảnh [4] Đối với toán xác định đối tƣợng chuyển động, thuật toán đơn giản kiểm tra thay đổi phân vùng Nếu vùng có số điểm ảnh thay đổi vƣợt 50% đƣợc xem nhƣ vùng chuyển động [1] Tuy nhiên, phƣơng pháp gặp nhiều hạn chế Trang chuyển động nhỏ phức tạp nhạy cảm độ sáng Do vào năm [5], Masayuki Yokoyama đề xuất phƣơng pháp trích xuất đối tƣợng động dựa phƣơng pháp dòng chảy quang học (optical flow) cho cạnh đối tƣợng ảnh Sau xác định đƣợc cạnh đối tƣợng chuyển động, chuỗi trình lọc nhiễu, tinh chỉnh cạnh sau xác định biên đối tƣợng dựa phƣơng pháp rắn trƣờng [6] Nhằm tăng tốc độ xử lý cho toán, Wan Mimi Diyana B Wan Zaki*, Aini Hussain and Mohamed Hedayati [7] đề xuất phƣơng pháp xác định đối tƣợng chuyển động dựa điểm đặc trƣng bất biến với thay đổi độ sáng, tỉ lệ dựa thụât tóan CenSurE [8] Đồng thời, để tăng ổn định phƣơng pháp thay đổi độ sáng, tác giả áp dụng phƣơng pháp trích xuất dựa theo nghiên cứu Cucchiara R, Grana C, Piccardi M and Prati A [9] Với ý tƣởng truyền thống sử dụng phép toán trừ ảnh để xách định nền, nhiên thay trừ hai khung ảnh liền kề nhau, Cucchiara R, Grana C et al tiến hành nội suy điểm ảnh thuộc khung ảnh trƣớc sau thực phép toán trừ ảnh Hiệu phƣơng pháp trích xuất nhƣ đƣợc đánh giá tốt ổn định trƣớc thay đổi ánh sáng môi trƣờng xung quanh Trong toán theo vết đối tƣợng chuyển động, lọc Kalman đƣợc biết đến nhƣ công cụ hiệu việc xác định đối tƣợng chuyển động tiêu biểu phƣơng pháp Shiuh-Ku Weng, Chung-Ming Kuo Shu-Kang Tu[25 Ba tác giả đề xuất sử dụng màu chủ đạo đối tƣợng thuộc hệ màu HSI làm đặc trƣng cho việc truy vết đối tƣợng Sau xác định đƣợc đối tƣợng bƣớc thứ k, tham số đƣợc cập nhật lại để phục vụ cho bƣớc Bộ lọc Kalman cung cấp cấu trúc tổng quát cho phép truy vết đối tƣợng dựa đặc trƣng nào, màu sắc hình dáng vật Tuy nhiên hạn chế lọc Kalman giả thiết biến trạng thái có phân phối phân phối chuẩn Do hệ khơng cịn xác biến trạng thái không theo phân phối chuẩn Giải thuật lọc theo hạt (particle filters) đề xuất Tanizaki [26 Phƣơng pháp tạo N phần tử với phần tử có trọng số để đánh giá độ quan trọng phần tử N phần tử bƣớc đƣợc tạo dựa N phần Trang tử ban đầu Vị trí đối tƣợng đƣợc xác định dựa phƣơng trình vi phân ngẫu nhiên tuyến tính Trong đề tài, chúng tơi trình bày phƣơng pháp dựa lý thuyết Level Set, thuật toán Fast Marching thuật toán Seeded Region Growing Cấu trúc đề tài đƣợc phân thành chƣơng nhƣ sau - Chƣơng 1: Phƣơng pháp Level Set phƣơng pháp Fast Marching - Chƣơng 2: Phát định vị thay đổi đối tƣợng dãy ảnh liên tiếp dựa thuật toán Fast Marching Seeded Region Growing - Chƣơng 3: Kết Trang Chúng ta sử dụng thuật toán Fast Marching để mở rộng đƣờng biên sang vùng chƣa đƣợc gán nhãn Để có đƣợc đƣờng biên xác, có đƣợc tiêu chuẩn dừng tốt ta sử dụng cách tiếp cận Level Set kiềm chế điểm biên Cách tiếp cận không trọng đến mềm mại đƣờng biên, mà trọng đến hiệu tính tốn Vì tốc độ lan truyền phụ thuộc vào đặc tính riêng điểm ảnh, không phụ thuộc vào độ cong đƣờng biên, hình Hình Kết trình lan truyền nhãn thuật tốn Fast Marching Định vị đối tượng 3.1 Khởi tạo Giai đoạn phát thay đổi đƣợc sử dụng để khởi tạo cho trình xác định biên đối tƣợng Chúng ta có nhận xét vùng thay đổi “lý tƣởng” vùng thuộc đối tƣợng hai thời điểm liên tiếp Chúng ta đặt vùng là: C (t , t  1)  {O(i, j, t )  O(i, j, t  1)} O(i,j,t) tập pixel thuộc đối tƣợng thời điểm t Tƣơng tự ta có : C(t  1, t )  {O(i, j, t  1)  O(i, j, t )} Nên C(t  1, t )  C(t , t  1)  {O(i, j, t )}  ({O(i, j, t  1)}  {O(i, j, t  1)}) Qua thấy phần giao hai vùng thay đổi liên tiếp khởi tạo tốt vùng trình định vị đối tƣợng Tuy nhiên số trƣờng hợp {O(i, j, t )}  ({O(i, j, t  1)}  {O(i, j, t  1)}) Trang 29 Nếu điều xảy : {O(i, j, t )}  C(t , t  1)  C(t , t  1) Nhƣ sử dụng phần giao để khởi tạo cho trình xác định biên đối tƣợng 3.2 Tạo vùng chứa biên Trong phần ta tìm vùng đủ lớn để chứa biên đối tƣợng Để đạt đƣợc yêu cầu ta dùng đƣờng biên ban đầu (có đƣợc từ phần trƣớc) mở rộng hai phía để có đƣợc đƣờng biên nằm đối tƣợng đƣờng biên nằm Trong trƣờng hợp, đƣờng biên đối tƣợng nằm đƣờng biên Ta có nhận xét tạo đƣờng biên điểm tiến nhanh, điểm đối tƣợng tiến chậm để có đƣợc kết xác Đối với đƣờng biên ngồi ngƣợc lại Chúng ta giả sử cƣờng độ ảnh đƣợc mơ tả phân phối Gauss với kì vọng µ phƣơng sai  , đồng thời điều kiện thoả cục Khi hàm mật độ phân phối xác suất thống kê f ( x)   2 ( x ) e 2 Vận tốc để tạo hai đƣờng biên đƣợc xác định dựa vào nguyên lý xác suất tiên nghiệm đƣợc xác định dựa vào chênh lệch giá trị µ  (   ) 2  giá trị trung bình cƣờng độ sổ 3×3 với điểm xét tâm Giá trị thống kê nhỏ nghĩa phù hợp với Nhƣ ta có đƣợc vận tốc mở rộng hai đƣờng biên là: - Đối với đƣờng biên : vb   4( I   )  cb e - 2 Đối với đƣờng biên ngoài: vo   vb Trang 30 Trong số cb  Pb  Po 2 Pb , Po lần lƣợt xác suất pixel nằm đối tƣợng Chúng ta giả sử cƣờng độ pixel đối tƣợng phân phối khoảng  (từ đến 255)   giá trị đƣợc đề cập phần Trong trƣờng hợp vùng không đồng nhất, vùng chứa biên đối tƣợng đƣợc xác định việc thiết lập vận tốc số Khi cài đặt chƣơng trình, hai vận tốc nhận giá trị 0.5 Độ lớn vùng “không chắn“ - vùng chứa biên đối tƣợng - đƣợc xác định việc đặt ngƣỡng thời gian tiếp cận thuật toán FMLS mà giá trị ngƣỡng phụ thuộc vào độ lớn chuyển động đối tƣợng Sau giai đoạn có đƣợc ba vùng frame ảnh cần phân đoạn, cụ thể nhƣ sau: vùng thuộc nền, vùng thuộc đối tƣợng cần tìm biên, vùng chứa biên đối tƣợng ta gọi vùng vùng không chắn Hình 10 Kết tạo vùng chứa biên đối tƣợng Vùng chứa biên đối tƣợng đƣợc minh hoạ màu thực ảnh đối tƣợng có màu xanh đỏ, hình 10 3.3 Lọc biên đối tượng Trong phần sử dụng thuật toán Seeded Region Growing (SRG) để xác định biên đối tƣợng SRG phƣơng pháp đƣợc sử dụng trình phân đoạn ảnh Phƣơng pháp yêu cầu phải cung cấp hay số vùng có nhãn ban Trang 31 đầu vùng đƣợc coi nhƣ tập “mầm” giải thuật Giải thuật phát triển tập tất pixel frame ảnh đƣợc xử lý hết Thuật toán Seeded Region Growing ban đầu đƣợc giới thiệu Rolf Adams Leanne Bischof [19] vào năm 1994 dựa khái niệm Đầu tiên ta xác định thành phần nối kết với vùng “không chắn” thuộc đối tƣợng Trên biên hai vùng đặt điểm đại diện mà điểm đƣợc sử dụng để tính vector màu trung bình cục hệ màu CIE Lab Sự khác biệt tính chất màu pixel ứng viên với vùng có nhãn dựa vào vector màu khoảng cách Euclid Cụ thể ta đặt T tập pixel không thuộc tập mầm nhƣng có lân cận thuộc tập Theo định nghĩa thì: n n   T   x   Ai | N ( x)   Ai  0 1   ta có N(x) tập lân cận x Chúng ta xét lân cận pixel x Tại bƣớc giải thuật ta lấy pixel từ tập T-pixel chƣa có nhãn-và đƣa vào tập Ai mà N(x) có phần giao, gán nhãn nhƣ nhãn tập Tuy nhiên thuật toán lại phụ thuộc vào thứ tự pixel đƣợc lấy thứ tự pixel đƣợc lấy khác cho ta kết khác Vấn đề đƣợc giải Andrew Mehnert Paul Jackway [20][8 họ đƣa cách giải chọn phần tử có độ chênh lệch tính chất màu từ tập mầm nhỏ Sau cập nhật lại tính chất màu tập đồng thời đƣa lận cận vào tập T Thuật tốn kết thúc tất pixel có nhãn Để xác định độ chênh lệch cƣờng độ từ pixel đến tập hợp ta dùng công thức:  ( x) | I ( x)  meanAi : Ai  N ( x)  | Trong I(x) cƣờng độ pixel x frame ảnh xét Trang 32 Nếu pixel ta xét có N(x) có phần giao tập hợp phải định tập để có đƣợc giá trị  (x) Cách giải tốt chọn tập thứ i thoả:  ( x)  min{ (i)} Sau pixel đƣợc gán nhãn, vector màu tƣơng ứng đƣợc cập nhật để có đƣợc giá trị phù hợp với vùng mà đại diện Khi giải thuật kết thúc, pixel frame ảnh đƣợc gán hai nhãn: thuộc hay thuộc đối tƣợng Khi thực giải thuật SRG cần cấu trúc liệu để lƣu trữ pixel trình xử lý cấu trúc đƣợc gọi Sequentially Sorted List (SSL) Thuật tốn: Bƣớc 1: Tính vector màu tập hợp hệ màu định Bƣớc 2: Tính giá trị  (.,.) tất lân cận tập ban đầu đƣa chúng vào SSL Bƣớc 3: Trong (SSL chƣa rỗng) thì: Bƣớc 3.1: chọn pixel Y SSL gán nhãn cho nhƣ nhãn tập hợp mà “giáp ranh” Đồng thời loại pixel khỏi SSL Bƣớc 3.2: cập nhật vector màu tập hợp mà pixel Y giáp ranh Bƣớc 3.3: kiểm tra lân cận Y để cập nhật SSL: Bƣớc 3.3.1: pixel chƣa có mặt SSL tính giá trị  (.,.) pixel insert chúng vào SSL Bƣớc 3.3.2: pixel có mặt SSL cập nhật lại giá trị  (.,.) Hình 11 Kết sau sử dụng thuật toán SRG Trang 33 CHƢƠNG Cài Đặt Chƣơng Trình Chương trình minh họa Chƣơng trình đƣợc thiết kế dựa ngôn ngữ Java với lớp đƣợc phân chia hợp lý để thuận tiện trình quản lý, chỉnh sửa nâng cấp Tất lớp, phƣơng thức xử lý, thuật toán đƣợc chúng tơi cài đặt hoan tồn khơng dùng chƣơng trình hay đoạn chƣơng trình ngƣời khác Chúng tơi sử dụng gói JMF1.0 SunMicro System cung cấp để kết nối camera Các lớp đƣợc phân chia theo 03 nhóm nhƣ sau:  Nhóm giao diện gồm có lớp: Swing Capture, JMainFrame, JControlPanel  Nhóm xử lý gồm có lớp: Video Segmentation, Pixel, Pixel Map, Pixel Heap, Change Detect, Fast Marching, Seed Region Growing, Params  Nhóm kết nối với thiết bị ngồi (camera) gồm có lớp: Record Video a Nhóm giao diện Lớp JMainFrame đƣợc sử dụng để tạo khung cho giao diện nhằm chứa đựng cơng cụ hình hiển thị camera Các thuộc tính Frame đƣợc sử dụng theo thƣ viện Java Lớp JControlPanel cung cấp công cụ điều khiển cho phép ngƣời dùng tƣơng tác với chƣơng trình nhƣ tắt mở trình thu nhận liệu Tắt mở chế độ làm xanh nền, lấy biên dày mỏng b Nhóm xử l Nhằm tạo tính linh hoạt cho chƣơng trình, số lớp cở sở đƣợc xây dựng nhƣ lớp Pixel, lớp PixelMap PixelHeap Lớp Pixel đóng vai trị điểm ảnh với phƣơng thức nhƣ khởi tạo điểm ảnh, tính khoảng cách Euclide điểm ảnh qua phƣơng thức getEuclidDistance(Pixel Trang 34 p) getEuclidDistance(double LL, double aa, double bb) với sở màu CIELab, đổi từ hệ màu RGB sang CIELab Nhằm mục đích quản lý ảnh tiến hành xây dựng lớp PixelMap ma trận điểm ảnh với thành phần thuộc lớp Pixel Các phƣơng thức quan trọng lớp nhƣ xây dựng Histogram – constrctHistogram(), tô màu pixel nằm biên onContour(int label, int color), tô màu pixel nằm vùng tĩnh onFillRegion(int label, int color), cân Histogram – balanceHistogram(), tải ảnh từ file loadImageFromFile(String filename), tạo đối tƣợng PixelMap từ ma trận điểm ảnh createImageFromData() Nhƣ trình bày phần thuật giải, trình lan truyền FastMarching cần cấu trúc liệu heap để lƣu trữ xếp cho tối ƣu Do lớp PixelHeap đƣợc thiết lập với phƣơng thức nhƣ thêm pixel vào heap – insert(Pixel pixel), hiệu chỉnh heap – fix(Pixel pixel) di chuyển phần tử đầu dãy trở cuối dãy removeMin() Để tiến hành thuật toán FastMarching SeedRegion Growing lớp tên đƣợc thiết lập với chi tiết nhƣ sau: lớp FastMarching phƣơng thức doInitialize() đƣợc sử dụng để khởi tạo tham số ban đầu nhãn cho điểm ảnh sau gọi phƣơng thức doPropagation() để lan truyền đánh nhãn lại cho điểm ảnh Lớp VideoSegmentation đƣợc cài đặt nhƣ lớp đƣợc sử dụng dƣới dạng luồng với dịng lặp vơ hạn đến ngƣời dùng nhấn nút Stop giao diện sử dụng Mỗi lần lặp, chƣơng trình thu nhận cặp frame liên tiếp so sánh với để kiểm tra mức độ chênh lệch, độ chênh lệch lớn ngƣỡng cho trƣớc frame đƣợc xem nhƣ có thay đổi lớn thuật tốn FastMarching Seed Region Growing đƣợc áp dụng để xác định biên đối tƣợng động frame Việc so sánh đƣợc thực thơng qua đoạn chƣơng trình sau 3.1 Params.thresholdchange ngƣỡng cho trƣớc Tuy nhiên q trình thí nghiệm, chúng tơi nhận thấy độ thay đổi môi trƣờng ảnh hƣởng lớn đến độ xác việc chọn khung hình động Do chúng Trang 35 tơi áp dụng phƣơng pháp cập nhật ngƣỡng động tự động Độ chênh lệnh ảnh ngƣỡng đƣợc cập liên tục, sau vài frame độ chênh lệch cịn lớn ngƣỡng đƣợc thay đổi ngƣỡng khác cho phù hợp với mơi trƣờng Đoạn chƣơng trình 3.2 giúp chung ta thực công việc Đoạn chương trình 3.1 if(Math.abs(changeRatetmp-(double)Params.thresholdchange)>=1.5) { recogThreshold++; }else recogThreshold=0; if(recogThreshold>=2) { flagFirstThreshold=0; recogThreshold=0; } Trong biến recogThreshold có nhiệm vụ đếm số lần mà ngƣỡng chênh lệch lớn Nếu số lần lớn ngƣỡng đƣợc cập nhật lại với dòng lệnh sau: Đoạn chương trình 3.2 if(flagFirstThreshold==0) { Params.thresholdchange=(int)(changeRatetmp); flagFirstThreshold=1; } Sau khung ảnh động đƣợc xác định Lớp phƣơng thức lớp ChangeDetect gọi thuật toán FastMarching Seed Region Growing để lọc biên đối tƣợng động Hệ thống đƣợc minh họa ngôn ngữ Java với phần mềm Camera Tracking CamTrack ghi hình liên tục lƣu xuống đĩa xuất hình ảnh bất thƣờng Ngƣời dùng xem lại hình ảnh khung bên phải chƣơng trình Cơ sở để phát khác hai ảnh đƣợc minh họa hình 12 Trang 36 Ảnh Ảnh xám hóa xám hóa Ảnh xám Ảnh xám Chênh lệch mức xám Phân lớp ML Fast Marching Đối tượng thay đổi Trích vùng chứa biên Seeded Region Growing Kết xác Hình 12 Sơ đồ thực việc so khớp ảnh Hình 13 Giao diện chƣơng trình minh họa Trang 37 Kết thực nghiệm Quá trình thực kiểm nghiệm hiệu phƣơng pháp đƣợc tiến hành trƣờng Đại học Khoa học tự nhiên TP Hồ Chí Minh, khoa Tốn - Tin học, môn ứng dụng tin học Thiết bị thực nghiệm bao gồm 01 camera hiệu Sony, 01 WebCam ColorVis kết nối với máy vi tính có cấu hình Intel(R) Core(TM)2 Duo CPU E4500 2.20GHz, 3.24 GB of RAM, máy tính sử dụng hệ điều hành Windows XP SP2 Sau thời gian thực nghiệm, chúng tơi có kết nhƣ bảng Vì lý phải lƣu trữ thời gian dài nên đặt Camera ngồi phịng (có thể bị mất) nên kết thí nghiệm có khác biệt: thời gian thu 10 tiếng 43 phút 44 giây có tổng số ảnh lƣu trữ 243 lại nhiều thời gian thu 26 tiếng 40 phút 40 giây Bảng Kết thực nghiệm Thời điểm thu Thời gian thu Ngày 29/11/2011 thời điểm 15h07 Ngày 29/11/2011 thời điểm 17h40 Ngày 30/11/2011 thời điểm 08h11 tiếng phút 34 giây 10 tiếng 43 phút 44 giây 26 tiếng 40 phút 40 giây Dung lƣợng video (dạng file Quicktime) 236 MB Tổng số chuyển động xác định đƣợc (ảnh) 16 1.32 GB 243 3.7 GB 110 Bảng Thiết bị thời gian xử lý Thiết bị Độ phân giải Thời gian xử l Trung bình Cao WebCam ColorVis 320x240 14.4 frames/giây 21.6 frames/giây Sony Camera 640x480 12 frames/giây 16.8 frames/giây Trang 38 Hình 14 dƣới mơ tả tùy chọn mà chƣơng trình đƣợc tích hợp nhằm biểu diễn kết dƣới hình thức khác Tùy chọn Kết tƣơng ứng a) b) c) Hình 14 Một số kết a) Trích xuất với tùy chọn tơ xanh khơng tách biên b) Trích xuất với tùy chọn tách biên nhƣng không tô xanh c) Trích xuất với tùy chọn vừa tơ xanh vừa tách biên Trong trình thực nghiệm, nhận thấy thay đổi ánh sáng môi trƣờng ảnh hƣởng lớn đến hiệu thuật tốn (hình 15) Khi ánh sáng thay đổi, giá trị xám thay đổi dẫn đến khác biệt lớn khung ảnh trƣớc khung ảnh sau Khi thuật tốn xem nhƣ đối tƣợng động thực thao tác trích xuất Trang 39 a) b) Hình 15 Minh họa thay đổi độ sáng ảnh hƣởng đến độ xác thuật tốn Nhằm khác phục nhƣợc điểm trên, việc sử dụng phƣơng pháp xử lý ảnh nhƣ cân histogram, đề xuất sử dụng ngƣỡng động thay cho ngƣỡng tĩnh Nếu sau số số khung ảnh định mà độ sáng khung ảnh có độ lệch lớn ngƣỡng giá trị ngƣỡng đƣợc cập nhật lại Hướng phát triển Kết xuất từ thuật toán sở cho việc lƣu trữ khung hình theo định dạng video Hƣớng phát triển tới đề tài nghiên cứu phƣơng pháp phân đoạn ảnh động phƣơng pháp nén video để tối ƣu hóa khơng gian lƣu trữ chƣơng trình Đồng thời, trình thực nghiệm cho thấy thay đổi độ sang ảnh hƣởng lớn đến kết chƣơng trình Do vậy, song song với hai hƣớng phát triển trên, việc cân độ sáng khung hình cần đƣợc nghiên cứu phát triển Trang 40 TÀI LIỆU THAM KHẢO [1] P Salembier, F Marqués, Region-based representations of image and video: Segmentation tools for multimedia services, Circuits and Systems for Video Technology, IEEE Transactions on 9(8):1147 - 69, 1999 [2] F Meyer, S Beucher, Morphological segmentation, Journal of Visual Communication and Image Representation,1(1):21-46, 1990 [3] Pavlidis T., Structural Pattern Recognition, New York: SpringerVerlag, 68-70, 1977 [4] D Wang, Unsupervised video segmentation based on watersheds and temporal tracking, IEEE Trans on Circuit and Systems for Video Technology, 8(5):539-46, 1998 [5] Masayuki Yokoyama, A Contour-Based Moving Object Detection and Tracking, 2nd Joint IEEE International Workshop on Visual Surveillance and Performance Evaluation of Tracking and Surveillance, 2005 [6] M Kass, A Witkin, Terzopoulos D, Snakes: Active contour models, Int'l J Computer Vision:321-31, 1988 [7] Wan Mimi Diyana B Wan Zaki*, Aini Hussain, Mohamed Hedayati, Moving object detection using keypoints reference model, EURASIP Journal on Image and Video Processing 2011,13, 2011 [8] Agrawal M, Konolige K, Blas MR, CenSur E: center surround extremas for realtime feature detection and matching, ECCV LNCS,5305:102-15, 2008 [9] Cucchiara R, Grana C, Piccardi M, Prati A., Statistic and knowledge-based moving object detection in traffic scenes, IEEE Proceedings of Intelligent Transportation Systems 2000, 2000 [10] J Sethian, Level Set Methods and Fast Marching Methods, Cambridge University Press, 1999 [11] J Sethian, A Fast Marching Level Set method for monotonically advancing fronts, Proc Nat Acad SCI,93:1591-5, 1996 [12] J Sethian, Fast Marching Methods, SIAM Review,41:199-235, 1999 [13] J Sethian, Theory, algorithms, and application of level set methods for propagation interfaces, Acta Numerica:309-95, 1996 [14] E Rouy, A Tourin, A Viscosity Solutions Approach to Shape From Shading, SIAM JNum, Anal,29(3):867-84, 1992 Trang 41 [15] E Sifakis, C Garcia, G Tziritas, Bayesian Level Set for Image Segmentation, Journal of Visual Communication and Image Representation, 13:44-64, 2002 [16] E Sifakis, G Tziritas, Fast marching to moving object location, Proceedings of the Second International Conference on Scale-Space Theories in Computer Vision; Corfou, Greece, 1999 [17] E Sifakis, G Tziritas, Moving object localization using a Multi-Label Fast Marching algorithm, Signal Processing: Image Communication,16:963-76, 2001 [18] E Sifakis, I Grinias, G Tziritas, Video segmentation using Fast Marching and Region Growing algorithms, EURASIP Journal on Applied Signal Processing: 379-88, 2002 [19] R Adams, L Bischof, Seeded region growing, IEEE Trans on PAMI,16(6):641-7, 1994 [20] A Mehnert, P Jackway, An improved seeded region growing algorithm, Pattern Recognition Letters,18:1065-71, 1997 [21] R.Duda, P.Hart, Pattern Classification and Scene Analysis, New York: Willey- Interscience, 1973 [22] G.McLachlan, D Peel and W Whiten, Maximum likelihood clustering via normal mixture model, Signal Processing: Image Communication, 8:105-111, 1996 [23] Nhập môn Xử Lý Anh Số, Nhà Xuất Bản Khoa Lƣơng Mạnh Bá - Nguyễn Thanh Thuỷ, Học Kỹ Thuật, 1999 [24] R.Gonzalez, E.Woods, Digital Image Processing, Addison Wesley Publishing Company, 1997 [25] Shiuh-Ku Weng, Chung-Ming Kuo and Shu-Kang Tu, Video object tracking using adaptive Kalman filter, Journal of Visual Communication and Image Representation, Vol 17, Issue [26] Tanizaki, H, Non-gaussian state space modeling of nonstionary time series, J Amer Statist Assoc, 1032 -1063, 1982 Trang 42 QUYẾT TỐN KINH PHÍ Đề tài: Nghiên cứu thuật tốn phát thay đồi đối tƣợng định vị dãy ảnh liên tiếp Chủ nhiệm: TS Phạm Thế Bảo Cơ quan chủ trì: Trƣờng Đại học Khoa Học Tự Nhiên Tp.HCM Thời gian đăng ký hợp đồng: 22/12/2004 Tổng kinh phí đƣợc duyệt: 80.000.000 Kinh phí cấp giai đoạn 1: 72.000.000 TT Nội dung Kinh phí Trong Ngân sách Photo + đóng đề cƣơng 300,000 300,000 2,000,000 2,000,000 260,000 260,000 2,000,000 2,000,000 Chi phí quản lý SKHCN 3,000,000 3,000,000 Chi phí quản lý trƣờng 2,160,000 2,160,000 Quản lý (chủ nhiệm) 1,200,000 1,200,000 Mua thiết bị (camera) 14,805,000 14,805,000 Nghiên cứu t/t Fast Marching 12,000,000 12,000,000 10 Nghiên cứu t/t SRG 12,000,000 12,000,000 11 Cài đặt ứng dụng minh họa 11,000,000 11,000,000 12 Kiểm tra chỉnh sửa 11,000,000 11,000,000 Bảo vệ đề cƣơng lần Photo tài liệu Bảo vệ đề cƣơng lần TỔNG CỘNG CÒN LẠI Nguồn khác 71,725,000 71,725,000 275,000 275,000 Trang i