Luận văn tốt nghiệp Phát hiện và định vị sự thay đổi của đối tượng trong dãy ảnh liên tiếp

BỘ GIÁO DỤC VÀ ĐÀO TẠO ĐẠI HỌC QUỐC GIA THÀNH PHỐ HỒ CHÍ MINH TRƯỜNG ĐẠI HỌC KHOA HỌC TỰ NHIÊN KHOA TOÁN - TIN HỌC BỘ MÔN ỨNG DỤNG TIN HỌC LUẬN VĂN TỐT NGHIỆP: PHÁT HIỆN VÀ ĐỊNH VỊ SỰ THAY ĐỔI CỦA ĐỐI TƯNG TRONG DÃY ẢNH LIÊN TIẾP GVHD : Th.S Phạm Thế Bảo SVTH : Huỳnh Lê Tấn Tài - 9911178 Hồ Quang Thái - 9911191 Thành phố Hồ Chí Minh 07 - 2003 Tiểu luận: Phát đònh vò thay đổi đối tượng dãy ảnh liên tiếp Trang lời cảm ơn Chúng em xin chân thành cảm ơn Ban giám hiệu, thầy cô giảng dạy trường Đại Học Khoa Học Tự Nhiên thầy cô khoa Toán – Tin học tận tình hướng dẫn, truyền đạt kiến thức cho chúng em tháng năm giảng đường Đại Học Chúng em xin chân thành cảm ơn Th.S Phạm Thế Bảo, người trực tiếp hướng dẫn, tạo điều kiện giúp đỡ chúng em suốt thời gian thực luận văn Chúng em xin ghi nhận giúp đỡ Prof Sethian (University of Berkeley, America), Ph.D Grinas (University of Crete, Greece), Ph.D Sifakis (University of Stanford, America) anh Võ Trường Tiền (Công ty TNHH Compotech) Và cuối cùng, xin cảm ơn gia đình bè bạn động viên giúp đỡ suốt đường học vấn TP Hồ Chí Minh , tháng năm 2003 Nhóm thực GVHD: ThS Phạm Thế Bảo SVTH: Huỳnh Lê Tấn Tài, Hồ Quang Thái Tiểu luận: Phát đònh vò thay đổi đối tượng dãy ảnh liên tiếp Trang MỤC LỤC LỜI MỞ ĐẦU CHƯƠNG LEVEL SET & FAST MARCHING 1.1 Giới thiệu 1.2 Phương pháp Level Set 1.2.1 Phương trình Level Set 1.2.2 Nghiệm xấp xỉ phương trình Level Set .9 1.2.3 Kỹ thuật Narrow Band 10 1.3 Phương pháp Fast Marching 11 1.3.1 Phương trình Eikonal .11 1.3.2 Nghiệm xấp xỉ phương trình Eikonal 12 1.3.3 Thuật toán Fast Marching Level Set (FMLS) 13 1.3.4 Chi tiết bước thuật toán FMLS 15 1.4 Thuật toán Multi - Class Fast Marching 18 CHƯƠNG PHÁT HIỆN SỰ THAY ĐỔI TRONG DÃY ẢNH LIÊN TIẾP 20 2.1 Tóm tắt phương pháp sử dụng FM LS SRG 20 2.2 Phát đối tượng chuyển động 21 2.2.1 Thiết lập mô hình thống kê 21 2.2.2 Gán nhãn khởi tạo ban đầu .22 2.2.3 Lan truyền nhãn 25 2.3 Đònh vò đối tượng 28 2.3.1 Khởi tạo 28 2.3.2 Tạo vùng chứa biên .29 2.3.3 Lọc biên đối tượng 30 CHƯƠNG KẾT QUẢ VÀ HƯỚNG PHÁT TRIỂN 34 3.1 Thực 34 3.2 Kết thực nghiệm 35 3.3 Hướng phát triển 35 TÀI LIỆU THAM KHẢO 36 PHỤ LỤC 38 Ước lượng tham số phương pháp hợp lý cực đại 38 Giải thuật phân lớp phương pháp xác suất 40 Hệ màu CieLab 43 LỜI MỞ ĐẦU Trong thời đại bùng nổ thông tin nay, máy tính ngày sử dụng rộng rãi lónh vực nghiên cứu khoa học đời sống hàng ngày GVHD: ThS Phạm Thế Bảo SVTH: Huỳnh Lê Tấn Tài, Hồ Quang Thái Tiểu luận: Phát đònh vò thay đổi đối tượng dãy ảnh liên tiếp Trang Các ứng dụng từ việc nghiên cứu sử dụng máy tính mang lại lợi ích thiết thực vô lớn cho người, phải kể đến ứng dụng lónh vực thò giác máy tính, xử lý ảnh… Và ứng dụng thường gặp lónh vực hệ thống camera theo dõi, quan sát sử dụng an ninh, quốc phòng, mà mấu chốt hệ thống nhận biết thay đổi frame ảnh liên tiếp Ta hình dung hệ thốngï theo đơn giản sau: sau chu kì hợp lý (khoảng – giây), camera cho ta ảnh chụp từ không gian cần theo dõi Và mục tiêu đặt hệ thống phải báo động phát thay đổi frame ảnh Công việc thực làm giảm bớt không gian lưu trữ, lưu lại ảnh khác hệ thống thay phải lưu lại toàn ảnh chụp Ngoài ra, xác đònh xác đối tượng thay đổi frame ảnh liên tiếp, ta tạo tiền đề lớn cho hệ thống mở rộng sau : nén ảnh video (chuẩn MPEG), hệ thống nhận dạng đối tượng động online, kỹ thuật phân tích ước lượng chuyển động Có nhiều phương pháp để giải toán Đơn giản có kỹ thuật trừ ảnh pixel, khối pixel Phức tạp có kỹ thuật sử dụng lọc Kalman, mô hình Markov ẩn, Trong đề tài, chúng em trình bày phương pháp hiệu phương pháp trên, chủ yếu dựa lý thuyết Level Set, thuật toán Fast Marching thuật toán Seeded Region Growing Cấu trúc đề tài phân thành chương sau - Chương 1: Phương pháp Level Set phương pháp Fast Marching - Chương 2: Phát đònh vò thay đổi đối tượng dãy ảnh liên tiếp dựa thuật toán Fast Marching Seeded Region Growing - Chương 3: Kết hướng phát triển TP Hồ Chí Minh, tháng năm 2003 GVHD: ThS Phạm Thế Bảo SVTH: Huỳnh Lê Tấn Tài, Hồ Quang Thái Tiểu luận: Phát đònh vò thay đổi đối tượng dãy ảnh liên tiếp Trang Nhóm thực GVHD: ThS Phạm Thế Bảo SVTH: Huỳnh Lê Tấn Tài, Hồ Quang Thái Tiểu luận: Phát đònh vò thay đổi đối tượng dãy ảnh liên tiếp Trang LEVEL SET & Fast Marching Phương pháp Fast Marching1 phương pháp Level Set2 phương pháp số học theo dõi tiến triễn đường cong chuyển động phần Đường cong có góc nhọn, tách thành nhiều đường cong riêng biệt hợp lại thành đường cong lớn Đây hai kỹ thuật áp dụng rộng rãi nhiều ngành khoa học : Hình học tính toán, Thò giác máy tính, Cơ học chất lỏng, Chế tạo chip,… Giới thiệu Phương pháp Fast Marching [3, 13, 14] (Sethian – 1996) phương pháp Level Set [3, 15] (Osher Sethian – 1988) kỹ thuật số học thiết lập để theo dõi tiến triển đường cong, nhằm giải toán sau: Xét đường cong kín mặt phẳng chiều (mặt kín không gian chiều), chia mặt phẳng (không gian) thành hai vùng tách biệt lẫn Ta tưởng tượng đường cong (mặt) chuyển động phần theo hướng pháp tuyến với vận tốc F Mục tiêu đặt thời điểm bất kỳ, ta phải xác đònh vò trí đường cong tương ứng với thời điểm Điểm ý ta xét chuyển động theo hướng pháp tuyến Để dễ tưởng tượng hơn, ta nghó đến viên nước đá bỏ vào chậu nước nóng Viên nước đá nhỏ dần theo thời gian, hay đường bao quanh cục đá chòu lực tương tự lực kéo vào tâm Đây trường hợp toán với vận tốc F < Một trường hợp khác toán với F > ta bơm bóng, bóng lớn dần theo thời gian Fast Marching Methods: phương pháp lan truyền nhanh (tạm dòch) Level Set Methods: phương pháp tiếp cận dựa đường mức (tạm dòch) GVHD: ThS Phạm Thế Bảo SVTH: Huỳnh Lê Tấn Tài, Hồ Quang Thái Trang Tiểu luận: Phát đònh vò thay đổi đối tượng dãy ảnh liên tiếp t Hình 1: Sự tiến triển đường cong Thoạt nhìn, ý tưởng đơn giản để giải toán ta biểu diễn đường cong thông qua số điểm đònh vò Khi đường cong chuyển động với vận tốc F, điểm đònh vò chuyển động với vận tốc Bằng số công thức vật lý, ta dễ dàng xác đònh vò trí điểm này, từ xây dựng lại đường cong Hiển nhiên, số điểm đònh vò chọn nhiều đường cong xây dựng xác Tuy nhiên, phương pháp không thực điểm đònh vò chuyển động ngang qua nhau, hay đường cong bò tách thành nhiều phần Các phương pháp xử lý hiệu trường hợp phức tạp phương pháp Level Set phương pháp Fast Marching mà ta xét đến phần Phương pháp Level Set Phương trình Level Set Cho vò trí ban đầu đường cong Γ R2, hàm vận tốc F biểu thò chuyển động Γ theo phương pháp tuyến Đặt φ(x, t = 0) = ±d, với d khoảng cách từ điểm x đến Γ, dấu cộng (hay trừ) biểu thò x nằm (hay trong) Γ Ta dễ dàng nhận thấy rằng: {x | φ(x(t), t = 0) = 0} ≡ Γ vò trí Γ thời điểm t tập hợp x cho φ(x(t), t) = GVHD: ThS Phạm Thế Bảo (1.2.1a) SVTH: Huỳnh Lê Tấn Tài, Hồ Quang Thái Trang Tiểu luận: Phát đònh vò thay đổi đối tượng dãy ảnh liên tiếp z = φ(x,y,t) y γ(0) đường mức gốc x x z = φ(x,y,t) y đường mức gốc γ(t) x Hình 2: Sự tiến triển đường tròn theo phương pháp Level Set Từ công thức (2.1), ta tìm tương quan φ(x, t) φ(x, t = 0) Đạo hàm công thức (2.1), theo tính chất đạo hàm hàm hợp, ta có: φt + ∇φ(x(t), t) x’(t) = (1.2.1b) Do F vận tốc chiều với vector pháp tuyến, nên x’(t).η = F, với η vector pháp tuyến η = ∇φ ∇φ Vì vậy, phương trình (2.2) trở thành : φt + F|∇φ | = (1.2.1c) Phương trình (2.3) gọi phương trình Level Set Lời giải toán đặt ban đầu nghiệm phương trình Level Set Các lời giải số học “rời rạc hóa” phương trình ta trình bày phần sau Một vài tính chất phương pháp Level Set Phương pháp Level Set giải hiệu biến đổi topology đường cong Γ Vò trí đường cong thời điểm t cho tập mức gốc (zero level set) φ(x, t) = Tập hợp không thiết phải đường cong đơn, bò tách hay ghép lại tiến triển GVHD: ThS Phạm Thế Bảo SVTH: Huỳnh Lê Tấn Tài, Hồ Quang Thái Trang Tiểu luận: Phát đònh vò thay đổi đối tượng dãy ảnh liên tiếp Hình : Sự tiến triển hai đường tròn Các đặc tính hình học đường cong dễ dàng xác đònh từ phương trình Level Set φ Vectơ pháp tuyến n = tập đồng mức κ = ∇ ∇φ độ cong ∇φ ∇φ ∇φ Mô hình Level Set không thay đổi trường hợp nhiều chiều Dựa nghiệm mạnh phương trình đạo hàm riêng Level Set để đảm bảo tính nhất, hợp lệ nghiệm yếu Nghiệm xấp xỉ phương trình Level Set có nhờ mô hình tính toán dựa luật bảo toàn hyperbolic Nghiệm xấp xỉ phương trình Level Set Như đề cập trên, ta cần nghiệm xấp xỉ cho phương trình Level Set để chuyển toán từ liên tục sang rời rạc, nghiệm đơn giản là: [15] ( φ ijn +1 = φ ijn − Δt max (Dij− xφ ,0 ) + (Dij+ xφ ) max (Dij− y φ ,0 ) + (Dij+ y φ ,0 ) 2 ) 1/ (1.2.2) Trong F = GVHD: ThS Phạm Thế Bảo SVTH: Huỳnh Lê Tấn Tài, Hồ Quang Thái Tiểu luận: Phát đònh vò thay đổi đối tượng dãy ảnh liên tiếp Trang 10 Dij+ xφ = (φ i +1, j − φ i , j ) / (Δx ) , Dij− xφ = (φ i , j − φ i −1, j ) / (Δx ) Dij+ y φ = (φ i , j +1 − φ i , j ) / (Δy ) , Dij− y φ = (φ i , j − φ i , j −1 ) / (Δy ) Kỹ thuật Narrow Band Phương pháp đưa phụ thuộc vào việc tính toán tiến triển tất đường mức, không riêng đường mức gốc (zero level set) tương xứng Điều đòi hỏi tính toán phức tạp, phức tạp phương pháp Level Set chuyển toán chiều so với toán gốc (chiều thời gian) Để cải tiến phương pháp, ta cần có thay đổi kỹ thuật duyệt, tức tính toán lân cận đường mức gốc Kỹ thuật gọi phương pháp dải hẹp (Narrow Band) Độ phức tạp tính toán kỹ thuật không gian chiều cho N3 điểm lưới giảm từ O(N3) xuống O(kN2), với k số lượng ô Narrow Band Dẫn đến chi phí tính toán rút gọn đáng kể Ý tưởng phương pháp đánh dấu điểm lưới với nhãn alive3 , land mines4 far away5, phụ thuộc vào chúng nằm trong, nằm trên, nằm band Ở bước tiến triển, điểm land mines trở thành alive, band cập nhật trở lại với lân cận điểm land mines vừa tìm alive land mines far away Hình Kỹ thuật đánh dấu điểm phương pháp Narrow Band Kỹ thuật Narrow Band tiền đề thuật toán hiệu hơn, thuật lan truyền nhanh (Fast Marching Level Set) trình bày phần kế alive : biểu diễn điểm đá thuộc đường cong land mines hay trial : biểu diễn điểm chọn gần đề ghép vào đường cong far away : biểu diễn điểm chưa xét để ghép vào đường cong, hay đường cong phải cần khoảng thời gian lớn đến điểm GVHD: ThS Phạm Thế Bảo SVTH: Huỳnh Lê Tấn Tài, Hồ Quang Thái Trang 30 Tiểu luận: Phát đònh vò thay đổi đối tượng dãy ảnh liên tiếp - Đối với đường biên ngoài: v o = − v b Trong số cb = Pb Δ Poσ 2Π Pb , Po xác suất pixel nằm đối tượng Chúng ta giả sử cường độ pixel đối tượng phân phối khoảng Δ (từ đến 255) μ σ giá trò đề cập phần Trong trường hợp vùng không đồng nhất, vùng chứa biên đối tượng xác đònh việc thiết lập vận tốc số Khi cài đặt chương trình, hai vận tốc nhận giá trò 0.5 Độ lớn vùng “không chắn“ - vùng chứa biên đối tượng - xác đònh việc đặt ngưỡng thời gian tiếp cận thuật toán FMLS mà giá trò ngưỡng phụ thuộc vào độ lớn chuyển động đối tượng Sau giai đoạn có ba vùng frame ảnh cần phân đoạn, cụ thể sau: vùng thuộc nền, vùng thuộc đối tượng cần tìm biên, vùng chứa biên đối tượng ta gọi vùng vùng không chắn Hình 12: Kết tạo vùng chứa biên đối tượng Vùng chứa biên đối tượng minh hoạ màu thực ảnh đối tượng có màu xanh đỏ Lọc biên đối tượng Trong phần sử dụng thuật toán Seeded Region Growing (SRG) để xác đònh biên đối tượng GVHD: ThS Phạm Thế Bảo SVTH: Huỳnh Lê Tấn Tài, Hồ Quang Thái Tiểu luận: Phát đònh vò thay đổi đối tượng dãy ảnh liên tiếp Trang 31 SRG phương pháp sử dụng trình phân đoạn ảnh Phương pháp yêu cầu phải cung cấp hay số vùng có nhãn ban đầu vùng coi tập “mầm” giải thuật Giải thuật phát triển tập tất pixel frame ảnh xử lý hết Thuật toán Seeded Region Growing ban đầu giới thiệu Rolf Adams Leanne Bischof[7] vào năm 1994 dựa khái niệm Đầu tiên ta xác đònh thành phần nối kết với vùng “không chắn” thuộc đối tượng Trên biên hai vùng đặt điểm đại diện mà điểm sử dụng để tính vector màu trung bình cục hệ màu CIE Lab Sự khác biệt tính chất màu pixel ứng viên với vùng có nhãn dựa vào vector màu khoảng cách Euclidean Cụ thể ta đặt T tập pixel không thuộc tập mầm có lân cận thuộc tập Theo đònh nghóa thì: n ⎧ T = ⎨ x ∉ Υ Ai | N ( x) Ι ⎩ n ΥA i ⎫ ≠ 0⎬ ⎭ ta có N(x) tập lân cận x Chúng ta xét lân cận pixel x Tại bước giải thuật ta lấy pixel từ tập T-pixel chưa có nhãnvà đưa vào tập Ai mà N(x) có phần giao, gán nhãn nhãn tập Tuy nhiên thuật toán lại phụ thuộc vào thứ tự pixel lấy thứ tự pixel lấy khác cho ta kết khác Vấn đề giải Andrew Mehnert and Paul Jackway [8] họ đưa cách giải chọn phần tử có độ chênh lệch tính chất màu từ tập mầm nhỏ Sau cập nhật lại tính chất màu tập đồng thời đưa lận cận vào tập T Thuật toán kết thúc tất pixel có nhãn Để xác đònh độ chênh lệch cường độ từ pixel đến tập hợp ta dùng công thức : δ ( x ) =| I ( x ) − meanAi : Ai Ι N ( x ) ≠ | Trong I(x) cường độ pixel x frame ảnh xét GVHD: ThS Phạm Thế Bảo SVTH: Huỳnh Lê Tấn Tài, Hồ Quang Thái Tiểu luận: Phát đònh vò thay đổi đối tượng dãy ảnh liên tiếp Trang 32 Nếu pixel ta xét có N(x) có phần giao tập hợp phải đònh tập để có giá trò δ (x) Cách giải tốt chọn tập thứ i thoả : δ ( x) = min{δ (i )} Sau pixel gán nhãn, vector màu tương ứng cập nhật để có giá trò phù hợp với vùng mà đại diện Khi giải thuật kết thúc, pixel frame ảnh gán hai nhãn: thuộc hay thuộc đối tượng Khi thực giải thuật SRG cần cấu trúc liệu để lưu trữ pixel trình xử lý cấu trúc gọi Sequentially Sorted List (SSL) Thuật toán: Bước 1: Đánh dấu nhãn cho tập hợp ban đầu theo nhóm chúng Bước 2: Tính vector màu tập hợp hệ màu đònh Bước 3: Tính giá trò δ (.,.) tất lân cận tập ban đầu đưa chúng vào SSL Bước 4: Trong (SSL chưa rỗng) thì: Bước 4.1: chọn pixel Y SSL gán nhãn cho nhãn tập hợp mà “giáp ranh” Đồng thời loại pixel khỏi SSL Bước 4.2: cập nhật vector màu tập hợp mà pixel Y giáp ranh Bước 4.3: kiểm tra lân cận Y để cập nhật SSL: Bước 4.3.1: pixel chưa có mặt SSL tính giá trò δ (.,.) pixel insert chúng vào SSL Bước 4.3.2: pixel có mặt SSL cập nhật lại giá trò δ (.,.) Bước 5: Kết thúc GVHD: ThS Phạm Thế Bảo SVTH: Huỳnh Lê Tấn Tài, Hồ Quang Thái Tiểu luận: Phát đònh vò thay đổi đối tượng dãy ảnh liên tiếp Trang 33 Hình 13: Kết sau sử dụng thuật toán SRG GVHD: ThS Phạm Thế Bảo SVTH: Huỳnh Lê Tấn Tài, Hồ Quang Thái Tiểu luận: Phát đònh vò thay đổi đối tượng dãy ảnh liên tiếp Trang 34 Kết hướng phát triển Thực Mô hình thực hiện: Ảnh Ảnh xám hóa xám hóa Ảnh xám Ảnh xám Chênh lệch mức xám Phân lớp ML Fast Marching Đối tượng thay đổi Trích vùng chứa biên Seeded Region Growing Kết xác Hình 14: Mô hình thực Chương trình minh họa cài đặt ngôn ngữ Java dựa lớp với chức sau: - VideoSegmentation.java: thực toàn thuật toán - ChangDetect.java: thực bước phát đối tượng - Localization.java: thực bước đònh vò đối tượng - MLClassify.java: phân lớp Bayes ước lượng Maximum Likelihood GVHD: ThS Phạm Thế Bảo SVTH: Huỳnh Lê Tấn Tài, Hồ Quang Thái Trang 35 Tiểu luận: Phát đònh vò thay đổi đối tượng dãy ảnh liên tiếp - FastMarching.java: thuật toán Multi-Class Fast Marching - CreateUncertaintyZone.java: tạo vùng chứa biên đối tượng sử dụng lần thuật toán Fast Marching - SeedRegionGrowing.java: phát biên đối tượng sử dụng thuật toán tăng vùng Kết thực nghiệm Chương trình thực dãy ảnh 320*240 24 bit màu, có kết sau: Cấu trúc Số đối tượng Mức độ Thời gian Thời gian file ảnh chuyển động trung bình cao 1.5 giây 2.0 giây xác Hall Monitor JPG 98% Hướng phát triển Đề tài “Phát đònh vò đối tượng dãy ảnh liên tiếp sử dụng thuật toán Fast Marching Seed Region Growing” đề tài mở Nếu có hội tiếp tục thực hiện, chúng em hy vọng mở rộng vấn đề sang dãy ảnh chụp từ camera di động cao đoạn film Đề tài ứng dụng việc nén video theo dạng MPEG, hệ thống theo dõi từ xa, kết hợp với phương pháp nhận dạng đề thành hệ thống phòng chống trộm… GVHD: ThS Phạm Thế Bảo SVTH: Huỳnh Lê Tấn Tài, Hồ Quang Thái Tiểu luận: Phát đònh vò thay đổi đối tượng dãy ảnh liên tiếp Trang 36 tài liệu tham khảo [1] R.Duda, P.Hart Pattern Classification and Scence Analysis New York: WilleyInterscience, 1973 [2] G.McLachlan, D Peel W Whiten Maximum likelihood clustering via normal mixture model Signal Processing: Image Communication, 8:105-111, 1996 [3] J.Sethian Level Set Methods and Fast Marching Methods Cambridge University Press, 1999 [4] E.Sifakis, G.Tziritas Fast marching to moving object location, in: Proceed-ings of the Second International Conference on Scale-Space Theories in Computer Vision, Corfou, Greece, 1999 [5] E.Sifakis, I.Grinias G.Tziritas Video segmentation using Fast Marching and Region Growing algorithms EURASIP Journal on Applied Signal Processing, pages 379-388, April 2002 [6] E.Sifakis, G.Tziritas Moving object localisation using a Fast Marching algorithms Signal Processing: Image Communication, 16:963 – 976, [7] R.Adams, L.Bischof, Seeded region growing, IEEE Trans on PAMI, Vol 16, No 6, June 1994, pp 641 –647 [8] A.Mehnert, P.Jackway, An improved seeded region growing algorithm, Pattern Recognition Letters, Vol 18, 1997, pp 1065-1071 [9] E Rouy, A Tourin, A Viscosity Solutions Approach to Shape From Shad-ing, SIAM J.Num, Anal, 29, 3.pp.867-884, 1992 [10] E.Sifakis, C.Garcia, G.Tziritas, Bayesian Level Set for Image Segmentation J.of Visual Communication and Image Representation, 13:44-64, March/June 2002 [11] Lương Mạnh Bá - Nguyễn Thanh Thuỷ: Nhập môn Xử Lý nh Số - Nhà Xuất Bản Khoa Học Kỹ Thuật 1999 GVHD: ThS Phạm Thế Bảo SVTH: Huỳnh Lê Tấn Tài, Hồ Quang Thái Tiểu luận: Phát đònh vò thay đổi đối tượng dãy ảnh liên tiếp Trang 37 [12] R.Gonzalez, E.Woods: Digital Image Processing, Addison Wesley Publish-ing Company, 1997 [13] J.Sethian Fast MarchingMethods SIAM Review, 41:199-235, 1999 [14] J.Sethian A Fast Marching Level Set method for monotonically advancing fronts Proc Nat Acad Sci, 93:1591 – 1595, 1996 [15] J.Sethian Theory, algorithms, and application of level set methods for propagation interfaces Acta Numerica, pages 309-395, 1996 [16] Và số website: http://www.adobe.com/support/techguides/ color/ http://www.iva.cs.tut.fi/COST211 GVHD: ThS Phạm Thế Bảo SVTH: Huỳnh Lê Tấn Tài, Hồ Quang Thái Tiểu luận: Phát đònh vò thay đổi đối tượng dãy ảnh liên tiếp Trang 38 phụ lục Ước lượng tham số phương pháp hợp lý cực đại Giả sử đám đông có nhiều đặc trưng chưa biết (chẳng hạn θ) Ta vào mẫu quan sát mà ước lượng giá trò hợp lý cho đặc trưng (gọi θˆ ) Giả sử ta tiến hành n mẫu quan sát độc lập (X1, , Xn) kết (x1, , xn) Ta xét hàm n L(θ , x1 , , x n ) = ∏ f ( x k ,θ ) k =1 xác suất để ta nhận mẫu cụ thể xét gọi hàm hợp lý, f(x, θ) hàm mật độ X với tham số θ Ta tìm ước lượng θ θˆ cho hàm hợp lý L(θ, x1, , xn) đạt giá trò cực đại, nghóa là: θˆ = arg max L(θ , x1 , , x n ) θ Như ước lượng hợp lý θ giá trò làm cho xác suất nhận mẫu xét lớn Ứng dụng đề tài: Ước lượng giá trò λ phân phối Laplace kỳ vọng (sử dụng phần 3.1) f ( xi , λ ) = λ e −λ x n L(λ , x1 , , x n ) = ∏ i =1 n ⎛ λ ⎞ − λ ∑ xi f ( x i , λ ) = ⎜ ⎟ e i =1 ⎝2⎠ n (*) Vì hàm ln(x) hàm đồng biến, nên ta xét ln L(λ , x1 , , x n ) thay xét hàm L(λ , x1 , , x n ) n ⎛λ⎞ ln L(λ , x1 , , x n ) = n ln⎜ ⎟ − λ ∑ xi ⎝2⎠ i =1 GVHD: ThS Phạm Thế Bảo SVTH: Huỳnh Lê Tấn Tài, Hồ Quang Thái Tiểu luận: Phát đònh vò thay đổi đối tượng dãy ảnh liên tiếp Trang 39 Giá trò ước lượng λˆ giá trò làm (*) đạt cực đại, nên nghiệm phương trình: ∂ ln L(λ , x1 , , x n ) =0 ∂λ ⇔ ⇔ n − λˆ λˆ = n ∑x i =1 i =0 n n ∑x i =1 GVHD: ThS Phạm Thế Bảo i SVTH: Huỳnh Lê Tấn Tài, Hồ Quang Thái Tiểu luận: Phát đònh vò thay đổi đối tượng dãy ảnh liên tiếp Trang 40 Giải thuật phân lớp phương pháp xác suất Phân lớp giai đoạn mở đầu quan trọng nhiều lãnh vực nhận dạng, xử lý ảnh Khoảng cách công cụ thường dùng để phân lớp, phần tử xếp vào lớp mà có độ đo khoảng cách đến lớp nhỏ Ở đây, ta xét phương “tự nhiên” dựa vào xác suất Bayes phương pháp hợp lý cực đại Giả sử tập hợp X cần phân thành k lớp Xác suất đề phần tử x xếp vào lớp i P ( x | i ) Và cách tự nhiên ta chọn nhóm cần xếp cho x nhóm ix cho xác suất x rơi vào nhóm ix cao Thuật toán mô tả sau: Bước khởi tạo: - Phân X ngẫu nhiên thành k lớp - Tính xác suất để phần tử x rơi vào lớp i: P(x|i) Bước lặp: - Với phần tử x ta chọn lớp ix có P(x|xi) cao - Tính lại xác suất - Tiếp tục thực không thay đổi Ứng dụng đề tài: Tại bước ước lượng tham số (phần 3.1) ta cần phân tập hợp chênh lệch mức xám thành lớp : “động” “tónh” Ta cải tiến thuật toán để thời gian phân lớp nhanh Ban đầu xếp chênh lệch mức xám |d(n)| tăng dần chọn ngưỡng (no, |do|) ranh giới hai lớp Bước ta viết hàm phân phối xác suất biểu diễn khả điểm thuộc vùng “động” hay “tónh”, tuân theo luật phân phối Laplace với tham số ước lượng GVHD: ThS Phạm Thế Bảo SVTH: Huỳnh Lê Tấn Tài, Hồ Quang Thái Tiểu luận: Phát đònh vò thay đổi đối tượng dãy ảnh liên tiếp Trang 41 |d(n)| |d0| tónh động no n Hình 15: Phân lớp động tónh f (d , label = l ) = λl e − λl |d | λ0 = n0 nmax i =0 i = n0 +1 ∑ | d (i) | n0 , λ1 = ∑ | d (i) | nmax − n0 − Tiếp bước lặp thay phải cập nhật toàn bộ, ta cần dòch chuyển no qua phải qua trái tùy theo phân phối vào vùng GVHD: ThS Phạm Thế Bảo SVTH: Huỳnh Lê Tấn Tài, Hồ Quang Thái Tiểu luận: Phát đònh vò thay đổi đối tượng dãy ảnh liên tiếp Trang 42 Hình 16: Kết phân lớp phương pháp xác suất GVHD: ThS Phạm Thế Bảo SVTH: Huỳnh Lê Tấn Tài, Hồ Quang Thái Tiểu luận: Phát đònh vò thay đổi đối tượng dãy ảnh liên tiếp Trang 43 Hệ màu CieLab Hệ màu Cie Lab biểu diễn màu thông qua giá trò L, a, b CIE giới thiệu vào năm 1976 Ta biểu diễn hệ màu hệ trục sau: Hình 17: Hệ màu CIE Lab Trong trục đứng L* biểu diễn độ sáng màu, mang giá trò từ (đen) đến 100 (trắng) Hai trục lại có giá trò âm dương(trong khoảng từ -120 đến +120) Trên trục a, giá trò dương sắc độ đỏ, giá trò âm sắc độ xanh lục Trên trục b, giá trò dương sắc độ vàng, giá trò âm sắc độ xanh dương Công thức chuyển đổi từ CIE Lab Trước tiên, chuyển từ RGB sang CIE XYZ XYZ màu trắng (255, 255, 255) X0 = 0.607 * 255 + 0.174 * 255 + 0.200 * 255 Y0 = 0.299 * 255 + 0.587 * 255 + 0.114 * 255 Z0 = 0.000 * 255 + 0.066 * 255 + 1.116 * 255 XYZ màu cần chuyển (R, G, B) X = 0.607 * R + 0.174 * G + 0.200 * B Y = 0.299 * R + 0.587 * G + 0.114 * B Z = 0.000 * R + 0.066 * G +1.116 * B Chuẩn hóa XYZ GVHD: ThS Phạm Thế Bảo SVTH: Huỳnh Lê Tấn Tài, Hồ Quang Thái Tiểu luận: Phát đònh vò thay đổi đối tượng dãy ảnh liên tiếp X = X / X0 Y = Y / Y0 Z = Z / Z0 ⎧⎪116.0 * Y 13 − 16 L=⎨ ⎪⎩903.3 * Y Trang 44 Y > 0.008856 Y ≤ 0.008856 a = 500.0*(fX-fY) b = 200.0*(fY-fZ) với ⎧X 13 ⎪ fX = ⎨ 16 ⎪7.787* X + 116 ⎩ ⎧Y 13 ⎪ fY = ⎨ 16 ⎪7.787* Y + 116 ⎩ ⎧Z ⎪ fZ = ⎨ 16 ⎪7.787* Z + 116 ⎩ X > 0.008856 X ≤ 0.008856 Y > 0.008856 Y ≤ 0.008856 Z > 0.008856 Z ≤ 0.008856 Ta nhận giá trò L, a, b hệ màu CieLab GVHD: ThS Phạm Thế Bảo SVTH: Huỳnh Lê Tấn Tài, Hồ Quang Thái [...]... SVTH: Huỳnh Lê Tấn Tài, Hồ Quang Thái Tiểu luận: Phát hiện và đònh vò sự thay đổi của đối tượng trong dãy ảnh liên tiếp Trang 20 PHÁT HIỆN SỰ THAY ĐỔI CỦA đối TượNG TRONG DÃY ẢNH LIÊN TIẾP Phát hiện và đònh vò đối tượng thay đổi trong dãy ảnh liên tiếp là một trong những vấn đề chủ yếu trong phân tích chuyển động video, cũng như những ứng dụng theo dõi đối tượng di chuyển, ước lượng chuyển động hỗ... vùng chứa biên đối tượng Vùng chứa biên đối tượng được minh hoạ bằng màu thực của ảnh trong khi nền và đối tượng có màu xanh và đỏ Lọc biên đối tượng Trong phần này chúng ta sẽ sử dụng thuật toán Seeded Region Growing (SRG) để xác đònh biên của đối tượng GVHD: ThS Phạm Thế Bảo SVTH: Huỳnh Lê Tấn Tài, Hồ Quang Thái Tiểu luận: Phát hiện và đònh vò sự thay đổi của đối tượng trong dãy ảnh liên tiếp Trang 31... Lê Tấn Tài, Hồ Quang Thái Tiểu luận: Phát hiện và đònh vò sự thay đổi của đối tượng trong dãy ảnh liên tiếp Trang 34 Kết quả và hướng phát triển Thực hiện Mô hình thực hiện: Ảnh 1 Ảnh 2 xám hóa xám hóa Ảnh xám 1 Ảnh xám 2 Chênh lệch mức xám Phân lớp ML Fast Marching Đối tượng thay đổi Trích vùng chứa biên Seeded Region Growing Kết quả chính xác Hình 14: Mô hình thực hiện Chương trình minh họa được... luận: Phát hiện và đònh vò sự thay đổi của đối tượng trong dãy ảnh liên tiếp Trang 28 Hình 11: Kết quả quá trình lan truyền nhãn bởi thuật toán Fast Marching Đònh vò đối tượng Khởi tạo Giai đoạn phát hiện thay đổi được sử dụng để khởi tạo cho quá trình xác đònh biên đối tượng Chúng ta có nhận xét rằng vùng thay đổi “lý tưởng” chính là vùng thuộc về đối tượng tại hai thời điểm liên tiếp Chúng ta đặt... VideoSegmentation.java: thực hiện toàn bộ thuật toán - ChangDetect.java: thực hiện bước phát hiện các đối tượng - Localization.java: thực hiện bước đònh vò đối tượng - MLClassify.java: phân lớp Bayes và ước lượng Maximum Likelihood GVHD: ThS Phạm Thế Bảo SVTH: Huỳnh Lê Tấn Tài, Hồ Quang Thái Trang 35 Tiểu luận: Phát hiện và đònh vò sự thay đổi của đối tượng trong dãy ảnh liên tiếp - FastMarching.java:... 6 ΥB w w= 2 Ví dụ: Kết quả của quá trình đánh dấu nhãn cho hai frame ảnh liên tiếp Trong hai bức ảnh này màu xanh biểu thò các điểm đánh dấu tĩnh, màu vàng biểu thò các điểm đánh dấu động và màu xám là các điểm chưa xác đònh được nhãn GVHD: ThS Phạm Thế Bảo SVTH: Huỳnh Lê Tấn Tài, Hồ Quang Thái Tiểu luận: Phát hiện và đònh vò sự thay đổi của đối tượng trong dãy ảnh liên tiếp Trang 24 Hình 10: Đánh... Tiểu luận: Phát hiện và đònh vò sự thay đổi của đối tượng trong dãy ảnh liên tiếp Trang 29 {O (i, j , t )} ⊃ ({O (i, j , t − 1)} ∩ {O (i, j , t + 1)}) Nếu điều này xảy ra thì : {O (i, j , t )} = C (t , t + 1) ∩ C (t , t − 1) Như vậy chúng ta sẽ sử dụng phần giao này để khởi tạo cho quá trình xác đònh biên của đối tượng Tạo vùng chứa biên Trong phần này ta sẽ tìm một vùng đủ lớn để chứa biên của đối tượng. .. trí của pixel, và luôn tuân theo luật phân phối Laplace hoặc Gauss GVHD: ThS Phạm Thế Bảo SVTH: Huỳnh Lê Tấn Tài, Hồ Quang Thái Trang 22 Tiểu luận: Phát hiện và đònh vò sự thay đổi của đối tượng trong dãy ảnh liên tiếp Ta sử dụng hàm phân phối Laplace(1) với kỳ vọng bằng 0 để mô tả sự tương quan thống kê của các pixel đối với hai giả thuyết trên Để đơn giản ta sử dụng ký hiệu 0 và 1 cho nhãn tónh và. .. dụng nhiều trong việc nén video, nhất là theo chuẩn MPEG, hoặc trong các kỹ thuật “blue-screening” Trong trường hợp ảnh được chụp từ một camera tónh, thì cơ sở chung để phát hiện chuyển động là phân tích sự thay đổi màu sắc giữa hai frame ảnh liên tiếp và từ đó sẽ đưa ra kết luận về đối tượng đang thay đổi giữa hai frame ảnh này Phương pháp đơn giản nhất là kỹ thuật trừ ảnh (hay xor ảnh) Nếu sự khác biệt... và những pixel chắc chắn thuộc về nền (đánh dấu nhãn tónh) Bước tiếp theo, thuật GVHD: ThS Phạm Thế Bảo SVTH: Huỳnh Lê Tấn Tài, Hồ Quang Thái Tiểu luận: Phát hiện và đònh vò sự thay đổi của đối tượng trong dãy ảnh liên tiếp Trang 21 toán Fast Marching Level Set được sử dụng để lan truyền hai tập hợp pixel đã đánh dấu nhãn ở trên sang những pixel chưa được gán nhãn, và hình thành đối tượng đã thay đổi ... Thái Tiểu luận: Phát đònh vò thay đổi đối tượng dãy ảnh liên tiếp Trang 20 PHÁT HIỆN SỰ THAY ĐỔI CỦA đối TượNG TRONG DÃY ẢNH LIÊN TIẾP Phát đònh vò đối tượng thay đổi dãy ảnh liên tiếp vấn... Tiểu luận: Phát đònh vò thay đổi đối tượng dãy ảnh liên tiếp Trang Nhóm thực GVHD: ThS Phạm Thế Bảo SVTH: Huỳnh Lê Tấn Tài, Hồ Quang Thái Tiểu luận: Phát đònh vò thay đổi đối tượng dãy ảnh liên tiếp. .. Tiểu luận: Phát đònh vò thay đổi đối tượng dãy ảnh liên tiếp Trang 24 Hình 10: Đánh dấu mẫu ban đầu GVHD: ThS Phạm Thế Bảo SVTH: Huỳnh Lê Tấn Tài, Hồ Quang Thái Tiểu luận: Phát đònh vò thay đổi đối