XỬ lý ẢNH ĐỘNG BẰNG PHƯƠNG PHÁP OPTICAL FLOW

BỘ THÔNG TIN VÀ TRUYỀN THÔNG HỌC VIỆN CÔNG NGHỆ BƯU CHÍNH VIỄN THÔNG KHOA VIỄN THÔNG I - - ĐỒ ÁN TỐT NGHIỆP ĐẠI HỌC Đề tài: “XỬ LÝ ẢNH ĐỘNG BẰNG PHƯƠNG PHÁP OPTICAL FLOW” Giảng viên hướng dẫn : Th.S LÊ THANH THỦY Sinh viên thực : ĐÀM HOÀNG ANH Lớp : D10VT1 Khóa : 2010 – 2015 Hệ : Chính quy HÀ NỘI – 2014 NHẬN XÉT, ĐÁNH GIÁ, CHO ĐIỂM CỦA GIẢNG VIÊN HƯỚNG DẪN …………………………………………………………………………………… …………………………………………………………………………………… …………………………………………………………………………………… …………………………………………………………………………………… …………………………………………………………………………………… …………………………………………………………………………………… …………………………………………………………………………………… …………………………………………………………………………………… ………………………………………………………………………………… …………………………………………………………………………………… …………………………………………………………………………………… …………………………………………………………………………………… …………………………………………………………………………………… …………………………………………………………………………………… …………………………………………………………………………………… …………………………………………………………………………………… …………………………………………………………………………………… …………………………………………………………………………………… …………………………………………………………………………………… …………………………………………………………………………………… …………………………………………………………………………………… …………………………………………………………………………………… …………………………………………………………………………………… …………………………………………………………………………………… … Điểm:………………(Bằng chữ: ……………………………………………… ) Đồng ý/Không đồng ý cho sinh viên bảo vệ trước hội đồng chấm đồ án tốt nghiệp ………………………………………………………………………………… Hà nội, ngày … tháng … năm 2014 Cán - Giảng viên hướng dẫn (Ký, họ tên) NHẬN XÉT, ĐÁNH GIÁ, CHO ĐIỂM CỦA GIẢNG VIÊN PHẢN BIỆN …………………………………………………………………………………… …………………………………………………………………………………… …………………………………………………………………………………… …………………………………………………………………………………… …………………………………………………………………………………… …………………………………………………………………………………… …………………………………………………………………………………… …………………………………………………………………………………… ………………………………………………………………………………… …………………………………………………………………………………… …………………………………………………………………………………… …………………………………………………………………………………… …………………………………………………………………………………… …………………………………………………………………………………… …………………………………………………………………………………… …………………………………………………………………………………… …………………………………………………………………………………… …………………………………………………………………………………… …………………………………………………………………………………… …………………………………………………………………………………… …………………………………………………………………………………… …………………………………………………………………………………… …………………………………………………………………………………… …………………………………………………………………………………… …………………………………………………………………………………… …………………………………………………………………………………… …………………………………………………………………………………… …………………………………………………………………………………… … Điểm:……… ………………….(Bằng chữ:…………………………………… ) Hà nội, ngày … tháng … năm 2014 Cán - Giảng viên phản biện (Ký, họ tên) Đồ án tốt nghiệp đại học MỞ ĐẦU LỜI NÓI ĐẦU Dưới phát triển nhanh chóng dân số mức độ sống, nhu cầu người công nghệ, truyền hình dịch vụ giải trí tăng nhanh tương ứng Từ hình đen trắng đơn giản, cuộn phim ghép nối đơn sơ từ ảnh màu, ngày nay, người ta đạt bước tiến xa thước phim ảnh động nhiều màu sắc Bên cạnh đó, ứng dụng ảnh động thực tiễn ngày đa dạng Không áp dụng công nghệ truyền hình, phim truyện, mà xuất chế vận hành robot, hay dùng dể theo dõi, điều khiển, phân luồng giao thông hữu ích Dẫu vậy, công nghiên cứu để xử lý ảnh cho hiệu chất lượng ảnh tốt gặp nhiều khó khăn thách thức Dù có nhiều phương pháp xử lý khác đề xuất nhiều nơi giới, song, phạm vi đồ án tốt nghiệp đại học mình, em xin giới thiệu phương pháp nhiều tiềm lĩnh vực xử lý ảnh động “Xử lý ảnh động phương pháp Optical flow” Nội dung đồ án chi tiết em gồm chương bản:  Chương 1: Tổng quan xử lý ảnh động  Chương 2: Nghiên cứu phương pháp Optical flow  Chương 3: Ứng dụng Optical flow xử lý ảnh động Qua khoảng thời gian nỗ lực nghiên cứu tìm hiểu, với bảo tận tình thầy cô khoa, đặc biệt giảng viên ThS Lê Thanh Thủy, em cuối hoàn thành đồ án tốt nghiệp Do đề tài vốn kiến thức thân hạn chế nên không tránh sai sót, kính mong quý thầy cô bạn sinh viên đóng góp ý kiến để đồ án hoàn thiện Cuối cùng, em xin gửi lời cảm ơn chân thành tới thầy cô khoa Viễn thông nói chung đặc biệt giảng viên ThS Lê Thanh Thủy nói riêng tận tình giúp đỡ em suốt thời gian qua Hà Nội, tháng 11 năm 2014 Sinh viên thực Đàm Hoàng Anh SVTH: Đàm Hoàng Anh - D10VT1 Đồ án tốt nghiệp đại học MỞ ĐẦU MỤC LỤC SVTH: Đàm Hoàng Anh - D10VT1 MỤC LỤC HÌNH VẼ DANH MỤC BẢNG BIỂU THUẬT NGỮ VIẾT TẮT Từ viết tắt Nghĩa tiếng Anh Nghĩa tiếng Việt AE AP AV CCIR PAL RAM RMS SECAM SD SR SSD Angular Error Access Point Average Committe Consultation Internnational Radiodiffusion Dynamic RAM Error in the flow Endpoint the Focus of Contraction the Focus of Expansion Ground Truth Interpolation Error Micro Air Vehicle Normalized Error National Television System Committee Phase Alternative Line Random Access Memory Root Mean Square Sequential Color with Memory Standard Deviations Simple Registration Sum of Squared Difference VGA VRAM Video Graphic Array Video RAM Sai số góc Điểm truy nhập Số trung bình Hội đồng tư vấn quốc tế vô tuyến điện Bộ nhớ RAM động Sai số đầu cuối Điểm trọng tâm thu hẹp Điểm trọng tâm mở rộng Tập liệu chuẩn tham chiếu Sai số nội suy Phương tiện bay siêu nhỏ Sai số nội suy chuẩn hóa Ủy ban hệ thống truyền hình quốc gia Đảo pha theo dòng Bộ nhớ truy xuất ngẫu nhiên Giá trị hiệu dụng Hệ màu nhớ Độ lệch chuẩn Đăng ký đơn giản Tổng sai phân bình phương Mảng ảnh đồ họa hình Bộ nhớ Card tăng tốc đồ họa máy tính DRAM EE FOC FOE GT IE MAV NE NTSC Đồ án tốt nghiệp đại học CHƯƠNG III: ỨNG DỤNG OPTICAL FLOW (3.10) n E (T , R, Z ) = ∑ (α i − α Ri − α Ti )2 + (β i − β Ri − β Ti )2 i=1 Với T = (Tx , Ty , Tz ) tham số tịnh tiến, (α i , β i ) xoay, Z độ sâu màu, R = ( Rx , Ry , Rz ) vector Optical flow pixel tham số i , (α Ri , β Ri ) (αTi , βTi ) thành phần xoay tịnh tiến vector flow tương ứng Dễ thấy, độ sâu màu làm phức tạp thêm phương trình tìm thấy giá trị xác (Tx , Ty , Tz ) Z , với Khi quan sát vùng nhỏ di i chuyển chậm chạp, chẳng hạn mặt trời, bất khả thi để xác định, đối tượng đối tượng có kích thước bé chuyển động với vận tốc chậm, đối tượng lớn khoảng cách xa di chuyển với vận tốc nhanh Do cần tìm hướng i = n chuyển động độ sâu màu tương đối đối tượng Cho hướng chuẩn hóa chuyển động, với U = (U x ,U y ,U z ) là độ dài thành phần tịnh tiến T = (Tx , Ty , Tz ) (U x ,U y ,U z ) = (Tx , Ty , Tz ) r Và độ sâu màu tương đối là: r Z%i = Zi ; (3.11) (3.12) i = n Do đó, chuẩn hóa thành phần tịnh tiến ta được: (3.13) αT = Ux − Uz x % Z β β U = T = Uy − Uz y Z% αU = (3.14) Viết lại hàm lỗi với U, ta có được: ( ) n ( ) (3.15) E U , R, Z% = ∑ α i − α Ri − αUi Z%i + (βi − β Ri − βUi Z%i ) SVTH: 47 Đàm i =1 Hoàng Anh - D10VT1 Đồ án tốt nghiệp đại học Với CHƯƠNG III: ỨNG DỤNG OPTICAL FLOW U = (U x ,U y ,U z ) tham số xoay, tham số tịnh tiến chuẩn hóa, R = ( Rx , Ry , Rz ) Z%là độ sâu màu tương đối, (α i , β i ) vector Optical flow pixel i , (α Ri , β Ri ) (α Ui , β Ui ) thành phần xoay thành phần tịnh tiến chuẩn hóa vector flow tương ứng Ngoài ra, với tất giá trị có thiểu giá trị hàm lỗi ( Z%i , ta mong muốn giảm ) E U , R, Z% Bởi vậy, lấy đạo hàm lỗi liên quan đến Z thiết lập Z%có giá trị tối ưu điểm ảnh theo tham số chuyển i động có (3.16)  (β − β )β  Z%i =  ( α i − α Ri ) α Ui + i Ri Ui ÷ α Ui + β Ui   Cuối cùng, thay lại giá trị vào hàm lỗi để có công thức (3.17):  ( α i − α Ri ) β Ui − (β i − β Ri )α Ui  E (U , R) = ∑ α Ui2 + β Ui2 i=1 n (3.17) Tầm quan trọng việc thoát khỏi phụ thuộc vào Z ta xây dựng U R hàm lỗi có biến , bỏ qua giá trị độ sâu màu phải tìm thông số chuyển động tối ưu Cuối cùng, thay ngược trở lại vào phương trình (3.16) tìm giá trị độ sâu màu tối ưu 3.3.1 Chuyển động xoay Trong thành phần chuyển động, thành phần xoay thành phần dễ tìm thông số chuyển động không phụ thuộc vào độ sâu màu Thậm chí, dễ dàng ta biết tham số chuyển động xoay tương tác tuyến tính với Bởi vậy, việc cần làm đơn giản tìm phương trình tuyến tính cho tham số giải phương pháp bình phương nhỏ [25] Về mặt hình thức, chuyển động xoay, phương trình hàm lỗi là: n ER ( R) = ∑ (α i − α Ri )2 + ( β i − β Ri ) (3.18) i= SVTH: 48 Đàm Hoàng Anh - D10VT1 Đồ án tốt nghiệp đại học Với CHƯƠNG III: ỨNG DỤNG OPTICAL FLOW R = ( Rx , Ry , Rz ) tham số xoay, (α i , β i ) vector Optical flow i (α Ri , β Ri ) thành phần xoay vector Lại lần nữa, tương tự pixel , Z% thực với phương trình (3.16), cần xác định giá trị ( Rx , Ry , Rz ) để giảm thiểu tối đa hàm lỗi Bởi vậy, cần lấy vi phân hàm lỗi tham số xoay thiết lập chúng Điều giúp ta có phương trình tuyến tính sau: n (3.19) ∑  (α i − α Ri ) xy + (β i − β Ri )( y2 + 1) = i=1 n (3.20) ∑  (α i − α Ri )( x2 + 1) + (β i − β Ri ) xy  = i=1 n (3.21) ∑ [ (α i − α Ri ) y + (β i − β Ri ) x] = i=1 Với (α , β ) vector Optical flow pixel , (α , β ) thành phần i i Ri Ri xoay vector Ta viết lại phương trình mở rộng chúng thành dạng ma trận: i = ( x, y ) −1  Rx   a d f   k  R  = d b e   l   y      Rz   f e c   m  n n (3.22) n a = ∑  x y + ( y + 1)  , b = ∑  ( x + 1) + x y  , c = ∑  x + y  2 2 2 i=1 i= n i= n n i=1 i=1 d = ∑  xy ( x + y + 2)  , e = ∑ y , f = ∑ x 2 i= n n n k = ∑ uxy + v( y + 1)  , l = ∑  u ( x + 1) + vxy  , m = ∑ [ uy − vx ] i=1 Với SVTH: 49 2 i=1 i= (u, v) vector flow đo cho pixel ( x, y) Đàm Hoàng Anh - D10VT1 Đồ án tốt nghiệp đại học CHƯƠNG III: ỨNG DỤNG OPTICAL FLOW Vì thế, việc tìm tham số xoay dễ dàng, cần đơn giản làm vài phép cộng, phép nhân ma trận nghịch đảo có thông số chuyển động xoay 3.3.2 Chuyển động chung (toàn cục) Phần giải vấn đề khác chuyển động chung, việc tìm tất sáu tham số chuyển động Bên cạnh đó, việc dễ dàng tìm tham số xoay dẫn đến câu hỏi đặt ra, ta không áp dụng kĩ thuật tương tự cho tham số? Đơn giản cần lấy vi phân tất tham số để phương trình tuyến tính tìm lời giải chúng Tuy nhiên, thật không may, trình lại không dễ dàng Optical flow bắt (capture) rõ ràng tham số Bởi thông số tương tác không tuyến tính nên việc tìm phương trình tuyến tính Bruss Horn [25] sử dụng phương trình tuyến tính cho chuyển động xoay bao gồm phương trình bậc để thêm vào chuyển động tịnh tiến Những phương trình sau giải cách sử dụng phương pháp số Dù vậy, có phương pháp trực quan để tìm kiếm rõ ràng khoảng không gian chuyển động tịnh tiến xác định tham số xoay tối ưu Hàm lỗi sử dụng dẫn hướng việc tìm kiếm Phương pháp mô tả thuật toán Adiv tối giản [23] để xác định tham số chuyển động SVTH: 50 Đàm Hoàng Anh - D10VT1 Đồ án tốt nghiệp đại học CHƯƠNG III: ỨNG DỤNG OPTICAL FLOW Hình 3.4: Một vector Optical flow thành phần tịnh tiến chia thành thành phần quay vr vt vt hướng điểm trọng tâm mở rộng, nên khác biệt v − vr hình chiếu v − vr q (đường thẳng tới FOE) dùng để xác định sai số tham số chuyển động Hình 3.4 giới thiệu ý tưởng chung thuật toán Với có thành phần thành phần xoay v thành phần tịnh tiến v v hướng đến/ r t t tới/từ điểm trọng tâm mở rộng (FOE) Nếu vector Optical flow hoàn toàn bị tách thành thành phần, hiệu vector flow với thành phần xoay nằm đường hướng FOE) Khoảng cách chuyển động v − vr đường thẳng q (cũng q sai số tham số Thuật toán Adiv bắt đầu với việc chọn điểm FOE mặt phẳng ảnh Những tham số xoay tối ưu v xác định cách sử dụng E Sai số r R tham số sử dụng để đánh giá xác FOE Đầu tiên, đề cập đến hướng chuyển động tịnh tiến, vùng tìm kiếm S chuyển động khối cầu (3.23) S = { U : U = 1} Với điểm U = (U x ,U y ,U z ) S tham số tịnh tiến chuẩn hóa từ khối cầu rời rạc Mỗi định nghĩa chuyển động tịnh tiến, sau thay vào ER sai số tham số xoay tối ưu chuyển động EU (U ) = ER ( R*) (3.24) R* Với tham số xoay tối ưu tìm cách sử dụng phương trình bình phương nhỏ SVTH: 51 Đàm Hoàng Anh - D10VT1 Đồ án tốt nghiệp đại học CHƯƠNG III: ỨNG DỤNG OPTICAL FLOW U Thao tác xảy với chuyển động tịnh tiến , giá trị chuyển động tịnh tiến số phương trình hàm lỗi Điều giúp cho giả định chuyển động tịnh tiến sử dụng Do đó, cần tìm S để tính giá trị U ER để tìm sai số tham số xoay tối ưu có sai số ER nhỏ Trong hình 3.4, vùng tìm kiếm mặt phẳng ảnh Khi chọn chuyển động tịnh tiến, xác định điểm FOE Còn dùng tìm sai số ER tìm giá trị tối ưu vr từ S Vùng tìm kiếm qua có kích cỡ lớn Bởi vậy, sơ đồ (scheme) đa độ phân giải sử dụng Việc tìm kiếm ban đầu thực độ phân giải thấp, nơi S lấy mẫu thô Giá trị tối thiểu từ độ phân giải cao đem lại vùng phối cảnh cho việc thăm dò Vùng lấy mẫu tỷ lệ mịn lần nữa, khu vực nhỏ tìm thấy trình lại lặp lại Cứ tiếp tục lặp lại độ phân giải đủ nhỏ để có giá trị U đủ tốt 3.4 Phân đoạn Nhiệm vụ phân đoạn để phá vỡ ảnh thành chuỗi vùng chứa tương ứng đối tượng Rõ ràng, chuyển động vùng giúp ích nhiều cho nhiệm vụ Xếp đối tượng có cấu trúc tương đồng vào gần vấn đề khó với kĩ thuật phân đoạn ảnh đơn Tuy nhiên, đối tượng di chuyển độc lập, vấn đề trở nên dễ dàng Cũng giống phân đoạn ảnh đơn, có số kỹ thuật chung (general) khác Phân đoạn dựa vùng nội có phần tương tự với kỹ thuật xem dựa phân đoạn Chúng phát sinh từ việc quan sát vùng không liên tục trường flow thường đối xứng qua ranh giới đối tượng Ngoài ra, có kỹ thuật toàn cục cho vùng dựa phân đoạn tách vùng có chung chuyển động ảnh Kỹ thuật Irani, Rousso Peleg [26] trình bày chi tiết bên 3.4.1 Irani, Rousso Peleg Đầu tiên, cân nhắc tới việc tìm giá trị sai phân (simple difference) đơn giản ảnh Những vùng tương ứng với khu vực cố định có giá trị sai phân thấp, vùng chuyển động có sai phân cao Những pixel cao ngưỡng phân loại thành loại chuyển động loại cố định Tuy nhiên, di chuyển vùng SVTH: 52 Đàm Hoàng Anh - D10VT1 Đồ án tốt nghiệp đại học CHƯƠNG III: ỨNG DỤNG OPTICAL FLOW đồng có giá trị sai phân thấp vùng nên phân loại vùng cố định Để giải vấn đề liên quan đến tính sai phân ảnh, Irani, Rousso Peleg sử dụng số kĩ thuật Thứ phương pháp phân cấp kim tự tháp Gaussian áp dụng để tạo thành kim tự tháp cho độ phân giải tăng dần Chuyển động phát độ phân giải thấp bị chuyển xuống theo kim tự tháp phép vùng đồng kế thừa chuyển động đối tượng cho phép vùng không đồng làm mịn Thứ hai, chuyển động pixel không đơn giản giá trị sai phân, mà giá trị trung bình cường độ flow bình thường cho vùng nhỏ lân cận Ω xung quanh pixel hành M= (3.25) I t ∇I ∑ ( ∇I ( x ) ) x∈Ω +C ∇I Với I gradient thời gian không gian tương ứng Còn C t sử dụng để xử lý số (numerical) không ổn định Bên cạnh đó, độ tin cậy lần đo chuyển động sử dụng để xác định xem chuyển động cho pixel cụ thể có chấp nhận hay không Những pixel chuyển động chuyển lên (từ độ phân giải thấp lên độ phân giải cao) kiểm tra lần Nếu chúng có số đo chuyển động cao có số đo thấp có độ tin cậy cao, giá trị chấp nhận Cuối cùng, đo chuyển động cho pixel thực hiện, định (như ngưỡng) tạo nên để xác định xem điểm ảnh cố định (trong khu vực) hay chuyển động (không khu vực) Kỹ thuật đơn giản sử dụng để phân đoạn ảnh toàn thể với nhiều vùng chuyển động Để thực điều này, chuyển động chung tạo thời điểm Một SR (Simple Registration – Đăng ký đơn giản) ảnh dùng để triệt tiêu chuyển động bị phát Thuật toán trước dùng để tách pixel cố định (tương ứng với khu vực di chuyển) pixel chuyển động (tương ứng với hậu cảnh (background) khu vực khác) Phân đoạn thực khu vực kết không bị xem xét lần lặp lại lần sau 3.4.2 Adiv Thuật toán trước gặp vấn đề ràng buộc tuyệt đối mà cần thực đối tượng chuyển động Bởi với vùng hủy bỏ nhờ đăng kí đơn giản, hạn chế vùng đối tượng chuyển động tịnh tiến Kỹ thuật sát nhập SVTH: Đàm Hoàng Anh D10VT1 53 Đồ án tốt nghiệp đại học CHƯƠNG III: ỨNG DỤNG OPTICAL FLOW khu vực Adiv [23] cho phép phân đoạn thực với chuyển động chung (general motion) Giả sử, thuật toán giúp đối tượng đại diện mảng (patch) chiều Nếu mảng sử dụng đủ nhỏ, giả định không ràng buộc Bề mặt chiều ảnh biểu diễn phương trình mặt phẳng sửa đổi: (3.26) K x X + K yY + K z Z = Với K x , K y , K z hệ số mặt phẳng Chúng ta xếp lại sau: (3.27) = Kx x + K y y + Kz Z ( x, y ) Với tọa độ pixel mặt phẳng ảnh Với phương trình (3.7), (3.8), ta thay đơn giản hóa để có được: (3.28) α = a1 + a2 x + a3 y (3.29) β = a4 + a5 x + a6 y a1 = Ry + K zTx , a2 = K xTx − K zTz , a3 = − Rz + K yTx a4 = − Rx + K zTy , a5 = Rz + K xTy , a6 = K yTy − K zTz Với K x , K y , K z hệ số mặt phẳng, T = (Tx , Ty , Tz ) tham số tịnh tiến, R = ( Rx , Ry , Rz ) tham số xoay Chú ý, trình đơn giản hóa liên quan tới trình tối giản chuyển động từ thuật ngữ phương trình chuyển động chung thành thuật ngữ thuật ngữ định nghĩa biến đổi affine Adiv sử dụng biến đổi affine giảm tải giai đoạn đầu, sau lại quay lại sử dụng thuật ngữ chuyển động chung Tăng độ phức tạp lên không cần thiết, nhiên để nắm bắt khái niệm quan trọng cách tiếp cận Adiv, thảo luận đến thuật toán Nói chung, thuật toán sát nhập khu vực có thành phần thiết yếu: SVTH: 54 Đàm Hoàng Anh - D10VT1 Đồ án tốt nghiệp đại học CHƯƠNG III: ỨNG DỤNG OPTICAL FLOW  Phân đoạn ban đầu thực cách tạo vùng nhỏ đồng  Khu vực sát nhập tiêu chuẩn lựa chọn phép hoạt động sát nhập  Các khu vực sát nhập liên tục không sát nhập thực Khi khu vực sáp nhập, tiến hành tái đánh giá tiêu chí cho vùng tạo Để thực bước phân đoạn ban đầu, Adiv sử dụng kỹ thuật tổng quát hóa Hough có phân đoạn không gian tham số tương ứng với hệ số a a Một vector Optical flow đơn phần chuyển động lớn đối tượng Do đó, cách sử dụng kỹ thuật Hough, vector flow vote cho tất chuyển động phù hợp với (được đại diện tham số) Vì vậy, với vector flow gian tham số bởi: (α , β ) , ta cần kiểm tra điểm a1 a6 không (3.30) δ x2 + δ y2 ≤ ∈ δ x = α − (a1 + a2 x + a3 y) , δ x = β − (a4 + a5 x + a6 y ) Nếu độ lệch vector Optical flow (α , β ) đo so với vector Optical flow chuẩn chuyển động mà nhỏ sai số ngưỡng ∈ , vector vote cho điểm đo Như vậy, trình phân đoạn làm việc sau Ban đầu, vector xử lý nên nhờ tất chuyển động tương thích với vector đưa vào không gian tham số Sau đó, ta tìm kiếm cực đại không gian tham số, chúng định nghĩa chuyển động phù hợp chúng hỗ trợ tốt cho nhiều vector flow Khi giá trị cực đại tìm thấy nằm ngưỡng cố định đổi, ta bắt buộc phải xác định xem có phải vector flow quán với chuyển động không Sử dụng phương trình sai số trước để xác định độ lệch vector flow từ chuyển động cụ thể Nếu sai số nằm ngưỡng ∈ , vector phân loại mảng vùng chuyển động Tất cực đại không gian tham số phân tích gán với chuyển động tương ứng Nếu vector phân loại một chuyển động cụ thể kết cực đại khác có sai SVTH: Đàm Hoàng Anh D10VT1 55 Đồ án tốt nghiệp đại học CHƯƠNG III: ỨNG DỤNG OPTICAL FLOW số thấp vector gán cho sai số Kết cuối trường flow chia thành nhiều vùng nhỏ chuyển động thích hợp Đây thuật toán Adiv rút gọn, trước khu vực không liên tục thuật toán Adiv khu vực bắt buộc phải kết nối Ngoài ra, tồn thuật toán đơn giản Đầu tiên, không gian tham số 6x6 rộng để thực tính toán nên bị chia thành không gian 3x3 tương ứng phần phương trình (3.28), (3.29) Trong thực tế, kỹ thuật cho kết tốt, cực đại không gian 6x6 thường tương đồng với cực đại không gian 3x3 Kỹ thuật đa độ phân giải dùng, nên không gian tham số rời rạc thô ban đầu khu vực tối đa tìm thấy Khu vực sau tiếp tục mở rộng độ phân giải mịn (finer) Giai đoạn trình sáp nhập khu vực xác định tiêu chí sát nhập Chú ý, với khu vực ban đầu, ta có chuyển động tối ưu mô tả tham số vector Optical flow phù hợp với chuyển động Do đó, kết hợp vector, cần xác định chuyển động tối ưu cho thiết lập tạo sai số mà dẫn đến Do đó, cách tiếp cận phương pháp bình phương nhỏ sử dụng để giảm thiểu tối đa hàm lỗi vùng n , vector kết hợp từ E (a1 a6 ) = ∑ ( α i − ( a1 + a2 xi + a3 yi ) ) + ( β i − ( a4 + a5 xi + a6 yi ) ) (3.31) i=1 Điều thực với kĩ thuật tương tự kĩ thuật trước đây, sử dụng đạo hàm riêng hệ thống phương trình tuyến tính Nếu sai số vùng nhỏ ngưỡng, vùng hợp mãi Giai đoạn thực dễ dàng Vùng lớn xem xét tiêu chí xác lập vùng áp dụng cho tất vùng lại để xác định trình sát nhập Nếu vùng lớn sát nhập với vùng khác, vùng lớn xem xét để thực trình Nó tiếp tục thao tác sát nhập bắt đầu không vùng để sáp nhập Cuối cùng, tất vector không xác định bị trình phân đoạn ban đầu xem xét thêm vào khu vực thích hợp 3.5 Phân tích luồng giao thông theo dõi xe cộ Optical flow hoạt động cấp thấp cho phân tích chuyển động Nó chịu ảnh hưởng từ việc lựa chọn ứng dụng Có nhiều phần mức độ thấp như: Phân đoạn, tham số chuyển động thời gian tiếp xúc Chúng khối cấu trúc (building) cho hệ thống phức tạp mà thường kết hợp với ứng dụng cho chuỗi video ứng dụng điều hướng phương tiện giao SVTH: 56 Đàm Hoàng Anh - D10VT1 Đồ án tốt nghiệp đại học CHƯƠNG III: ỨNG DỤNG OPTICAL FLOW thông tự quản (autonomous) hay phân tích khuôn mặt Những ứng dụng mức độ cao cho Optical flow bị giới hạn kỹ nhà thiết kế Trong giới hạn kiến thức thời gian có, nội dung đồ án không cho phép khảo sát cho ứng dụng mức độ cao Phần cố gắng kết nối ứng dụng mức độ thấp với hệ thống có mức độ cao cho phân tích thời gian thực luồng giao thông theo dõi phương tiện di chuyển ASSET-2 [27] hệ thống để theo dõi phát đối tượng chuyển động, cần thiết cho công nghệ điều hướng tự quản Hệ thống sử dụng cho phân tích luồng giao thông: Theo dõi xe cộ camera lắp đường phương tiện tham gia giao thông Hệ thống có giai đoạn làm việc: Ước tính Optical flow dựa tính năng, phân đoạn flow thành cụm theo dõi, lọc cụm Giai đoạn tính toán trường Optical flow cho khung riêng lẻ Phát vector cách dùng máy dò đặc tính SUSAN Kỹ thuật theo dõi tính không thảo luận đồ án ràng buộc thời gian Briefly xác định, giới thiệu mô hình chuyển động dùng để ước tính theo dõi tính sử dụng nhiều khung Những mô hình tự động cập nhật Sau đó, theo dõi đặc tính trả trường flow chứa vector thích hơp, thay tạm thời/vĩnh viễn tính qua khung N trước Giai đoạn phân đoạn trường flow thành cụm riêng biệt Nó sử dụng phương pháp bình phương nhỏ cho mô hình chuyển động affine cho cụm Cụm gán cho khu vực ảnh cách sử dụng số vector flow để hình thành chuyển động affine Sai số từ việc cộng thêm “hàng xóm” vector flow cho mô hình affine là: E= Với (3.32) v − va v + va +ω vector flow tại, va vector ước tính mô hình affine cho vị trí sai số ước tính Nếu sai số nhỏ số giá trị ngưỡng, vector thêm vào cụm mô hình affine cập nhật Những cụm phát triển lên từ “hàng xóm” vector flow loại bỏ khỏi danh sách khả dụng gán Khi không cụm tạo thành, ta tiếp tục xác định bounding box, trọng tâm mô hình chuyển động cho cụm đủ lớn Những cụm sau truyền tới theo dõi SVTH: 57 Đàm Hoàng Anh - D10VT1 Đồ án tốt nghiệp đại học CHƯƠNG III: ỨNG DỤNG OPTICAL FLOW Bộ lọc theo dõi cụm nhận cụm từ khung hành đưa (match) chúng với danh sách cụm trước Hoạt động thực cách sử dụng mô hình chuyển động, hình dạng bounding box trọng tâm cụm Nếu sai số nối (matching) nhỏ số ngưỡng, ta gán cụm cho cụm trước cập nhật thông tin Nếu không, cụm lại thêm vào danh sách Cuối cùng, danh sách lọc cụm chuyển đến mức độ cao để diễn dịch ASSET-2 thực kiểm tra thời gian thực tình thật với tốc độ khung hình full Nó thích hợp để theo dõi chuyển động phương tiện giao thông khác nhau, kể chúng di chuyển 3.6 Tổng kết chương Trọng tâm chương chủ yếu nói ứng dụng thực tế Optical flow xử lý ảnh động chuyển động khác dựa khái niệm, thuật toán liên quan đến cách xử lý thành phần xoay tịnh tiến chuyển động Ngoài ra, xử lý ảnh có độ sâu màu Bởi vậy, có thêm thành phần này, quy trình xử lý ảnh động phương pháp Optical flow phức tạp cần có thời gian để nghiên cứu cải tiến nhiều SVTH: 58 Đàm Hoàng Anh - D10VT1 Đồ án tốt nghiệp đại học KẾT LUẬN VÀ KIẾN NGHỊ Kết thúc chương cuối chương 3, khái niệm quy trình xử lý ảnh động đơn giản, nghiên cứu thuật toán Optical flow ứng dụng chúng xử lý ảnh động thực tế nêu ra, gợi mở trình bày Tuy nhiên, đồ án dừng lại mức độ trình bày tổng quan sở lý thuyết nguyên tắc “Xử lý ảnh động phương pháp Optical flow” Để hoàn thành phổ biến rộng rãi kỹ thuật thực tế cần thêm khoảng thời gian nghiên cứu phát triển công nghệ xử lý ảnh xác, linh hoạt việc giải yếu điểm tồn thuật toán Optical flow phức tạp phụ thuộc nhiều vào ràng buộc phải có Ngày nay, nhà khoa học tích cực nghiên cứu để phổ biến kỹ thuật dùng Optical flow cho xử lý ảnh động tương lai Một hướng nghiên cứu nhiều tiềm dùng kỹ thuật để theo dõi phương tiện di chuyển để điều khiển phân luồng giao thông hữu ích thực tế SVTH: 59 Đàm Hoàng Anh - D10VT1 Đồ án tốt nghiệp đại học DANH SÁCH TÀI LIỆU THAM KHẢO [1] Mai Hộ, "Thiết kế hệ thống khai thác chế biến liệu hình ảnh," Đà Nẵng, 2003 [2] DNA Research, Kazusa DNA Research Institute: Universal Academy Press, 2008 [3] H Landis, "Production-ready global illumination," ACM, NewYork, 2002 [4] Shade, J.; Gortler, S.; He, L.-W & Szeliski, R., "Layered depth images," 1998 [5] Zitnick, C.; Kang, S.; Uyttendaele, M.; Winder, S & Szeliski, R., "High-quality video view interpolation using a layered representation," 2004 [6] M Levoy, "Display of surfaces from volume data," 1988 [7] Herbst, E.; Seitz, S & Baker, S., "Occlusion reasoning for temporal interpolation using optical flow," Department of Computer Science and Engineering University of Washington, Washington, 2009 [8] Beier, T & Neely, S., "Feature-based image metamorphosis," 1992 [9] Scharstein, D & Szeliski, R., "High-accuracy stereo depth maps using structured light," 2003 [10] Wedel, A.; Pock, T.; Zach, C.; Cremers, D & Bischof, H., "An improved algorithm for TV-L1 optical flow," 2008 [11] Wedel, A.; Pock, T.; Braun, J.; Franke, U & Cremers, D , " Duality TV-L1 flow with fundamental matrix prior," New Zealand, 2008 [12] Wedel, A.; Cremers, D.; Pock, T & Bischof, H., "Structure and motion adaptive regularization for high accuracy optic flow," 2009 [13] Scharstein, D & Szeliski, R., "A taxonomy and evaluation of dense two-frame stereo correspondence algorithms," 2002 [14] Barron, J.; Fleet, D & Beauchemin, S , " Performance of optical flow techniques," 1994 [15] Fleet, D & Jepson, A , "Computation of component image velocity from local phase information," 1990 [16] Otte, M & Nagel, H.-H., " Optical flow estimation: advances and comparisons," 1994 [17] R Szeliski, " Prediction error as a quality metric for motion and stereo," 1999 [18] Seitz, S.; Curless, B.; Diebel, J.; Scharstein, D & Szeliski, R., "A comparison and evaluation of multi-view stereo reconstruction algorithms," 2006 [19] Rieger, J.H Lawton, D.T., " Processing differential image motion," 1985 SVTH: 60 Đàm Hoàng Anh - D10VT1 Đồ án tốt nghiệp đại học [20] Tistarelli, M.; Grosso, E Sandini, G., "Dynamic stereo in visual navigation," 1991 [21] Hatsopoulos, N.G Warren Jr, W.H., "Visual navigation with a neural network," 1991 [22] T Camus, "Real-time optical flow," Brown University, 1994 [23] G Adiv, "Determining three-dimensional motion and structure from optical flow generated by several moving objects," 1985 [24] Fang, J.-Q Huang, T.S., "Solving three-dimensional small-rotation motion equations," 1983 [25] Bruss, A.R Horn, B.K.P., "Passive navigation, Computer Vision, Graphics, and Image Processing," 1983 [26] Rousso, B.; Irani, M Peleg, S , "Computing occluding and transparent motions," 1994 [27] Smith, S.M Brady, J.M., "Asset-2: Real-time motion segmentation and shape tracking," 1995 [28] Henning Zimmer, Andrés Bruhn, Joachim Weickert,, Optic Flow in Harmony,, Saarland University, Campus E1.1, 66041 Saarbrücken,: Germany, 2011 [29] Deqing Sun, Stefan Roth, Michael J.Black, "Secrets of Optical Flow Estimation and Their Principles," 2010 [30] D v J Rieger, "Processing differential image motion," 1985 [31] P O’Donovan, "Optical Flow: Techniques and Applications," The University of Saskatchewan, 2005 [32] Simon Baker; Daniel Scharstein; J.P Lewis; Stefan Roth; Michael J Black; Richard Szeliski, "A Database and Evaluation Methodology for Optical Flow," IEEE International Conference on Computer Vision, 2010 SVTH: 61 Đàm Hoàng Anh - D10VT1 [...]... đủ hơn, bài toán phân đoạn mẫu ảnh là bài toán hai lớp Tương ứng với đó: phần cứng xử lý ảnh của máy tính có hai bộ xử lý ảnh chuyên dụng (xem hình 1.3), có tên là bộ xử lý Extractor và bộ xử lý Classifier SVTH: 12 Đàm Hoàng Anh - D10VT1 Đồ án tốt nghiệp đại học CHƯƠNG I: TỔNG QUAN XỬ LÝ ẢNH ĐỘNG Hình 1.3: Sơ đồ xử lý phân đoạn mẫu ảnh Ở đây: Bộ xử lý Extractor là bộ xử lý tách mẫu có chức năng tách... TỔNG QUAN XỬ LÝ ẢNH ĐỘNG CHƯƠNG I: TỔNG QUAN XỬ LÝ ẢNH ĐỘNG Ảnh động là một xâu chuỗi của các ảnh tĩnh, mỗi ảnh tĩnh tồn tại trong một khung ảnh Bản chất của đối tượng chuyển động ở trong loạt các khung ảnh này là sự biến đổi tương đối toạ độ vị trí của mỗi đối tượng Điều đó cho thấy, kỹ thuật xác định vị trí của đối tượng chuyển động là nhân tố quan trọng thứ nhất đối với công nghệ xử lý ảnh động Thêm... dùng những hình ảnh sinh động, chất lượng cao 1.2: Xử lý ảnh đơn Ảnh động là một xâu chuỗi của nhiều ảnh tĩnh, mỗi ảnh tĩnh tồn tại trong một khung ảnh (frame); bản chất của sự chuyển động của một đối tượng trong xâu các khung ảnh liên tiếp là sự thay đổi vị trí tương đối (toạ độ ngang và dọc) của nó trong từng khung Để xử lý ảnh động, điều đầu tiên cần đề cập tới chính là bài toán xử lý ảnh đơn 1.2.1:... mẫu ảnh chuyển động của vị trí trước và vị trí hiện tại, thường vùng này lấy kích thước 16 x 16 hay 24 x 24 pixel Xử lý ảnh động theo các bước:  Bước xử lý thô: Đầu tiên, giảm độ phân giải của ảnh xử lý, chẳng hạn ảnh 720 x 480 giảm xuống 360 x 240 pixel Khi đó số bit cần xử lý giảm nhiều và vùng dự đoán trở nên lớn hơn, do đó ảnh dự đoán chuyển động mức thô xác định được nhanh hơn  Bước xử lý mịn:... hàm ảnh, gồm hàm SVTH: 11 H i ( x, y) của ảnh mẫu và hàm Fi ( x, y ) của ảnh được phân đoạn trước xử Đàm Hoàng Anh - D10VT1 Đồ án tốt nghiệp đại học lý cho ra hàm thức: CHƯƠNG I: TỔNG QUAN XỬ LÝ ẢNH ĐỘNG Gi ( x, y) của ảnh kết quả sau xử lý (hình 1.2), được xác định bởi biểu (1.1) Gi ( x, y) = Fi ( x,y)AND H i ( x, y) Hình 1.1: Mô hình hệ thống thông tin xử lý ảnh Hình 1.2: Sơ đồ nhận dạng phân đoạn ảnh. .. 2.3.2) 2.3: Phương pháp đánh giá Optical Flow Phương pháp đánh giá của Baron [14] được cải tiến và mở rộng thành các lĩnh vực:  Các phương pháp thực hiện được sử dụng  Các thống kê được tính toán  Xem xét các vùng ảnh nhỏ 2.3.1: Phương pháp thực hiện Phương pháp thực hiện hay được dùng nhất cho Optical flow là sai số góc (Angular Error – AE) Sai số góc (AE) giữa vector dòng (u, v) và flow GT (uGT... Optical flow Trong khi trường Optical flow có vẻ tương tự như một trường chuyển động dày đặc bắt nguồn từ kỹ thuật ước tính chuyển động, phương pháp Optical flow là những nghiên cứu không chỉ quyết định các trường Optical flow riêng mình mà còn được sử dụng để ước tính tính chất 3 chiều và cấu trúc của một cảnh (scene), cũng như là chuyển động 3D của các đối tượng và người quan sát liên quan đến cảnh... của giải pháp này là chất lượng ảnh sau giải nén không cao 1.4 Tổng kết chương 1 Nội dung chương 1 chủ yếu đề cập đến kỹ thuật xử lý ảnh động cùng những thuật ngữ liên quan Trong đó có bao gồm 2 phần chính là kỹ thuật xác định vị trí của đối tượng chuyển động và kỹ thuật làm bù và làm xấp xỉ đối với hai ảnh chuyển động kế cạnh nhau Bên cạnh đó, những quy trình cơ bản của xử lý ảnh đơn và ảnh động (xâu... độ” trong các thuật toán Optical flow Ta có nhận xét, phương trình trên với ẩn pháp tuyến ur V là phương trình đường thẳng trong 2D với vector ∇ IT Để tìm Optical flow, cần thiết phải có tập hợp những phương trình được cho bởi các ràng buộc cung cấp Tất cả các phương pháp Optical flow đều đưa ra các điều kiện bổ sung để ước tính flow thực tế 2.1.3 Ứng dụng Ước tính chuyển động và kỹ thuật nén video... của ảnh còn gọi là năng lượng hiển thị hình ảnh Đối với ảnh động, đặc trưng về năng lượng ảnh của phần dư thừa bù chuyển động thấp hơn nhiều so với ảnh gốc Do đó, việc mã hoá phần dư thừa thay vì mã hoá cả xâu ảnh video đã giúp tránh được phần dư thừa này bị mã hoá lặp nhiều lần Như vậy, việc xác định phần ảnh động để làm xấp xỉ chuyển động là quá trình khôi phục một ảnh bằng cách dùng các phần ảnh