Sử dụng lưới hai chiều để theo vết đối tượng trong video

TRƯỜNG ĐH KHOA HỌC TỰ NHIÊN TP.HCM KHOA CÔNG NGHỆ THÔNG TIN oOo Luận văn tốt nghiệp Đề tài : Sử Dụng Lưới Hai Chiều Để Theo Vết Đối Tượng Trong Video Giáo viên hướng dẫn : Th.S Phạm Phạm Tuyết Trinh Sinh viên thực : Lê Thành Trung (9912087) TP Hồ Chí Minh, 7/2003 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Lời cảm ơn Sau bốn tháng nghiên cứu thực , luận văn hoàn tất đạt kết định Nhìn lại quãng đường qua , cảm thấy vô biết ơn thầy cô , xin cảm ơn thầy cô trang bị cho tảng tri thức vững vàng , giúp chúng tơi tự thực việc nghiên cứu khoa học Xin cảm ơn cô Phạm Phạm Tuyết Trinh , người hướng dẫn tơi suốt q trình thực luận văn Cô cho định hướng quan trọng Xin cảm ơn bạn bè nhóm , cảm ơn bạn Trương Thiên Đỉnh , Nguyễn Thanh Sơn , Trần Hồng Thái giúp đỡ tơi nhiều q trình thực luận văn suốt bốn năm học Và cuối , xin cảm ơn ông , cảm ơn mẹ chị , người thân yêu chỗ dựa cho năm tháng qua LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Tổng Quan Vấn đề theo vết đối tượng video thu hút nhiều quan tâm cộng đồng nghiên cứu có nhiều ứng dụng hữu ích lĩnh vực giải trí , truyền thơng , thị giác máy tính đa phương tiện , chẳng hạn ứng dụng xử lý biên tập video số , nén video , thư viện số , hệ thống giám sát giao thông v.v… Đối tượng video , hay ngắn gọn đối tượng video , thành phần có ý nghĩa đầy đủ khung cảnh Theo vết đối tượng bao gồm việc theo vết đường biên , theo vết chuyển động cục biến đổi cường độ (độ sáng tối , độ tương phản) đối tượng Nội dung luận văn nghiên cứu thực việc theo vết đối tượng theo hướng tiếp cận : sử dụng lưới hai chiều Theo , vấn đề theo vết đường biên , theo vết chuyển động cục biến đổi cường độ hợp lại thành vấn đề theo vết lưới chiều Lưới thiết kế dựa theo nội dung đối tượng giúp cho việc theo vết đối tượng xác Quá trình ước lượng chuyển động node lưới ràng buộc chặt chẽ để bảo toàn kết cấu lưới LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Mục lục Giới Thiệu 1.1 Động lực thúc đẩy 1.2 Một số hướng tiếp cận 1.3 Bố cục luận văn Một Số Khái Niệm Nền Tảng 2.1 Một số lĩnh vực liên quan 2.2 Biến dạng ảnh số 2.3 Video , video tương tự , video số 2.4 Đối tượng video , chuyển động đối tượng video , ước lượng chuyển động 2.5 Hiện tượng che phủ Mơ Hình Theo Vết Đối Tượng Video 3.1 Tạo lưới 3.2 Ước lượng chuyển động node lưới 3.3 Lan truyền lưới Cài Đặt Thử Nghiệm 4.1 Chi tiết cài đặt 4.2 Kết thử nghiệm Kết Luận hướng phát triển LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Chương Giới Thiệu Vấn đề theo vết đối tượng video thu hút quan tâm cộng đồng nghiên cứu có nhiều ứng dụng hữu ích lĩnh vực giải trí , truyền thơng , thị giác máy tính đa phương tiện , chẳng hạn ứng dụng xử lý biên tập video số , nén video , thư viện số , hệ thống giám sát giao thông v.v… Xét đoạn video quay khung cảnh , đối tượng đoạn video , hay ngắn gọn đối tượng video , thành phần có ý nghĩa đầy đủ khung cảnh Theo vết đối tượng bao gồm việc theo vết đường biên , theo vết chuyển động cục biến đổi cường độ (độ sáng tối , độ tương phản) đối tượng Nội dung luận văn nghiên cứu thực việc theo vết đối tượng theo hướng tiếp cận : sử dụng lưới hai chiều Với hướng tiếp cận , ba vấn đề : theo vết đường biên , theo vết chuyển động cục theo vết biến đổi cường độ hợp lại thành vấn đề theo vết lưới chiều Theo thuật ngữ thông dụng , mặt phẳng alpha đối tượng video tập hợp tất điểm ảnh thuộc đối tượng Luận văn đề phương pháp theo vết đối tượng bán tự động , theo mặt phẳng alpha đối tượng video xác định tay số frame quan trọng , sau mặt phẳng alpha tự động xác định frame lại LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com cách sử dụng mơ hình theo vết lưới chiều Lưới thiết kế dựa theo nội dung đối tượng giúp cho việc theo vết đối tượng xác Phần chương trình bày động lực thúc đẩy việc nghiên cứu vấn đề theo vết đối tượng , hướng tiếp cận đề , cuối giới thiệu bố cục luận văn 1.1 Động lực thúc đẩy Có thể dễ dàng nhận phần lớn thông tin mà người thu nhận từ bên ngồi thơng qua thị giác Bằng cách quan sát , người thu nhận hình ảnh từ mơi trường xung quanh , nhận dạng đưa phản hồi thích hợp Một cách tự nhiên , hình ảnh trở thành dạng thông tin giữ vai trò quan trọng đời sống người Câu châm ngơn từ xa xưa “một hình ảnh có giá trị vạn lời nói” hay “trăm nghe khơng thấy” phần nói lên ý nghĩa to lớn hình ảnh việc truyền tải thơng tin Vấn đề nảy sinh biểu diễn , lưu trữ trao đổi dạng thông tin Bằng lao động sáng tạo , người tìm giải pháp cho vấn đề , từ giản đơn hình thù khắc đá , kí hiệu da thú v.v…cho đến tranh , ảnh đầy màu sắc , hình ảnh video sinh động ngày Ra đời vào năm 30 kỉ 20 , video , hiểu cách đơn giản , chuỗi ảnh tĩnh (còn gọi khung hình - frame) liên tiếp , xếp theo trật tự thời gian Một đoạn video chứa đựng nhiều thông tin trực quan ảnh tĩnh , video có khả thu giữ chuyển động Một ảnh tĩnh cung cấp cho người xem thông tin tĩnh LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com khung cảnh đoạn video đem lại cho người xem phần động khung cảnh Ban đầu video dạng tương tự , chất tương tự nên có khả xử lý tương tác , đơn giản chuyển kênh truyền hình hay quay tới quay lui đoạn băng Sự phát triển mạnh mẽ cơng nghệ phần cứng góp phần hướng người sử dụng đến với video số , vốn gắn liền với khả xử lý tương tác tốt Ta dễ dàng thu nhận , lưu trữ , xử lý tín hiệu video định dạng số , trao đổi chia sẻ tảng lĩnh vực ứng dụng khác Theo nguyên thủy , video số biểu diễn dựa sở khung hình , tức đoạn video bao gồm nhiều khung hình , khung hình tập hợp điểm ảnh Cách biểu diễn thể chiều thời gian video , lại làm ẩn phần quan trọng , nội dung , thơng tin mà video chứa đựng , đối tượng video Những nhu cầu xuất gần làm bộc lộ hạn chế cách biểu diễn Những thư viện số , nơi chứa số lượng khổng lồ liệu video số , đòi hỏi phải trang bị tính truy xuất , rút trích phân tích liệu mức đối tượng , việc thực theo frame tốn chi phí lớn không khả thi Công việc xử lý hậu kì , biên tập video địi hỏi khả kết hợp đối tượng , khung cảnh tự nhiên nhân tạo để tạo hiệu ứng Việc tương tác với đối tượng môi trường trực quan giới hạn đồ họa máy tính mong muốn đưa khả vào ứng dụng multimedia , truyền thơng , giải trí ngày lớn Rõ ràng , kiến trúc frame pixel không đủ để thỏa mãn nhu cầu , cần có cách biểu diễn video số cấp cao Và biểu diễn video dựa sở đối tượng lời giải thích hợp cho toán Trên sở đối tượng , LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com frame video bao gồm nhiều lớp chồng lên , lớp tương ứng với đối tượng video khác Hình 1.1 : Biểu diễn video dựa sở đối tượng Để chuyển video từ frame-based sang object-based cần phải thực việc phân vùng video , tức phân frame video thành nhiều vùng , vùng tương ứng với đối tượng video khác Cách lý tưởng để thực việc phân vùng sử dụng phơng xanh Theo , đối tượng video riêng lẻ ghi nhận phông LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com xanh , việc tách đối tượng khỏi phông xanh dễ dàng , cuối ta việc chồng đối tượng lên để tạo hình ảnh video mong muốn Cách địi hỏi phải có trang thiết bị kĩ thuật , phần cứng chuyên dụng phải thực giai đoạn thu nhận hình ảnh Với điều kiện phức tạp , kĩ thuật phông xanh thường sử dụng việc tạo kĩ xảo điện ảnh hay chương trình truyền hình Phân vùng tay công việc tốn thời gian công sức Với tốc độ chiếu 24 hình / giây , để phân vùng đoạn video dài phút ta phải thực thủ cơng 24×60×5 = 7200 frame Hơn , kết phân vùng lại không ổn định thường thay đổi theo chủ quan người Đã có phương pháp phân vùng video hoàn toàn tự động đề , nhiên phương pháp sử dụng điều kiện định dừng mức phân vùng đối tượng video đơn giản , khó áp dụng cách cho đoạn video thơng thường hàng ngày Giải pháp thích hợp lựa chọn thực phân vùng bán tự động Với trợ giúp máy tính , việc phân vùng thực tay số frame quan trọng , kết thu , tức đối tượng video , theo vết frame lại Ở , hiểu “theo vết” xác định xem frame đối tượng xuất đâu xuất Cuối ta thu đồ phân vùng lớp đối tượng frame quĩ đạo chuyển động đối tượng theo thời gian Theo vết đối tượng trở thành vấn đề cốt lõi việc biểu diễn video dựa sở đối tượng Nó giữ vai trò quan trọng việc LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com giúp cho máy tính “hiểu” cảnh động , giúp thiết lập mối dây liên kết đối tượng video trình chuyển động theo thời gian Không giữ vai trò , thực tế , việc theo vết đối tượng ứng dụng theo kiểu thời gian thực hệ thống giám sát giao thông , giám sát an ninh , điều khiển robot v.v… Hầu hết phương pháp theo vết đối tượng trước thu kết không cao , sử dụng mơ hình đơn giản để mơ tả chuyển động đối tượng video , chẳng hạn mơ hình so khớp khối , mơ hình so khớp vùng v.v…Để cải thiện kết , cần tìm mơ hình chuyển động thích hợp , mạnh mẽ Sử dụng mơ hình lưới chiều xem hướng tiếp cận đầy hứa hẹn Theo mơ hình , phần tử lưới (tức mắt lưới) giả thiết vùng có chuyển động đồng chuyển động biểu diễn xác phép biến đổi không gian (affine , bilinear , …) Phép biến đổi suy từ vectơ chuyển động đỉnh mắt lưới xét Thực tế cho thấy , biểu diễn đối tượng theo vết đối tượng cách sử dụng lưới chiều cho kết xác ổn định Xét mặt lý thuyết , đáp án tốt cho tốn theo vết đối tượng sử dụng mơ hình theo vết chiều Tuy nhiên , việc sử dụng mơ hình chiều địi hỏi chi phí tính tốn q cao , đồng thời phải biết rõ cấu trúc chiều đối tượng quan tâm Sử dụng lưới chiều giải pháp cân chi phí tính tốn kết thu Giải pháp khơng địi hỏi phải biết trước cấu trúc đối tượng , khơng địi hỏi chi phí tính tốn cao , đồng thời cho kết đầy hứa hẹn LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 3.3 Lan truyền lưới Dựa vào tập vectơ chuyển động node tìm bước , ta thực việc lan truyền lưới , tức xác định vectơ chuyển động tất điểm ảnh lại Theo mơ hình lưới hai chiều , phần tử lưới (tức mắt lưới) giả thiết vùng có chuyển động đồng chuyển động biểu diễn xác phép biến đổi không gian (affine , bilinear , …) Phép biến đổi suy từ vectơ chuyển động đỉnh mắt lưới xét Đối với lưới tam giác phép biến đổi khơng gian chọn phép biến đổi affine , phép biến đổi có sáu hệ số tự với ba tương ứng điểm ảnh ba đỉnh tam giác , ta suy hệ số Biểu diễn tổng quát phép biến đổi affine có dạng :  x   a1   = a  y  a2   x '   a3    +   a5   y '   a6  Từ ba đỉnh (x1 ,y1) , (x2 ,y2) , (x3 ,y3) tìm ba điểm ảnh tương ứng (x’1 ,y’1) , (x’2 ,y’2) , (x’3 ,y’3) Từ ba cặp tương ứng , ta tính hệ số tự () cách giải hệ phương trình tuyến tính : 58 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com  x1'  0  x2'  0  x'  0  y1' 0 x1' y1' y2' 0 y3' x2' y2' 0 x3' y3'   a1   x1        a2   y1    a3   x2    =     a4   y2    a5   x3         a6   y3  Sau xác định xong hệ số , tất điểm tam giác dịch chuyển thơng qua phép biến đổi affine vừa tìm 59 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Chương Cài đặt thử nghiệm Toàn mơ hình theo vết đối tượng sử dụng lưới hai chiều mà luận văn đề bao gồm bốn nội dung : Chọn frame tham chiếu chọn đối tượng video quan tâm Tạo lưới tam giác cho đối tượng Ước lượng chuyển động node lưới Lan truyền lưới Luận văn cài đặt hoàn chỉnh phần chọn frame tham chiếu xác định mặt phẳng alpha đối tượng (nội dung thứ nhất) , cài đặt hoàn chỉnh phần tạo lưới tối ưu với thiết kế dựa theo nội dung đối tượng (nội dung thứ hai) Trong nội dung thứ ba , luận văn cài đặt xong phần ước lượng chuyển động corner node , bao gồm phương pháp so khớp khối chiến lược tìm kiếm ; tiếc inner node boundary node , chưa giải việc giới hạn khơng gian tìm kiếm nên khơng thể thực 60 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com xác việc ước lượng chuyển động phần cài đặt đành phải dừng 4.1 Chi tiết phần cài đặt Cơng cụ Chương trình demo thực môi trường Visual C++ 6.0 , thư viện sử dụng gồm thư viện Dali trường đại học Cornell dùng để giải mã file MPEG thư viện BCGControlBarPro dùng để tạo giao diện cho chương trình Nội dung chương trình Chương trình bao gồm phần sau : Lớp MPEGDecoder : giải mã file MPEG Lớp MPEGViewer : thị file MPEG Lớp MPEG : lớp bao hai lớp Lớp FrameBuffer Frame : quản lý đệm dùng trình giải mã hiển thị file MPEG Lớp VideoObject : lưu trữ xử lý nội dung liên quan đến đối tượng video Dll TriMesh : chứa hàm tạo lưới Lớp TrackingAlgorithm : thực bước trình theo vết đối tượng 4.2 Kết thử nghiệm Mơ hình thử nghiệm hai đoạn video số theo chuẩn MPEG-1 , đặt tên “book1” “clock1” , đoạn gồm có 20 frame Ứng với 61 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com đoạn , ba thuật toán so khớp khối ứng với ba chiến lược tìm kiếm (Three Step Search , Logarithmic Search Four Step Search) chạy thử nghiệm Tất tính tốn thực thành phần độ sáng (luminance – Y) Do mơ hình chưa cài đặt hồn chỉnh nên hiệu ứng quan sát tồn đối tượng mà có đường viền đối tượng theo vết mà 4.2.1 “Book 1” Mặt phẳng alpha Lưới tam giác Frame tham chiếu 62 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Logarithmic Search Frame Frame 10 Frame 20 63 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Three Step Search Frame Frame 10 Frame 20 64 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Four Step Search Frame Frame 10 Frame 20 65 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 4.2.2 “Clock 1” Mặt phẳng alpha Lưới tam giác Frame tham chiếu Logarithmic Search Frame Frame 10 66 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Frame 20 Three Step Search Frame Frame 10 67 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Frame 20 Four Step Search Frame Frame 10 68 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Frame 20 Các kết cho thấy , chiến lược Four Step Search đạt kết tốt , Three Step Search , cuối Logarithmic Search Có thể giải thích việc Logarithmic Search cho kết chiến thuật xét điểm , khởi đầu với điểm : , , trái , phải tâm thân vị trí tâm Trong chiến thuật FSS TSS khởi đầu với điểm kể tâm 69 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Chương Tổng kết hướng phát triển Theo vết đối tượng đề tài thuộc lĩnh vực xử lý video Với nhiều ứng dụng hữu ích thực tế , đề tài thu hút quan tâm cộng đồng nghiên cứu Trong phạm vi , luận văn trình bày nội dung vấn đề theo vết đối tượng , đồng thời đề mô hình theo vết sử dụng lưới tam giác hai chiều có thiết kế dựa theo nội dung đối tượng Những kết cài đặt cụ thể phần thể tính đắn mơ hình Thực tế nhiều vấn đề cần phải giải Trước hết hoàn chỉnh phần cài đặt mơ hình Tiếp thực tối ưu hóa bước mơ hình đề , nghiên cách tạo lưới tốt , tìm chiến lược tìm kiếm mạnh mẽ Ở bước đầu mơ hình , người sử dụng phải đảm nhận nhiều thao tác Cần tìm cách làm giảm bớt trách nhiệm cho người dùng Hiện , tất tính tốn thực thành phần độ sáng (luminance – Y) , thử nghiệm không gian màu khác hứa hẹn kết khả quan Một phần quan trọng cần phải thực giải tượng che phủ , điều giúp cho mơ hình ứng dụng vào thực tế 70 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Tài liệu tham khảo [1] A.Murat Tekalp , Digital Video Processing , Prentice Hall , 1995 [2] Steven W Smith , Digital Signal Processing , California Technical Publishing , 1997 [3] Nhiều tác giả , Handbook of Image & Video Processing , Academic Press , 2000 [4] Geogre Wolberg , Digital Image Warping , IEEE Computer Vision Press , 1990 [5] Cademir Toklu , “Object-Based Digital Video Processing Using 2-D Meshes” , 1998 [6] Yucel Altunbasak , A.Murat Tekalp , “Occlusion-Adaptive , ContentBased Mesh Design and Forward Tracking” , 1996 [7] Hoàng Kiếm , Dương Anh Đức , Lê Đình Duy , Cơ Sở Đồ Họa Máy Tính , Nhà xuất Giáo Dục , 2000 [8] Deepak Turaga , Mohamed Alkanhal , “Search Algorithms for BlockMatching in Motion Estimation” , 1998 [9] Peter van Beek , A.Murat Tekalp , Ning Zhuang , Isil Celasun Minghui Xia , “Hierarchical 2D Mesh Representation , Tracking and Compression for Object-Based Video” , IEEE Transactions On CSVT , 1998 [10] Bilge Gunsel , A.Murat Tekalp Peter J L van Beek , “ContentBased Access to Video Objects : Temporal Segmentation , Visual Summarization , and Feature Extraction” , 1997 71 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com [11] Isil Celasun , Minghui Xia , Peter J L van Beek A.Murat Tekalp , “Hierarchical 2D Mesh Design and Compression for Video” , 1999 [12] Jonathan Richard Shewchuk , Triangle , 1996 [13] Jonathan Richard Shewchuk , “Triangle: Engineering a 2D Quality Mesh Generator and Delaunay Triangulator” , 1996 [14] David L Marcum , “SIAM Short Course on Unstructured Mesh Generation” , SIAM Conference on Geometric Design and Computing , November 2001 Sacramento , CA [15] Hoàng Kiếm , Trần Hạnh Nhi , Dương Anh Đức , Nhập Môn Cấu Trúc Dữ Liệu Thuật Toán , ĐH Khoa Hoc Tự Nhiên , Khoa Công Nghệ Thông Tin , 2000 [16] Dave Marshall , “Introduce to Multimedia” , 2001 [17] Pekin Erhan Eren , “Object-Based Digital Video Analysis and Manipulation For Multimedia Applications” , University of Rochester , NewYork , 2002 [18] Yucel Altunbasak and A.Murat Tekalp , “Closed-Form ConnectivityPreserving Solutions for Motion Compensation Using 2-D Meshes” , IEEE Transactions on Image Processing , Vol , No.9 , September 1997 [19] Isil Celasun , A.Murat Tekalp , “Optimal 2D Hierarchical ContentBased Mesh Design and Update for Object-Based Video” , 2000 [20] Ghassan Al-Regib , Yucel Altunbasak , Russell M Mersereau , “Hierarchical Motion Estimation with Content-Based Meshes” , 2003 [21] Ghassan Al-Regib , Yucel Altunbasak , “2-D Motion Estimation with Hierarchical Content-Based Meshes” , 1999 [22] Y Nakaya H Harashima , “Motion compensation based on spatial transformation” , IEEE Trans Circuits and Syst Video Tech., vol , pp 339 - 357 , June 1994 72 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com ... mắt lưới xét Thực tế cho thấy , biểu diễn đối tượng theo vết đối tượng cách sử dụng lưới chiều cho kết xác ổn định Xét mặt lý thuyết , đáp án tốt cho toán theo vết đối tượng sử dụng mơ hình theo. .. cách sử dụng mơ hình theo vết lưới chiều Lưới thiết kế dựa theo nội dung đối tượng giúp cho việc theo vết đối tượng xác Phần chương trình bày động lực thúc đẩy việc nghiên cứu vấn đề theo vết đối. .. tượng theo hướng tiếp cận : sử dụng lưới hai chiều Với hướng tiếp cận , ba vấn đề : theo vết đường biên , theo vết chuyển động cục theo vết biến đổi cường độ hợp lại thành vấn đề theo vết lưới chiều