Hệ thống điều khiển giao thông thông minh đô thị (4)

-4- Chương - BÀI TOÁN NHẬN DẠNG ĐỐI TƯỢNG CHUYỂN ĐỘNG TRONG VIDEO 2.1 - Một số khái niệm 2.1.1 - Cấu trúc Video Video cấu thành từ tập liên tiếp khung hình - frame, gọi ảnh, ghi nhận lại hình ảnh quan sát kiện xảy khoảng thời gian Có hai dạng tín hiệu video thơng dụng là: tín hiệu (analog) tín hiệu video số (digital) Luận văn sử dụng liệu hình ảnh thu nhận từ Camera, nên xem xét đến video biểu diễn dạng số bỏ qua phần tín hiệu âm video Mơ hình cấu trúc chuỗi video bao gồm thành phần sau (Hình - 1): • Frame - khung hình thành phần chuỗi video Mỗi khung hình tương ứng với ảnh giới thực thời điểm xác định • Shot dãy khung hình liên tiếp camera ghi nhận khơng có ngắt qng xảy Shot đơn vị để xây dựng phân tích nội dung video • Các shot liên tiếp kết hợp lại thành cảnh (scene) dựa nội dung • Tất scene tạo thành chuỗi video -5- Video Scenes Shots Frame Hình - 1: Mơ hình cấu trúc Video [1] 2.1.2 - Key - frame Key - frame đặc trưng tóm tắt dùng để mơ tả nội dung bật, yếu chuỗi Video, xem đại diện chuỗi khung hình liên tục thời gian Video Các frame khác key - frame có khác nhỏ ngưỡng cho trước Việc truy xuất mục hóa Video thường hay sử dung key - frame có khả giảm lượng liệu lớn trùng lắp Video Có nhiều phương pháp xác định key - frame khác nhau, chúng tựu chung dựa so sánh ảnh cặp khung hình 2.2 - Tổng quan phương pháp phát đối tượng chuyển động video dựa vào phân đoạn ảnh Có nhiều khái niệm khác phân đoạn video [2] [4] [5] [6] [7] [9] [10] [11] Tổng quát, phân đoạn video trình chia chuỗi khung hình thành vùng ngữ nghĩa cho vùng xem đối tượng ngữ nghĩa độc lập -6- frame frame frame frame frame 14 (a) Ảnh gốc frame 21 frame 28 frame 14 frame 21 (b) Kết phân đoạn frame 28 Hình - 2: Minh họa kết phân đoạn video [1] Có hai hình thức phân đoạn video: phân đoạn theo thời gian phân đoạn theo không gian Mục đích phân đoạn theo thời gian để xác định vùng khung hình mà xảy di chuyển đối tượng Phân đoạn theo khơng gian mục đích để chia khung hình thành vùng ngữ nghĩa theo tiêu chuẩn cho trước Một vài đặc trưng thông dụng sử dụng để đưa tiêu chuẩn phân đoạn theo không gian di chuyển, màu sắc, kết cấu, tính chất hình học [4] [7] Các đặc trưng khác chuẩn đồng khác dẫn đến kết khác liệu Chẳng hạn, phân đoạn dựa màu, phân đoạn dựa cấu trúc [7], phân đoạn dựa di chuyển thường có kết đồ phân đoạn khác • Phân đoạn dựa màu sử dụng đồ màu kĩ thuật phân tích đặc trưng khơng gian màu để chia khung hình thành vùng đồng màu Tiếp theo q trình trộn vùng dựa thơng tin di chuyển từ ước lượng di chuyển • Phân đoạn di chuyển (hay gọi phân đoạn dòng sáng) phương pháp phân đoạn cách phân lớp điểm ảnh khung hình thành nhóm cho điểm ảnh thuộc nhóm có di chuyển giống Những nhóm có khơng có ngữ nghĩa -7- Sau đó, nhóm trộn lại dựa thơng tin di chuyển có từ thao tác ước lượng di chuyển • Ước lượng di chuyển (motion estimation) trình xác định mức độ di chuyển điểm ảnh khung hình • Phát di chuyển (motion detection) q trình xác định điểm ảnh có di chuyển bề mặt So với phân đoạn dựa di chuyển, phát di chuyển xác định đường biên tốt chi phí tính tốn thấp • Phát thay đổi (change dectection) công cụ phân đoạn theo thời gian nhằm mục đích xác định thay đổi tập hay chuỗi ảnh hai thời điểm khác Phát thay đổi phân chia khung hình thành hai vùng: thay đổi không thay đổi trường hợp camera đứng yên vùng thay đổi toàn cục vùng thay đổi cục trường hợp camera di chuyển Trong trường hợp camera đứng yên vùng khơng đổi xem khung hình nền, vùng thay đổi xem ảnh bề mặt chứa đối tượng mà ta cần xác định Trong trường hợp camera di chuyển tạo di chuyển tồn cục, phải ước lượng xác di chuyển camera Sau ước lượng, ta áp dụng phương pháp phát thay đổi trường hợp camera đứng yên • Kết hợp phương pháp để thống kê hình tĩnh khung cảnh Từ dễ dàng nhận đối tượng chuyển động Phương pháp dựa ý tưởng đơn giản phân đoạn ảnh trạng thái tĩnh khoảng thời gian đủ lâu, xem thành phần hình • Thơng tin di chuyển thành phần chính, đặc trưng quan trọng sử dụng để phân đoạn video Lý là: o Sự di chuyển mang nhiều thông tin mối quan hệ không gian - thời gian đối tượng khung hình o Các tính chất ảnh cường độ màu, có tương quan cao theo hướng di chuyển, chúng không thay đổi nhiều theo dõi -8- cảnh (ví dụ màu xe khơng thay đổi di chuyển qua cảnh), dùng để loại bỏ thông tin dư thừa theo thời gian Để phân đoạn di chuyển hay phân đoạn màu, đòi hỏi phải thực ước lượng di chuyển khung hình, chi phí để thực trình tương đối cao thao tác phức tạp Trong trình phát di chuyển có chi phí tính tốn thấp có độ xác khơng gian cao Do phương pháp phân đoạn dựa phát thay đổi để rút trích đối tượng ngữ nghĩa chuỗi video áp dụng phổ biến Luận văn tập trung xét phương pháp phân đoạn dựa trình phát thay đổi, kết hợp với phương pháp thống kê khung hình q trình thay đổi 2.3 - Thuật tốn phát đối tượng chuyển động Chương trình bày phương pháp phát đối tượng chuyển động đoạn phim video Bài toán bao gồm bước chính: • Rút trích đặc trưng ảnh • Phân tích đặc trưng • Nhận biết đối tượng chuyển động • Lọc nhiễu • Thống kê khung hình 2.3.1 - Lý thuyết phát chuyển động Phát chuyển động kỹ thuật dùng nhiều ứng dụng liên quan tới ảnh, hệ thống video giám sát, ứng dụng đa phương tiện Về bản, phát chuyển động trình xác định khác trạng thái đối tượng cách quan sát chúng thời điểm khác Ví dụ, camera an ninh theo dõi phát có kẻ đột nhập thấy có thay đổi hình ảnh -9- Các kĩ thuật phát chuyển động khác sử dụng điều kiện camera chuyển động hay cố định Với camera chuyển động, thuật tốn phải tính tốn để xác định điểm ảnh có vector chuyển động so với vector mẫu coi cố định Với camera cố định, việc phát chuyển động đơn giản hơn, xác định khung hình cố định đối tượng chuyển động Trong luận văn này, toán áp dụng cho camera đứng yên Phát chuyển động cơng việc phân đoạn thời gian nhằm mục đích xác định chuyển động tập khung hình hay chuỗi khung hình hai thời điểm khác Chúng ta ký hiệu ma trận ảnh cần kiểm tra Mi khung hình t với: Mi = Fi(x, y, t) Trong đó: • Fi hàm lấy giá trị ảnh • x, y tọa độ điểm ảnh • t khung hình thứ t chuỗi hình ảnh video Bài tốn phát chuyển động bao gồm việc tìm kiếm khung hình t ma trận nhị phân Mo điểm ảnh chứa giá trị biểu thị cho việc điểm ảnh (x, y) Mi có chuyển động so với khung hình đối chiếu Mis Ma trận Mo với hàm xác định Fo(x, y, t) định nghĩa sau: ⎧1 xảy thay đổi vị trí (x, y) thời điểm t ⎩0 ngược lại Mo = Fo( x, y, t ) = ⎨ Trong đó: • Mi: Ma trận điểm ảnh khung hình thời t với hàm giá trị Fi(x, y, t) • Mis: Ma trận điểm ảnh khung hình đối chiếu s với hàm giá trị Fi(x, y, s), thơng thường khung hình đối chiếu khung hình Có nhiều phương pháp khác để xây dựng ma trận Mo Hàm Fo dùng để xây dựng ma trận Mo định nghĩa sau: - 10 - Fo(x, y, n) = F( Fi(x, y, t), Fi(x, y, s)) Phát chuyển động phương pháp sử dụng hầu hết ứng dụng xử lý ảnh video Về bản, thuật toán phát chuyển động bao gồm bốn bước chính: • Rút trích đặc trưng • Phân tích đặc trưng • Nhận biết chuyển động • Lọc nhiễu Sơ đồ khối phương pháp trình bày Hình - Mi Rút trích đặc trưng (Fa) Ma Phân tích đặc trưng (Fc) Mc Nhận biết Mo Lọc nhiễu chuyển động (Ff) (Fo) M’ Hình - 3: Sơ đồ khối phương pháp phát chuyển động Rút trích đặc trưng Đây bước lấy thông số điểm ảnh khung hình biến đổi thành ma trận chứa giá trị Phép biến đổi thường hàm Fa với tham số độ sáng, màu sắc Ma trận đặc trưng Ma định nghĩa sau: Ma = Fa(x, y, t) = F(Fi(x, y, t)) Phân tích đặc trưng Đây bước quan trọng để xác định độ sai khác khung hình thời với khung hình mẫu Kết ma trận Mc chứa sai khác khung hình Hàm tính khoảng cách Fc giá trị đặc trưng thường phép trừ bậc Hàm Fc định nhĩa sau: Fc(x, y, t) = F(Fa(x, y, t), Fa(x, y, s)) Trong đó: - 11 - • Fa(x, y, t): Giá trị đặc trưng điểm ảnh (x, y) khung hình thời t • Fa(x, y, s): Giá trị đặc trưng điểm ảnh (x, y) khung hình đối chiếu s Nhận biết chuyển động Từ kết bước phân tích đặc trưng, thuật tốn nhận biết điểm ảnh đứng yên, điểm ảnh chuyển động so với khung hình mẫu Kết bước phân tích ma trận Mo chứa giá trị nhị phân: chuyển dộng hay không chuyển động Hàm nhận biết chuyển động Fo thường phép so sánh giá trị Mc với ngưỡng Kt, ngưỡng thường ngưỡng thực nghiệm Fo định nghĩa sau: ⎧1 Fo( x, y, t ) = ⎨ ⎩0 Mc(x, y, n) > Kt ngược lại Lọc nhiễu Lọc nhiễu bước lọc bỏ nhiễu kết có được, nhiễu thường nhiễu camera hay nhiễu q trình rút trích đặc trưng nhận biết chuyển động Đơn giản lọc bỏ vùng chuyển động có bao đóng nhỏ ngưỡng thực nghiệm 2.3.2 - Chi tiết thuật toán phát chuyển động Dựa lý thuyết trình bày trên, mục tơi trình bày chi tiết thuật tốn phát chuyển động Mơ hình thuật tốn sau (Hình - 4) - 12 - Khung hình thời Rút trích đặc trưng (Fa) Rút trích đặc trưng Tổng hợp khung hình Khung hình đối chiếu Đo khoảng cách đặc trưng (Fc) Phân tích đặc trưng Nhận biết chuyển động (Fo) Lấy ngưỡng Nhận biết chuyển động Lọc nhiễu (Ff) Hậu xử lý Vùng chuyển động Hình - 4: Mơ hình thuật tốn phát chuyển động - 13 - 2.3.2.1 - Rút trích đặc trưng Đây trình chuyển đổi từ ma trận ảnh đầu vào Fi(x, y, t) thành ma trận chứa giá trị đặc trưng Kết bước rút trích đặc trưng chuỗi ma trận Ma(x, y, t) Các đặc trưng bản: • Cường độ sáng • Màu sắc • Độ chiếu sáng • Độ tương phản Chương trình thực nghiệm lấy thơng tin cường độ sáng từ thành phần khung hình thơng qua thuật tốn trình bày Phụ lục 2.3.2.2 - Cường độ sáng Đây đặc trưng thường dùng phát chuyển động Đối với camera đơn sắc chuỗi ảnh đầu vào Mi(x, y, t) chuỗi ma trận chứa giá trị độ sáng Trường hợp camera màu gồm thành phần màu (RGB), độ sáng tính theo cơng thức sau: Fa(x, y) = W1R(x, y) + W2G(x, y) + W3B(x, y) Trong đó: • Wi trọng số mô tả cho độ nhạy khác hệ thống HVS thành phần màu • R(x, y), G(x, y), B(x, y) giá trị màu điểm ảnh (x, y) Chương trình thực nghiệm dùng cường độ sáng làm đặc trưng để phát chuyển động Tham khảo source code phần Phụ lục 2.3.2.3 - Màu sắc Đây đặc trưng quan trọng thứ hai, màu sắc lấy từ ba cảm biến camera (RGB) Trong số ứng dụng đặc thù, màu sắc đối tượng chuyển động mang ngữ nghĩa riêng - 14 - 2.3.2.4 - Đặc trưng bất biến độ chiếu sáng Khi độ chiếu sáng thay đổi, phương pháp truyền thống dựa cường độ sáng ảnh phát chuyển động dao động giá trị cường độ sáng tạo xác thực sai Vấn đề khắc phục cách sử dụng đặc trưng bất biến độ chiếu sáng thay đổi, gọi đặc trưng bất biến độ chiếu sáng Các đường mức, đồ cạnh, mô tả vector vùng ảnh đặc trưng có tính chặt chẽ cao so với đặc trưng cường độ sáng ảnh việc phát chuyển động trường hợp độ chiếu sáng thay đổi Phương pháp dựa biểu diễn ảnh đường mức sử dụng yếu tố thay đổi độ chiếu sáng toàn cục làm biến đổi số lượng, không thay đổi tính chất hình học đường mức Một đường mức λ đường biên tập mức Một tập mức Sλ bao gồm tất vị trí điểm ảnh có giá trị độ sáng λ: S λ = {( x, y ) : Fa( x, y, t ) ≥ λ} Ảnh chứa đường mức diễn đạt đồ đường mức, Fa(x, y, t) Một đồ đường mức định nghĩa sau: ⎧1 Fa ( x, y, t ) = ⎨ ⎩0 Fa(x, y, t) = λi với i = 1, , N ngược lại Trong đó: • N số lượng đường mức xét để tạo đồ đường mức 2.3.3 - Phân tích đặc trưng Phần trình bày thuật tốn tính tốn ma trận khác biệt khung hình thời khung hình mẫu Đồng thời xin trình bày thuật tốn lấy khung hình đối chiếu 2.3.3.1 - Kỹ thuật lấy khung hình đối chiếu Xác định khung hình đối chiếu bước quan trọng ảnh hưởng tới kết thuật tốn Có phương pháp xác định khung hình đối chiếu: cố định động Chương trình thực nghiệm dùng phương pháp lấy khung hình đối chiếu động - 15 - 2.3.3.2 - Phương pháp xác định khung hình đối chiếu cố định Trong phương pháp xác định khung hình đối chiếu cố định, khung hình chụp trước thời điểm khác với điều kiện khác Các khung hình sau dùng để so sánh điều kiên cụ thể Ví dụ trời sáng dùng khung hình sáng, trời tối, trời mưa dùng khung hình khác… Đây phương pháp đơn giản, cho phép phát đối tượng cảnh đối tượng đứng yên Hơn nữa, làm giảm hiệu ứng khung hình khơng bị bao phủ cải tiến việc phát đối tượng chuyển động chậm 2.3.3.3 - Phương pháp xác định khung hình đối chiếu động Trong phương pháp xác định khung hình đối chiếu động, khung hình đối chiếu xác định tập khung hình vừa xảy Có nhiều phương pháp lấy khung hình đối chiếu động, có hai phương pháp sau: Phương pháp lấy khung hình đối chiếu khung hình phía trước: Fc(x, y, n) = T(Mi(x, y, t), Mi(x, y, t - 1)) Phương pháp có ưu điểm làm giảm phát bóng Tuy nhiên, tạo nhiễu cho phần khung hình khơng bị bao phủ đối tượng chuyển động, nhận vùng biên đối tượng chuyển động khơng nhận hồn toàn đối tượng Một hạn chế phương pháp phát vùng ảnh chuyển động chậm Một cải tiến đưa chuẩn hóa khung hình Mi(x, y, t - 1) (khung hình trước đó) trước so sánh Bước tối ưu chuẩn hóa biến đổi bên ảnh chịu tác động yếu tố môi trường Phương pháp sử dụng khung hình làm khung hình đối chiếu: Thơng thường khung hình chuỗi video chọn để làm khung hình đối chiếu, phương pháp giả thiết khơng có đối tượng bề mặt cảnh lúc bắt đầu chuỗi video Khi hàm khác biệt có dạng: Fc(x, y, t) = F(Fa(x, y, t), Fa(x, y, 0)) - 16 - Trong đó: • Fa(x, y, t) giá trị đặc trưng điểm ảnh (x, y) khung hình thời t • Fa(x, y, 0) giá trị đặc trưng điểm ảnh (x, y) khung hình t = Hình - 5: Ví dụ mơ tả phương pháp đối chiếu khung hình [10] Đây phương pháp đơn giản, gần giống phương pháp lấy khung hình đối chiếu khung hình cố định Tuy nhiên, lời giải phù hợp với thực tế Vì nhiều ứng dụng, khung hình chuỗi thường chứa đối tượng bề mặt Và khơng thích hợp trường hợp chuỗi video dài tốn điều khiển nút giao thơng mà luận văn nhắm đến Có nhiều thuật giải đưa để xây dựng lại khung hình đối chiếu cách tích hợp thơng tin khung hình từ chuỗi khung hình, kĩ thuật gọi phương pháp lấy khung hình phù hợp hoàn cảnh (adaptive background) Một vùng nhớ khung hình lưu giữ khung hình cập nhật (updated - background) trình phát chuyển động Một lọc thời gian tích hợp thơng tin từ khung hình q khứ để cập nhật khung hình Khung hình động nhớ dùng phép so sánh với khung hình thời để phát vùng chuyển động Ma trận giá trị đặc trưng khung hình Fa(x, y, t) = F’a(x, y, t) kết trung bình trọng số khung hình khứ: F’a(x, y, t) = (1 - α)Fa(x, y, t) + α F’a(x, y, t - 1) - 17 - Với F’a(x, y, 0) = Fa(x, y, 0) < α < Giá trị α xác định dựa kết thống kê cửa sổ điểm ảnh chuỗi khung hình Trong trường hợp đơn giản giá trị α số Chỉ điểm ảnh không bị chuyển động thật cập nhật Quá trình cập nhật tạo khung hình cho dù chuỗi ảnh có đối tượng khác nằm nền, tức bị bao phủ đối tượng di động khác Với khung hình đối chiếu cập nhật động khắc phục việc thay đổi khung hình điều kiện thời tiết ánh sáng thay đổi Một nhược điểm phương pháp bóng đối tượng chuyển động (shadow) xem đối tượng chuyển động Giải pháp để khắc phục khuyết điểm giải phần mở rộng 2.3.3.4 - So sánh kết hai phương pháp sử dụng khung hình đối chiếu: Hình - 6: Khung hình có đối tượng di chuyển - 18 - Hình - 7: Kết theo phương pháp đối chiếu khung hình trước Hình - 8: Ảnh Hình - 9: Kết theo phương pháp đối chiếu với khung hình cập nhật động - 19 - Trong trường hợp này, kết nhận phương pháp sử dụng khung hình làm khung hình đối chiếu tốt so với phương pháp sử dụng khung hình trước Tuy nhiên với phương pháp sử dụng khung hình cố định, trường hợp khung hình có chứa đối tượng di chuyển vào thời điểm bắt đầu hiệu khơng cao so với phương pháp dùng khung hình động Trong hai phương pháp sử dụng khung hình động, phương pháp sử dụng khung hình trước làm khung hình đối chiếu có kết khơng tốt phương pháp sử dụng khung hình cập nhật động Ngồi phương pháp sử dụng khung hình cập nhật động giải khuyết điểm ban đầu phương pháp sử dụng khung hình cố định ban đầu 2.3.4 - Tính tốn ma trận khác biệt (Mc) Sự hỗ trợ không gian Phép biến đổi Fc áp dụng cách riêng biệt điểm ảnh Trong ảnh thực, đòi hỏi phân tích cho đối phó với nhiễu từ nhiều nguồn khác nhau, cần có hỗ trợ không gian lớn Sự hỗ trợ không gian định nghĩa láng giềng điểm ảnh, dùng để so sánh đặc trưng khung hình thời khung hình đối chiếu Phương pháp giúp giảm nhiễu trình phát chuyển động Láng giềng vùng đơn có hình dạng bất kỳ, tập điểm ảnh khơng liên thơng hay hình chữ nhật (Hình - 10) • Một vùng có hình dạng điều chỉnh theo tín hiệu theo vài phép chiếu từ khung hình trước • Các tập điểm ảnh khơng liên thơng sử dụng để tăng tốc độ trình phát chuyển động Phương pháp giúp phát chuyển động nhanh hơn, giới hạn độ xác khơng gian phương pháp phát chuyển động • Hình chữ nhật thường chọn làm điểm ảnh láng giềng Đặc biệt, cửa sổ hình vng (n x n) xem xét ảnh khơng có thơng tin đặc - 20 - biệt Khi kích thước cửa sổ tăng, hiệu ứng nhiễu giảm Tuy nhiên, độ xác việc phát chuyển động giảm Kích thước cửa sổ chọn cho cân độ xác việc phát chuyển động hiệu ứng nhiễu (a) vùng (b) tập pixel khơng liên thơng (c) cửa sổ hình chữ nhật Hình - 10: Các láng giềng sử dụng để phát chuyển động Một vấn đề liên quan tỉ lệ ảnh chọn trình phát chuyển động Tỉ lệ tùy thuộc yêu cầu ứng dụng cài đặt qua cửa sổ không gối chồng lên gối chồng lên Trong trường hợp cửa sổ không gối chồng lên nhau, cửa sổ không gian không giao tạo thành hỗ trợ cho trình phát chuyển động Trong trường hợp thứ hai: cửa sổ gối chồng lên nhau, thơng tin có từ láng giềng điểm ảnh cho thân Phương pháp chọn cho cân độ xác độ phức tạp tính tốn Cách lấy cửa sổ bị gối chồng lên đưa độ xác tốt hơn, số trường hợp bắt buộc xử lý thời gian thực đòi hỏi q trình phát chuyển động áp dụng ảnh có kích thước nhỏ Ma trận khác biệt Kết bước rút trích đặc trưng ma trận Ma, ma trận dùng để so sánh với ma trận khung hình đối chiếu để xác định ma trận khác biệt Hàm so sánh Fc xây dựng tùy thuộc vào đặc thù toán Hàm Fc biểu diễn sau: Fc(x, y, n) = Fv(Fd(Fa(x, y, n), Fa(x, y, s))) Trong đó: - 21 - • Fa: hàm rút trích đặc trưng • Fa(x, y, t): đặc trưng khung hình thời • Fa(x, y, s): đặc trưng khung hình đối chiếu • Fd: Hàm khoảng cách • Fv: Hàm lấy giá trị Phép toán khoảng cách Fd xác định khoảng giữ giá trị đặc trưng hai điểm ảnh Tùy theo phương pháp khác nhau, độ đo sai khác theo cặp điểm ảnh, tỉ lệ ảnh, sai khác vector độ đo khác dựa thống kê bậc hai • Sự sai khác theo cặp điểm ảnh (sự sai khác ảnh) diễn đạt sau: Fd(x, y, n) = Fa(x, y, n) - Fa(x, y, s) Phép toán áp dụng cho đặc trưng độ sáng hay đặc trưng màu • Sự sai khác vector độ đo khoảng thao tác đặc trưng vector: Fd(x, y, n) = Fa(x, y, n) - Fa(x, y, s) Các vector bao gồm đặc trưng màu đặc trưng vùng Ngoài ra, ta sử dụng dò cạnh đóng vai trò τ1 sau thực đo khoảng cách để đưa bảo toàn biến đổi ánh sáng Bộ dò cạnh thường cài đặt với lọc Sobel sai khác ảnh áp dụng ba thành phần màu RGB Trong phần xét đến bước nhận biết chuyển động kết thu nhận 2.3.5 - Nhận biết chuyển động Ma trận khác biệt Mc(x, y, n) tính phần trước dùng cho viêc nhận biết điểm ảnh chuyển động hay không Hàm nhận biết chuyển động Fb(x, y, n, k) dùng với kê số ngưỡng k Ngưỡng k xác định dựa vào kinh nghiệm hay tính cách thích hợp Trong trường hợp ngưỡng xác định dựa kinh nghiệm, giá trị cố định cho tất điểm ảnh - 22 - khung hình cho tất khung hình chuỗi video Giá trị ngưỡng thường xác định dựa vào kinh nghiệm sở liệu lớn Trong trường hợp xác định tự động, ngưỡng điều chỉnh thích nghi theo số luật Hơn nữa, ngưỡng cục hay toàn cục Các phương pháp khác để chọn ngưỡng trình bày phần 2.3.6 - Xác định ngưỡng dựa kinh nghiệm Đặt ngưỡng dựa kinh nghiệm phương pháp chung để phát chuyển động Biểu thức kiểm tra: Fc(x, y, t) > k Trong đó: • k: ngưỡng Có phương pháp lấy giá trị k: sai khác ảnh, tỉ lệ ảnh thống kê bậc hai Xem xét phương pháp sau đây: • Bằng cách xét cường độ đồ sai khác, xét độ lớn đáng kể thay đổi kết cấu Giá trị ngưỡng chọn cho thích hợp Nếu giá trị q thấp chuyển động giả nhiễu gây được phát hiện, giá trị cao bỏ qua thay đổi kết cấu nhỏ Giá trị ngưỡng phụ thuộc vào cảnh, nhiễu camera điều kiện ánh sáng theo thời gian khơng gian • Khi đặc trưng sử dụng trình phát chuyển động cạnh hay đường mức, Fc(x, y, n) tính cách lấy giá trị tuyệt đối sai khác đồ cạnh Vì mục biểu diễn đồ nhị phân lấy hai giá trị: hay Giá trị tương ứng với cạnh khác khung hình đối chiếu khung hình thời cho biết vị trí tương ứng đánh dấu chuyển động Trong trường hợp ngưỡng toàn cục - 23 - Trong phương pháp trên, giá trị ngưỡng k chọn dựa kinh nghiệm giá trị biến đổi hay cố định tuỳ theo chuỗi ảnh đầu vào Đây giới hạn phương pháp dựa kinh nghiệm, đòi hỏi tương tác để điều chỉnh ngưỡng theo đặc tính cảnh Do đó, phương pháp khơng thích hợp cho ứng dụng tự động chuỗi video dài Để phát chuyển động tối ưu, ngưỡng phải điều chỉnh tự động theo nội dung cảnh theo loại nhiễu khác 2.3.7 - Xác định ngưỡng động Các ngưỡng động điều chỉnh theo liệu đầu vào cho kết phát chuyển động tốt nhất, giảm nhiễu tối đa Một lời giải đơn giản cho ngưỡng toàn cục ngưỡng cục cách liên kết ngưỡng kinh nghiệm t với tham số mô tả tượng biến đổi theo thời gian gây trở ngại cho việc phát chuyển động Các ví dụ tượng biến đổi điều kiện ánh sáng nhiễu sinh trình thu video Phương trình kiểm tra có dạng: Fc(x, y, t) > k(t) Trong đó: • k(t) ngưỡng lấy theo tham số t Nếu ngưỡng điều chỉnh theo biến đổi ánh sáng toàn cục, k(t) hàm liên quan đến điều kiện quan sát Chẳng hạn, k(t) dựa tỉ lệ thành phần màu Nếu ngưỡng cần phải điều chỉnh theo nhiễu sinh trình thu video, k(t) biến lệ thuộc vào phương sai σc nhiễu camera Để tính ngưỡng cục thích ứng, người ta thêm vào hàm liên quan tới không gian ảnh cận kề điểm ảnh Ngưỡng để kiểm tra điều chỉnh theo hàm Fo(x’, y’, t) điểm ảnh cửa sổ W kích thước 3x3 bao quanh điểm ảnh (x, y) Như điều chỉnh lại ngưỡng, hàm tính tốn xem xét tới chuyển động điểm ảnh láng giềng Trong Fo(x, y, t) hàm xác định điểm ảnh - 24 - (x, y) có chuyển động hay khơng Khi kiểm tra điểm ảnh W, xét điểm ảnh W, giá trị điểm lại lấy giá trị từ điểm ảnh cửa sổ W khung hình trước Fo(x’, y’, t - 1), việc lấy giá trị ngược làm cho ngưỡng trở lên linh hoạt giảm nhiễu hàm Fo lúc liên quan tới thời gian xét thơng tin chuỗi hình (2 khung hình) Phương trình kiểm tra có dạng: Fo = Fc(x, y, t) > k + θ[4 - C(Fo(x’, y’, t))] Trong đó: • Fo(x’, y’, t) hàm xác đinh điểm ảnh lân cận láng giềng W có chuyển động hay đứng yên • C(Fo(x’, y’, t)) số lượng điểm ảnh phát chuyển động cửa sổ W điểm ảnh thời điểm t C(Fo(x’, y’, t)) ∈ {0, 8} • θ xác định phạm vi Fc(x, y, t) Ngưỡng cục thích ứng khơng gian cho phép tạo hình dáng vùng chuyển động đường liên tục khép kín, giảm lỗi thưa nhiễu gây Một mở rộng phương pháp thông tin thời gian đưa thêm vào q trình tính ngưỡng cục thích ứng Trong trường hợp này, Fo(x, y, t - 1) điểm ảnh (x, y) khung hình trước xét Ngưỡng cục thích ứng khơng gian - thời gian có dạng: Fc(x, y, t) > k + θ[4 - C(Fo(x’, y’, t))] + θ[0.5 - C(Fo(x, y, t - 1))] Trong đó: • C(Fo(x, y, t - 1)) ∈ {0, 1}: hàm xác định điểm ảnh xét (x, y) khung hình trước có chuyển động hay đứng n 2.3.8 - Lọc nhiễu Kết bước nhận biết chuyển động ma trận Mo(x, y, n) chứa giá trị nhị phân biểu diễn điểm ảnh chuyển động hay đứng yên Ma trận bao gồm nhiễu khác như: - 25 - • Sai số thuật tốn phát chuyển động • Các bóng (shadow) • Phần khung hình khơng bị bao phủ • Nhiễu camera Tất nguồn nhiễu tạo kết luận sai bước xử lý sau Để giảm xác suất thông báo sai, chiến lược lọc nhiễu khác đưa Những chiến lược áp dụng ma trận nhị phân Mo kết nhận biết chuyển động Mo ma trận đặc trưng đầu vào Mf Một số phương pháp lọc nhiễu thường gặp tóm tắt bảng 3.3 Bảng - 1: Một số kĩ thuật khác dùng cho trình lọc nhiễu Chiến lược Các ảnh đầu vào Phân tích thành phân liên thơng Mi(x, y, t) Lọc morphology Mi(x, y, t) Phân tích màu Ma(x, y, t) Mi (x, y, t) Trường ngẫu nhiên Markov Mo(x, y, t) Mf(x, y, t) Phân tích màu khung hình Mo(x, y, t), Mf(x, y, t) Mf(x, y, s) Phân tích cạnh Mo(x, y, t), Mf(x, y, t) Mf(x, y, s) 2.3.8.1 - Lọc nhiễu ma trận nhận biết chuyển động Mo Đây phương pháp lọc đơn giản, phép lọc dựa vào kết nhận biết chuyển động Mo dựa tập kết Mo Trong trường hợp dựa vào kết tại, công thức lọc nhiễu diễn đạt sau: Ff(x, y, t) = P(Fo(x, y, t)) Phép lọc filter P dựa tri thức hình học khối chuyển động: • Tính đóng đối tượng: nghĩa vùng phát chuyển động phải liên thơng có số qui tắc hình học - 26 - • Diện tích đối tượng chuyển động (liên thơng): diện tích vùng chuyển động phải lớn ngưỡng Ngoài ra, để giảm ảnh hưởng nhiễu ta phân tích mặt nạ phát chuyển động theo thời gian Khi đó, bước lọc nhiễu diễn đạt sau: Ff(x, y, t) = Filter(Fo(x, y, t - 1), Fo(x, y, t), Fo(x, y, t + 1)) Trong đó: • Fo(x, y, t - 1): giá trị xác định điểm (x, y) chuyển động trước thời điểm thời • Fo(x, y, t): giá trị xác định điểm (x, y) chuyển động thời điểm thời • Fo(x, y, t + 1): giá trị xác định điểm (x, y) chuyển động sau thời điểm thời • Hàm Filter xác định điểm ảnh (x, y) thời điểm t coi chuyển động hay không, hàm đánh giá dựa vào kết khung hình liên tiếp Tổng hợp phép lọc tri thức hình học phép lọc theo thời gian, điểm coi chuyển động thỏa mãn hai điều kiện sau: • Các láng giềng chyển động liên thơng n khung hình thời t, n đặt theo thực nghiêm: 4, 8, 16, … • Các điểm ảnh chuyển động xuất cửa sổ W 3x3 có tâm điểm ảnh kiểm tra nối từ khung hình trước đến khung hình sau Phương pháp lọc nhiễu đơn giản hiệu số toán đặc thù đối tượng chuyển động đồng Hạn chế phép lọc tri thức hình học thường khơng phải lúc khó xác định thành quy luật Một phương pháp lọc nhiễu khác dựa ma trận Mo, phương pháp kết hợp kết phát chuyển động khác Các kết tạo cách áp dụng thuật toán phát chuyển động sử dụng khung hình đối - 27 - chiếu khác Ví dụ áp dụng khung hình động khung hình cố định tạo ma trận Mo M’o Phương pháp biểu diễn sau: Ff(x, y, t) = Filter(Fo(x, y, t), F’o(x, y, t)) Trong đó: • Fo(x, y, t) kết việc phát chuyển động dựa việc so sánh khung hình thời khung hình cập nhật động • F’o(x, y, t) kết việc phát chuyển động dựa việc so sánh khung hình thời khung hình cố định 2.3.8.2 - Lọc nhiễu ma trận Mo ma trận ảnh gốc Mi Lọc nhiễu sử dụng nội dung hình ảnh để tinh chế kết nhận biết chuyển động Trong trường hợp này, chuỗi ảnh gốc dùng với kết nhận biết chuyển động Qui tắc thực dựa phân tích đặc trưng rút trích từ khung hình thời: Ff(x, y, t) = Filter(Fo(x, y, t), Fi(x, y, t)) từ khung hình thời khung hình tham khảo: Ff(x, y, t) = Filter(Fo(x, y, t), Fi(x, y, t), Fi(x, y, s)) Khung hình tham khảo: Fi(x, y, s), khung hình trước khung hình Quá trình lọc nhiễu sử dụng đặc trưng thường khác với đặc trưng sử dụng để nhận biết chuyển động Chẳng hạn thông tin chuyển động, màu cạnh • Thơng tin chuyển động dùng để hạn chế đường biên khuyết vào nhô Dựa giả thuyết đối tượng có đường biên trơn, làm giãn áp dụng Fo(x, y, n) để đồng không gian Kết nhận biết chuyển động xử lý cách lặp lại để điều chỉnh điểm ảnh đường viền vùng chuyển động Quá trình dựa vào việc lấy ngưỡng cục phụ thuộc vào láng giềng điểm ảnh thuộc đường - 28 - viền Sự định tùy thuộc vào trị lớn phát chuyển động kết hợp với trường Markov ngẫu nhiên • Thơng tin màu dùng để loại bỏ bóng phần ảnh dư Các điểm ảnh ma trận Mo xác định chuyển động nhóm lại thành vùng Sau đó, độ đo giống màu sắc áp dụng lên vùng để phát đặc tính giống màu sắc chúng so với vùng khung hình • Áp dụng kĩ thuật phát bóng: Bằng cách xác định bóng ta cải tiến kết phát chuyển động cách loại bỏ bóng Phát bóng giống phát đối tượng chuyển động Các vùng bị bao phủ không bị phủ bóng chuyển động phát Thơng tin màu sử dụng để phát bóng 2.4 - Nhận xét đề xuất Với tìm hiểu chi tiết lý thuyết phát chuyển động video trên, tơi xin trình bày thuật tốn áp dụng chương trình thực nghiệm Ý tưởng thuật toán áp dụng hai phương pháp đối sánh khung hình thời với khung hình trước đó, kết hợp với đối sánh với khung hình cập nhật động Khung hình tạo trình chương trình chạy, khởi đầu, khung hình khung hình Trong trình chạy, vùng camera khơng chuyển động đủ lâu (trong chương trình thực nghiệm, số 120 khung hình điều chỉnh được) vùng xem tĩnh tích hợp vào khung hình Khi có khung hình việc xác định vùng đối tượng di chuyển đơn giản hơn, vùng khác biệt khung hình thời khung hình  ... chuỗi thường chứa đối tượng bề mặt Và khơng thích hợp trường hợp chuỗi video dài toán điều khiển nút giao thông mà luận văn nhắm đến Có nhiều thuật giải đưa để xây dựng lại khung hình đối chiếu... đối tượng chuyển động • Lọc nhiễu • Thống kê khung hình 2.3.1 - Lý thuyết phát chuyển động Phát chuyển động kỹ thuật dùng nhiều ứng dụng liên quan tới ảnh, hệ thống video giám sát, ứng dụng đa... sau: Fa(x, y) = W1R(x, y) + W2G(x, y) + W3B(x, y) Trong đó: • Wi trọng số mô tả cho độ nhạy khác hệ thống HVS thành phần màu • R(x, y), G(x, y), B(x, y) giá trị màu điểm ảnh (x, y) Chương trình