ĐỀ tài xử lý ẢNH đề tài NGHIÊN cứu bài TOÁN dò tìm đối TƯỢNG BẰNG PHƯƠNG PHÁP LOẠI bỏ nền

TRƯỜNG ĐẠI HỌC HỒNG ĐỨC KHOA CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG XỬ LÝ ẢNH ĐỀ TÀI: NGHIÊN CỨU BÀI TỐN DỊ TÌM ĐỐI TƯỢNG BẰNG PHƯƠNG PHÁP LOẠI BỎ NỀN Thanh Hoá, tháng năm 2022 MỤC LỤC LỜI NÓI ĐẦU I GIỚI THIỆU .4 1.1 Giới thiệu chung .4 1.2 Mục tiêu nghiên cứu II THUẬT TOÁN CƠ BẢN 2.1 Giải thuật trừ .5 2.2 Phân ngưỡng ảnh 2.3 Thuật toán Otsu III CÁC KỸ THUẬT TRONG Q TRÌNH MƠ PHỎNG NỀN 3.1 Sử dụng phân biệt khung 3.2 Lọc trung bình 3.3 Chạy trung bình Gaussian 3.4 Các mơ hình hỗn hợp 10 IV THỬ NGHIỆM 11 4.1 Đầu vào thử nghiệm 11 4.1.1 Đối với ảnh 11 4.1.2 Đối với video .12 4.2 Kết thử nghiệm 12 4.2.1 Đối với ảnh 12 4.2.2 Đối với video .13 4.3 Đánh giá 14 KẾT LUẬN 15 TÀI LIỆU THAM KHẢO .16 LỜI NÓI ĐẦU Xử lý ảnh phân ngành xử lý số tín hiệu với tín hiệu xử lý ảnh Đây phân ngành khoa học phát triển năm gần Xử lý ảnh gồm lĩnh vực chính: xử lý nâng cao chất lượng ảnh, nhận dạng ảnh, nén ảnh truy vấn ảnh Sự phát triển xử lý ảnh đem lại nhiều lợi ích cho sống người Ngày xử lý ảnh áp dụng rộng rãi đời sống như: photoshop, nén ảnh, nén video, nhận dạng biển số xe, nhận dạng khuôn mặt, nhận dạng chữ viết, xử lý ảnh thiên văn, ảnh y tế, Background Subtraction hay Foreground Detection kỹ thuật Xử Lý Ảnh Thị Giác Máy Tính Đây phương pháp phát tiền cảnh, hiểu đơn giản ta tách đối tượng ảnh khỏi hậu cảnh phía sau, nhằm mục đích hậu xử lý nhận diện đối tượng, cử chỉ, chuyển động, tracking, … Trong khuôn khổ báo cáo giới thiệu số kỹ thuật lọc đối tượng mà chúng em tìm hiểu Chúng em giới thiệu chung số kỹ thuật lọc đối tượng sau có số thử nghiệm nhỏ chạy cơng cụ Matlab Chúng em xin chân thành cảm ơn thầy Nguyễn Đình Cơng hướng dẫn chúng em hồn thành đề tài Chúng em xin chân thành cảm ơn ! I GIỚI THIỆU 1.1 Giới thiệu chung Trước tìm hiểu số thuật tốn, tìm hiểu số khái niệm Ảnh số (Digital Image) xem tập hợp điểm ảnh thành phần (còn gọi pixel) cấu trúc thành lưới toạ độ mặt không gian để mô tả hay biểu diễn nội dung liên quan đến cảm nhận trực quan thị giác Lưới toạ độ không gian điểm ảnh thường tổ chức thành dạng trục toạ độ hai chiều, biểu diễn vị trí vật lý điểm ảnh Giá trị điểm ảnh dùng để mô tả thông tin độ sáng chói, cường độ mức xám (gray-level), hay giá trị màu (color) điểm ảnh Giá trị điểm ảnh giá trị đơn (ví dụ mơ tả cường dộ xám ảnh) gồm nhiều thành phần (ví dụ để mơ tả thành tố khác màu) [1] Một số loại ảnh như: + Ảnh nhị phân: bit/pixel + Ảnh xám: bits/pixel + Ảnh màu: 16-24 bit/pixel + RGB, YUV, HSL, YcbCr Ảnh màu RGB ảnh xám Trong ảnh chia làm phần background, middle ground foreground Trong background hay hậu cảnh phần sau, xa ảnh nhất, chúng thường có kích thước nhỏ, màu sắc chứa chi tiết Foreground hay tiền cảnh gọi phần trước, chứa đối tượng chủ thể ảnh, gần với người xem Middle ground hay trung cảnh, phần tiền cảnh hậu cảnh Video chuỗi ảnh (khung hình hay frame), quan hệ thời gian khung hình biểu diễn ảnh động, đồng với nhau, tạo chuẩn nén đó, MPEG, XviD, H264,… Các định dạng phổ biến MP4, AVI, WMV, WEBM Để xử lý hình ảnh từ video phải decode thành frame hình xử lý Video chuỗi ảnh Background Subtraction hay Foreground Detection kỹ thuật Xử Lý Ảnh Thị Giác Máy Tính Đây phương pháp phát tiền cảnh, hiểu đơn giản ta tách đối tượng ảnh khỏi hậu cảnh phía sau, nhằm mục đích hậu xử lý nhận diện đối tượng, cử chỉ, chuyển động, tracking… Phương pháp dựa việc giả định hậu cảnh tĩnh (static background) thường không áp dụng môi trường thực (ánh sáng tự nhiên, trời…) thay đổi ảnh nhà (như hình TV) ngồi trời có mưa gió, thay đổi ánh sáng 1.2 Mục tiêu nghiên cứu - Nghiên cứu tốn dị tìm đối tượng phương pháp loại bỏ - Sử dụng công cụ Matlab để thử nghiệm số thuật toán II THUẬT TOÁN CƠ BẢN 2.1 Giải thuật trừ Trừ cách tiếp cận sử dụng rộng rãi để phát đối tượng chuyển động video từ camera tĩnh Cơ sở lý luận phương pháp phát đối tượng chuyển động từ khác biệt hệ quy chiếu hệ quy chiếu, thường gọi "ảnh nền", "mơ hình nền" Việc trừ hầu hết thực hình ảnh đề cập phần luồng video Phép trừ cung cấp dấu hiệu quan trọng cho nhiều ứng dụng thị giác máy tính, ví dụ theo dõi giám sát ước tính tư người Phép trừ thường dựa giả thuyết tĩnh thường không áp dụng môi trường thực Với cảnh nhà, phản chiếu hình ảnh động hình dẫn đến thay đổi Tương tự, gió, mưa thay đổi ánh sáng thời tiết mang lại, phương pháp tĩnh gặp khó khăn với cảnh trời 2.2 Phân ngưỡng ảnh Phân ngưỡng kỹ thuật biến đổi ảnh đa cấp xám thành ảnh nhị phân Trong nhiều ứng dụng, ảnh nhị phân đóng vai trò quan trọng xử lý nhận dạng đối tượng (nhận dạng ký tự, chữ viết tay, dấu vân tay, tốn gán nhãn, phép tốn hình thái,…) Mục đích kỹ thuật phân ngưỡng ảnh tút gọn thông tin ảnh dạng nhị phân (chỉ có giá trị: đen trắng) mà khơng làm mát nhiều thông tin ảnh gốc Thông thường, kỹ thuật phân ngưỡng hình ảnh cần tham số đầu vào giá trị ngưỡng T Khi đó, thuật toán phân ngưỡng thực sau: 255 𝑛ế𝑢 𝐿(𝑖, 𝑗) > 𝑇 𝐿(𝑖, 𝑗) = { 𝑛ế𝑢 𝐿(𝑖, 𝑗) ≤ 𝑇 Trong đó: L(i,j) giá trị pixel toạ độ i, j T ngưỡng để phân (T có giá trị từ – 255) 2.3 Thuật toán Otsu Việc xác định tự động tham số ngưỡng cho ảnh khác cần thiết có ý nghĩa quan trọng phân ngưỡng ảnh Thuật toán Otsu đời theo tên nhà nghiên cứu người Nhật nghĩ ý tưởng cho việc tính ngưỡng cách tự động dựa vào giá trị điểm ảnh ảnh đầu vào nhằm thay cho việc sử dụng ngưỡng cố định Kỹ thuật Otsu thuật toán hiệu để xác định tự động giá trí ngưỡng thích nghi cho ảnh thu nhận ngữ cảnh khác Mặc dù vậy, thuật toán yêu cầu ảnh đầu vào chứa hai thành phần (bi-class): đối tượng (foreground) (background) Ý tưởng thuật toán Otsu tìm giá trị ngưỡng tối ưu mà sau phân ngưỡng điểm ảnh bên lớp gần (mật độ điểm ảnh lớp dày đặc), nói cách khác phương sai trung bình điểm ảnh bên lớp đạt giá trị cực tiểu (weighted within-class variance).[1] Đầu tiên sử dụng lược đồ Histogram biểu diễn tần suất xuất mức xám: 𝐿−1 𝑃𝑖 = ∑ 𝑖=0 𝑛𝑖 (𝑀 𝑁) Trong đó: ni số lượng điểm ảnh giá trị i L: 1, 2, 3, …256 po + p1 + p2 +…+ pL-1 = Chọn ngưỡng Tk = k, (0 Threshold Có nghĩa cường độ điểm ảnh hình ảnh khác biệt bị nhị phân hoá (bằng việc tạo ngưỡng) hay lọc giá trị Nhị phân hố (Ngưỡng nhị phân, giá trị T) Sự xác phương pháp phụ thuộc vào tốc độ di chuyển khung cảnh (scene) Các chuyển động nhanh cần tạo ngưỡng cao hơn.[3] 3.2 Lọc trung bình Để tính tốn ảnh chứa nền, loạt ảnh trước tính trung bình Để tính tốn thời điểm t, ta có cơng thức 𝑁 𝐵(𝑥, 𝑦, 𝑡 ) = ∑ 𝑉(𝑥, 𝑦, 𝑡 − 𝑖) 𝑁 𝑖=1 Trong N số lượng ảnh trước dùng để tính trung bình Giá trị trung bình trung bình giá trị điểm ảnh ảnh cho N phụ thuộc vào tốc độ Video – số lượng ảnh giây lượng di chuyển đối tượng ảnh Sau tính tốn B(x, y, t) ta trừ từ ảnh V(x, y, t) thời điểm t tạo ngưỡng nhị phân cho Sau đó, tiền cảnh sau: | V(x, y, t) – B(x, y, t) | > Th Trong Th ngưỡng nhị phân, tương tự ta sử dụng Median (trung tuyến) hay cho Mean (trung bình) để tính giá trị B(x, y, t) Nếu sử dụng ngưỡng cho tất điểm ảnh với thời gian độc lập giảm độ xác phương pháp trên.[3] 3.3 Chạy trung bình Gaussian Chạy trung bình Gaussian (Running Gaussian Average) - phương pháp mà Wren et Al đề xuất phù hợp với hàm mật độ xác suất Gaussian - Gaussian probabilistic density function (pdf) n khung Để tránh chỉnh sửa pdf từ đầu khung t, trung bình chạy tính Các pdf điểm ảnh đặc trừng trung bình 𝑈𝑡 phương sai 𝜎𝐵2 Một số điều kiện ban đầu có: 𝑈0 = 𝐼0 𝜎02 = (một số giá trị mặc định) 𝐼𝑡 giá trị cường độ pixel thời điểm t Ví dụ, để khởi tạo phương sai, sử dụng phương sai theo x y từ cửa sổ nhỏ xung quanh pixel Nền thay đổi theo thời gian (ví dụ: thay đổi ảnh sáng, khơng phải tĩnh) Để đáp ứng thay đổi đó, khung hình t, giá trị trung bình phương sai pixel phải cập nhật, sau: 𝑈𝑡 = 𝑝𝐼𝑡 + (1 − 𝑝)𝑈𝑡 − 𝜎𝑡2 = 𝑑 𝑝 + (1 − 𝑝)𝜎𝑡2 − 𝑑 = |(𝐼𝑡 − 𝑈𝑡 | Trong It giá trị cường độ pixel thời điểm t p xác định định kích thức cửa sổ tạm thời, thường p = 0.01 d khoảng cách Euclide giá trị trung bình giá trị pixel Bây ta phân loại pixel làm cường độ dịng điện nằm khoảng tin cậy giái trị trung binh phân phối: 𝑖𝑓 𝑖𝑓 |(𝐼𝑡 −𝑈𝑡 | 𝜎𝑡 |(𝐼𝑡 −𝑈𝑡 | 𝜎𝑡 > k -> (foreground) ≤ k -> (background) k giá trị ngưỡng (thường k = 2.5) Giá trị lớn k cho phép động Trong k tăng xác suất chuyển đổi từ hậu cảnh sang tiền cảnh thay đổi tinh vi Trong biến thể phương pháp này, phân phối pixel cập nhật phân loại Điều để ngăn đối tượng tiền cảnh đưa vào mờ dần vào hậu cảnh Công thức cập nhật cho giá trị trung bình thay đổi tương ứng: 𝑈𝑡 = 𝑀𝑈𝑡−1 + (1 − 𝑀)(𝐼𝑡 𝑝 + (1 − 𝑝)𝑈𝑡−1 ) M = 𝐼𝑡 coi tiền cảnh M = 𝐼𝑡 xem hậu cảnh Khi M=1, nghĩa pixel phát tiền cảnh, giá trị trung bình giữ nguyên Do đó, pixel, trở thành trước, trở thành trở lại giá trị ccường độ gần với giái trị trước chuyển sang trước.[3] Tuy nhiên, phương pháp có số vấn đề hoạt động tất pixel ban đầu pixel Ngồi ra, khơng thể đối phó với thay đổi dần dần: pixel phân loại trước khoảng thời gian dài, cường độ vị trí thay đổi (vì độ sáng thay đổi, …) Do đó, đối tượng trước biến mất, cường độ khơng nhận dạng nữa.[3] 3.4 Các mơ hình hỗn hợp Phương pháp hỗn hợp Gaussian tiếp cận cách mơ hình hoá pixel hỗn hợp Gausian sử dụng phép gần để cập nhật mô hình Trong kỹ thuật giả định giá trị cường độ pixel video mơ hình hố mơ hình hỗn hợp Gaussian Một heuristic đơn giản xác định cường độ Sau đó, pixel khơng khớp với chúng gọi pixel tiền cảnh Các pixel tiền cảnh nhóm lại cách xử dụng phân tích thành phần kết nối 2D Phép gần K-mean sử dụng để cập nhật Gaussian Nhiều cải tiến phương pháp ban đầu Stauffer Grimson phát triền đề xuất tìm thấy khảo sát đầy đủ Bouwmans et al Một phương pháp tiêu chuẩn thích ứng tính trung bình ảnh theo thời gian, tạo giá trị xấp xỉ tương tự cảnh tĩnh ngoại trừ trường hợp xảy chuyển động.[3] IV THỬ NGHIỆM Với chương trình thử nghiệm Matlab, số hạn chế nên chúng em sử dụng số thuật toán để tách đối tượng thuật tốn phân ngưỡng thủ cơng, thuật toán phân ngưỡng tự động Otsu giải thuật trừ 4.1 Đầu vào thử nghiệm 4.1.1 Đối với ảnh Đầu vào ảnh xám ảnh RGB Ảnh màu chuyển ảnh xám 4.1.2 Đối với video Đầu vào video với camera tĩnh 4.2 Kết thử nghiệm 4.2.1 Đối với ảnh Sau sử dụng phân ngưỡng ảnh thủ công, với T = 90, ta hình ảnh với đối tượng đồng xu Đây kết sử dụng thuật toán Otsu để lấy ngưỡng tự động Matlab Ta thu đối tượng đồng xu, đối tượng người 4.2.2 Đối với video Sau qua xử lý, thuật toán khoanh vùng đối tượng dựa giải thuật trừ Tuy nhiên khoanh vùng đối tượng chưa số hạn chế thuật tốn khơng xác định đối tượng khơng di chuyển, xác định nhầm đối tượng xác định phần đối tượng điểm ảnh có thay đổi độ sáng, 4.3 Đánh giá Phân ngưỡng thủ công phân ngưỡng tự động thuật toán Otsu cho kết tốt màu đồng đối tượng có khác biệt rõ ràng với Trong trường hợp màu có tương quan với màu đối tượng, không đồng màu đối tượng khơng đầu màu thuật tốn khơng thực hiệu sai sót Với giải thuật trừ nền, video đưa vào phải cam tĩnh Với cảnh nhà, phản chiếu hình ảnh động hình dẫn đến thay đổi thuật tốn dẫn đến sai lệch Tương tự, gió, mưa thay đổi ánh sáng thời tiết mang lại, phương pháp tĩnh gặp khó khăn với cảnh ngồi trời KẾT LUẬN Xử lý ảnh khoa học tương đối mẻ so với nhiều ngành khoa học khác, quy mô công nghiệp Việc xử lý loại bỏ để tìm đối tượng giúp tìm dấu hiệu quan trọng cho nhiều ứng dụng thị giác máy tính, từ ứng dụng vào sống Ví dụ theo dõi giám sát giao thông, bảo đảm an ninh, Với số kỹ thuật loại bỏ giới thiệu, lọc đối tượng khỏi cách hiệu với đầu vào tiêu chuẩn Tuy nhiên, nhiều hạn chế kỹ thuật Chẳng hạn phương pháp trừ nên dựa việc giả định hậu cảnh tĩnh (static background) thường không áp dụng môi trường thực (ánh sáng tự nhiên, trời…) thay đổi ảnh nhà (như hình TV) ngồi trời có mưa gió, thay đổi ánh sáng TÀI LIỆU THAM KHẢO [1] PGS TS Phạm Thế Anh (chủ biên), PGS TS Nguyễn Mạnh An, PGS TS Đỗ Năng Tồn (2017), Giáo trình xử lý ảnh, Nhà xuất Giáo dục Việt Nam, Hà Nội [2] GV Nguyễn Đình Công, Slide xử lý ảnh, Khoa Công nghệ thông tin & Truyền thông, Đại học Hồng Đức [3] Foreground Detection: https://en.wikipedia.org/wiki/Foreground_detection [4] Một số nguồn tài liệu online khác  ... 15 TÀI LIỆU THAM KHẢO .16 LỜI NÓI ĐẦU Xử lý ảnh phân ngành xử lý số tín hiệu với tín hiệu xử lý ảnh Đây phân ngành khoa học phát triển năm gần Xử lý ảnh gồm lĩnh vực chính: xử lý nâng... Detection kỹ thuật Xử Lý Ảnh Thị Giác Máy Tính Đây phương pháp phát tiền cảnh, hiểu đơn giản ta tách đối tượng ảnh khỏi hậu cảnh phía sau, nhằm mục đích hậu xử lý nhận diện đối tượng, cử chỉ, chuyển... viết, xử lý ảnh thiên văn, ảnh y tế, Background Subtraction hay Foreground Detection kỹ thuật Xử Lý Ảnh Thị Giác Máy Tính Đây phương pháp phát tiền cảnh, hiểu đơn giản ta tách đối tượng ảnh khỏi