Nhận dạng và xử lý đối tượng chuyển động

ĐẠI HỌC QUỐC GIA TP HỒ CHÍ MINH TRƯỜNG ĐẠI HỌC BÁCH KHOA NGUYỄN THANH ĐẠT NHẬN DẠNG VÀ XỬ LÝ ĐỐI TƯNG CHUYỂN ĐỘNG Chuyên Ngành: Mã Số Ngành: Kỹ Thuật Vô Tuyến – Điện Tử 02.07.01 LUẬN VĂN THẠC SĨ Tp Hồ Chí Minh, 22 tháng 07 năm 2005 Đại học Quốc Gia Tp Hồ Chí Minh TRƯỜNG ĐẠI HỌC BÁCH KHOA CỘNG HOÀ XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc Lập – Tự Do – Hạnh Phúc NHIEÄM VỤ LUẬN VĂN THẠC SĨ Họ tên học viên Năm sinh Chuyên ngành :NGUYỄN THANH ĐẠT :28-10-1978 : Kỹ thuật Vô tuyến – Điện tử Phái: Nam Nơi sinh: Đồng Nai Mã số: 2.07.01 I TÊN ĐỀ TÀI: NHẬN DẠNG VÀ XỬ LÝ ĐỐI TƯNG CHUYỂN ĐỘNG II NHIỆM VỤ VÀ NỘI DUNG: - Tìm hiểu kỹ thuật xử lý ảnh Nghiên cứu kỹ thuật nhận dạng đối tượng tự động Tìm hiểu phương pháp đánh giá chuyển động đối tượng Ứng dụng phương pháp vào việc xử lý đoạn phim ngắn Đánh giá III NGÀY GIAO NHIỆM VỤ (Ngày bảo vệ đề cương): IV NGÀY HOÀN THÀNH NHIỆM VỤ (Ngày bảo vệ Luận án tốt nghiệp): 22-07-2005 V HỌ VÀ TÊN CÁN BỘ HƯỚNG DẨN: PGS.TSKH NGUYỄN KIM SÁCH CÁN BỘ HƯỚNG DẨN CHỦ NHIỆM NGÀNH BỘ MÔN QUẢN LÝ NGÀNH Nội dung đề cương Luận văn Thạc só Hội Đồng Chuyên Ngành thông qua Ngày tháng năm 2005 PHÒNG ĐÀO TẠO SĐH KHOA QUẢN LÝ NGÀNH CÔNG TRÌNH ĐƯC HOÀN THÀNH TẠI TRƯỜNG ĐẠI HỌC BÁCH KHOA ĐẠI HỌC QUỐC GIA THÀNH PHỐ HỒ CHÍ MINH Cán hướng dẩn khoa học: PGS-TSKH NGUYỄN KIM SÁCH Cán chấm nhận xét 1: TS DƯƠNG HOÀI NGHĨA Cán chấm nhận xét 2: PSG-TS VŨ ĐÌNH THÀNH Luận văn Thạc só bảo vệ HỘI ĐỒNG CHẤM BẢO VỆ LUẬN VĂN THẠC SĨ TRƯỜNG ĐẠI HỌC BÁCH KHOA, ngày 22 tháng 07 năm 2005 TÓM TẮT LÝ LỊCH TRÍCH NGANG Họ tên: Nguyễn Thanh Đạt Phái : Nam Ngày, tháng, năm sinh: 28 -10 -1978 Nơi sinh: Biên Hoà -Đồng Nai Địa liên lạc: 71/3 QL1 P Quyết Thắng, TP Biên Hoà, Đồng Nai Quá trình đào tạo Từ năm 1996-2001: học Đại Học Trường Đại Học Bách Khoa TP Hồ Chí Minh – khoa Điện - Điện Tử Từ năm 2003 – 2005: học Cao Học Trường Đại Học Bách Khoa, ngành Kỹ Thuật Vô Tuyến - Điện Tử Quá trình công tác Từ năm 2001 đến : công tác Bưu Điện Tỉnh Đồng Nai Lời cảm ơn Em xin chân thành bày tỏ lòng biết ơn sâu sắc đến Thầy PGS – TSKH NGUYỄN KIM SÁCH, người tận tình hướng dẩn tạo điều kiện thuận lợi việc học tập cho em suốt thời gian thực luận án tốt nghiệp Chân thành cảm ơn Quý Thầy Cô Trường Đại Học Bách Khoa TP Hồ Chí Minh tận tình giảng dạy, hướng dẩn giúp đở em học tập nghiên cứu khoa học Chân thành cảm ơn gia đình, bạn bè quan tâm ủng hộ, giúp đỡ động viên trình học tập Tp Hồ Chí Minh, 01 tháng năm 2005 Học viên thực NGUYỄN THANH ĐẠT Giới thiệu CBHD: PGS TSKH Nguyễn Kim Sách GIỚI THIỆU Tổng quát Trong đề tài trình bày phương pháp nhận dạng đối tượng lónh vực xử lý ảnh động, phương pháp cung cấp cho ta thông tin xác vị trí xuất đối tượng frame ảnh dịch chuyển đối tượng giám sát chuyển động qua chuỗi frame liên tiếp Thông tin giúp người sử dụng dễ dàng việc xử lý cảnh phim nhằm phục vụ cho nhiều mục đích khác ( quảng cáo, điện ảnh, quân sự, ) Các phương pháp xử lý ảnh bắt nguồn từ ứng dụng như: nâng cao chất lượng thông tin hình ảnh mắt người xử lý số liệu cho máy tự động Vấn đề xử lý ảnh thật mang lại ý nghóa thực tế phải kể đến kiện ảnh chụp mặt trăng từ vệ tinh vào năm 1964 Các ảnh truyền trái đất, xử lý máy tính (lọc nhiễu, làm đường biên, ) Các kỹ thuật cho phép nâng cao chất lượng hình ảnh làm đường biên lưu hình ảnh Các kỹ thuật xử lý ảnh số sử dụng để giải hàng loạt vấn đề, nhằm nâng cao chất lượng thông tin hình ảnh Trong y học, thuật toán máy tính nâng cao độ tương phản, mã hoá mức sáng thành màu để nội suy ảnh X quang (X-rays) hình ảnh y sinh học dễ dàng Các nhà địa vật lý sử dụng kỹ thuật tương tự để nghiên cứu mẫu vật chất từ ảnh vệ tinh Các thuật toán làm đường biên (image enhancement) khôi phục hình ảnh (image restoration) sử dụng để xử lý hình ảnh giảm chất lượng Trong thiên văn học, phương pháp xử lý ảnh nhằm khôi phục hình ảnh bị nhiễu bị bóng (artifacts) sau chụp Trong vật lý lónh vực có liên quan plasmas HVTH: Nguyễn Thanh Đạt Giới thiệu CBHD: PGS TSKH Nguyễn Kim Sách (có lượng cao) microscopy điện tử Tương tự người ta ứng dụng xử lý ảnh cho kết tốt viễn thám, sinh học, y tế, hạt nhân, quân sự, công nghiệp, Nâng cao chất lượng (làm đường biên) khôi phục ảnh bị nhiễu trình xử lý ảnh dùng cho mục đích nội suy mắt người Lónh vực quan trọng thứ hai xử lý ảnh số gắn liền với việc cảm nhận máy Các cố gắng tập trung cho trình trích thông tin ảnh chuyển thành dạng thích hợp cho xử lý máy tính Ví dụ thông tin dùng cho máy tính moments thống kê, hệ số biến đổi Fourier đo khoảng cách nhiều chiều Những vấn đề tiêu biểu kỹ thuật xử lý ảnh (tónh) video (ảnh động) ứng dụng nhiều thực tế như: tự động nhận dạng đặc trưng, máy nhìn công nghiệp để điều khiển kiểm tra sản phẩm, nhận dạng mục tiêu quân sự, tự động xử lý vân tay, hiển thị lên hình ảnh X quang mẫu máu, xử lý máy hình ảnh chụp từ vệ tinh để dự báo thời tiết, nén ảnh (tónh) video (ảnh động) để lưu truyền nhiều tín hiệu ảnh video số thông tin máy tính, truyền hình thông thường truyền hình có độ phân giải cao Mục tiêu đề tài Như đề cập trên, cần thiết phải nghiên cứu phương pháp nhằm phân tích thông tin có từ ảnh số, để sở ta tiếp tục xử lý nhằm đạt mục tiêu đề Mục đích đề tài là: • Nhận dạng đối tượng tự động (cho ta thông tin vị trí đối tượng frame ảnh - phân đoạn ảnh) Quá trình cung cấp thông tin vùng ảnh cần quan tâm, từ tiến hành biện pháp xử lý tách ghép cảnh, HVTH: Nguyễn Thanh Đạt Giới thiệu • CBHD: PGS TSKH Nguyễn Kim Sách Đánh giá chuyển động đối tượng cho ta thông tin toạ độ (x,y) đối tượng khung ảnh, thay đổi vị trí đối tượng frame khác Đây sở cho việc ghép xác mô hình vào vị trí phần ảnh cần xử lý, tạo mô hình ảo chuyển động với thuộc tính gần giống với chuyển động đối tượng thật Nhằm thực tốt trình trên, ảnh đầu vào phải phân tích kỹ, từ đưa ý tưởng, giải thuật hợp lý cho phương pháp Để có sở đánh giá kết ứng dụng phương pháp nhận dạng đối tượng vào thực tiễn, nội dung Luận văn trình bày lại toàn trình phân tích, nhận dạng xử lý ảnh đầu vào để tạo cảnh phim ghép tình tiết thật ảo (ta thường gọi “Kỹ xảo Điện ảnh”) Đoạn phim sản phẩm trình xử lý, minh chứng để người xem đánh giá hiệu phương pháp Cấu trúc đề tài Phần Luận văn bao gồm chương Chi tiết chương trình sau • Chương 1: Khái niệm kỹ thuật xử lý ảnh Trình bày khái niệm cấu trúc, tính chất ảnh số kỹ thuật lónh vực xử lý ảnh • Chương 2: Làm đường biên Nêu lên sở làm đường biên, phương pháp làm đường biên đối tượng dựa thuộc tính ảnh số HVTH: Nguyễn Thanh Đạt Giới thiệu CBHD: PGS TSKH Nguyễn Kim Sách • Chương 3: Phân đoạn ảnh Trình bày phương pháp, kỹ thuật phân đoạn ảnh số thành vùng có thuộc tính gần giống nhằm phục vụ cho mục đích khác • Chương 4: Phương pháp tìm vector chuyển động Nêu lên giải thuật, phương pháp tìm khối tương thích với khối ban đầu lấy từ tập khối có liên quan không gian lẩn thời gian Chương 5: Thực nhận dạng đối tượng chuyển động Quá trình phân tích đánh giá, nhận dạng xử lý đối tượng từ đoạn phim ban đầu vào nhằm tạo cảnh phim ghép từ tình tiết thật ảo (nêu lên đầy đủ, chi tiết công đoạn để tạo cảnh phim theo mục đích tác giả) Đoạn phim kết mô cho trình phân tích thực phương pháp Chương 6: Kết luận hướng phát triển đề tài Nêu nhận xét đánh giá ưu khuyết điểm phương pháp đồng thời nêu lên hướng phát triển đề tài Cuối phần phụ lục tài liệu tham khảo HVTH: Nguyễn Thanh Đạt Giới thiệu CBHD: PGS TSKH Nguyễn Kim Sách TÀI LIỆU THAM KHẢO [1] Nguyễn Kim Sách, “Xử lý ảnh Video số” [2] Bill Green,”Sobel Edge Dectector – Canny Edge Dectector” [3] Junavit Chalida bhongse and Jay Kuo, “Fast Motion Vector Estimation Using Multiresolution – Spatio – Temporal Correlations” [4]Nguyễn Kim Sách, “ Truyền hình số có nén Multimedia” [5] Stanford University, EE Department, “ Object – Tracking Using Multiple Constraints” [6] Tel Aviv University, “ Fast Gradient Methods Based Global Motion Estimation” [7] Jong Nam Kim and Tae Sun Choi, “A Fast Full - Search Motion Estimation Algorithm Using Representative Pixels and Adaptive Matching Scan” HVTH: Nguyễn Thanh Đạt Thực nhận dạng đối tượng chuyển động CBHD: PGS TSKH Nguyễn Kim Sách đối tượng phạm vi 40x80 pixels hai frame 52 53 Như xe hình5.18 chuyển động theo hướng sang phải 17 pixel theo hướng lên pixels 5.2.3 Thực ghép cảnh ảo vào phần không gian trống 5.2.3.a Thực xử lý Cảnh ảo cảnh lựa chọn trước (hình5.17a) để ghép vào khoảng không gian trống frame sau xử lý giai đoạn Cảnh ảo chọn cho gần giống với khung cảnh mà ta cần ghép vào, thường ta chọn frame liền trước với frame đối tượng cận cảnh xuất Trong đoạn phim đối tượng xuất frame41 ta chọn frame40 làm cảnh ảo Sau chọn frame40 làm cảnh ảo, ta phải loại bỏ hoàn toàn chi tiết chuyển động (những phương tiện lưu thông) cảnh ảo ghép vào để lắp phần không gian trống hàng chục frame liên tiếp, xem phim ta thấy đối tượng chuyển động đứng im hình a) Hình 5.20 b) a Block 16x16 chứa đối tượng tónh dùng làm chuẩn cho trình xác định vector chuyển động (nêu (5.1)) b Phạm vi tìm kiếm để xác định giá trị MAD bé HVTH: Nguyễn Thanh Đạt trang96 Thực nhận dạng đối tượng chuyển động CBHD: PGS TSKH Nguyễn Kim Sách Bước tiếp theo, ta đánh giá dịch chuyển frame so với frame chuẩn để làm sở cho việc ghép cảnh ảo vào phần không gian trống Hình 5.20 trình đánh giá dịch chuyển frame45 so với frame chuẩn Ta chọn block 16x16 frame45 ( ô vuông trắng hình5.20a) làm chuẩn thực tìm kiếm phạm vi lân cận frame chuẩn (ô vuông đen hình5.20b) để tìm block có giá trị gần giống với block chuẩn (matching block) Độ lệch vị trí block 16x16 thay đổi vị trí hai frame 5.2.3.b Kết thực Hình 5.21 Tọa độ (x,y) vector MV Giám sát thay đổi vị trí frame từ frame40 đến frame70 so với frame chuẩn ta kết hình 5.21 a) Hình5.22 HVTH: Nguyễn Thanh Đạt b) c) a Cảnh ảo b Khoảng trống frame55 c Frame 55 sau ghép với cảnh ảo trang97 Thực nhận dạng đối tượng chuyển động CBHD: PGS TSKH Nguyễn Kim Sách Trên sở vector chuyển động MV vừa tìm được, ta tiến hành ghép cảnh ảo vào phần không gian trống cho frame từ 40 đến 70 (hình 5.22 trường hợp ghép cảnh ảo vào phần không gian trống cho frame55) Hình 5.23 Kết sau ghép cảnh ảo vào không gian trống frame HVTH: Nguyễn Thanh Đạt trang98 Thực nhận dạng đối tượng chuyển động CBHD: PGS TSKH Nguyễn Kim Sách Nhận xét: So sánh phương pháp ghép cảnh ảo vào phần không gian trống frame sở : Dựa vào vector chuyển động MV ( từ công thức MAD) Chủ quan (bằng mắt thường ) ta thấy phương pháp chủ quan đảm bảo xác theo phương x phương y, khó đạt tương thích theo hai chiều x,y ‘kích thước chi tiết” Sự tương thích thể rõ ta xem chuỗi frame liên tiếp tương thích không gian (sự ăn khớp chi tiết frame) có tương thích mặt thời gian (cùng cảnh vật thuộc frame: frame n frame n+1) ta xem chi tiết frame n chi tiết bị thay đổi kích thước frame n+1 dễ dàng bị phát Dùng vector chuyển động MV frame ta khắc phục nhược điểm phương pháp chủ quan 5.2.4 Nhận dạng xử lý chi tiết chuyển động 5.2.4.a Phân tích Vấn đề cần quan tâm lại chi tiết chuyển động hình (các phương tiện lưu thông) Các đối tượng biến vào phần không gian trống Vì thế, sau cảnh ảo ghép vào khoảng không gian trống, nhiệm vụ ta khôi phục lại đối tượng chuyển động (xe cộ), nghóa làm cho chúng di chuyển từ vùng cảnh thật sang vùng cảnh ảo vừa ghép Các đối tượng xử lý riêng dựa vào thuộc tính chuyển động chúng Xem đoạn phim (hình 5.23) ta thấy trạng thái xuất đối tượng phức tạp theo trạng thái sau: HVTH: Nguyễn Thanh Đạt trang99 Thực nhận dạng đối tượng chuyển động CBHD: PGS TSKH Nguyễn Kim Sách Đối tượng chuyển động khung ảnh Đối tượng dần biến Đối tượng biến Đối tượng dần xuất trở lại Đối tượng tiếp tục chuyển động khung ảnh Để xử lý tình phức tạp này, việc đánh giá chuyển động đối tượng ta cần có bước dự báo trước trạng thái xuất hiện-biến chúng Đánh giá chuyển động đối tượng Các block có kích thước chuẩn 8x8 16x16 theo lý thuyết (dùng phần 5.2.3.a) không dùng phần không cho kết ta mong muốn hay nói cách khác giá trị sai số tuyệt đối trung bình MAD nhận sai biệt hoàn toàn so với thực tế tình xảy phức tạp, thay vào tập pixel phần hình dạng lại đối tượng bị che khuất (hình 5.24b) dùng để đối chiếu (ta so sánh pixel lại đối tượng) Giá trị sai số tuyệt đối trung bình MAD tính sau: ( I n (i, j ) − I (i, j )) − n (5.5) = MAD ( x, y ) (i, ∑ S j∈I ) I - với (x,y) toạ độ không gian lệch (tính pixel) tập pixels thuộc frame n so với tập pixels thuộc frame n-1 - In , In-1 là tập pixel chọn từ frame n frame n-1 - i,j vị trí pixel tương ứng thuộc hai tập In In-1 - SI diện tích tập pixel chọn In In-1 , hai tập có hình dạng khác chúng thuộc hai frame khác HVTH: Nguyễn Thanh Đạt trang100 Thực nhận dạng đối tượng chuyển động CBHD: PGS TSKH Nguyễn Kim Sách Vector chuyển động MV đối tượng giá trị (x0,y0) MAD( x , y ) với ⎧ ⎫ MAD = ⎪⎨MAD , MAD , MAD (x , y ) (x , y ) (x y ) ( xn , yn ) ⎬⎭ ⎪ 0 1 2 ⎩ a) Hình 5.24 b) (5.6) c) a Đối tượng giám sát b Hình dạng tập In, In-1 nêu (5.5) c Phạm vi tìm kiếm để xác định giá trị MAD bé Dự báo trước trạng thái xuất - biến đối tượng Hình 5.25 Giai đoạn chuyển tiếp xuất biến Quan sát chuyển động đối tượng qua chuỗi frame liên tiếp (hình 5.25) ta thấy: frame n frame n-1, ta xác định vector chuyển động nhiên frame n frame n+1 ta tính giá trị vector MV dựa công thức MAD đối tượng hoàn toàn biến Ư frame n vị trí chuyển tiếp thay đổi trạng thái xuất đối tượng Vì ta cần xác định trước frame n xuất nhằm đưa giải pháp thích hợp HVTH: Nguyễn Thanh Đạt trang101 Thực nhận dạng đối tượng chuyển động CBHD: PGS TSKH Nguyễn Kim Sách Để dự báo trạng thái xuất hiện-biến đối tượng frame n+1, ta cho đối tượng vị trí frame n (frame cuối mà đối tượng xuất (hình5.25)) tiếp tục chuyển động theo hướng vector MV dự đoán (giá trị trung bình vector MV tính từ frame trước – không tính MV frame n frame n+1) để kiểm tra đối tượng biến vùng không gian trống frame n+1 chưa Với ý tưởng này, frame n ta đánh giá trạng thái xuất đối tượng frame n+1 Tương tự ta dự báo trước xuất trở lại đối tượng (hình5.26) Hình 5.26 Giai đoạn chuyển tiếp biến xuất trở lại 5.2.4.b Thực xử lý Giải thuật chung Đối tượng thứ n Xử lý trạng thái Xử lý trạng thái Xử lý trạng thái Lớp phim ghép đối tượng thứ n Hình 5.27 Giải thuật xử lý HVTH: Nguyễn Thanh Đạt trang102 Thực nhận dạng đối tượng chuyển động CBHD: PGS TSKH Nguyễn Kim Sách Xử lý trạng thái 1: dành cho trường hợp đối tượng chuyển động bình thường khung ảnh trường hợp đối tượng dần biến Nhiệm vụ: đánh giá thay đổi vị trí đối tượng, sở khôi phục lại đối tượng mô hình ảo, dự báo trước để phát tình đối tượng biến hoàn toàn LƯU ĐỒ Đối tượng = MAD ( x, y) (i, ∑ j∈I ) ( I n (i, j ) − I x=40,y=10 (i, j ))2 n −1 SI No x =x+1, y =y +1 ⎧ ⎫ MAD = ⎪⎨MAD , MAD , MAD (x , y ) (x , y ) (x y ) ( xn , yn ) ⎬⎭ ⎪⎩ 0 1 2 x ∑ = x ∑ + x0 y∑ = y∑ + y0 Dựa vào tọa độ ( x∑ , y∑ ) tiến hành ghép mô hình vào đối tượng x dự đóan = x ∑ / n y dự đóan = y∑ / n Dựa vào (x dự đóan, y dự đóan) để giám sát tồn đối tượng frame n+1 (xem ** ) Đối tượng biến No n=n+1 Trạng thái Chú thích: - x,y phạm vi tìm kiếm (40x10) - (x0,y0) thay đổi vị trí đối tượng frame liên tiếp - ( x∑ , y∑ ) thay đổi vị trí đối tượng frame n so với đối tượng chuẩn - n số lần xuất đối tượng hình HVTH: Nguyễn Thanh Đạt trang103 Thực nhận dạng đối tượng chuyển động CBHD: PGS TSKH Nguyễn Kim Sách Xử lý trạng thái 2: dành cho trường hợp đối tượng biến (bị che khuất hoàn toàn) Nhiệm vụ: - Khôi phục lại đối tượng mô hình ảo dự báo trước xuất trở lại đối tượng frame n+1 LƯU ĐỒ Đối tượng x ∑ = x ∑ + x dự đóan y ∑ = y ∑ + y dự đóan Dựa vào tọa độ ( x∑ , y∑ ) tiến hành ghép mô hình vào đối tượng Dựa vào (x dự đóan, y dự đóan) để phát xuất lại đối tượng frame n+1 No n=n+1 Đối tượng xuất lại Trạng thái Chú thích: tình đối tượng hoàn toàn biến nên không xác định vector chuyển động MV đối tượng theo công thức MAD Đối tượng khôi phục mô hình ảo dựa sở giá trị ( x∑ , y∑ ) , với xΣ = xΣ + xdự đoán , yΣ = yΣ + ydự đoán Các giá trị suy diễn từ phần trước HVTH: Nguyễn Thanh Đạt trang104 Thực nhận dạng đối tượng chuyển động CBHD: PGS TSKH Nguyễn Kim Sách Xử lý trạng thái 3: dành cho trường hợp đối tượng dần xuất trở lại chuyển động bình thường khung ảnh Nhiệm vụ: đánh giá thay đổi vị trí đối tượng theo công thức MAD, sở khôi phục lại đối tượng mô hình ảo Theo dõi đối tượng xuất trở lại bình thường B kết thúc trình xử lý LƯU ĐỒ Đối tượng MAD = ( x, y) (i, ∑ j∈I ) ( I n (i, j ) − I x=40,y=10 (i, j ))2 n −1 SI No x =x+1, y =y +1 ⎧ ⎫ MAD = ⎪⎨MAD , MAD , MAD (x , y ) (x , y ) (x y ) ( xn , yn ) ⎬⎭ ⎪⎩ 0 1 2 x ∑ = x ∑ + x0 y∑ = y∑ + y0 Dựa vào tọa độ (xΣ,yΣ) tiến hành ghép mô hình vào đối tượng Dựa vào (x dự đóan, y dự đóan) để theo dõi đối tượng xuất bình thường trở lai Xuất bình thường No n=n+1 Kết thúc Chú thích: Ta xác định vector chuyển đôïng đối tương xuất trở lại Dùng lại (xdự đoán, ydự đoán) phần xử lý giá trị dùng để dự báo nên không cần xác tuyệt đối HVTH: Nguyễn Thanh Đạt trang105 Thực nhận dạng đối tượng chuyển động CBHD: PGS TSKH Nguyễn Kim Sách 5.2.4c Kết thực Giám sát thay đổi vị trí đối tượng frame mà đối tương xuất (từ 52 đến 57) so với vị trí đối tượng chuẩn theo giai đoạn xử lý ta kết (hình 5.28) Theo đồ thị hình 5.28 : Hình 5.28 Tọa độ (x,y) đối tương frame so với vị trí đối tương chuẩn Tại frame52: x=-17,y=1, đối tượng frame52 dịch chuyển sang trái 17 pixels dịch chuyển xuống pixel so với đối tượng chuẩn Tại frame 55: x=27,y=-1, đối tượng frame55 dịch chuyển sang phải 27 pixels dịch chuyển lên pixel so với đối tượng chuẩn a) HVTH: Nguyễn Thanh Đạt trang106 Thực nhận dạng đối tượng chuyển động CBHD: PGS TSKH Nguyễn Kim Sách Trên sở vector chuyển động MV vừa tìm được, ta tiến hành ghép mô hình ảo vào phần ảnh lại đối tượng (hình 5.29.a) Thực lại trình xử lý với đối tượng lại ta kết tương tự (hình5.29.b) b) Hình 5.29 Ghép mô hình vào đối tượng Phần ảnh hình tròn (hình5.29) mô hình ảo ghép với phần lại đối tượng sau bị che khuất Do đối tượng xa hình bị đối tượng gần hình che khuất (xem cảnh phim), nên xử lý phải theo thứ tự ưu tiên từ đối tượng xa hình đến đối tượng gần hình Mỗi đối tượng sau xử lý tạo thành lớp phim Xếp chồng lớp phim lên ta kết sau HVTH: Nguyễn Thanh Đạt trang107 Thực nhận dạng đối tượng chuyển động CBHD: PGS TSKH Nguyễn Kim Sách 5.3 Phần kết thực a) b) Hình 5.30 c) a Chuỗi ảnh ban đầu b Chuỗi ảnh sau xử lý giai đoạn c Chuỗi ảnh sau xử lý giai đoạn (kết quả) Đoạn phim xử lý chương trình viết ngôn ngữ Matlab Phần xử lý giai đoạn 1: xử lý frame - 2.5 giây Phần xử lý giai đoạn 2: xử lý frame giây HVTH: Nguyễn Thanh Đạt trang108 Kết luận hướng phát triển CBHD: PGS-TSKH Nguyễn Kim Sách CHƯƠNG KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN ĐỀ TÀI 6.1 Nhận xét Mục đích đề tài phân tích đưa phương pháp nhận dạng đối tượng chuyển động Đây sở quan trọng thiếu lónh vực xử lý, tách ghép đối tượng, chi tiết chuyển động cảnh phim Đề tài tập trung nghiên cứu hướng giải cho tình huống: Nhận dạng đối tượng đặc biệt xuất ảnh: Dựa vào histogram ảnh phân bố không gian pixels ta đưa phương pháp phân chia ảnh thành nhiều mức xám để xử lý riêng biệt Ưu điểm phương pháp nhận dạng đối tượng mức xám theo mảng lớn (phần không gian chưa đối tượng) Tổng hợp kết mức xám lại cho ta thông tin đầy đủ đối tượng cần nhận dạng Đối tượng chuyển động xuất cảnh phim nhận dạng frame riêng biệt Ứng dụng phương pháp dùng để phân đoạn ảnh cảnh phim ¾ Ưu điểm phương pháp: thông tin đối tượng cần nhận dạng cung cấp nhiều so với phương pháp làm đường biên, biểu thị dạng mảng ¾ Nhược điểm phương pháp: cấu trúc ảnh đối tượng cần nhận dạng phải thể quy luật rõ ràng (sự phân bố mức xám, kích thước đối tượng, ) Xác định thuộc tính đối tượng chuyển động cảnh phim: Dựa công thức sai số tuyệt đối trung bình MAD (mean of absolute difference) ta đánh giá chuyển động đối tượng frame liên tiếp, SVTH: Nguyễn Thanh Đạt trang109 Kết luận hướng phát triển CBHD: PGS-TSKH Nguyễn Kim Sách tương quan vị trí (toạ độ (x,y)) đối tượng hai frame khác Ứng dung phương pháp giúp ta xác định xác toạ độ (x,y) đối tượng frame Đây sở cho trình ghép mô hình ảo vào vị trí đối tượng thật dựng lại cảnh chuyển động mô hình với thuộc tính gần giống với chuyển động đối tương thật ¾ Ưu điểm phương pháp: xác định tuyệt đối xác toạ độ thay đổi vị trí đối tượng theo hai hướng x y ¾ Nhược điểm phương pháp: đánh giá chuyển động đối tượng, phương pháp yêu cầu ảnh đối tượng frame phải tương thích với nhau, hai ảnh bị nhiễu mờ làm ảnh hưởng đến kết ý tưởng phương pháp tìm đối tượng gần giống với đối tượng cho trước - tìm khối tương thích (matching block) Hai phương pháp sở giúp ta phân tích, nhận dạng chi tiết, đối tượng xuất chuỗi frame liên tiếp để từ tiến hành xử lý, tách ghép ảnh theo mục đích mà tác giả đề 6.2 Hướng phát triển đề tài: ¾ Xác định thuộc tính chuyển động, toạ độ đối tượng không gian chiều (3D) ¾ Xử lý tình ảnh đối tượng giám sát bị mờ, nhiễu hay bị che khuất phần SVTH: Nguyễn Thanh Đạt trang110 ... TÀI: NHẬN DẠNG VÀ XỬ LÝ ĐỐI TƯNG CHUYỂN ĐỘNG II NHIỆM VỤ VÀ NỘI DUNG: - Tìm hiểu kỹ thuật xử lý ảnh Nghiên cứu kỹ thuật nhận dạng đối tượng tự động Tìm hiểu phương pháp đánh giá chuyển động đối tượng. .. trình bày phương pháp nhận dạng đối tượng lónh vực xử lý ảnh động, phương pháp cung cấp cho ta thông tin xác vị trí xuất đối tượng frame ảnh dịch chuyển đối tượng giám sát chuyển động qua chuỗi... Nguyễn Kim Sách CHƯƠNG THỰC HIỆN NHẬN DẠNG ĐỐI TƯNG CHUYỂN ĐỘNG (trên sở xử lý tình đoạn phim ) 5.1 Kỹ thuật nhận dạng đối tượng tự động việc tách không gian chứa đối tượng khỏi cảnh phim 75 5.1.1