Báo cáo đồ án môn học XỬ LÝ ẢNH VÀ THỊ GIÁC MÁY TÍNH ĐỀ TÀI : KHẢO SÁT BỘ DÒ ĐIỂM TRỌNG YẾU VÀ ĐẶC TRƯNG PHỤ THUỘC KHÔNG GIAN – THỜI GIAN

Báo cáo đồ án môn học XỬ LÝ ẢNH VÀ THỊ GIÁC MÁY TÍNH ĐỀ TÀI : KHẢO SÁT BỘ DÒ ĐIỂM TRỌNG YẾU VÀ ĐẶC TRƯNG PHỤ THUỘC KHÔNG GIAN – THỜI GIANBáo cáo đồ án môn học XỬ LÝ ẢNH VÀ THỊ GIÁC MÁY TÍNH ĐỀ TÀI : KHẢO SÁT BỘ DÒ ĐIỂM TRỌNG YẾU VÀ ĐẶC TRƯNG PHỤ THUỘC KHÔNG GIAN – THỜI GIANBáo cáo đồ án môn học XỬ LÝ ẢNH VÀ THỊ GIÁC MÁY TÍNH ĐỀ TÀI : KHẢO SÁT BỘ DÒ ĐIỂM TRỌNG YẾU VÀ ĐẶC TRƯNG PHỤ THUỘC KHÔNG GIAN – THỜI GIANBáo cáo đồ án môn học XỬ LÝ ẢNH VÀ THỊ GIÁC MÁY TÍNH ĐỀ TÀI : KHẢO SÁT BỘ DÒ ĐIỂM TRỌNG YẾU VÀ ĐẶC TRƯNG PHỤ THUỘC KHÔNG GIAN – THỜI GIANBáo cáo đồ án môn học XỬ LÝ ẢNH VÀ THỊ GIÁC MÁY TÍNH ĐỀ TÀI : KHẢO SÁT BỘ DÒ ĐIỂM TRỌNG YẾU VÀ ĐẶC TRƯNG PHỤ THUỘC KHÔNG GIAN – THỜI GIANBáo cáo đồ án môn học XỬ LÝ ẢNH VÀ THỊ GIÁC MÁY TÍNH ĐỀ TÀI : KHẢO SÁT BỘ DÒ ĐIỂM TRỌNG YẾU VÀ ĐẶC TRƯNG PHỤ THUỘC KHÔNG GIAN – THỜI GIANBáo cáo đồ án môn học XỬ LÝ ẢNH VÀ THỊ GIÁC MÁY TÍNH ĐỀ TÀI : KHẢO SÁT BỘ DÒ ĐIỂM TRỌNG YẾU VÀ ĐẶC TRƯNG PHỤ THUỘC KHÔNG GIAN – THỜI GIANBáo cáo đồ án môn học XỬ LÝ ẢNH VÀ THỊ GIÁC MÁY TÍNH ĐỀ TÀI : KHẢO SÁT BỘ DÒ ĐIỂM TRỌNG YẾU VÀ ĐẶC TRƯNG PHỤ THUỘC KHÔNG GIAN – THỜI GIANBáo cáo đồ án môn học XỬ LÝ ẢNH VÀ THỊ GIÁC MÁY TÍNH ĐỀ TÀI : KHẢO SÁT BỘ DÒ ĐIỂM TRỌNG YẾU VÀ ĐẶC TRƯNG PHỤ THUỘC KHÔNG GIAN – THỜI GIANBáo cáo đồ án môn học XỬ LÝ ẢNH VÀ THỊ GIÁC MÁY TÍNH ĐỀ TÀI : KHẢO SÁT BỘ DÒ ĐIỂM TRỌNG YẾU VÀ ĐẶC TRƯNG PHỤ THUỘC KHÔNG GIAN – THỜI GIANBáo cáo đồ án môn học XỬ LÝ ẢNH VÀ THỊ GIÁC MÁY TÍNH ĐỀ TÀI : KHẢO SÁT BỘ DÒ ĐIỂM TRỌNG YẾU VÀ ĐẶC TRƯNG PHỤ THUỘC KHÔNG GIAN – THỜI GIANBáo cáo đồ án môn học XỬ LÝ ẢNH VÀ THỊ GIÁC MÁY TÍNH ĐỀ TÀI : KHẢO SÁT BỘ DÒ ĐIỂM TRỌNG YẾU VÀ ĐẶC TRƯNG PHỤ THUỘC KHÔNG GIAN – THỜI GIANBáo cáo đồ án môn học XỬ LÝ ẢNH VÀ THỊ GIÁC MÁY TÍNH ĐỀ TÀI : KHẢO SÁT BỘ DÒ ĐIỂM TRỌNG YẾU VÀ ĐẶC TRƯNG PHỤ THUỘC KHÔNG GIAN – THỜI GIANBáo cáo đồ án môn học XỬ LÝ ẢNH VÀ THỊ GIÁC MÁY TÍNH ĐỀ TÀI : KHẢO SÁT BỘ DÒ ĐIỂM TRỌNG YẾU VÀ ĐẶC TRƯNG PHỤ THUỘC KHÔNG GIAN – THỜI GIANBáo cáo đồ án môn học XỬ LÝ ẢNH VÀ THỊ GIÁC MÁY TÍNH ĐỀ TÀI : KHẢO SÁT BỘ DÒ ĐIỂM TRỌNG YẾU VÀ ĐẶC TRƯNG PHỤ THUỘC KHÔNG GIAN – THỜI GIANBáo cáo đồ án môn học XỬ LÝ ẢNH VÀ THỊ GIÁC MÁY TÍNH ĐỀ TÀI : KHẢO SÁT BỘ DÒ ĐIỂM TRỌNG YẾU VÀ ĐẶC TRƯNG PHỤ THUỘC KHÔNG GIAN – THỜI GIANBáo cáo đồ án môn học XỬ LÝ ẢNH VÀ THỊ GIÁC MÁY TÍNH ĐỀ TÀI : KHẢO SÁT BỘ DÒ ĐIỂM TRỌNG YẾU VÀ ĐẶC TRƯNG PHỤ THUỘC KHÔNG GIAN – THỜI GIANBáo cáo đồ án môn học XỬ LÝ ẢNH VÀ THỊ GIÁC MÁY TÍNH ĐỀ TÀI : KHẢO SÁT BỘ DÒ ĐIỂM TRỌNG YẾU VÀ ĐẶC TRƯNG PHỤ THUỘC KHÔNG GIAN – THỜI GIANBáo cáo đồ án môn học XỬ LÝ ẢNH VÀ THỊ GIÁC MÁY TÍNH ĐỀ TÀI : KHẢO SÁT BỘ DÒ ĐIỂM TRỌNG YẾU VÀ ĐẶC TRƯNG PHỤ THUỘC KHÔNG GIAN – THỜI GIANBáo cáo đồ án môn học XỬ LÝ ẢNH VÀ THỊ GIÁC MÁY TÍNH ĐỀ TÀI : KHẢO SÁT BỘ DÒ ĐIỂM TRỌNG YẾU VÀ ĐẶC TRƯNG PHỤ THUỘC KHÔNG GIAN – THỜI GIANBáo cáo đồ án môn học XỬ LÝ ẢNH VÀ THỊ GIÁC MÁY TÍNH ĐỀ TÀI : KHẢO SÁT BỘ DÒ ĐIỂM TRỌNG YẾU VÀ ĐẶC TRƯNG PHỤ THUỘC KHÔNG GIAN – THỜI GIANBáo cáo đồ án môn học XỬ LÝ ẢNH VÀ THỊ GIÁC MÁY TÍNH ĐỀ TÀI : KHẢO SÁT BỘ DÒ ĐIỂM TRỌNG YẾU VÀ ĐẶC TRƯNG PHỤ THUỘC KHÔNG GIAN – THỜI GIANBáo cáo đồ án môn học XỬ LÝ ẢNH VÀ THỊ GIÁC MÁY TÍNH ĐỀ TÀI : KHẢO SÁT BỘ DÒ ĐIỂM TRỌNG YẾU VÀ ĐẶC TRƯNG PHỤ THUỘC KHÔNG GIAN – THỜI GIANBáo cáo đồ án môn học XỬ LÝ ẢNH VÀ THỊ GIÁC MÁY TÍNH ĐỀ TÀI : KHẢO SÁT BỘ DÒ ĐIỂM TRỌNG YẾU VÀ ĐẶC TRƯNG PHỤ THUỘC KHÔNG GIAN – THỜI GIANBáo cáo đồ án môn học XỬ LÝ ẢNH VÀ THỊ GIÁC MÁY TÍNH ĐỀ TÀI : KHẢO SÁT BỘ DÒ ĐIỂM TRỌNG YẾU VÀ ĐẶC TRƯNG PHỤ THUỘC KHÔNG GIAN – THỜI GIANBáo cáo đồ án môn học XỬ LÝ ẢNH VÀ THỊ GIÁC MÁY TÍNH ĐỀ TÀI : KHẢO SÁT BỘ DÒ ĐIỂM TRỌNG YẾU VÀ ĐẶC TRƯNG PHỤ THUỘC KHÔNG GIAN – THỜI GIANBáo cáo đồ án môn học XỬ LÝ ẢNH VÀ THỊ GIÁC MÁY TÍNH ĐỀ TÀI : KHẢO SÁT BỘ DÒ ĐIỂM TRỌNG YẾU VÀ ĐẶC TRƯNG PHỤ THUỘC KHÔNG GIAN – THỜI GIANBáo cáo đồ án môn học XỬ LÝ ẢNH VÀ THỊ GIÁC MÁY TÍNH ĐỀ TÀI : KHẢO SÁT BỘ DÒ ĐIỂM TRỌNG YẾU VÀ ĐẶC TRƯNG PHỤ THUỘC KHÔNG GIAN – THỜI GIANBáo cáo đồ án môn học XỬ LÝ ẢNH VÀ THỊ GIÁC MÁY TÍNH ĐỀ TÀI : KHẢO SÁT BỘ DÒ ĐIỂM TRỌNG YẾU VÀ ĐẶC TRƯNG PHỤ THUỘC KHÔNG GIAN – THỜI GIANBáo cáo đồ án môn học XỬ LÝ ẢNH VÀ THỊ GIÁC MÁY TÍNH ĐỀ TÀI : KHẢO SÁT BỘ DÒ ĐIỂM TRỌNG YẾU VÀ ĐẶC TRƯNG PHỤ THUỘC KHÔNG GIAN – THỜI GIANBáo cáo đồ án môn học XỬ LÝ ẢNH VÀ THỊ GIÁC MÁY TÍNH ĐỀ TÀI : KHẢO SÁT BỘ DÒ ĐIỂM TRỌNG YẾU VÀ ĐẶC TRƯNG PHỤ THUỘC KHÔNG GIAN – THỜI GIANBáo cáo đồ án môn học XỬ LÝ ẢNH VÀ THỊ GIÁC MÁY TÍNH ĐỀ TÀI : KHẢO SÁT BỘ DÒ ĐIỂM TRỌNG YẾU VÀ ĐẶC TRƯNG PHỤ THUỘC KHÔNG GIAN – THỜI GIANBáo cáo đồ án môn học XỬ LÝ ẢNH VÀ THỊ GIÁC MÁY TÍNH ĐỀ TÀI : KHẢO SÁT BỘ DÒ ĐIỂM TRỌNG YẾU VÀ ĐẶC TRƯNG PHỤ THUỘC KHÔNG GIAN – THỜI GIANBáo cáo đồ án môn học XỬ LÝ ẢNH VÀ THỊ GIÁC MÁY TÍNH ĐỀ TÀI : KHẢO SÁT BỘ DÒ ĐIỂM TRỌNG YẾU VÀ ĐẶC TRƯNG PHỤ THUỘC KHÔNG GIAN – THỜI GIANBáo cáo đồ án môn học XỬ LÝ ẢNH VÀ THỊ GIÁC MÁY TÍNH ĐỀ TÀI : KHẢO SÁT BỘ DÒ ĐIỂM TRỌNG YẾU VÀ ĐẶC TRƯNG PHỤ THUỘC KHÔNG GIAN – THỜI GIAN

ĐẠI HỌC QUỐC GIA TP HỒ CHÍ MINH TRƯỜNG ĐẠI HỌC KHOA HỌC TỰ NHIÊN KHOA CÔNG NGHỆ THÔNG TIN LÊ VĂN TRANG – 1311064 NGUYỄN VĂN THANH – 1311060 HỒNG VĂN TÀI – 1311056 ĐỒ ÁN MƠN HỌC XỬ LÝ ẢNH VÀ THỊ GIÁC MÁY TÍNH ĐỀ TÀI : KHẢO SÁT BỘ DÒ ĐIỂM TRỌNG YẾU VÀ ĐẶC TRƯNG PHỤ THUỘC KHÔNG GIAN – THỜI GIAN TP.HCM 5/2013 Đồ án môn xử lý ảnh thị giác máy tinh Mục lục Đồ án môn xử lý ảnh thị giác máy tinh Bảng chữ viết tắt STIP SIFT MoSIFT BOF HOG HOF Spatial – Temporal Interest Point Điểm trọng yếu không gian – thời gian Scale-Invariant Feature Transform Biến đổi đặc trưng tỉ lệ bất biến Motion Scale-Invariant Feature Transform Biến đổi đặc trưng cử động bất biến tỉ lệ Bag of Feature Giỏ đặc trưng Histogram of (Orientation) Gradient Biểu đồ Gradient Histogram of (Optical) Flow Biểu đồ luồng sáng Đồ án môn xử lý ảnh thị giác máy tinh PHẦN 1: MỞ ĐẦU Sự cần thiết đề tài Đặc trưng phụ thuộc không gian thời gian cho thấy thành công nhiều toán nhận dạng như: Nhận dạng đối tượng cảnh trí, nhận dạng hành động người video giám sát Nhiều phương pháp nhằm phát mô tả đặc trưng phụ thuộc không gian thời gian đề xuất nhiều cơng trình nghiên cứu đạt nhiều kết hứa hẹn khả quan Tuy nhiên, việc khảo sát phương pháp cách tổng quát chưa xem xét Mục tiêu đề tài Đề tài nhằm khảo sát lại cách khái quát phương pháp phát mô tả đặc trưng phụ thuộc không gian thời gian Qua nêu bật ưu điểm hạn chế phương pháp Trong phạm vi đề tài, chúng em khảo sát dựa phương pháp phát điểm trọng yếu: Harris 3D, Hessian 3D, Harris – Affine 3D, Hessian – Affine 3D đặc trưng quanh điểm trọng yếu là: 3D – SIFT, MoSIFT, HOG3D, Trajectories Ý nghĩa đề tài Từ việc khảo sát phương pháp phát mô tả đặc trưng phụ thuộc không gian thời gian, đưa nhìn tổng quát phương pháp phát mô tả đặc trưng để từ lựa chọn phương pháp thích hợp vào toán nhận dạng cụ thể Đồ án môn xử lý ảnh thị giác máy tinh PHẦN 2: NỘI DUNG NGHIÊN CỨU Điểm trọng yếu đặc trưng cục không gian thời gian Điểm trọng yếu khơng gian thời gian điểm có bất biến tỉ lệ phép biến đổi như: xoay, phóng to, thu nhỏ, thay đổi cường độ sáng…Vì xem đặc trưng mang tính cục ảnh video Có thể xem tập đặc trưng video thể cho nội dung video Vì kết việc nhận dạng có độ xác cao Trong tốn nhận dạng đối tượng ảnh video ngày hướng nghiên cứu phổ biến giới việc sử dụng điểm bất biến ảnh video làm đặc trưng để nhận dạng Đặc trưng cục không gian thời gian … Phương pháp đặc trưng cục lưu giữ đặc trưng dáng chuyển động cho vùng cục bộ, nhạy cảm với nhiễu, che khuất phần, không bị ảnh hưởng bước tiền xử lý Tuy nhiên phụ thuộc vào hiệu độ xác việc phát điểm đặc trưng Khảo sát dị điểm trọng yếu khơng gian thời gian 2.1 Bộ dò Harris 3D Phát góc (corner detection) thuật ngữ tổng quát phát điểm quan tâm (interest point detection) m ột hƣớng tiếp cận sử dụng hệ thống thị giác máy tính để trích chọn loại đặc trƣng suy luận nội dung ảnh Việc phát góc dùng thường xun phát hiện, theo dõi chuyển động, mơ hình 3D nhận dạng đối tượng Phương pháp phát góc Harris phương pháp phát điểm quan tâm phổ biến bất biến phép quay, thay đổi độ sáng tạp nhiễu ảnh Phương pháp dựa hàm tương quan tự động cục tín hiệu; hàm tương quan tự động cục đo thay đổi cục tín hiệu với mảnh ảnh dịch chuyển lượng nhỏ theo hướng khác Đồ án môn xử lý ảnh thị giác máy tinh ∆ Cho trước dịch chuyển ( x, ∆ y) điểm (x,y), hàm tương quan tự động định nghĩa sau: (1) I(·,·) biểu thị hàm ảnh (x i,yi) điểm cửa sổ W đặt vị trí (x,y) Ảnh dịch chuyển xấp xỉ phép khai triển Taylor lượt bớt thành hạng thức bậc (2) Ix(·,·) Iy(·,·) biểu thị đạo hàm phần tương ứng theo x y Thế công thức (2) vào (1), ta được: 2.2 Bộ dò Hessian 3D Cơ sở tốn học: Trong miền khơng gian thời gian, ảnh biểu diễn dạng hàm với tham số x, y, t Trong đó, (x, y) tọa độ điểm ảnh t l Bộ dị Hessian 3D tìm kiếm vị trí ảnh mà biểu biến đổi mạnh theo ba hướng trực giao Nó dựa ma trận đạo hàm bậc hai Hessian: Biểu diễn không gian tỉ lệ miền không gian - thời gian tín hiệu với Xây dựng biểu diễn từ đạo hàm tín hiệu khơng gian tỉ lệ không gian - thời gian: Đồ án môn xử lý ảnh thị giác máy tinh Chuẩn hóa: Cường độ sáng điểm trọng yếu tính định thức ma trận Hessian: Bộ dị tính đạo hàm bậc hai cho điểm ảnh sau tìm điểm có định thức Hessian lớn điểm trọng yếu không gian thời gian Giải thuật phát điểm trọng yếu dò Hessian 3D 2.3 Bộ dò Harris-Affine 3D 2.4 Bộ dò Hessian-Affine 3D Khảo sát đặc trưng quanh điểm trọng yếu không gian thời gian 3.1 Đặc trưng 3D SIFT 3.2 Đặc trưng MoSIFT Cơ sở tốn học: Giải thuật phát mơ tả đặc trưng MoSIFT: 3.3 Đặc trưng HOG3D 3.4 Đặc trưng Trajectories Mơ hình giỏ đặc trưng Biểu diễn ảnh thơng qua đặc trưng dựa vào mơ hình giỏ đặc trưng Đồ án môn xử lý ảnh thị giác máy tinh PHẦN 3: KẾT LUẬN Đồ án môn xử lý ảnh thị giác máy tinh Tài liệu tham khảo [1] Ming-Yu Chen, Alexander Hauptmann, MoSIFT: Recognizing Human Actions in Surveillance Videos, 9-2009 [2] [3] [4] 10 ... đạo hàm bậc hai Hessian: Biểu diễn không gian tỉ lệ miền khơng gian - thời gian tín hiệu với Xây dựng biểu diễn từ đạo hàm tín hiệu không gian tỉ lệ không gian - thời gian: Đồ án môn xử lý ảnh... Interest Point Điểm trọng yếu không gian – thời gian Scale-Invariant Feature Transform Biến đổi đặc trưng tỉ lệ bất biến Motion Scale-Invariant Feature Transform Biến đổi đặc trưng cử động bất... trưng cục không gian thời gian Điểm trọng yếu không gian thời gian điểm có bất biến tỉ lệ phép biến đổi như: xoay, phóng to, thu nhỏ, thay đổi cường độ sáng…Vì xem đặc trưng mang tính cục ảnh