Nghiên cứu kĩ thuật xử lí video số, ứng dụng vào theo vết và phân loại đối tượng

ĐẠI HỌC QUỐC GIA TP HỒ CHÍ MINH TRƯỜNG ĐẠI HỌC KHOA HỌC TỰ NHIÊN K H TN KHOA CÔNG NGHỆ THÔNG TIN NGUYỄN DUY NGHĨA - 0012612 NGHIÊN CỨU KĨ THUẬT XỬ LÍ VIDEO SỐ, ỨNG DỤNG VÀO THEO Đ H VẾT VÀ PHÂN LOẠI ĐỐI TƯỢNG K H O A C N TT – LUẬN VĂN CỬ NHÂN TIN HỌC GIÁO VIÊN HƯỚNG DẪN TH.S NGUYỄN TRI TUẤN NIÊN KHÓA 2000 - 2004 LUAN VAN LUONG : add luanvanchat@agmail.com PDF created withCHAT FinePrint pdfFactory Prodownload trial version http://www.fineprint.com K H TN LỜI CẢM ƠN Trước tiên xin cảm ơn thầy Nguyễn Tri Tuấn người hướng dẫn tơi thực đề tài Nhờ có tin tưởng, bảo tận tình thầy tơi luận văn hồn thành Con xin gửi tất lịng biết ơn, quý trọng đến ông bà, cha mẹ người động viên gặp khó khăn H thân gia đình hết lịng ni ăn học luôn bên cạnh Đ Em xin cảm ơn tất thầy cô trong trường Khoa Học Tự Nhiên – đặc biệt thầy cô Khoa Công Nghệ Thông tin nhiệt tình giảng C N TT dạy truyền đạt nhiều kiến thức quý báu cho em Tôi xin chân thành cảm ơn bàn bè lớp anh chị khóa trước cho giúp đỡ bảo tận tình, đặc biệt anh Trương Thiên Đỉnh giúp đỡ nhiều mặt thiết bị tài liệu Đây hướng nghiên cứu khó, với thời gian tiếp cận K H O A ngắn vòng tháng lực người làm đề tài đề tài chắn cịn nhiều thiếu sót Huy vọng nhận nhiều lời đóng góp để đề tài hồn thiện Tp HCM tháng năm 2004 Sinh viên thực Nguyễn Duy Nghĩa LUAN VAN LUONG : add luanvanchat@agmail.com PDF created withCHAT FinePrint pdfFactory Prodownload trial version http://www.fineprint.com CHƯƠNG _ K H TN MỞ ĐẦU _ 1.1 Tổng quan 1.2 Yêu cầu toán 1.3 Bố cục luận văn _ Đ H CHƯƠNG _ – TỔNG QUAN VỀ VIDEO VÀ CÁC KĨ C N TT THUẬT XỬ LÍ VIDEO CƠ BẢN 2.1 Khái niệm video 2.2 Khái niệm video 2.2.1 Tín hiệu video _ K H O A 2.2.2 Các chuẩn video tương tự 2.2.3 Các thiết bị video tương tự _ 2.3 Khái niệm video số _ 2.3.1 Tín hiệu Video số _ 2.3.2 Các chuẩn video số 2.3.3 Nhược điểm video số 11 2.3.4 Ưu điểm video số _ 11 LUAN VAN LUONG : add luanvanchat@agmail.com PDF created withCHAT FinePrint pdfFactory Prodownload trial version http://www.fineprint.com 2.3.5 Các phương pháp xử lý video số 12 2.3.5.1 Phát chuyển động 12 2.3.5.2 Ước lượng chuyển động _ 19 K H TN CHƯƠNG 25 THEO VẾT VÀ PHÂN LOẠI ĐỐI TƯỢNG 25 Bài toán theo vết phân loại đối tượng _ 26 3.2 Mơ hình xử lí tốn 27 3.3 Tiền xử lí 28 3.4 Phát chuyển động _ 28 3.5 Theo vết đối tượng _ 37 C N TT – Đ H 3.1 3.5.1 Dự đốn vị trí đối tượng tương lai 38 3.5.2 So khớp đối tượng 38 3.5.3 Theo vết đối tượng _ 41 K H O A 3.5.4 Cập nhật đối tượng _ 45 3.6 Phân loại đối tượng 45 CHƯƠNG 48 CÀI ĐẶT CHƯƠNG TRÌNH 48 4.1 Môi trường cài đặt _ 49 LUAN VAN LUONG : add luanvanchat@agmail.com PDF created withCHAT FinePrint pdfFactory Prodownload trial version http://www.fineprint.com 4.2 Cấu trúc chương trình _ 49 4.2.1 Cấu trúc liệu _ 49 4.2.2 Cấu trúc chương trình 51 K H TN CHƯƠNG 52 KẾT QUẢ VÀ HƯỚNG PHÁT TRIỂN _ 52 5.1 Kết đạt 53 H 5.1.1 Dữ liệu thử nghiệm _ 53 Hướng phát triển 54 – 5.2 Đ 5.1.2 Kết đạt 53 C N TT TÀI LIỆU THAM KHẢO _ 55 PHỤ LỤC 56 MỘT VÀI HÌNH ẢNH VỀ KẾT QUẢ ĐẠT K H O A ĐƯỢC _ 56 Một vài mặt nạ chuyển động 56 Kết theo vết đối tượng _ 63 Kết theo vết đối tượng người _ 66 PHỤ LỤC 69 LUAN VAN LUONG : add luanvanchat@agmail.com PDF created withCHAT FinePrint pdfFactory Prodownload trial version http://www.fineprint.com VÀI NÉT VỀ THƯ VIỆN INTEL OPENCV 69 OpenCV gì? _ 69 Các chức thư viện OpenCV _ 69 K H TN 2.1 Các kiểu liệu _ 69 2.2 Các hàm xử lí OpenCV 71 2.2.1 Các hàm xử lí kiểu liệu _ 71 2.2.2 Các hàm xử lí ảnh 72 H 2.2.3 Các hàm phân tích vận động theo vết đối tượng _ 73 Đ 2.2.4 Các hàm nhận dạng đối tượng _ 73 K H O A C N TT – 2.2.5 Các hàm giao diện thu nhận video _ 73 LUAN VAN LUONG : add luanvanchat@agmail.com PDF created withCHAT FinePrint pdfFactory Prodownload trial version http://www.fineprint.com CHƯƠNG K H TN MỞ ĐẦU H 1.1 Tổng quan Hiện phần lớn lượng thông tin người thu vào dạng hình Đ ảnh Thơng tin dạng hình ảnh thơng tin trực quan nên người dễ dàng – tiếp nhận Với đời nhiều máy móc kỹ thuật đại máy ảnh số, máy quay số, máy thu hình, máy vi tính lượng thơng tin người C N TT thu ngày nhiều Con người không muốn tiếp thu thông tin cách thụ động mà phải biết xử lí nó, làm cho hữu ích Do người tiến hành nghiên cứu phương pháp xử lí thơng tin trực quan để tiếp nhận tối đa lượng thông tin trực quan Việc xử lý ảnh số K H O A đời vào năm 1960 với nhiều hướng khác nén ảnh, nhận dạng , việc xử lý video xuất vào thập kỷ gần với đời nhiều trang thiết bị kỹ thuật đại Ngày giới việc nghiên cứu ảnh số video số phát triển rộng rải Các trường đại học có ngành riêng để nghiên cứu vấn đề gọi ngành thị giác máy tính( computer vision ) Tuy vấn đề cịn Việt Nam thiếu thiết bị hỗ trợ tài liệu, hướng phát triển mở nhiều hứa hẹn nhiều thách thức Hiện Việt Nam hệ thống giám sát Việt LUAN VAN LUONG : add luanvanchat@agmail.com PDF created withCHAT FinePrint pdfFactory Prodownload trial version http://www.fineprint.com Nam chưa phát triển chủ yếu dựa vào người Tuy nhiên vài năm kinh tế khoa học kỹ thuật phát triển hệ thống giám sát phát triển theo Việc nghiên cứu xử lí video số khoa tiến K H TN hành cách năm với đề tài giám sát giao thông theo vết đối tượng lưới Với mong muốn tham gia vào hướng nghiên cứu giúp hệ thống giám sát đạt hiệu cao giảm chi phí người thực đề tài “nghiên cứu kĩ thuật xử lí video số ứng dụng vào theo vết phân loại đối tượng” 1.2 Yêu cầu toán H Bài toán “theo vết phân loại đối tượng” chia thành hai phần Ở Đ chúng tơi tập trung vào nghiên cứu phần phần theo vết đối tượng – Về theo vết đối tượng ta cần phải thực phần sau: • Rút trích đối tượng chuyển động Trong phần ta phải tách C N TT đối tượng chuyển động khỏi khung cảnh • Theo vết đối tượng Với đối tượng ta phải lưu lại quỹ đạo chúng chúng vào vùng quan sát ta Về phân loại đối tượng, phải phân biệt loại đối tượng K H O A khung cảnh quan sát Ở phân loại đối tượng người đối tượng khác xe 1.3 Bố cục luận văn Dựa vào yêu cầu chia luận văn thành chương Chương 1: Mở đầu Chương 2: Tổng quan video kĩ thuật xử lí video số: nhằm giúp hiểu rõ video số kĩ thuật xử lí video số LUAN VAN LUONG : add luanvanchat@agmail.com PDF created withCHAT FinePrint pdfFactory Prodownload trial version http://www.fineprint.com Chương 3: Ứng dụng vào toán theo vết phân loại đối tượng: phần ta áp dụng kĩ kiến thức nghiên cứu vào giải tốn xử lí video dó theo vết đối tượng Chương 4: Cài đặt thử nghiệm K H TN Chương 5: Các kết đạt hướng phát triển: chương trình bày kết đạt việc giải toán hướng phát triển K H O A C N TT – Đ H tương lai LUAN VAN LUONG : add luanvanchat@agmail.com PDF created withCHAT FinePrint pdfFactory Prodownload trial version http://www.fineprint.com K H TN CHƯƠNG TỔNG QUAN VỀ VIDEO VÀ CÁC KĨ K H O A C N TT – Đ H THUẬT XỬ LÍ VIDEO CƠ BẢN LUAN VAN LUONG : add luanvanchat@agmail.com PDF created withCHAT FinePrint pdfFactory Prodownload trial version http://www.fineprint.com K H TN H Đ – C N TT K H O A Sau số frame mà có đối tượng người 60 LUAN VAN LUONG : add luanvanchat@agmail.com PDF created withCHAT FinePrint pdfFactory Prodownload trial version http://www.fineprint.com K H TN H Đ – C N TT K H O A 61 LUAN VAN LUONG : add luanvanchat@agmail.com PDF created withCHAT FinePrint pdfFactory Prodownload trial version http://www.fineprint.com K H TN H Đ – C N TT K H O A 62 LUAN VAN LUONG : add luanvanchat@agmail.com PDF created withCHAT FinePrint pdfFactory Prodownload trial version http://www.fineprint.com K H TN H Đ – C N TT K H O A Kết theo vết đối tượng 63 LUAN VAN LUONG : add luanvanchat@agmail.com PDF created withCHAT FinePrint pdfFactory Prodownload trial version http://www.fineprint.com K H TN H Đ – C N TT K H O A 64 LUAN VAN LUONG : add luanvanchat@agmail.com PDF created withCHAT FinePrint pdfFactory Prodownload trial version http://www.fineprint.com K H TN H Đ – C N TT K H O A 65 LUAN VAN LUONG : add luanvanchat@agmail.com PDF created withCHAT FinePrint pdfFactory Prodownload trial version http://www.fineprint.com K H TN H Đ – C N TT K H O A Kết theo vết đối tượng người 66 LUAN VAN LUONG : add luanvanchat@agmail.com PDF created withCHAT FinePrint pdfFactory Prodownload trial version http://www.fineprint.com K H TN H Đ – C N TT K H O A 67 LUAN VAN LUONG : add luanvanchat@agmail.com PDF created withCHAT FinePrint pdfFactory Prodownload trial version http://www.fineprint.com K H TN H Đ – C N TT K H O A 68 LUAN VAN LUONG : add luanvanchat@agmail.com PDF created withCHAT FinePrint pdfFactory Prodownload trial version http://www.fineprint.com K H TN PHỤ LỤC H VÀI NÉT VỀ THƯ VIỆN INTEL OPENCV Đ OpenCV gì? OpenCV viết tắt Intel® Open Source Computer Vision Đó – thư viện gồm nhiều hàm C số lớp C++ dựa thuật toán phổ biến C N TT xử lí ảnh giác máy tính OpenCV thư viện mã ngưồn mở miễn phí OpenCV tảng giao diện lập trình từ cấp trung tới cao Nó có 300 hàm C cho phép xử lí điểm ảnh củng toàn ảnh hay đoạn video Khi kết hợp với thư viện IPP (Intel® Intergrated Performance Primitives) K H O A CPU Intel tối ưu hóa xử lí nhờ vận dụng kiến trúc CPU Đây thư viện sử dụng Window Linux Các chức thư viện OpenCV 2.1 Các kiểu liệu OpenCV cung cấp nhiều kiểu liệu có cấu trúc nhằm hỗ trợ tối đa việc xử lí Các kiểu liệu chia làm loại: 69 LUAN VAN LUONG : add luanvanchat@agmail.com PDF created withCHAT FinePrint pdfFactory Prodownload trial version http://www.fineprint.com • Các kiểu liệu giúp đở: kiểu liệu giúp cho thao tác vói liệu ảnh dễ dàng : o IplImage: dùng để lưu cấu trúc file ảnh o CvRect: o CvBox o Và nhiều kiểu liệu khác K H TN o CvPoint: dùng để lưu vị trí điểm ảnh • Các kiểu liệu động: kiểu liệu OpenCV phát triển để giúp việc xử lí tối ưu: H o CvMemStorage: cấu trúc liệu cấp thấp Đ dùng để lưu trữ cấu trúc liệu tăng động – sequences, graphs K H O A C N TT typedef struct CvMemStorage { struct CvMemBlock* bottom;/* first allocated block */ struct CvMemBlock* top; /* the current memory block - top of the stack */ struct CvMemStorage* parent; /* borrows new blocks from */ int block_size; /* block size */ int free_space; /* free space in the top block (in bytes) */ } CvMemStorage; o CvSeq : Đây cấu trúc tảng tất cấu trúc động sử dụng OpenCV OpenCV cho phép tạo cấu trúc liệu từ cấu trúc o CvSet : Đây cấu trúc kế thừa từ cấu trúc CvSeq o CvGraph : Cấu trúc lại kế thừa từ cấu trúc CvSet 70 LUAN VAN LUONG : add luanvanchat@agmail.com PDF created withCHAT FinePrint pdfFactory Prodownload trial version http://www.fineprint.com Và nhiều kiểu liệu khác Để biết thêm chi tiết đọc giả tham khảo file help OpenCV 2.2 Các hàm xử lí OpenCV K H TN Về hàm xử lí OpenCV ta chia sau: 2.2.1 Các hàm xử lí kiểu liệu Đây hàm hỗ trợ cho việc xử lí cấu trúc liệu OpenCV bao gồm: • Khởi tạo: cvCreateImage : hàm khởi tạo cấu trúc IplImage khởi tạo cấu trúc – CvMemStorage hàm Đ cvCreateMemStorage: H cvMat: hàm khởi tạo cấu trúc CvMat CvCreateSeq: hàm khởi tạo cấu trúc CvSeq C N TT • Các hàm hủy cvReleaseImage: giải phóng nhớ giành cho cấu trúc IplImage cấp phát hàm cvCreateImage K H O A cvReleaseMat: giải phóng nhớ giành cho cấu trúc CvMat khởi tạo hàm cvMat cvReleaseMemStorage: giải phóng nhớ giành cho cấu trúc CvMemStorage khởi tạo hàm cvCreateMemStorage Nói chung cấu trúc khởi tạo từ hàm cvCreateXXX giải phóng hàm cvReleaseXXX 71 LUAN VAN LUONG : add luanvanchat@agmail.com PDF created withCHAT FinePrint pdfFactory Prodownload trial version http://www.fineprint.com Ngồi cịn hàm chép, lấy thông tin từ phần tử bên cấu trúc toán tử cấu trúc 2.2.2 Các hàm xử lí ảnh Các hàm xử lí ảnh phân thành loại sau: K H TN • Các hàm vẽ đơn giản: hàm thực thao tác vẽ đơn giản ảnh vẽ elip, hình chữ nhật viết chữ ảnh • Các hàm tìm cạnh góc ảnh: hàm sử dụng H thuật tốn thơng dụng tìm cạnh mặt nạ Sobel, Laplace, Candy Đ • Các hàm lấy mẫu, nội suy, biến đổi hình học – • Các phép biến đổi morphological: phép bi ến đổi Erode, Dilate cịn có phép biến đổi phức tạp C N TT kết hợp phép biến đổi Erode Dilate : o Open: open(A,B) = dilate(erode(A,B),B) o Close: close(A,B) = erode(dilate(A,B),B) o Morphological gradient: K H O A morp_grad(A,B) = dilate(A,B) – erode(A,B) o Top hat: tophat(A,B) = A – erode(A,B) o Black hat: blackhat(A,B) = dilate(A,B) – A • Các lọc nhiễu: sử dụng lọc thông dụng Median, Gausian • Các phép chuyển đổi khơng gian màu: không gian màu mà OpenCV hỗ trợ là: Gray, RGB, HSV, YCrCb, XYZ, Lab, Bayer 72 LUAN VAN LUONG : add luanvanchat@agmail.com PDF created withCHAT FinePrint pdfFactory Prodownload trial version http://www.fineprint.com • Các phép biến đổi đặc biệt : phép biến đổi Hough, Fourier • Các hàm Histogram viện IPL K H TN Nói chung hàm xử lí ảnh OpenCV phần thư 2.2.3 Các hàm phân tích vận động theo vết đối tượng • Các hàm dùng phương pháp trừ • Các hàm theo vết đối tượng dựa theo thuật toán MeanShift, Camshift, Snake H • Các hàm dùng để tính tốn Optical Flow dựa vào thuật Đ toán phổ biến: Horn & Schunck, Lucas & Kanade, – • Các hàm ước lượng trạng thái dựa vào lọc Kalman 2.2.4 Các hàm nhận dạng đối tượng C N TT • Các hàm nhận dạng đối tượng theo phương pháp PCA là: tính ma trận tương quan, tính vector riêng • Các hàm nhận dạng đối tượng theo mơ hình Makốp ẩn 2.2.5 Các hàm giao diện thu nhận video K H O A Các hàm năm thư viện Highgui sử dụng hàm bạn phải khai báo : #include “highgui.h” thi ết lập liên kết tới file thư viện cần thiết highgui.lib highgui.dll Các hàm thư viện là: • Các hàm Window: tạo cửa sổ mới, hủy cửa sổ, lấy Handle cửa sổ, lấy tên cửa sổ • Các hàm xử lí file ảnh: đọc ảnh từ file lưu vào cấu trúc IplImage, hàm ảnh lên hình, lưu 73 LUAN VAN LUONG : add luanvanchat@agmail.com PDF created withCHAT FinePrint pdfFactory Prodownload trial version http://www.fineprint.com ảnh xuống file, hay chuyển đổi không gian màu ảnh • Các hàm nhập xuất video: bao gồm hàm lấy liệu từ K H TN file AVI, lấy liệu từ camera lưu vào cấu trúc CvCapture, hàm lấy Frame từ cấu trúc CvCapture, hàm lưu liệu video xuống file AVI Ngồi thư viện highgui cịn có lớp viết dạng hướng đối tượng để dễ dàng sử dụng lớp CvvImage H Các hàm giới thiệu hàm OpenCV Đ Ngồi cịn có số hàm đặc biệt mở rộng sau phiên cải tiến – OpenCV cịn cung cấp cho nhiều ví dụ hữu ích Nếu bạn quan tâm để thư viện bắt đầu làm quen tham khảo C N TT viết: “A step-by-step guide to the use of the Intel OpenCV library and the Microsoft DirectShow technology “ Robert Laganiere địa http://www.site.uottawa.ca/~laganier/tutorial/opencv+directshow/ Hoặc K H O A tham gia vào nhóm OpenCV địa http://groups.yahoo.com/group/opencv 74 LUAN VAN LUONG : add luanvanchat@agmail.com PDF created withCHAT FinePrint pdfFactory Prodownload trial version http://www.fineprint.com ... toán theo vết phân loại đối tượng Việc theo vết phân loại đối tượng nghiên cứu K H TN năm gần Trong ứng dụng theo vết phân loại đối tượng phải phân loại đối tượng theo vết đối tượng quan tâm Theo. .. http://www.fineprint.com Chương 3: Ứng dụng vào toán theo vết phân loại đối tượng: phần ta áp dụng kĩ kiến thức nghiên cứu vào giải tốn xử lí video dó theo vết đối tượng Chương 4: Cài đặt thử nghiệm... http://www.fineprint.com CHƯƠNG K H TN THEO VẾT VÀ PHÂN LOẠI ĐỐI TƯỢNG Trong chương áp dụng thuật tốn xử lí video H nghiên cứu phần vào toán theo vết phân loại K H O A C N TT – Đ đối tượng 25 LUAN VAN LUONG