Luận văn, khóa luận, chuyên đề, tiểu luận, quản trị, khoa học, tự nhiên, kinh tế
Phân tích tự ðộng dữ liệu video số hỗ trợ truy tìm thông tin dựa vào nội dung Nhóm sinh viên : Nguyễn Quốc Tuấn - Nguyễn Vãn Kỷ Cang – Phan Vĩnh Phýớc 1 TRÝỜNG ÐẠI HỌC KHOA HỌC TỰ NHIÊN KHOA CÔNG NGHỆ THÔNG TIN BỘ MÔN CÔNG NGHỆ TRI THỨC NGUYỄN QUỐC TUẤN -0112207 NGUYỄN VÃN KỶ CANG -0112211 PHAN V ĨNH PHÝỚC -0112275 PHÂN TÍCH TỰ ÐỘNG DỮ LIỆU VIDEO SỐ HỖ TRỢ TRUY TÌM THÔNG TIN THỊ GIÁC DỰA VÀO NỘI DUNG KHÓA LUẬN CỬ NHÂN TIN HỌC GIÁO VIÊN HÝỚNG DẪN Th.s LÝ QUỐC NGỌC NIÊN KHÓA 2001-2005 id3289046 pdfMachine by Broadgun Software - a great PDF writer! - a great PDF creator! - http://www.pdfmachine.com http://www.broadgun.com Phân tích tự ðộng dữ liệu video số hỗ trợ truy tìm thông tin dựa vào nội dung Nhóm sinh viên : Nguyễn Quốc Tuấn - Nguyễn Vãn Kỷ Cang – Phan Vĩnh Phýớc 2 L ỜI CẢM ÕN Lu ận vãn của chúng em sẽ rất khó hoàn thành nếu không có sự truyền ðạt kiến thức quí báu và sự hýớng dẫn tận tình của Thầy Lý Quốc Ngọc. Chúng em xin chân thành cám õn sự chỉ bảo của thầy. Ch úng con xin gửi tất cả lòng biết õn, sự kính trọng ðến ông bà, cha mẹ, cùng toàn thể gia ðình, những ngýời ðã nuôi dạy, ðã cho chúng con niềm tin và nghị lực ðể výợt qua mọi khó khãn. Ch úng em xin trân trọng cám õn quý Thầy cô trong Khoa Công nghệ thông tin trýờng Ðại học Khoa học Tự nhiên Tp.Hồ Chí Minh ðã tận tình giảng dạy, truyền ðạt những kiến thức quý báu và tạo ðiều kiện cho chúng em ðýợc thực hiện luận vãn này. Xin chân thành cám õn sự giúp ðỡ, ðộng viên và chỉ bảo rất nhiệt tình của các anh chị ði trýớc và tất cả bạn bè. Các anh chị, các bạn luôn có mặt trong những thời ðiểm khó khãn nhất, tiếp thêm ðộng lực và ý chí, giúp chúng tôi hoàn thành ðýợc luận vãn. M ặc dù ðã cố gắng nỗ lực hết sức mình, song chắc chắn luận vãn không khỏi còn nhiều thiếu sót. Chúng em rất mong nhận ðýợc sự thông cảm và chỉ bảo tận tình của quý Thầy cô và các bạn. Tp.HCM, 7/2005 Nhóm sinh viên thực hiện Nguy ễn Vãn Kỷ Cang – Phan Vĩnh Phýớc – Nguyễn Quốc Tuấn Phân tích tự ðộng dữ liệu video số hỗ trợ truy tìm thông tin dựa vào nội dung Nhóm sinh viên : Nguyễn Quốc Tuấn - Nguyễn Vãn Kỷ Cang – Phan Vĩnh Phýớc 3 NHẬN XÉT CỦA GIÁO VIÊN HÝỚNG DẪN Phân tích tự ðộng dữ liệu video số hỗ trợ truy tìm thông tin dựa vào nội dung Nhóm sinh viên : Nguyễn Quốc Tuấn - Nguyễn Vãn Kỷ Cang – Phan Vĩnh Phýớc 4 NHẬN XÉT CỦA GIÁO VIÊN PHẢN BIỆN Phân tích tự ðộng dữ liệu video số hỗ trợ truy tìm thông tin dựa vào nội dung Nhóm sinh viên : Nguyễn Quốc Tuấn - Nguyễn Vãn Kỷ Cang – Phan Vĩnh Phýớc 5 MỤC LỤC L ỜI CẢM ÕN .2 MỤC LỤC .5 DANH SÁCH CÁC HÌNH VẼ 8 DANH SÁCH CÁC BẢNG 10 TÓM TẮT LUẬN VÃN .11 CHÝÕNG 1 MỞ ÐẦU .12 1. Giới thiệu tổng quan .13 2. Các hýớng nghiên cứu liên quan ðến ðề tài .17 3. Qui trình chính ðýợc thực hiện trong luận vãn .19 3.1. Giai ðoạn ngoại tuyến (off-line) 19 3.2. Giai ðoạn trực tuyến (on-line) .20 3.3. Các lĩnh vực liên quan: 20 4. Cấu trúc luận vãn 21 CHÝÕNG 2 MỘT SỐ KHÁI NIỆM VÀ ÐẶC TRÝNG TRONG XỬ LÝ ẢNH SỐ VÀ VIDEO SỐ 22 1. Một số khái niệm, ðịnh nghĩa trong xử lý video .23 1.1. Khung hình (frame) .23 1.2. Ðoạn cõ sở (shot) .24 1.3. Chuyển cảnh 24 2. Không gian màu 26 2.1. Không gian ðộ xám 26 2.2. Không gian màu RGB .27 2.3. Không gian màu CMY 29 2.4. Không gian màu HSV 30 3. Lýợc ðồ màu (Color Histogram) .33 3.1. Ðịnh nghĩa .33 3.2. Thuật toán tính lýợc ðồ màu : 34 3.3. Ý nghĩa của lýợc ðồ màu .38 3.4. Ðánh giá ýu ðiểm, khuyết ðiểm .38 3.5. Ứng dụng .39 4. Lýợc ðồ týõng quan màu (Color Correlogram) 40 4.1. Giới thiệu lýợc ðồ týõng quan màu .40 4.2. Tính lýợc ðồ týõng quan màu .40 4.3. Lýợc ðồ tự týõng quan màu 40 4.4. Ứng dụng .41 5. Biên dạng (Edge) .41 5.1. Khái niệm : 41 Phân tích tự ðộng dữ liệu video số hỗ trợ truy tìm thông tin dựa vào nội dung Nhóm sinh viên : Nguyễn Quốc Tuấn - Nguyễn Vãn Kỷ Cang – Phan Vĩnh Phýớc 6 5.2. Phýõng pháp phát hiện biên 41 6. Ðặc trýng chuyển ðộng (Motion) 46 6.1. Giới thiệu .46 6.2. Lýợc ðồ chuyển ðộng 46 6.3. Ảnh chuyển ðộng .47 7. Các ðặc trýng toàn cục của ðoạn cõ sở .48 7.1. Ðặc trýng ảnh trung bình .49 7.2. Lýợc ðồ tự týõng quan màu trung bình .50 7.3. Lýợc ðồ chuyển ðộng trung bình .51 7.4. Ảnh chuyển ðộng trung bình .52 8. Tóm tắt chýõng .53 CHÝÕNG 3 PHÂN TÍCH TỰ ÐỘNG VIDEO SỐ THÀNH CÁC ÐOẠN CÕ SỞ 54 1. Giới thiệu sõ lýợc phân ðoạn ðoạn cõ sở 55 2. Một số tài liệu in, bài báo ðiển hình về phân ðoạn cõ sở 57 2.1. Kỹ thuật mô hình Markov ẩn (The Hidden Markov Model) .57 2.2. Phát hiện chuyển cảnh dựa vào phân tích và týõng tác nghe nhìn 59 2.3. Phát hiện chuyển cảnh dựa vào lýợc ðồ 59 2.4. So sánh các kỹ thuật phát hiện biên ðoạn cõ sở 60 3. Các hýớng tiếp cận phân ðoạn ðiển hình .61 3.1. Sự sai biệt về lýợc ðồ màu .61 3.2. Tỉ số thay ðổi biên cạnh .62 3.3. Sự phân tích ðặc trýng âm thanh .62 3.4. Sự phân tích phát hiện chuyển ðộng 63 4. Một số phýõng pháp cải tiến 63 4.1. Phýõng pháp hai ngýỡng .65 4.2. Kết hợp lýợc ðồ màu và toán tử hình thái học Morphology và giải thuật Watershed .67 4.3. Lýợc ðồ tự týõng quan màu 71 5. Ðánh giá các phýõng pháp .73 5.1. Ðộ ðo Precision, Recall .73 5.2. Thống kê kết quả .74 5.3. Ðánh giá các phýõng pháp 76 6. Tóm tắt chýõng .77 CHÝÕNG 4 TỔ CHỨC CÁC ÐOẠN CÕ SỞ THEO CẤU TRÚC CÂY 79 1. Giới thiệu 80 2. Tổ chức các ðoạn cõ sở theo cấu trúc cây nhị phân 80 2.1. Giải thuật phân lớp phân cấp .80 2.2. Tạo liên kết lân cận 81 2.3. Ðặc trýng và ðộ ðo dị biệt giữa các ðoạn cõ sở trong liên kết 82 Phân tích tự ðộng dữ liệu video số hỗ trợ truy tìm thông tin dựa vào nội dung Nhóm sinh viên : Nguyễn Quốc Tuấn - Nguyễn Vãn Kỷ Cang – Phan Vĩnh Phýớc 7 2.4. Cụ thể hóa giai ðoạn phân lớp trong giải thuật phân lớp phân cấp ở mục 2.1 ở trên 83 3. Xây dựng bảng mục lục và chỉ mục .85 4. Xác ðịnh các lớp của các ðoạn cõ sở và phần tử ðại diện của lớp .88 4.1. Lớp của các ðoạn cõ sở .88 4.2. Phần tử ðại diện của lớp 89 5. Khung hình chính ðại diện cho ðoạn cõ sở .89 5.1. Giới thiệu .89 5.2. Cách xác ðịnh khung hình chính .90 6. Tóm tắt chýõng .91 CHÝÕNG 5 TRUY VẤN DỮ LIỆU VIDEO SỐ .92 1. Giới thiệu 93 2. Các phýõng pháp truy vấn dữ liệu video số .93 2.1. Dữ liệu nhập là ðoạn cõ sở 93 2.2. Dữ liệu nhập là ðoạn video clip .98 3. Kết quả thực nghiệm .100 4. Nhận xét .100 5. Tóm tắt chýõng .101 CHÝÕNG 6 HỆ THỐNG ÐÃ CÀI ÐẶT .102 1. Các chức nãng chính và hýớng dẫn sử dụng chýõng trình 103 1.1. Giới thiệu sõ về Giao diện của chýõng trình .105 1.2. Các chức nãng chính: .108 2. Các thuật toán cài ðặt .116 2.1. Không gian màu : .116 2.2. Các thuật toán phân ðoạn .116 2.3. Các thuật toán tính ðặc trýng .117 2.4. Các thuật toán xây dựng cây phân lớp phân cấp .117 CHÝÕNG 7 KẾT LUẬN .118 1. Các kết quả ðạt ðýợc 119 2. Hýớng phát triển .119 TÀI LIỆU THAM KHẢO .120 Phân tích tự ðộng dữ liệu video số hỗ trợ truy tìm thông tin dựa vào nội dung Nhóm sinh viên : Nguyễn Quốc Tuấn - Nguyễn Vãn Kỷ Cang – Phan Vĩnh Phýớc 8 DANH S ÁCH CÁC HÌNH VẼ Hình 1 Ðoạn video dùng dể truy vấn .16 Hình 2 kết quả truy vấn 16 Hình 3 Qui trình chính .19 Hình 4 Các khung hình 23 Hình 5 Ðoạn cõ sở 24 Hình 6 Chuyển cảnh tức thì .25 Hình 7 Chuyển cảnh tiệm tiến 25 Hình 8. Không gian màu ðộ xám .26 Hình 9. Không gian RGB .27 Hình 10. Không gian RGB .28 Hình 11. Không gian RGB .28 Hình 12. Không gian CMY 29 Hình 13. Các thành phân tạo nên không gian màu HSV .30 Hình 14. Không gian màu HSV dýới dạng ðối týợng hình nón 32 Hình 15 Lýợc ðồ màu 33 Hình 16 Mắt ngýời không nhạy cảm với sự thay ðổi màu sắc 36 Hình 17 Không gian màu HSV ðã ðýợc ðịnh lýợng 37 Hình 18Các màu ðã ðýợc ðịnh lýợng trong không gian HSV .38 Hình -19. Những ảnh khác nhau nhýng có lýợc ðồ màu giống nhau 39 Hình 20 .42 Hình 21 .44 Hình 22 .46 Hình 23. Biên ðoạn cõ sở .55 Hình 24.Tính sự khác biệt ðặc trýng giữa những khung hình liên tiếp .56 Hình 25 Ðýờng sai biệt về ðặc trýng lýợc ðồ giữa các khung hình liên tiếp 56 Hình 26Sõ ðồ giải thuật phân ðoạn 57 Hình 27 Chuyển cảnh tức thì dễ phát hiện .63 Hình 28 Chuyển cảnh tiệm tiến khó phát hiện .64 Hình 29 .65 Hình 30 Kết quả phân ðoạn bằng phýõng pháp 2 ngýỡng 67 Hình 31 Ðýờng sai biệt lýợc ðồ màu toàn cục .68 Hình 32 .69 Hình 33 .70 Hình 34. Ðýờng cong ban ðầu (ở trên) và sau khi qua toán tử hình thái học (ở dýới). Ðýờng màu ðỏ là những nõi phát hiện chuyển cảnh .71 Hình 35. Phân ðoạn theo lýợc ðồ tự týõng quan màu và toán tử hình thái học, giải thuật watershed 72 Phân tích tự ðộng dữ liệu video số hỗ trợ truy tìm thông tin dựa vào nội dung Nhóm sinh viên : Nguyễn Quốc Tuấn - Nguyễn Vãn Kỷ Cang – Phan Vĩnh Phýớc 9 Hình 36 Liên kết lân cận cho bảng mục lục .81 Hình 37 Liên kết lân cận cho bảng chỉ mục .82 Hình 38 Dãy liên kết lân cận ban ðầu 83 Hình 39Kết quả sau khi liên kết 2 ðoạn cõ sở có khoảng cách bé nhất .84 Hình 40Kết quả của giai ðoạn phân lớp phân cấp .85 Hình 41 .86 Hình 42. Cây sau khi rút gọn 87 Hình 43 .88 Hình 44 Các khung hình trong ðoạn cõ sở .90 Hình 45 Khung hình chính của ðoạn cõ sở trên .90 Hình 46. Ðặc trýng hình dạng 96 Hình 47. Truy tìm với dữ liệu nhập là ðoạn cõ sở .98 Hình 48 Màn hình chính 104 Hình 49 Menubar .105 Hình 50 Toolbar .107 Hình 51 Ba lựa chọn phân ðoạn .108 Hình 52.Duyệt các ðoạn cõ sở .109 Hình 53. Xem các khung hình của ðoạn cõ sở .110 Hình 54 .111 Hình 55 .112 Hình 56. Truy vấn với dữ liệu nhập là ðoạn cõ sở .114 Hình 57. Truy vấn với dữ liệu nhập là ðoạn video 115 Hình 58. Truy vấn với dữ liệu nhập là ảnh tĩnh .116 Phân tích tự ðộng dữ liệu video số hỗ trợ truy tìm thông tin dựa vào nội dung Nhóm sinh viên : Nguyễn Quốc Tuấn - Nguyễn Vãn Kỷ Cang – Phan Vĩnh Phýớc 10 DANH S ÁCH CÁC BẢNG B ảng 1 Bảng thống kê kết quả phân ðoạn 76 Bảng 2. Kết quả truy tìm 100 . ðộng dữ liệu video số hỗ trợ truy tìm thông tin thị giác dựa vào nội dung. N ội dung của luận vãn gồm có hai phần chính. Thứ nhất là phân tích tự ðộng dữ liệu. ðýa vào bộ phân ðoạn ðể phân tích ðoạn video ban ðầu thành các ðoạn cõ sở. Phân tích tự ðộng dữ liệu video số hỗ trợ truy tìm thông tin dựa vào nội dung