Đề cương chi tiết học phần Thị giác máy - Computer vision

Đề cương chi tiết học phần Thị giác máy - Computer vision trang bị cho sinh viên những vấn đề về lý thuyết, thuật toán cơ bản, được sử dụng rộng rãi trong thị giác máy; giúp sinh viên có khả năng đánh giá, phát triển và ứng dụng kỹ thuật thị giác máy vào các vấn đề thực tiễn.

KHOA CƠNG NGHỆ THƠNG TIN CỘNG HỊA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập – Tự – Hạnh phúc ĐỀ CƢƠNG CHI TIẾT HỌC PHẦN THỊ GIÁC MÁY - COMPUTER VISION Thông tin giáo viên TT Họ tên giáo viên Đào Thanh Tĩnh Hà Đại Dương Học hàm Học vị Đơn vị công tác (Bộ môn) PGS GVC Tiến sỹ Thạc sỹ Hệ thống thông tin Hệ thống thông tin - Thời gian, địa điểm làm việc: Các ngày tuần phòng làm việc môn A1505 - Địa liên hệ: Bộ môn Hệ thống Thông tin, Khoa Công nghệ Thông tin, - Điện thoại: 069 515 333, Email: tinhdt@mta.edu.vn, duonghadai@yahoo.com - Các hướng nghiên cứu chính: Thị giác máy, xử lý ảnh, tính tốn mềm Thơng tin chung học phần - Tên học phần: Thị giác máy - Mã học phần: 12356121 - Số tín chỉ: 03 - Cấu trúc học phần: 60 tiết (30 lý thuyết, tập, thảo luận, 15 thực hành) - Học phần bắt buộc - Các học phần tiên quyết: Kỹ thuật lập trình, Xử lý ảnh - Các yêu cầu học phần Nghe giảng lớp Nghiên cứu tài liệu nhà Tích cực tham gia thảo luận - Giờ tín hoạt động:  Nghe giảng lý thuyết: 30 tiết  Làm tập lớp: tiết  Thảo luận: tiết  Thực hành, thực tập (ở PTN, nhà máy, thực tập ): 15 tiết  Hoạt động theo nhóm:  Tự học: - Khoa/Bộ môn phụ trách học phần, địa chỉ: Bộ môn Hệ thống Thông tin, Khoa Công nghệ Thông tin, Học viện Kỹ thuật Quân Mục tiêu học phần - Kiến thức: Trang bị cho sinh viên vấn đề lý thuyết, thuật toán bản, sử dụng rộng rãi thị giác máy Giúp sinh viên có khả đánh giá, phát triển ứng dụng kỹ thuật thị giác máy vào vấn đề thực tiễn - Kỹ năng: Phát triển kỹ kinh nghiệm cho sinh viên việc sử dụng thị giác máy vào thực tế - Thái độ, chuyên cần: Chú ý, tập trung nghe giảng lớp; tích cực thời gian tự học thực hành phịng máy Tóm tắt nội dung - Tổng quan ảnh số, xử lý ảnh thị giác máy Nhắc lại vấn đề xử lý ảnh như: phép biến đổi mức xám, phép lọc không gian, xử lý lược đồ xám, phép biến đổi hình thái, Các kỹ thuật phân đoạn ảnh - Biểu diễn mô tả đối tượng, mô tả biên, mô tả vùng; - Nhận dạng dựa lý thuyết định, nhận dạng dựa kỹ thuật khớp mẫu, theo mạng neural - Một số chủ đề nâng cao trình bày số chủ đề cụ thể như: nhận dạng khuôn mặt người, nhận dạng mặt cười, phát người, phát đám cháy Nội dung chi tiết học phần Chƣơng, mục, tiểu mục Chƣơng 1.1 1.2 1.3 1.4 1.5 1.6 Số tiết Nội dung Giới thiệu chung xử lý ảnh thị giác máy Khái quát chung nội dung môn học Các phép biến đổi mức xám Lược đồ xám biến đổi lược đồ xám Các phép logic số học Các phép lọc khơng gian Các phép biến đổi hình thái 12 Giáo trình, Tài liệu tham khảo (TT TL mục 6) Ghi 1.7 1.8 1.8.1 1.8.2 1.8.3 1.8.4 1.8.5 Chƣơng 2.1 2.2 2.2.1 2.2.2 2.2.3 2.2.4 2.2.5 2.3 2.3.1 2.3.2 2.3.3 2.3.4 2.3.5 2.3.6 2.3.7 Thảo luận 1: Nêu toán, thảo luận mơ hình/giải pháp dùng thị giác máy với toán: Bài toán Kiểm soát vào phương tiện Oto, xe máy; Bài toán phát người người bộ; Bài toán phát cảnh báo cháy Thực hành 1: Lập trình thị giác máy môi trường Windows kết hợp thư viện mã nguồn mở OpenCV Tổ chức chương trình Đọc lưu trữ ảnh Hiển thị ảnh gốc ảnh kết Sử dụng phép biến đổi ảnh có OpenCV Tự thực hành Phân đoạn ảnh Giới thiệu Phát đối tượng có mức xám gián đoạn Phát điểm Phát đường Phát cạnh Nối biên dựa xử lý cục Nối biên dựa biến đổi Hough Phân ngưỡng Một số vấn đề sở Ảnh hưởng tượng chiếu sáng Thuật toán tìm ngưỡng tồn cục Thuật tốn tìm ngưỡng thích nghi Thuật tốn tìm ngưỡng tối ưu Otsu Lọc nhiễu phân ngưỡng Phân nhiều ngưỡng 3 2.4 2.4.1 2.4.2 2.4.3 2.5 2.5.1 2.5.2 2.8 2.9 2.9.1 2.9.2 2.9.3 2.9.4 2.10 Chƣơng 3.1 3.2 3.2.1 3.2.2 3.2.3 3.2.4 3.2.5 3.3 3.3.1 3.3.2 3.3.3 3.3.4 3.4 3.4.1 3.4.2 Phân đoạn theo vùng Một số vấn đề sở Thuật toán Region Growing Thuật toán Region Spliting and Merging Phân đoạn dựa đường phân nước Khái quát Thuật tốn Thảo luận 2: Phân tích điều kiện toán xác định biển số xe máy, xác định kỹ thuật cần thiết để giải toán Thực hành 2: Phân đoạn ảnh Nhắc lại kiến thức Xác định điểm, đường Phân ngưỡng với ngưỡng cố định Tự thực hành Bài tập (làm lớp) Biểu diễn mô tả đối tƣợng Giới thiệu Biểu diễn đối tượng Biển diễn dạng Chain code Xấp xỉ đa giác Biểu diễn dạng Signatures Biểu diễn dạng đoạn biên Biểu diễn dạng xương Mô tả biên Những tham số đơn giản Mô tả dạng Shape Number Biểu diễn qua hệ số Fourier Biểu diễn qua thống kê moment Mô tả vùng Những tham số đơn giản Mô tả Topo 12 3.4.3 3.5 3.6 3.7 3.7.1 3.7.2 3.7.3 3.7.4 3.8 3.9 Chƣơng 4.1 4.1.1 4.1.2 4.2 4.2.1 4.2.2 4.2.3 4.3 4.3.1 4.3.2 4.4 4.4.1 4.4.2 4.4.3 4.4.4 4.5 Mô tả Texture Mô tả thành phần Mơ tả tính chất quan hệ Thực hành 3: Biểu diễn mô tả đối tượng Nhắc lại kiến thức Xác định biên mô tả dựa đường biên Xác định vùng mô tả dựa tham số vùng Tự thực hành Bài tập (làm lớp) Thảo luận 3: Mô tả vùng biển số xe Mô tả chữ số chữ biển số xe Nhận dạng đối tƣợng Mẫu lớp mẫu Biểu diễn mẫu Lớp mẫu Nhận dạng dựa lý thuyết định Khớp mẫu Phân lớp tối ưu theo xác suất Mạng neural Nhận dạng theo phương pháp dựa cấu trúc Khớp theo Shape Number Khớp chuỗi Phát nhanh đối tượng Đặc trưng Haar-Like Phương pháp AdaBoost Đặc trưng Histogram of Oriented Gradient (HOG) Phương pháp cascaded Thực hành - Nhận dạng đối tượng 12 4.5.1 4.5.2 4.6 4.7 Chƣơng 5.1 5.2 5.2.1 5.2.2 5.2.3 5.3 5.3.1 5.3.2 5.3.3 5.4 5.4.1 5.4.2 5.4.3 5.4.4 5.5 5.5.1 5.5.2 5.6 5.6.1 5.6.2 Sử dụng công cụ huấn luyện OpenCV tạo mẫu huấn luyện phân lớp cho tốn: Nhận dạng khn mặt, Nhận dạng bàn tay Sử dụng kết huấn luyện bước trên, sử dụng công cụ hỗ trợ OpenCV xây dựng chương trình phát khn mặt, bàn tay Bài tập (thực lớp) Thảo luận 4: Biểu diễn, mô tả chữ số nào? Đề xuất phương pháp nhận dạng Một số chủ đề nâng cao Giới thiệu chung Phát khn mặt Trích chọn đặc trưng Tạo mẫu huấn luyện Thử nghiệm nhận dạng Phát người Trích chọn đặc trưng Tạo mẫu huấn luyện Thử nghiệm nhận dạng Xử lý video phát đối tượng chuyển động Giới thiệu xử lý video Một số lĩnh vực ứng dụng Phát thay đổi Tracking Xử lý ảnh video độ sâu Giới thiệu xử lý ảnh video độ sâu Phát cử động người Thực hành - Nhận dạng phát nhanh đối tượng Nhận dạng mặt cười Nhận dạng người 16 5.6.3 5.7 5.7 Phát đối tượng chuyển động Bài tập (thực lớp) Thảo luận 5: Hãy nêu giải pháp hoàn chỉnh cho hệ thống phát biển số xe Giải pháp pháp đối tượng chuyển động Giáo trình, tài liệu tham khảo TT Có thư viện Tên tài liệu Linda Shapiro, “Computer Vision”, The University of Washington, 2000; Luong Chi Mai, “Introduction to Image processing and Computer Vision” Lương Mạnh Bá, Nguyễn Thanh Thủy, “Nhập môn xử lý ảnh”, NXB KHKT, 2003 R.C Gonzalez, R E Woods, Digital Image Processing, (2nd Edition), Prentice (ISBN: 0-20118075-8), 2002 OpenCV Documents Tình trạng tài liệu Giáo Đề Đề nhị viên có nghị biên soạn mua khoa có x x x x x Hình thức tổ chức dạy học 7.1 Lịch trình chung: (Ghi tổng số cho cột) Hình thức tổ chức dạy học học phần Lên lớp Tự Thực học, Nội dung Tổng hành, thí tự Lý Bài Thảo nghiệm, nghiê thuyết tập luận thực tập n cứu Chương Giới thiệu chung xử lý ảnh thị giác máy Chương Phân đoạn ảnh Chương Biểu diễn mô tả đối tượng ảnh 3 12 1 12 Chương Nhận dạng đối tượng 12 Chương Một số chủ đề nâng cao 16 30 16 60 Tổng 7.2 Lịch trình tổ chức dạy học cụ thể: Chương - Giới thiệu chung xử lý ảnh thị giác máy, tuần Hình thức Thời tổ chức dạy gian, địa Nội dung học điểm Lý thuyết tiết Khái quát chung nội dung môn học Các phép biến đổi mức xám Lược đồ xám biến đổi lược đồ xám Bài tập Thảo luận tiết Bài tốn thị giác máy ứng dụng Thực hành, thí nghiệm, thực tập, Tự học, tự nghiên cứu Yêu cầu SV chuẩn bị Nhe giảng, làm tập tham gia thảo luận Ghi Chương - Giới thiệu chung xử lý ảnh thị giác máy (tiếp), tuần Hình thức Thời tổ chức dạy gian, địa học điểm Lý thuyết tiết Bài tập Thảo luận tiết Nội dung Các phép logic số học Các phép lọc không gian Các phép biến đổi hình thái Bài tốn nhận dạng biển số xe, điều kiện giới hạn Yêu cầu SV chuẩn bị Nhe giảng, làm tập tham gia thảo luận Ghi Thực hành, thí nghiệm, thực tập, Tự học, tự NC Thực hành - Lập trình thị giác máy mơi trường Windows kết hợp thư viện mã nguồn mở OpenCV, tuần Hình thức Thời tổ chức dạy gian, địa học điểm Lý thuyết Bài tập Thảo luận tiết, PM Thực hành, tiết, thí nghiệm, PM thực tập, Nội dung Yêu cầu SV chuẩn bị Giải pháp cho toán nhận dạng biển số xe Thực hành - Nội dung Tổ chức chương trình, Đọc lưu trữ ảnh, Hiển thị ảnh gốc ảnh kết quả, Sử dụng phép biến đổi ảnh có OpenCV Nhe giảng, làm tập tham gia thảo luận Ghi Tự học, tự nghiên cứu Chương - Phân đoạn ảnh, tuần Hình thức Thời tổ chức dạy gian, địa Nội dung học điểm Lý thuyết tiết Giới thiệu Phát đối tượng có mức xám gián đoạn Phân ngưỡng Lọc nhiễu phân ngưỡng Phân nhiều ngưỡng Phân đoạn theo vùng Phân đoạn dựa đường phân nước Bài tập tiết Phát điểm, đường Tìm Yêu cầu SV chuẩn Ghi bị Nhe giảng, làm tập tham gia thảo luận Hình thức Thời tổ chức dạy gian, địa học điểm Nội dung Yêu cầu SV chuẩn bị Ghi Yêu cầu SV chuẩn bị Ghi ngưỡng, Phân đoạn theo vùng Thảo luận Thực hành, thí nghiệm, thực tập, Tự học, tự nghiên cứu Thực hành - Phân đoạn đối tượng ảnh , tuần Hình thức Thời tổ chức dạy gian, địa Nội dung học điểm Lý thuyết Bài tập Thảo luận tiết PM Thảo luận 2: Bài toán phân đoạn ảnh Thực hành, tiết Thực hành 2: Nhắc lại kiến thức thí nghiệm, Xác định điểm, đường thực tập, Phân với ngưỡng cố định Phân ngưỡng theo Otsu Tự thực hành Tự học, tự nghiên cứu Nhe giảng, làm tập tham gia thảo luận Chương - Biểu diễn mô tả đối tượng, tuần Hình thức Thời tổ chức dạy gian, địa Nội dung học điểm Lý thuyết tiết Giới thiệu Biểu diễn đối tượng Biển diễn dạng Chain code Xấp xỉ đa giác Biểu diễn dạng Signatures 10 Yêu cầu SV Ghi chuẩn bị Nhe giảng, làm tập tham gia thảo luận Hình thức Thời tổ chức dạy gian, địa học điểm Bài tập tiết Nội dung Yêu cầu SV Ghi chuẩn bị Biểu diễn dạng đoạn biên Biểu diễn dạng xương Biểu diễn chain code, tính moment vùng ảnh Thảo luận Thực hành, thí nghiệm, thực tập, Tự học, tự nghiên cứu Chương - Biểu diễn mơ tả đối tượng (tiếp), tuần Hình thức Thời tổ chức dạy gian, địa Nội dung học điểm Lý thuyết tiết Mô tả biên Những tham số đơn giản Mô tả dạng Shape Number Biểu diễn qua hệ số Fourier Biểu diễn qua thống kê moment Mô tả vùng Những tham số đơn giản Mơ tả Topo, Texture Mơ tả thành phần Mơ tả tính chất quan hệ Bài tập tiết Tính tốn tham số Topo Tính tốn tham số texture Thảo luận Thực hành, thí nghiệm, thực tập, Tự học, tự 11 Yêu cầu SV Ghi chuẩn bị Nhe giảng, làm tập tham gia thảo luận Hình thức Thời tổ chức dạy gian, địa học điểm nghiên cứu Nội dung Yêu cầu SV Ghi chuẩn bị Thực hành - Mô tả Biểu diễn đối tượng, tuần Hình thức Thời tổ chức dạy gian, địa Nội dung học điểm Lý thuyết Bài tập Thảo luận tiết Thảo luận 3: Mô tả vùng PM biển số xe Mô tả chữ số chữ biển số xe Thực hành, tiết Thực hành - Nội dung: Nhắc lại kiến thức thí nghiệm, Xác định biên mô tả dựa thực tập, đường biên Xác định vùng mô tả dựa tham số vùng Tự thực hành Tự học, tự nghiên cứu Yêu cầu SV Ghi chuẩn bị Nhe giảng, làm tập tham gia thảo luận Chương - Nhận dạng đối tượng, tuần Hình thức Thời tổ chức dạy gian, địa Nội dung học điểm Lý thuyết tiết Mẫu lớp mẫu Biểu diễn mẫu Lớp mẫu Nhận dạng dựa lý thuyết định Khớp mẫu Phân lớp tối ưu theo xác suất Mạng neural Bài tập tiết Biểu diễn vector đặc trưng số đối tượng như: 12 Yêu cầu SV Ghi chuẩn bị Nhe giảng, làm tập tham gia thảo luận Hình thức Thời tổ chức dạy gian, địa học điểm Nội dung Yêu cầu SV Ghi chuẩn bị Khuôn mặt, bàn tay Thảo luận Thực hành, thí nghiệm, thực tập, Tự học, tự nghiên cứu 10 Chương - Nhận dạng đối tượng (tiếp), tuần 10 Hình thức Thời tổ chức dạy gian, địa Nội dung học điểm Lý thuyết tiết Nhận dạng theo phương pháp dựa cấu trúc Khớp theo Shape Number Khớp chuỗi Phát nhanh đối tượng Đặc trưng Haar-Like Phương pháp AdaBoost Đặc trưng Histogram of Oriented Gradient (HOG) Phương pháp cascaded Bài tập tiết Tính tốn đặc trưng HaarLike, HOG ảnh tích phân ảnh xám 6x6 Thảo luận Thực hành, thí nghiệm, thực tập, Tự học, tự nghiên cứu 11 Thực hành - Nhận dạng đối tượng, tuần 11 13 Yêu cầu SV Ghi chuẩn bị Nhe giảng, làm tập tham gia thảo luận Hình thức Thời tổ chức dạy gian, địa Nội dung học điểm Lý thuyết Bài tập Thảo luận Tiết Thảo luận 4: Biểu diễn, mô tả chữ số nào? Đề xuất phương pháp nhận dạng Thực hành, tiết Sử dụng công cụ huấn luyện OpenCV tạo mẫu huấn thí nghiệm, luyện phân lớp cho thực tập, toán: Nhận dạng khuôn mặt, Nhận dạng bàn tay Sử dụng kết huấn luyện bước trên, sử dụng công cụ hỗ trợ OpenCV xây dựng chương trình phát khuôn mặt, bàn tay Tự học, tự nghiên cứu Yêu cầu SV Ghi chuẩn bị Nhe giảng, làm tập tham gia thảo luận 12 Chương - Một số chủ đề nâng cao, tuần 12 Hình thức Thời tổ chức dạy gian, địa Nội dung học điểm Lý thuyết tiết Giới thiệu chung Phát khn mặt Trích chọn đặc trưng Tạo mẫu huấn luyện Thử nghiệm nhận dạng Phát người Trích chọn đặc trưng Tạo mẫu huấn luyện Thử nghiệm nhận dạng Bài tập tiết Tập hợp mẫu khuôn mặt Thảo luận Thực hành, 14 Yêu cầu SV Ghi chuẩn bị Nhe giảng, làm tập tham gia thảo luận Hình thức Thời tổ chức dạy gian, địa học điểm thí nghiệm, thực tập, Tự học, tự nghiên cứu Nội dung Yêu cầu SV Ghi chuẩn bị 13 Chương - Một số chủ đề nâng cao (tiếp), tuần 13 Hình thức Thời tổ chức dạy gian, địa Nội dung học điểm Lý thuyết tiết Xử lý video phát đối tượng chuyển động Giới thiệu xử lý video Một số lĩnh vực ứng dụng Phát thay đổi Tracking Bài tập Thảo luận tiết Bài toán theo dõi đối tượng chuyển động Thực hành, thí nghiệm, thực tập, Tự học, tự nghiên cứu Yêu cầu SV Ghi chuẩn bị Nhe giảng, làm tập tham gia thảo luận 14 Chương - Một số chủ đề nâng cao (tiếp), tuần 14 Hình thức Thời tổ chức dạy gian, địa Nội dung học điểm Lý thuyết tiết Xử lý ảnh video độ sâu Giới thiệu xử lý ảnh video độ sâu Phát cử động người Bài tập Thảo luận tiết Bài toán sử dụng camera độ 15 Yêu cầu SV Ghi chuẩn bị Nhe giảng, làm tập tham gia thảo luận Hình thức Thời tổ chức dạy gian, địa học điểm Nội dung Yêu cầu SV Ghi chuẩn bị sâu Thực hành, thí nghiệm, thực tập, Tự học, tự nghiên cứu 15 Thực hành - Nhận dạng phát nhanh đối tượng, tuần 15 Hình thức Thời tổ chức dạy gian, địa Nội dung học điểm Lý thuyết Bài tập Thảo luận Thực hành, tiết Nhận dạng mặt cười Nhận dạng người thí nghiệm, Phát đối tượng chuyển thực tập, động file video Yêu cầu SV Ghi chuẩn bị Nhe giảng, làm tập tham gia thảo luận Tự học, tự nghiên cứu Chính sách học phần yêu cầu khác giáo viên Khuyến kích sinh viên tìm hiểu vấn đề nội dung môn học Phƣơng pháp, hình thức kiểm tra - đánh giá kết học tập học phần Phân chia mục tiêu cho hình thức kiểm tra - đánh giá 9.1 Điểm chuyên cần: 10% Mục đích: Nhằm hỗ trợ thúc đẩy việc học tập đầy đủ sinh viên, rèn luyện cho sinh viên ý thức học tập tốt Các kỹ thuật đánh giá: Điểm danh buổi lên lớp Gọi lên bảng làm tập buổi giảng 9.2 Điểm thường xuyên: 20% 16 Mục đích: Nhằm hỗ trợ thúc đẩy việc học tập thường xuyên sinh viên, đồng thời qua có thông tin phản hồi giúp giảng viên, sinh viên điều chỉnh cách dạy, cách học, thay đổi phương pháp dạy, học cho phù hợp Các kỹ thuật đánh giá: Đọc phần tài liệu hướng dẫn theo phần; Bài tập theo nội dung môn học; Kiểm tra kỳ 9.3 Thi kết thúc học phần: 70% STT Nội dung thi, kiểm tra Theo toàn chương trình mơn học Chủ nhiệm Khoa (Ký ghi rõ họ tên) Lịch thi Lịch kiểm tra Ghi Thi cuối kỳ Theo lịch chung Học viện Thi lại Theo lịch chung Học viên Chủ nhiệm Bộ môn (Ký ghi rõ họ tên) 17 Giảng viên biên soạn (Ký ghi rõ họ tên) ... Tự học, tự nghiên cứu Chính sách học phần yêu cầu khác giáo viên Khuyến kích sinh viên tìm hiểu vấn đề nội dung môn học Phƣơng pháp, hình thức kiểm tra - đánh giá kết học tập học phần Phân chia... đám cháy Nội dung chi tiết học phần Chƣơng, mục, tiểu mục Chƣơng 1.1 1.2 1.3 1.4 1.5 1.6 Số tiết Nội dung Giới thiệu chung xử lý ảnh thị giác máy Khái quát chung nội dung môn học Các phép biến.. .- Kiến thức: Trang bị cho sinh viên vấn đề lý thuyết, thuật toán bản, sử dụng rộng rãi thị giác máy Giúp sinh viên có khả đánh giá, phát triển ứng dụng kỹ thuật thị giác máy vào vấn đề thực