Bài giảng xử lý ảnh số (hoàng văn hiệp)

Bài giảng xử lý ảnh số (hoàng văn hiệp)

8/24/2011 Xử lý ảnh Hồng Văn Hiệp Bộ mơn Kỹ thuật máy tính Viện Cơng nghệ thơng tin Truyền thơng Email: hiephv@soict.hut.edu.vn Mục đích Cung cấp kiến thức xử lý ảnh số Cung cấp kỹ cần thiết giúp sinh viên viết ứng dụng xử lý ảnh  Matlab  C++, C# 8/24/2011 Yêu cầu Các kiến thức toán học  Matrix vector  Xác suất thống kê Các kiến thức xử lý tín hiệu Kỹ lập trình  Matlab  C, C++, C# Tài liệu tham khảo  Books  Digital Image Processing, by: R C Gonzalez and R E Woods, 3rd Ed., 2008, Prentice Hall  Digital image processing using Matlab by Gonzalez  Journals  IEEE Trans on Image Processing  IEEE Transactions on Pattern Analysis and Machine Intelligence  Conferences       ICIP ICIAP CVPR ICPR ICCP ICCV 8/24/2011 Đánh giá Thi: 70 % Bài tập lớn: 30 %  Đề tài: Tuần thứ 4,  Bảo vệ BTL: Tuần 15  Chia nhóm thực hiện: (2 người – người) Nội dung Chương Chương Chương Chương Giới thiệu chung Thu nhận & số hóa ảnh Cải thiện & phục hồi ảnh Phát tách biên, phân vùng ảnh Chương Trích chọn đặc trưng ảnh Chương Nén ảnh Chương Lập trình xử lý ảnh Matlab C 8/24/2011 Chương Giới thiệu chung Khái niệm xử lý ảnh Các vấn đề xử lý ảnh Giới thiệu số ứng dụng xử lý ảnh Matrix vector Một số khái niệm Khái niệm xử lý ảnh Khái niệm ảnh Khái niệm ảnh số Phân biệt ảnh tĩnh, ảnh động Khái niệm xử lý ảnh 8/24/2011 Khái niệm ảnh Thông tin vật thể hay quang cảnh chiếu sáng mà người quan sát cảm nhận mắt hệ thống thần kinh thị giác Biểu diễn ảnh mặt tốn học: o F(x, y): x, y tọa độ không gian chiều f độ lớn độ chói (ảnh đơn sắc), màu (đối với ảnh màu) o Chú ý: x, y biến thiên liên tục f liên tục Khái niệm ảnh số Ảnh số ảnh thu từ ảnh liên tục phép lấy mẫu lượng tử hóa y Gray level x pixel Original picture f(x, y) Digital image I[i, j] or I[x, y] 8/24/2011 Khái niệm ảnh số (tiếp) Khái niệm ảnh số (tiếp) Một ảnh số thường biểu diễn ma trận điểm ảnh Trong điểm ảnh biểu diễn  bit (ảnh nhị phân)  bit (ảnh đa mức xám)  16, 24 bit (ảnh màu) Ảnh biểu diễn ảnh dạng ma trận điểm ảnh gọi ảnh bitmap 8/24/2011 Khái niệm ảnh số (tiếp) Một cách biểu diễn khác ảnh số dạng vector (ảnh vector)  Không biểu diễn ảnh dạng ma trận điểm ảnh mà hướng đến đối tượng ảnh  Thường bao gồm thành phần hình trịn, đường thẳng … Circle(100, 20, 20) Line(xa1, ya1, xa2, ya2) Line(xb1, yb1, xb2, yb2) Line(xc1, yc1, xc2, yc2) Line(xd1, yd1, xd2, yd2) Ảnh bitmap vs ảnh vector  Bitmap  Biểu diễn hình phức tạp  Tính tốn chậm  Hạn chế zoom, phép biến hình  Đuôi file: BMP, JPG…  Vector  Biểu diễn hình đơn giản  Tính tốn nhanh  Đi file: *.EPS, *.AI, *CDR, or *.DWG 8/24/2011 Phân biệt ảnh tĩnh chuỗi ảnh động (chuỗi ảnh) Khái niệm xử lý ảnh Nâng cao chất lượng hình ảnh theo tiêu chí (Cảm nhận người) Phân tích ảnh để thu thơng tin đặc trưng giúp cho việc phân loại, nhận biết ảnh Hiểu ảnh đầu vào để có mơ tả ảnh mức cao hơn, sâu 8/24/2011 Lịch sử xử lý ảnh Bắt nguồn từ hai ứng dụng: nâng cao chất lượng thơng tin hình ảnh xử lý số liệu cho máy tính Ứng dụng việc truyền thông tin ảnh báo London New York vào năm 1920 qua cáp Bartlane Mã hóa liệu ảnh  khôi phục ảnh Thời gian truyền ảnh: Từ tuần  tiếng 17 Lịch sử xử lý ảnh Ảnh số được tạo vào năm 1921 từ băng mã hóa của một máy in điện tín (McFarlane) Ảnh số được tạo vào năm 1922 từ card đục lỗ sau lần truyền qua Đại Tây Dương Một vài lỗi có thể nhìn thấy được 18 8/24/2011 Lịch sử xử lý ảnh Ảnh 15 cấp độ xám được truyền từ Luân Đôn đến New York, năm 1929 (McFarlane) Hệ thống có khả mã hóa hình ảnh với mức xám tăng lên 15 vào năm 1929 Trong khoảng thời gian này, người ta chỉ nói đến ảnh số, chứ chưa đề cập gì đến xử lý ảnh số, vì một lý đơn giản: máy tính chưa có 19 Lịch sử xử lý ảnh Năm 1964, ảnh mặt trăng đưa trái đất thông qua máy chụp tàu Ranger Jet Propulsion Laboratory (Pasadena, California) máy tính xử lý: Chỉnh méo Ảnh đầu tiên của mặt trăng được chụp bởi tàu vũ trụ Mỹ Ranger 7, vào giờ 09 phút sáng ngày 31/7/1964 (nguồn: NASA) 20 10 9/1/2011 Một số khái niệm Điểm ảnh (pixel) Độ phân giải (resolution) Mức xám (gray scale) Lân cận (neighbors) Liên thông (conectivity) 120 34 Bài tập lớn xử lý ảnh Hồng Văn Hiệp Bộ mơn Kỹ thuật máy tính Viện Công nghệ thông tin Truyền thông Email: hiephv@soict.hut.edu.vn Bài Image matching Mô tả  Đầu vào: ảnh query, tập ảnh cần tìm kiếm  Đầu ra: Danh sách ảnh “match” với ảnh đầu vào xếp theo rank: ảnh giống đẩy lên đầu Yêu cầu:  Trình bày lý thuyết đặc trưng (features) sử dụng, độ đo sử dụng, tham số thiết lập  Xây dựng chương trình demo Ngơn ngữ: Matlab, C, C++ Bài Face sequence matching Mô tả:  Đầu vào: chuỗi ảnh query người  Đầu ra: Các chuỗi “match” tương ứng với chuỗi đầu vào Yêu cầu  Các phương pháp so sánh chuỗi  Các lý thuyết giảm chiều features  Chương trình demo Bài Face detection Mơ tả:  Đầu vào: ảnh chứa mặt người  Đầu ra: ảnh tìm vị trí mặt người nằm đâu u cầu:  Tìm hiểu lý thuyết face detection: feature thường dùng, chế giảm chiều (nếu có)  Tìm hiểu face detection OpenCV  Chương trình demo: o Trên desktop, o Trên mobile Ngơn ngữ: C, C++, Matlab, C# Bài Extract face sequences from video Mô tả:  Đầu vào: video  Đầu ra: chuỗi ảnh mặt người gom nhóm theo người (mỗi người có chuỗi) Yêu cầu:  Được sử dụng openCV để tìm face  Đưa lý thuyết để gom nhóm face người với  Chương trình demo Bài Face tracking in video Mô tả:  Đầu vào: chuỗi ảnh mặt người, video  Đầu ra: Truy vết mặt người tất ảnh chuỗi (hoặc frame ảnh video) (gợi ý: tìm hiểu KLT tracker) Yêu cầu:  Lý thuyết sử dụng để track o Chỉ sử dụng detector: ưu nhược điểm o Chỉ sử dụng tracker: o Kết hợp?  Chương trình demo Code: C, C++, matlab Bài Object detection Mô tả  Đầu vào: ảnh  Đầu ra: phát đối tượng có hình dạng đặc biệt: (tròn, chữ nhật, tam giác…) Yêu cầu  Lý thuyết object detection  Chương trình demo Bài Xây dựng ứng dụng tạo ảnh panorama Mô tả:  Đầu vào: tập ảnh để ghép panorama  Đầu ra: ảnh panorama Yêu cầu  Trình bày phương pháp ghép ảnh  Chương trình demo Bài Đọc mã vạch chiều, hai chiều Mô tả  Đầu vào: ảnh mã vạch 1, chiều  Đầu ra: thông tin lưu mã vạch Yêu cầu  Tìm hiểu chế tạo mã vạch 1, chiều  Chương trình demo Bài Phần mềm chấm thi trắc nghiệm tự động Mô tả:  Đầu vào: Ảnh phiếu trả lời trắc nghiệm (mẫu phiếu – Tham khảo mẫu trả lời thi đại học)  Đầu ra: Các thông tin: Mã đề thi, Họ tên thí sinh, SBD, Điểm trả lời trắc nghiệm Yêu cầu  Độ xác: 100 %, ảnh khơng detect phải có cảnh báo 10 Bài 10 Tiền xử lý video summarization Đầu vào: video Đầu ra: Loại bỏ hết frame ảnh không chứa thơng tin  Các frame đơn màu (ví dụ frame ảnh toàn màu đen)  Các frame chứa bảng màu (để chỉnh camera)  Các frame chứa ảnh clapboard (option) 11 Bài 11 Tìm hiểu thuật áp dụng cho tốn: retake detection Mơ tả:  Đầu vào: video chứa cảnh quay, cảnh quay quay quay lại nhiều lần  Đầu ra: phát vị trí: lần quay khác nhau, cảnh quay khác Yêu cầu  Tìm hiểu state-of-the-art  Tối thiểu phương pháp khác 12 Bài 12 Tạo ảnh gif Mô tả  Đầu vào: Một chuỗi ảnh  Đầu ra: ảnh gif Yêu cầu  Tìm hiểu số định dạng ảnh chuẩn o BMP, JPG, PNG, GIF…  Chương trình demo 13 Bài 13 Mini - Photoshop Mơ tả: Xây dựng chương trình giống photoshop (nhỏ hơn), hỗ trợ thuật toán xử lý ảnh  Zoom ảnh, co ảnh  Lấy histogram màu, điều chỉnh độ sáng, tối, độ tương phản  Tách đối tượng,  Dò biên … Yêu cầu: Ngôn ngữ sử dụng C, C++ C# 14 ... vấn đề xử lý ảnh Giới thiệu số ứng dụng xử lý ảnh Matrix vector Một số khái niệm Khái niệm xử lý ảnh Khái niệm ảnh Khái niệm ảnh số Phân biệt ảnh tĩnh, ảnh động Khái niệm xử lý ảnh 8/24/2011... ứng dụng xử lý ảnh (tiếp) Các ứng dụng xử lý ảnh (tiếp) 24 8/24/2011 Các ứng dụng xử lý ảnh (tiếp) Các ứng dụng xử lý ảnh (tiếp) Nhận dạng chữ viết 25 8/24/2011 Các ứng dụng xử lý ảnh (tiếp)... ảnh, lọc nhiễu (tiền xử lý – image pre-processing)  Các phép xử lý điểm ảnh  Các phép xử lý miền không gian  Các phép xử lý miền tần số Các vấn đề xử lý ảnh Phân tích ảnh  Trích chọn đặc