Nghiên cứu phương pháp trích chọn đặc trưng ảnh dựa trên đối sánh hình dạng và ứng dụng

I Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn/ ĐẠI HỌC THÁI NGUYÊN TRƢỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG VŨ VÂN DU NGHIÊN CỨU PHƢƠNG PHÁP TRÍCH CHỌN ĐẶC TRƢNG ẢNH DỰA TRÊN ĐỐI SÁNH HÌNH DẠNG VÀ ỨNG DỤNG Chuyên ngành: Khoa học máy tính Mã số: 60.48.01 LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH Thái Nguyên - 2014 II Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn/ LỜI CẢM ƠN Tôi xin chân thành cảm ơn PGS.TS Ngô Quốc Tạo, Viện Công nghệ Thông tin thuộc Viện Khoa học và Công nghệ Việt Nam là cán bộ trực tiếp hướng dẫn khoa học cho tôi trong quá trình thực hiện luận văn này. Tôi xin chân thành cảm ơn các Thầy, Cô giáo, cán bộ trong trường Đại học Công nghệ Thông tin và Truyền thông cùng các anh chị đồng nghiệp trong cơ quan đã tạo những điều kiện thuận lợi cho tôi học tập và nghiên cứu tại trường Đại học Công nghệ Thông tin và Truyền thông. Xin chân thành cảm ơn các anh, các chị và các bạn học viên lớp Cao học CK11A trường Đại học Công nghệ Thông tin và Truyền thông đã luôn động viên, giúp đỡ và nhiệt tình chia sẻ với tôi những kinh nghiệm học tập, công tác trong suốt khoá học. Cuối cùng, tôi muốn gửi lời cảm ơn tới gia đình, bạn bè, những người thân luôn bên cạnh và động viên tôi trong suốt quá trình thực hiện luận văn tốt nghiệp. Mặc dù rất cố gắng, song luận văn này không thể tránh khỏi những thiếu sót, kính mong được sự chỉ dẫn của các quý thầy cô và các bạn. Thái Nguyên, tháng 5 năm 2014 Tác giả Vũ Vân Du III Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn/ LỜI CAM ĐOAN Tôi xin cam đoan rằng số liệu và kết quả nghiên cứu trong luận văn này là trung thực và không trùng lặp với các đề tài khác. Tôi cũng xin cam đoan là cho việc thực hiện luận văn này đã được cảm ơn và các thông tin trích dẫn trong luận văn đã được chỉ rõ nguồn gốc. Thái Nguyên, tháng 5 năm 2014 Tác giả Vũ Vân Du IV Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn/ MỤC LỤC LỜI CẢM ƠN I LỜI CAM ĐOAN III MỤC LỤC IV DANH MỤC CÁC HÌNH VẼ VI DANH MỤC CÁC BẢNG BIỂU VII DANH MỤC CÁC THUẬT NGỮ VIII PHẦN MỞ ĐẨU 1 CHƢƠNG 1: TỔNG QUAN VỀ XỬ LÝ ẢNH 3 1.1. Tổng quan về thị giác máy tính 3 1.1.1. Thị giác con người và thị giác máy tính 3 1.1.2. Mối liên quan giữa thị giác máy tính và xử lý ảnh 4 1.1.3. Tầm quan trọng của thị giác máy tính 4 1.1.4. Ứng dụng của thị giác máy tính 5 1.2. Tổng quan về xử lý ảnh 8 1.2.1. Xử lý ảnh là gì? 8 1.2.2. Các vấn đề cơ bản trong xử lý ảnh 9 1.2.3. Một số khái niệm trong xử lý ảnh 12 1.2.4. Phương pháp biểu diễn ảnh 13 1.2.5. Biên và đường biên 14 1.2.6. Phân vùng ảnh 15 CHƢƠNG 2: MỘT SỐ KỸ THUẬT TRÍCH CHỌN ĐẶC TRƢNG HÌNH DẠNG 16 2.1. Các kỹ thuật phát hiện biên ảnh 18 2.2. Kỹ thuật phát hiện biên trực tiếp 19 2.2.1. Kỹ thuật phát hiện biên Gradient 19 2.2.2. Kỹ thuật phát hiện biên Laplace 23 2.2.3. Thuật toán làm mảnh biên 24 2.2.4. Một số phương pháp phát hiện biên trực tiếp khác 26 2.3. Phương pháp phát hiện biên gián tiếp 29 V Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn/ 2.3.1. Kỹ thuật dò biên gián tiếp đơn giản 29 2.3.2. Kỹ thuật dò biên gián tiếp bằng cách xác định chu tuyến 30 2.4. Xử lý ảnh trong miền tần số và biến đổi Fourier 31 2.4.1. Biến đổi Fourier rời rạc (DFT) 34 2.4.2. Biến đổi Fourier nhanh (FFT) 34 2.5. Mô tả Fourier 35 2.6. Các bất biến moment 37 2.7. Các hàm xoay/góc xoay 37 2.8. Độ tròn, độ lệch tâm và hướng trục chính 38 CHƢƠNG 3: ỨNG DỤNG TRÊN BÀI TOÁN TRA CỨU BIỂN BÁO GIAO THÔNG 40 3.1. Bài toán tra cứu biển báo giao thông 40 3.2. Phân tích bài toán 41 3.3. Xây dựng chương trình đối sánh biển báo giao thông 45 3.3.1. Sơ đồ khối 45 3.3.2. Đọc ảnh 46 3.3.3. Dò biên đối tượng ảnh 46 3.3.4. Resample 46 3.3.5. Biến đổi Fourier nhanh 47 3.3.6. Tạo véc tơ đặc trưng hình dạng cho ảnh 47 3.3.7. So sánh ảnh bằng cách tính khoảng cách Euclide 48 3.5. Đánh giá chương trình 50 3.5.1. Kết quả đạt được 50 3.5.2. Hạn chế 50 3.5.3. Khả năng mở rộng 50 KẾT LUẬN 51 TÀI LIỆU THAM KHẢO 53 PHỤ LỤC 54 VI Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn/ DANH MỤC CÁC HÌNH VẼ Hình 1.1: Mô phỏng hệ thống thị giác của con người 3 Hình 1.2: Mô phỏng hệ thống thị giác máy tính 3 Hình 1.3: Giao diện chương trình BKDoctor 6 Hình 1.4: Vị trí lắp đặt và màn hình hiển thị của hệ thống giám sát giao thông 7 Hình 1.5: Quá trình xử lý ảnh 8 Hình 1.6: Các bước cơ bản trong xử lý ảnh 8 Hình 1.7: Biểu diễn PPI và DPI 12 Hình 1.8: Ví dụ về các loại ảnh 13 Hình 1.9: Hướng các điểm biên và mã tương ứng 14 Hình 2.1: Biểu diễn hình dạng theo đường biên và theo vùng 16 Hình 2.2: Biểu diễn đường biên ảnh 17 Hình 2.3: Minh họa biên ảnh 18 Hình 2.4: Minh họa biên ảnh với độ sáng biến thiên không đột ngột 18 Hình 2.5: Ảnh minh họa làm mảnh biên 25 Hình 2.6: Hình biên ảnh sau khi dùng phương pháp Gradient 25 Hình 2.7: Hình sau khi làm mảnh biên 25 Hình 2.8: Minh họa nguyên lý Bellman. 27 Hình 2.9: Hình mô tả tìm biên theo phương pháp quy hoạch động 29 Hình 2.10: Miền thời gian và miền tần số 32 Hình 2.11: biểu diễn số phức thông qua cường độ và góc pha 33 Hình 2.12: Ảnh thực (a) và ảnh thu được sau biến đổi Fourier (b) 33 Hình 3.1: Một số biển báo có hình dạng cá biệt 44 Hình 3.2: Sơ đồ khối phần tra cứu ảnh theo hình dạng 45 Hình 3.3: Một số kết quả chạy thử chương trình 49 VII Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn/ DANH MỤC CÁC BẢNG BIỂU Bảng 1.1: Một số phần mềm tự động chấm bài thi trắc nghiệm 6 Bảng 2.1: So sánh đặc trưng và phương pháp khử nhiễu của hai loại nhiễu 10 Bảng 3.1: Một số loại biển báo giao thông ở Việt Nam 42 Bảng 3.2: Hình dạng đặc trưng của một số loại biển báo 43 VIII Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn/ DANH MỤC CÁC THUẬT NGỮ Ảnh màu : Color Image Ảnh số : Digial Image Ảnh tương tự : Analog Image Ảnh xám : Gray Image Ảnh nhị phân : Binary Image Ảnh cắt lớp vi tính : Computed Tomography (CT) Biển báo giao thông : Traffic sign (Road sign) Biến đổi Fourier nhanh : Fast Fourier Transform (FFT) Biến đổi Fourier rời rạc : Discrete Fourier Transform (DFT) Bộ số hoá : Digitalizer Bức ảnh : Picture, Image Cảm biến : Sensor Đầu ra : Output Đầu vào : Input Điểm ảnh : Pixel Độ phân giải : Resolution Đường biên (đường bao) : Boundary Hệ thống lai : Hybrid System Khung hình : Frame Làm mảnh biên : Non Maximal Suppression Lọc vùng : Zonal Filtering Mã loạt dài : Run-length Code Mặt nạ đặc điểm : Feature mask Máy ảnh : Camera Máy ảnh điện tử : Electronic Camera Máy quét : Scanner Nhận dạng : Recognition Nhận dạng tự động : Automatic recognition Phần cứng : Hardware Phần mềm : Software Số điểm ảnh trên 1 inh : Pixels per inch (PPI) Số điểm trên 1 inh : Dots per inch (DPI) Thị giác con người : Human Vision Thị giác máy tính : Computer Vision Tín hiệu : Signal Toán tử chéo không : Zero crossing Xử lý ảnh : Image processing 1 Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn/ PHẦN MỞ ĐẨU Công nghệ Thông tin ngày càng phát triển và có vai trò hết sức quan trọng không thể thiếu trong cuộc sống hiện đại. Con người ngày càng tạo ra những cỗ máy thông minh có khả năng tự nhận biết và xử lý được các công việc một cách tự động, phục vụ cho lợi ích của con người. Trong những năm gần đây, một trong những bài toán nhận được nhiều sự quan tâm của lĩnh vực công nghệ thông tin, đó chính là thị giác máy tính. Nó đã được các nhà nghiên cứu quan tâm vì tính ứng dụng cao của bài toán cũng như sự phức tạp của nó. Bài toán nhận dạng là một phần quan trọng của thị giác máy tính. Nó được sử dụng trong rất nhiều lĩnh vực như: nhận dạng con người, đồ vật, chữ viết, cử chỉ… trong các lĩnh vực đó thì đều có những nhu cầu từ thực tiễn và tính ứng dụng lớn. Trong nhận dạng ảnh, thường dùng các phương pháp trích chọn đặc trưng để đối sánh. Một số phương pháp thường dùng như: trích chọn đặc trưng theo màu sắc, theo kết cấu và theo hình dạng của ảnh. Hiện tại, thị giác máy tính ứng dụng trong khá nhiều lĩnh vực như: y khoa, quân sự, các lĩnh vực quản lý v.v… Trong lĩnh vực thông tin giao thông với 200 loại biển báo thì việc nghi nhớ nội dung biển báo là một trở ngại lớn đối với người tham gia giao thông. Vì vậy việc xây dựng một chương trình có thể nhận dạng và đưa ra các thông tin cũng như cảnh báo đến người dùng là cần thiết. Trong khuân khổ luận văn thạc sỹ tôi chọn để tài: “Nghiên cứu phƣơng pháp trích chọn đặc trƣng ảnh dựa trên đối sánh hình dạng và ứng dụng” nhằm tìm hiểu kỹ về các kỹ thuật trích chọn đặc trưng hình dạng của ảnh, hiểu rõ hơn bản chất của bài toán tìm kiếm ảnh theo hình dạng từ đó áp dụng vào bài toán tra cứu biển báo giao thông. 2 Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn/ Luận văn gồm 3 chương với các nội dung sau: Chương 1: Trình bày tổng quan về thị giác máy tính, xử lý ảnh, tầm quan trọng và tình ứng dụng của thị giác máy tính trong cuộc sống. Chương 2: Tìm hiểu về các phương pháp trích chọn đặc trưng hình dạng phục vụ cho quá trình đối sánh theo hình dạng ảnh. Chương 3: Thử nghiệm cài đặt chương trình tra cứu ảnh trên cơ sở việc nghiên cứu các kỹ thuật trích chọn đặc trưng theo hình dạng. [...]... tượng ảnh được sử dụng trong rất nhiều hệ thống tra cứu ảnh So với các đặc điểm về màu sắc và các đặc điểm về kết cấu thì các đặc điểm về hình dạng thường chỉ được sử dụng sau khi ảnh đã phân thành các vùng hoặc các đối tượng ảnh Các phương pháp trích chọn đặc điểm hình dạng thường được chia thành hai loại là trích chọn dựa theo đường biên và trích chọn dựa theo vùng ảnh Một phương pháp trích chọn đặc. .. điểm hình dạng tốt phải đảm bảo yêu cầu là phải không phụ thuộc vào vị trí, góc quay hay sự co giãn của đối tượng ảnh Trước khi áp dụng các phương pháp trích chọn đặc điểm hình dạng, các đối tượng ảnh cần phải được tách ra khỏi ảnh Giả sử là trong mỗi ảnh chỉ có một đối tượng ảnh duy nhất, nhiệm vụ của hệ thống trước hết là phải tách được đối tượng ảnh ra khỏi nền ảnh Cách biểu diễn hình dạng của đối. .. chỉnh hình học: Những biến dạng hình học thường do các thiết bị điện tử và quang học gây ra Do đó phương pháp hiệu chỉnh hình ảnh dựa trên mô hình được mô tả dưới dạng phương trình biến đổi ảnh biến dạng f(x,y) thành ảnh lý tưởng f(x’,y’) như sau: (1.1) Trong đó, là các phương trình tuyến tính (biến dạng do phối cảnh) hay phương trình bậc hai (biến dạng do ống kính camera) 1.2.2.3 Trích chọn đặc điểm... ảnh là rất lớn, trong khi đó đa số ứng dụng chỉ cần một số thông tin đặc trưng Bước trích chọn đặc điểm sẽ trích xuất lượng thộng tin hữu ích từ khối thông tin khổng lồ đó Việc trích chọn hiệu quả đặc điểm giúp cho việc nhận dạng các đối tượng ảnh chính xác, tốc độ tính toán cao và dung lượng nhớ lưu trữ giảm xuống Các đặc điểm của đối tượng được trích chọn tùy theo mục đích nhận dạng theo một số đặc. .. mẫu dựa trên các đặc trưng được trích chọn Phân loại thống kê Đối sánh cấu trúc Phân loại dựa trên mạng nơ-ron nhân tạo Trong các ứng dụng không thể chỉ dùng có một cách tiếp cận đơn lẻ để phân loại tối ưu nên cần sử dụng cùng một lúc nhiều phương pháp và cách tiếp cận khác nhau Do vậy, các phương thức phân loại tổ hợp hay được sử dụng khi nhận dạng và nay đã có những kết quả có triển vọng dựa trên. .. vùng dựa theo miền liên thông gọi là phân vùng dựa theo miền đồng nhất hay miền kề, phân vùng dựa vào biên gọi là phân vùng biên Ngoài ra còn có các kỹ thuật phân vùng khác dựa vào biên độ, phân vùng dựa theo kết cấu Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn/ 16 CHƢƠNG 2: MỘT SỐ KỸ THUẬT TRÍCH CHỌN ĐẶC TRƢNG HÌNH DẠNG Các đặc điểm hình dạng của các vùng ảnh và các đối. .. phim; đầu ra của xử lý hình ảnh có thể là một hình ảnh, một tập hợp các đặc điểm hoặc các thông số liên quan đến hình ảnh   Ảnh  Xử lý ảnh Ảnh tốt hơn   Kết luận Hình 1.5: Quá trình xử lý ảnh Có thể hiểu một cách khác, xử lý ảnh bao gồm tất cả các lý thuyết và kỹ thuật liên quan, cho phép tạo lập một hệ thống có khả năng tiếp nhận thông tin từ các hình ảnh thu được, lưu trữ và xử lý theo nhu cầu... của ảnh sau đây: o Đặc điểm không gian: Phân bố mức xám, xác suất, biên độ, điểm uốn, v.v o Đặc điểm biến đổi: Các đặc điểm loại này được trích chọn bằng việc thực hiện lọc vùng Các bộ vùng được gọi là mặt nạ đặc điểm thường là các khe hẹp với hình dạng khác nhau (chữ nhật, tam giác, cung tròn…) o Đặc điểm biên và đƣờng biên: Đặc trưng cho đường biên của đối tượng và do rất hữu ích trong việc trích chọn. .. thuộc lân cận đang xét x, y) Bước 4: Duyệt toàn bộ ảnh, xóa bỏ các điểm có e(x,y) 0 và bị đánh dấu Ví dụ minh họa: Hình 2.5: Ảnh minh họa làm mảnh biên Ảnh sau khi dùng phương pháp Gradient phát hiện biên: Hình 2.6: Hình biên ảnh sau khi dùng phương pháp Gradient Sau khi dùng thuật toán làm mảnh biên được kết quả như sau: Hình 2.7: Hình sau khi làm mảnh biên Số hóa bởi Trung tâm Học liệu – Đại học Thái... nhiều mô hình kết hợp Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn/ 12 1.2.3 Một số khái niệm trong xử lý ảnh 1.2.3.1 Ảnh tƣơng tự, điểm ảnh và ảnh số Ảnh tương tự là một bức ảnh được lưu trữ trên phim, giấy, gỗ… Ảnh tương tự là ảnh liên tục về không gian và độ sáng Để xử lý bằng máy tính, ảnh tương tự cần phải được số hoá Số hoá ảnh là sự biến đổi gần đúng một ảnh tương . thạc sỹ tôi chọn để tài: Nghiên cứu phƣơng pháp trích chọn đặc trƣng ảnh dựa trên đối sánh hình dạng và ứng dụng nhằm tìm hiểu kỹ về các kỹ thuật trích chọn đặc trưng hình dạng của ảnh, hiểu. TRƢỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG VŨ VÂN DU NGHIÊN CỨU PHƢƠNG PHÁP TRÍCH CHỌN ĐẶC TRƢNG ẢNH DỰA TRÊN ĐỐI SÁNH HÌNH DẠNG VÀ ỨNG DỤNG Chuyên ngành: Khoa học. lý ảnh, tầm quan trọng và tình ứng dụng của thị giác máy tính trong cuộc sống. Chương 2: Tìm hiểu về các phương pháp trích chọn đặc trưng hình dạng phục vụ cho quá trình đối sánh theo hình