luận văn thạc sỹ công nghệ thông tin nghiên cứu phương pháp truy vấn ảnh theo đặc trưng hình dạng

MỤC LỤC DANH MỤC TỪ VIẾT TẮT DANH MỤC HÌNH PHẦN MỞ ĐẦU Chương 1: KHÁI QUÁT VỀ TRUY VẤN ẢNH VÀ TRUY VẤN DỰA VÀO HÌNH DẠNG 1.1. Khái quát về truy vấn ảnh Trang 04 1.1.1. Giới thiệu chung Trang 04 1.1.2. Một số phương pháp truy vấn ảnh Trang 07 1.1.2.1. Truy vấn ảnh theo bản thể Trang 07 1.1.2.2. Truy vấn ảnh theo nội dung Trang 09 1.1.2.3. Truy vấn ảnh theo đồ thị Trang 10 1.2. Mô hình hệ thống truy vấn ảnh theo nội dung Trang 10 1.2.1. Không gian màu Trang 11 1.2.2. Các moment màu Trang 12 1.2.3 Lược đồ màu (histogram màu) Trang 13 1.2.4. Véctơ gắn kết màu Trang 15 1.2.5. Sơ đồ tương quan màu Trang 15 1.2.6. Các đặc điểm bất biến màu Trang 16 1.2.7. Một số phương pháp truy vấn ảnh Trang 17 1.2.7.1. Truy vấn ảnh theo hình dạng Trang 17 1.2.7.2. Truy vấn ảnh theo nội dung Trang 18 1.2.7.3. Truy vấn ảnh theo đối tượng Trang 19 1.2.7.4. Truy vấn ảnh kết hợp với máy học Trang 19 Chương 2: MỘT SỐ VẤN ĐỀ TRONG TRUY VẤN ẢNH DỰA VÀO HÌNH DẠNG 2.1. Trích chọn đặc trưng hình dạng Trang 22 2.1.1. Biên và các phương pháp phát hiện biên Trang 23 2.1.1.1. Phương pháp phát hiện biên trực tiếp Trang 23 2.1.1.2. Phương pháp phát hiện biên gián tiếp Trang 28 2.1.2. Xử lý ảnh trong miền tần số và biến đổi Fourier Trang 31 2.1.3. Mô tả Fourier Trang 35 2.1.4. Các bất biến moment Trang 37 2.1.5. Các hàm xoay/góc xoay Trang 38 2.1.6. Độ tròn, độ lệch tâm và hướng trục chính Trang 39 2.2. Đánh giá độ tương tự và xây dựng sơ đồ đánh chỉ số Trang 39 2.2.1. Đánh giá độ tương tự Trang 39 2.2.2. Xây dựng sơ đồ đánh chỉ số Trang 42 2.3. Tương tác với người sử dụng Trang 46 2.3.1. Đặc tả truy vấn Trang 47 2.3.2. Xử lý phản hồi Trang 48 Chương 3: TRUY VẤN BIỂN BÁO GIAO THÔNG DỰA VÀO HÌNH DẠNG 3.1. Bài toán Trang 50 3.2. Phân tích bài toán Trang 51 3.3. Xây dựng chương trình query traffic signs Trang 56 3.3.1. Sơ đồ khối tổng quát và truy vấn theo hình dạng Trang 56 3.3.1.1. Đọc ảnh Trang 57 3.3.1.2. Dò biên đối tượng ảnh Trang 57 3.3.1.3. Resample Trang 57 3.3.1.4. Biến đổi Fourier nhanh Trang 58 3.3.1.5. Tạo Vector đặc trưng hình dạng cho ảnh Trang 59 3.3.1.6. So sánh bằng tính khoảng cách Euclide Trang 60 3.3.2. Sử dụng chương trình Query Trafic Signs Trang 60 3.3.2.1. Cài đặt chương trình Trang 60 3.3.2.2. Chạy chương trình Trang 61 3.3.2.3. Các kịch bản thử nghiệm Trang 61 3.3.3. Nhận xét kết quả thử nghiệm Trang 67 3.4. Khả năng mở rộng của chương trình Trang 68 3.4.1. Những hạn chế của chương trình Trang 68 3.4.2. Khả năng mở rộng Trang 69 KẾT LUẬN Trang 70 TÀI LIỆU THAM KHẢO DANH MỤC TỪ VIẾT TẮT Chữ tắt Dạng đầy đủ Nghĩa tiếng Việt CCD Charge Coupled Device Thiết bị tích điện kép CCV Color Cohefeence Vector Vector gắn kết màu CSDL … Cơ sở dữ liệu FFT Fast Fourier transform Biến đổi Fourier nhanh KL Kullback-Leibler Độ phân kỳ Kullback-Leibler KLo Karhumen-Loeve Phép biến đổi Karhumen-Loeve PCA Principal Component Analysis Phân tích thành phần cơ bản QBIC Query By Image Content Truy vấn theo nội dung ảnh WWW World Wide Web … DANH MỤC HÌNH Hình 2.1 - Biểu diễn hình dạng theo đường biên và theo vùng………….Trang 23 Hình 2.2 - Minh họa xác định điểm biên……………………………. … Trang 28 Hình 2.3 - Miền thời gian và miền tần số……………………………… Trang 32 Hình 2.4 - Ảnh thực (a) và ảnh thu được sau biến đổi Fourier (b)……….Trang 33 Hình 2.5 - Phân tích thành phần cơ bản của một đám mây dữ liệu …… Trang 46 Hình 3.1 - Biển báo cấm…………………………………………………Trang 52 Hình 3.2 - Biển báo nguy hiểm………………………………………… Trang 54 Hình 3.3 - Biển báo hiệu lệnh……………………………………………Trang 55 Hình 3.4 - Sơ đồ khối phần tra cứu ảnh theo hình dạng…………………Trang 56 Hình 3.5 - Kết quả 01 sau khi chạy thử ứng dụng theo kịch bản 01…… Trang 62 Hình 3.6 - Kết quả 02 sau khi chạy thử ứng dụng theo kịch bản 01…… Trang 62 Hình 3.7 - Kết quả 03 sau khi chạy thử ứng dụng theo kịch bản 01…… Trang 63 Hình 3.8 - Kết quả 01 sau khi chạy thử ứng dụng theo kịch bản 02…… Trang 64 Hình 3.9 - Kết quả 02 sau khi chạy thử ứng dụng theo kịch bản 02…… Trang 64 Hình 3.10 - Kết quả 03sau khi chạy thử ứng dụng theo kịch bản 02…… Trang 65 Hình 3.11 - Kết quả 01 sau khi chạy thử ứng dụng theo kịch bản 03…… Trang 66 Hình 3.12 - Kết quả 02 sau khi chạy thử ứng dụng theo kịch bản 03…… Trang 66 Hình 3.13 - Kết quả 03 sau khi chạy thử ứng dụng theo kịch bản 03…… Trang 67 1 PHẦN MỞ ĐẦU Ngày nay, hình ảnh (sau đây gọi là ảnh) đóng một vai trò quan trọng, ảnh đã cùng len lõi vào tất cả các lĩnh vực của con người trong cuộc sống hiện tại, từ các lĩnh vực trong khoa học kỹ thuật như Y học, Xây dựng, Thiên văn… đến các lĩnh vực Văn hóa xã hội như: Giáo dục đào tạo, Mỹ thuật, Văn hóa nghệ thuật, Hội họa…v.v. Từ các ảnh thu thập được từ thực tế bằng các phương pháp kỹ thuật như chụp, ghi hình đến các ảnh được tạo ra bằng phương pháp thủ công như vẽ. Từ các ảnh thể hiện kích thước lớn đến các ảnh thể hiện các vật có kích thước nhỏ hay siêu nhỏ. Trong mỗi lĩnh vực, ảnh đều mang lại các giá trị thiết thực, giúp làm phong phú quá trình phục vụ một nhu cầu nhất định của con người. Từ năm 1965, Sketchpad Ivan Sutherland đã ứng dụng khoa học máy tính vào việc tạo và lưu trữ hình ảnh trên máy tính với tính khả thi cao nhưng giá thành lại khá đắt do giá thành phần cứng và khả năng xử lý lưu trữ phụ thuộc vào phần cứng. Đến những năm 1990, với việc công nghệ Internet được phát minh và WWW ra đời cho phép khả năng lưu trữ hình ảnh rộng rãi và tra cứu thông tin trên môi trường mạng trong đó có hình ảnh. Từ đây, kho dữ liệu ảnh bắt đầu tăng nhanh với dung lượng lớn lên tới khoảng 30 triệu Tetrabyte và lĩnh vực nghiên cứu liên quan đến ảnh như thu thập, xử lý, tìm kiếm, truy vấn hình ảnh ngày càng được quan tâm. Một ứng dụng nhỏ quá trình ứng dụng này là quá trình tìm kiếm, so sánh và nhận biết (còn lại là truy vấn) các ảnh cần tìm thông qua màu sắc, hình dạng, từ ngữ đặc trưng hay nội dung liên quan đến ảnh. Quá trình nghiên cứu các thuật toán và áp dụng các thuật toán này để tạo ra các phương pháp để hiện thực hóa quá trình tìm kiếm (truy vấn) sao cho nội dung chính xác và phù hợp gần đúng nhất với các nội dung cần tìm, đã có nhiều nghiên cứu và ứng dụng để thực hiện. Ở nước ngoài có các nhà cung cấp dịch vụ của Yahoo, Google được công bố rộng rãi cho tất cả người dùng, hay Visualseek, BlobWorld… được nghiên cứu để ứng dụng trong một lĩnh vực riêng biệt. Ở trong 2 nước có các nghiên cứu ở mức luận văn tốt nghiệp cao học như của Trần Sơn Hải - Nghiên cứu phương pháp kết hợp các đặc trưng màu sắc hình dạng và vị trí để truy vấn ảnh[2], Nguyễn Thị Hoàn – Phương pháp trích chọn đặc trưng ảnh trong thuật toán học máy tính tìm kiếm ảnh áp dụng vào bài toán tìm kiếm sản phẩm[3]…nhưng tất cả đều dựa trên một hay nhiều đặc trưng cụ thể của ảnh và mỗi phương pháp đều thể hiện được những ưu điểm nổi bật riêng. Trong giới hạn của luận văn này, với mục đích nghiên cứu áp dụng các thuật toán để tạo ra một phương pháp truy vấn ảnh theo đặc trưng hình dạng nhằm phục vụ giải quyết bài toán trước mắt là truy vấn các biển báo trong giao thông đường bộ. Chính vì vậy, mà toàn văn được lựa chọn tiêu đề “Nghiên cứu phƣơng pháp truy vấn ảnh theo đặc trƣng hình dạng” và CSDL ảnh sử dụng phục vụ nghiên cứu chỉ xem xét đến phạm vi ảnh tĩnh các biển báo giao thông đường bộ. Nội dung chính của luận văn này gồm 03 chương nội dung với cấu trúc như sau: Chƣơng 1: Khái quát về truy vấn ảnh và truy vấn dựa vào hình dạng Trình bày khái quát về các phương pháp truy vấn ảnh hiện có hay đã được nghiên cứu như: truy vấn theo nội dung, truy vấn theo bản thể, truy vấn theo đồ thị. Đồng thời giới thiệu mô hình hệ thống truy vấn ảnh theo nội dung trong đó có một số phương pháp như: truy vấn ảnh theo hình dạng, truy vấn ảnh theo nội dung, truy vấn ảnh theo đối tượng, truy vấn ảnh kết hợp với máy học. Chƣơng 2: Một số vấn đề trong truy vấn ảnh dựa vào hình dạng. Trình bày về việc trích chọn đặc trưng hình dạng trong ảnh, đánh giá độ tương tự và xây dựng sơ đồ đánh chỉ số đồng thời nêu giải pháp tương tác với người dùng. Chƣơng 3: Truy vấn biển báo giao thông dựa vào hình dạng. Nêu lên bài toán truy vấn các ảnh biển báo giao thông dựa vào hình dạng từ đó phân tích hướng giải quyết và xây dựng chương trình để giải quyết bài toán, những hạn chế và khả năng mở rộng trong tương lai. 3 Phần kết luận: Tóm lược các kết quả đạt được và định hướng một số nội dung tiếp tục nghiên cứu trong thời gian tới Tài liệu tham khảo: Các tài liệu tham khảo và nghiên cứu trong quá trình thực hiện luận văn. 4 CHƢƠNG 1: KHÁI QUÁT VỀ TRUY VẤN ẢNH VÀ TRUY VẤN ẢNH DỰA VÀO HÌNH DẠNG 1.1. Khái quát về truy vấn ảnh: 1.1.1. Giới thiệu chung: Ảnh là một đối tượng có ý nghĩa trong nhiều lĩnh vực phục vụ nhu cầu cần có của con người. Ảnh thường được hiểu cơ bản là những gì chúng ta thấy và được ghi nhận lại bằng mắt, bằng máy ảnh, máy ghi hình, thu nhận được qua máy quét hay do con người vẽ ra… và được lưu trữ lại để phục vụ một nhu cầu nào đó của con người. Vì vậy, ở mỗi môi trường khác nhau, ảnh sẽ phục vụ lợi ích khác nhau và có hình thức thể hiện khác nhau. Với sự phát triển của khoa học kỹ thuật, ngoài việc lưu giữ ảnh bằng hình thức thông thường trong kho lưu giữ, thì con người còn lưu trữ các hình ảnh này trên các kho dữ liệu được số hóa trên máy tính. Quá trình lưu trữ này có những ưu điểm như ít chiếm diện tích kho lưu trữ, chứa đựng được nhiều, ảnh ít bị thay đổi theo thời gian… Các ảnh được lưu trữ trên máy tính dưới dạng số hóa, thường được biểu diễn dưới dạng Ractor hoặc Vector. Tiêu chuẩn đặt ra là ảnh phải lưu trữ thế nào sao cho các ứng dụng khác nhau có thể thao tác trên các loại dữ liệu này. Hiện nay có trên 30 kiểu lưu trữ ảnh khác nhau, trong đó ta thường gặp các dạng ảnh sau: TIFF, GIF, BMP, PCX, JPEG,…mỗi kiểu lưu ảnh có ưu điểm riêng. Các khái niệm cơ bản liên quan đến ảnh được số hóa như sau: - Phần tử ảnh (pixel): Ảnh trong thực tế là một ảnh liên tục về không gian và về giá trị độ sáng. Để có thể xử lý ảnh bằng máy tính cần thiết phải tiến hành số hoá ảnh. Trong quá trình số hoá, người ta biến đổi tín hiệu liên tục sang tín hiệu rời rạc thông qua quá trình lấy mẫu (rời rạc hoá về không gian) và lượng hoá thành phần giá trị mà về nguyên tắc, mắt thường không phân biệt được hai điểm kề nhau. Trong quá trình này, người ta sử dụng khái niệm Picture Element mà ta quen gọi hay viết là pixel – phần tử ảnh. Như vậy một ảnh là một tập hợp các pixel. Mỗi pixel gồm một cặp toạ độ x, y và màu, cặp toạ độ x, y tạo nên độ phân giải. Vậy khi được số hoá thì ảnh được biểu diễn 2 chiều, tập ảnh với các điểm ảnh I(x, y) 5 (0<x≤ W; 0<y≤ H; trong đó W, Y lần lượt là chiều rộng và chiều cao của ảnh). Một pixel thường được lưu trữ trên 1, 4, 8 hay 24 bit trên máy tính. - Mức xám và màu: là số các giá trị có thể có của các pixel của ảnh. Mức xám là kết quả của sự mã hoá tương ứng với cường độ sáng của mỗi điểm ảnh với một giá trị số. Cách mã hoá kinh điển thường dùng là 16, 32 hay 64 mức. Hiện nay, mã hoá 256 mức là thông dụng vì mỗi pixel được mã hoá 8 bit (2 8 = 256). - Ảnh đen trắng: là ảnh có hai màu đen và trắng (không chứa màu khác) với các mức xám ở các điểm ảnh có thể khác nhau. - Ảnh nhị phân: tuỳ theo vùng các giá trị mức xám của điểm ảnh, mà các ảnh được phân chia ra thành ảnh màu, ảnh xám, hay ảnh nhị phân. Khi trên một ảnh chỉ có giá trị 0 hoặc 1 thì ta nói đó là một ảnh nhị phân hoặc ảnh đen trắng và các điểm ảnh của nó gọi là điểm ảnh nhị phân. - Ảnh màu: chỉ đề cập đến không gian màu RGB (Red, Green, Blue), người ta dùng 3 byte để mô tả mức màu, khi đó gia trị màu trong khoảng {0, 2 3x 8 }. Một số ứng dụng trong thực tế đòi hỏi chúng ta cần thực hiện quá trình tìm kiếm các ảnh (truy vấn ảnh) từ trong kho dữ liệu được lưu trữ sẳn (CSDL). Kho lưu trữ này thường là một kho cục bộ được lưu trữ trên các thiết bị ghi nhớ hoặc là một kho lưu trữ được liên kết thông qua môi trường Internet từ nhiều kho khác nhau. Quá trình tìm kiếm này thường trích chọn một số tiêu chí riêng biệt hay kết hợp nhiều tiêu chí như tên lưu trữ, nội dung mô tả, màu sắc, độ sáng của ảnh, sau đó quá trình truy vấn sẽ so sánh các tiêu chí này của ảnh gốc so với các tiêu chí của các ảnh trong kho lưu trữ và cho ra kết quả cần tìm. Bài toán truy vấn ảnh bao gồm quá trình trích chọn các đặc trưng và quá trình truy vấn dựa trên các đặc trưng được trích chọn. Quá trình truy vấn ảnh là quá trình liên quan đến các mô tả đối tượng mà người ta muốn đặc tả nó. Có hai kiểu mô tả đối tượng - Mô tả tham số (truy vấn theo tham số) [...]... Ảnh được nghiên cứu và phát triển bao gồm ảnh tĩnh và ảnh động Ở phạm vi của luận văn, chỉ đề cập đến phạm vi ảnh tĩnh 1.1.2 Một số phương pháp truy vấn ảnh: Mục tiêu của các phương pháp truy vấn ảnh là tìm ra ảnh đúng với nhu cầu cần tìm thông qua các đặc trưng của ảnh Hiện nay, có nhiều phương pháp truy vấn ảnh đã được nghiên cứu và áp dụng Trong số đó, có một số dạng truy vấn như: 1.1.2.1 Truy vấn. .. trích chọn các đặc điểm màu sắc đã trình bày ở trên 17 1.2.7 Một số phương pháp truy vấn ảnh: 1.2.7.1 Truy vấn ảnh theo hình dạng : Phương pháp này hiện đã được nghiên cứu rộng, trong đó dùng phương pháp phân đoạn ảnh để xác định biên của đối tượng từ đó xác định hình dạng của đối tượng cần tìm Có nhiều hướng tiếp cận để thực hiện phân đoạn ảnh như [2]: - Phương pháp dựa trên không gian đặc trưng: Nếu... [2] 22 CHƢƠNG 2: MỘT SỐ VẤN ĐỀ TRONG TRUY VẤN ẢNH DỰA VÀO HÌNH DẠNG 2.1 Trích chọn đặc trƣng hình dạng: Các đặc điểm hình dạng của các vùng ảnh và các đối tượng ảnh được sử dụng trong rất nhiều hệ thống tra cứu ảnh So với các đặc điểm về màu sắc và các đặc điểm về kết cấu thì các đặc điểm về hình dạng thường chỉ được sử dụng sau khi ảnh đã phân thành các vùng hoặc các đối tượng ảnh Nhưng do việc phân... không thẳng đứng, còn các đặc trưng hình dạng tính theo vùng với trọng tâm và hướng Ảnh truy vấn theo sự phác thảo của các vùng riêng biệt Hàm so sánh sự tương đồng như sau: d(h1,h2)=(h1-h2)T * A(h1-h2) (1.7) Với A(a[i,j]) là ma trận đối xứng thể hiện sự tương đồng giữa màu i và j 1.2.7.3 Truy vấn ảnh theo đối tƣợng: Hướng nghiên cứu theo phương pháp này đang được nghiên cứu thực hiện vì có rất nhiều... trung tâm nghiên cứu Almaden cùng hợp tác phát triển; Hệ thống cho phép người sử dụng dùng công cụ đồ hoạ để mô tả và hiệu chỉnh truy vấn dựa trên các đặc trưng như màu sắc, kết cấu, hình dạng của đối tượng 10 1.1.2.3 Truy vấn ảnh theo đồ thị : Như đã giới thiệu ở phần 1.1.2.2, kỹ thuật tra cứu ảnh theo nội dung dựa vào những đặc điểm mức thấp như màu sắc, kết cấu và hình dạng của đối tượng ảnh Trong... tượng ảnh khó thu được kết quả tốt nên việc sử dụng các đặc điểm hình dạng để tra cứu ảnh thường bị bó hẹp trong một số ứng dụng mà ở đó các vùng ảnh hoặc đối tượng ảnh đã được tách biệt rõ ràng Các phương pháp trích chọn đặc điểm hình dạng thường được chia thành hai loại là trích chọn theo đường biên (xấp xỉ đa giác, mô hình phần tử hữu hạn, mô tả hình dạng theo Fourier) và trích chọn theo vùng ảnh. .. xác định chẳng hạn phương pháp của Park áp dụng trên không gian màu RGB, còn phương pháp của Weeks và Hague thì áp dụng trên không gian màu HIS Dựa trên không gian đặc trưng, ta có các phương pháp phân đoạn: phương pháp phân nhóm đối tượng không giám sát, phương pháp phân lớp trung bình-k thích nghi, phương pháp lấy ngưỡng histogram - Phương pháp dựa trên không gian ảnh: Phương pháp này hoạt động...6 - Mô tả theo cấu trúc (truy vấn theo cấu trúc) Việc nhận biết và đánh giá các nội dung của ảnh là sự phân tích một hình ảnh thành những phần có nghĩa để phân biệt đối tượng này với đối tượng khác Dựa vào đó ta có thể mô tả cấu trúc của hình ảnh ban đầu Có thể liệt kê một số phương pháp truy vấn cơ bản như truy vấn biên của một đối tượng trên ảnh, tách cạnh, phân đoạn hình ảnh Kỹ thuật này... Truy vấn ảnh theo bản thể : Phương pháp đơn giản nhất trong việc truy vấn là tìm kiếm ảnh theo từ khoá, các từ khoá tương ứng với các trường trong CSDL lưu trữ ảnh Quá trình truy vấn là so khớp từ khoá với các từ được mô tả trong các trường thông qua biểu thức logic Tuy nhiên, các phương pháp tìm kiếm theo từ khoá phát sinh nhiều hạn chế như [9]: 8 - Một từ khoá trong văn bản không chỉ ra được văn bản... áp dụng dựa trên nguyên lý rút trích các thông số đặc trưng của ảnh như: màu sắc (mức xám), hình dạng (biên), vị trí…Hiện đã có nhiều công trình nghiên cứu về phương pháp này và theo nhiều hướng tiếp cận khác nhau như: VisualSeek và Webseek của 2 tác giả John R Smith and Shih-Fu Chang thuộc Đại học Columbia; cả 02 hệ thống này đều thực hiện truy vấn theo đặc trưng màu sắc, kết cấu, bố cục không gian . thiệu mô hình hệ thống truy vấn ảnh theo nội dung trong đó có một số phương pháp như: truy vấn ảnh theo hình dạng, truy vấn ảnh theo nội dung, truy vấn ảnh theo đối tượng, truy vấn ảnh kết hợp. về truy vấn ảnh và truy vấn dựa vào hình dạng Trình bày khái quát về các phương pháp truy vấn ảnh hiện có hay đã được nghiên cứu như: truy vấn theo nội dung, truy vấn theo bản thể, truy vấn theo. truy vấn ảnh Trang 07 1.1.2.1. Truy vấn ảnh theo bản thể Trang 07 1.1.2.2. Truy vấn ảnh theo nội dung Trang 09 1.1.2.3. Truy vấn ảnh theo đồ thị Trang 10 1.2. Mô hình hệ thống truy vấn ảnh theo