XÂY DỰNG CHƯƠNG TRÌNH TRUY TÌM ẢNH CỔ VẬT

MỤC LỤC MỞ ĐẦU Chương TỔNG QUAN VỀ TRUY TÌM ẢNH 1.1 Vấn đề truy tìm ảnh 1.2 Một số phương pháp truy tìm ảnh 1.2.1 Truy tìm ảnh sở văn 1.2.2 Truy tìm ảnh sở nội dung Chương 11 MỘT SỐ PHƯƠNG PHÁP TRUY TÌM ẢNH DỰA THEO NỘI DUNG 11 2.1 Giới thiệu 11 2.2 Mô hình hệ thống truy tìm ảnh dựa theo nội dung [6] 11 2.3 Truy tìm ảnh sở màu sắc [2] 12 2.3.1 Kỹ thuật sở truy tìm ảnh sở màu 12 2.3.2 Tăng cường kỹ thuật sở 13 2.3.2.1 Sử dụng tính tương đồng màu 13 2.3.2.2 Sử dụng quan hệ không gian pixel 15 2.4 Truy tìm ảnh sở hình dạng 17 2.4.1 Giới thiệu 17 2.4.2 Khái niệm biên cạnh [1] 18 2.4.3 Các phương pháp phát biên [1] 18 2.4.4 Phương pháp truy tìm dựa mô tả Fourier [2] 20 2.5 Truy tìm ảnh sở kết cấu 22 2.5.1 Khái niệm 22 2.5.2 Phép biến đổi dạng sóng 23 2.6 Phương pháp truy tìm ảnh sở vùng[3] 26 2.6.1 Giới thiệu 26 2.6.2 Phân đoạn biểu diễn ảnh 27 2.6.2.1 Phân đoạn ảnh 27 2.6.2.2 Biểu diễn đặc trưng mờ ảnh 29 2.6.2.3 Thuật toán 31 2.6.3 Unified Feature Matching (UFM) 33 2.6.3.1 Sự tương đồng vùng 33 2.6.3.2 Đối sánh đặc trưng mờ 34 2.6.3.3 Độ đo UFM 37 2.6.3.4 Thuật toán tính độ đo UFM 39 2.7 Một ứng dụng việc kết hợp độ đo để tạo thành độ đo 40 2.7.1 Đặt vấn đề 40 2.7.2 Máy tự động lựa chọn ảnh phù hợp miêu tả nội dung đoạn text SPE (Sytory Picturing Engine) 42 2.7.2.1 Thành phần xử lý đoạn text chọn ảnh 42 2.7.2.2 Đánh giá tương đồng thứ tự ưu tiên 44 2.8 Đánh giá tương tự 46 2.8.1 Khoảng cách Minkowski 47 2.8.2 Khoảng cách toàn phương 48 2.9 Tương tác với người sử dụng 48 2.9.1 Đặc tả truy vấn 48 2.9.2 Xử lý phản hồi 50 2.10 Hiệu hệ thống truy tìm ảnh [2] 52 Chương 54 XÂY DỰNG CHƯƠNG TRÌNH TRUY TÌM ẢNH CỔ VẬT 54 3.1 Đặt vấn đề 54 3.2 Phân tích toán 54 3.3 Xây dựng chương trình 55 3.3.1 Giới thiệu thư viện mã nguồn CxImage 55 3.3.2 Thư viện mã nguồn mở Image Retrieval 59 3.3.3 Cài đặt 63 3.4 Kết thực nghiệm 75 3.5 Nhận xét 78 3.5.1 Những hạn chế chương trình 78 3.5.2 Khả mở rộng 79 KẾT LUẬN 80 TÀI LIỆU THAM KHẢO 81 NHẬN XÉT CỦA GIÁO VIÊN HƯỚNG DẪN 82 MỞ ĐẦU Những năm gần đây, ảnh số ngày thu hút quan tâm nhiều người, phần thiết bị thu nhận ảnh số ngày phổ biến có giá phù hợp, cho phép nhiều người sở hữu sử dụng Mặt khác công nghệ chế tạo thiết bị lưu trữ cải tiến đời thiết bị lưu trữ có dung lượng lớn giá thành hạ làm cho việc lưu trữ ảnh dạng file trở nên phổ biến Thêm phát triển mạng Internet làm cho số lượng ảnh số đưa lên lưu trữ trao đổi qua Internet lớn Tuy nhiên số lượng ảnh lưu trữ trở nên lớn vấn đề phải có phương pháp tổ chức CSDL ảnh tốt với kỹ thuật tìm kiếm, tra cứu ảnh hiệu quả, có độ xác cao có hiệu tốt Việc tìm kiếm ảnh mong muốn hàng triệu ảnh thuộc đủ loại chủ đề khác khó khăn Khi số lượng ảnh sưu tập ít, việc nhận diện ảnh hay việc so sánh giống khác nhiều ảnh thực mắt thường, nhiên có số lượng lớn ảnh việc so sánh mắt thường khó khăn, đòi hỏi phải có phương pháp hiệu xác Trong thực tế, toán truy tìm ảnh số có nhiều ứng dụng quan trọng Ví dụ lĩnh vực ngân hàng việc so sánh chữ ký khách hàng với mẫu chữ ký lưu trữ sẵn thực nhanh xác có phần mềm so sánh mẫu chữ ký tốt Thực tế ngân hàng Việt nam người ta phải sử dụng phương pháp so sánh mắt thường việc so sánh chữ ký phần mềm chưa thực Một ví dụ khác toán quản lý biểu trưng (logo) lĩnh vực sở hữu trí tuệ Khi đơn vị muốn đăng ký logo riêng cho đơn vị quan quản lý phải tiến hành đánh giá xem mẫu logo sử dụng hay chưa có tương tự với mẫu logo sử dụng hay không Trong trường hợp sử dụng mắt thường để duyệt tốn nhiều thời gian, có phần mềm cho phép tìm kiếm CSDL ảnh có sẵn biểu trưng tương tự với biểu trưng mẫu việc đánh giá tương tự dễ dàng nhiều Các ứng dụng phức tạp so sánh mẫu vân tay, tìm kiếm ảnh tội phạm v.v toán truy tìm ảnh áp dụng ngành khoa học hình Đối với lĩnh vực bảo tồn, bảo tàng, vấn đề lưu trữ tìm kiếm ảnh số có vai trò ngày quan trọng Ảnh tác phẩm hội hoạ, điêu khắc cổ vật lưu trữ dạng file ảnh đảm bảo chất lượng tốt hơn, thời gian lưu trữ lâu dài việc trao đổi hay giới thiệu với công chúng dễ dàng Bài toán tìm kiếm ảnh cổ vật xuất phát từ thực tế ngành bảo tồn, bảo tàng cần có phần mềm truy tìm ảnh phù hợp hỗ trợ người ta dễ dàng xác định xem mẫu cổ vật mà người ta tìm thấy lưu trữ CSDL hay chưa, có loại cổ vật tương tự với kho tàng cổ vật giới phần mềm đưa ảnh loại cổ vật có màu sắc, hình dạng, hoa văn tương tự với cổ vật vừa tìm thấy Những thông tin giúp ích nhiều cho chuyên gia trình phân loại, kiểm chứng cổ vật, dễ dàng xem mẫu cổ vật có hình dạng, màu sắc, hoa văn tương tự với mẫu cổ vật truy vấn Vấn đề động lực để em tìm hiểu số phương pháp truy tìm ảnh số ứng dụng nhiều thực tế tìm kiếm phương pháp phù hợp để giải toán “Truy tìm ảnh cổ vật” Trước năm 1990, người ta thường sử dụng phương pháp truy tìm ảnh theo văn (Text Based Image Retrieval) Theo cách người ta gán cho ảnh lời thích phù hợp với nội dung đặc điểm ảnh, sau việc truy tìm ảnh thực dựa lời thích Phương pháp đơn giản, nhiên lại áp dụng để truy tìm CSDL ảnh có số lượng ảnh lớn kết truy tìm mang tính chủ quan cảm ngữ cảnh Một phương pháp nhiều người quan tâm nghiên cứu phương pháp “truy tìm ảnh dựa theo nội dung” (Content Based Image Retrieval) Ý tưởng phương pháp trích chọn đặc điểm dựa vào nội dung trực quan ảnh màu sắc, kết cấu, hình dạng ảnh để làm sở cho việc tìm kiếm, xếp, tổ chức CSDL ảnh Nhằm xây dựng phần mềm trợ giúp lĩnh vực bảo tồn, bảo tàng, áp dụng phương pháp truy tìm ảnh dựa theo nội dung, đồ án xây dựng với hai nội dung chính: - Thứ tìm hiểu số phương pháp truy tìm ảnh dựa theo nội dung - Thứ hai từ sở tiến hành phân tích, xây dựng ứng dụng “truy tìm ảnh cổ vật” Đồ án chia thành ba chương: - Chương 1: Trình bày tổng quan vấn đề truy tìm ảnh, giới thiệu sơ lược số phương pháp truy tìm ảnh số hệ thống truy tìm ảnh tiêu biểu - Chương 2: Giới thiệu chi tiết phương pháp truy tìm ảnh dựa theo nội dung, giới thiệu mô hình hệ thống truy tìm ảnh dựa theo nội dung số kỹ thuật sử dụng để xây dựng hệ thống truy tìm ảnh dựa theo nội dung, giới thiệu phương pháp tiếp cận truy tìm ảnh sở vùng - Chương 3: Giới thiệu ứng dụng phương pháp truy tìm ảnh dựa theo nội dung áp dụng vào toán “truy tìm ảnh cổ vật”; hạn chế khả mở rộng chương trình ứng dụng Chương TỔNG QUAN VỀ TRUY TÌM ẢNH 1.1 Vấn đề truy tìm ảnh Những năm gần đây, vấn đề truy tìm ảnh số nhận quan tâm ngày lớn Nguyên nhân phần phát triển công nghệ chế tạo thiết bị thu nhận lưu trữ ảnh số phát triển mạnh mẽ mạng Internet Người sử dụng nhiều lĩnh vực khác có hội để truy cập sử dụng kho lưu trữ ảnh thuộc đủ loại chủ đề với nhiều kiểu định dạng ảnh khác Tuy nhiên người ta nhận thấy việc tìm ảnh mong muốn sưu tập ảnh đa dạng có kích thước lớn khó khăn Truy tìm ảnh trình tìm ảnh thoả mãn yêu cầu từ CSDL ảnh Ví dụ, người sử dụng truy tìm tất ảnh chủ đề biển CSDL ảnh người sử dụng khác lại muốn phân loại sở ảnh thành sưu tập có chủ đề khác Một ví dụ khác truy tìm ảnh người muốn tìm tất ảnh tương tự với ảnh mẫu CSDL ảnh Vấn đề truy tìm ảnh nhìn nhận rộng rãi việc truy tìm giải pháp cho vấn đề trở thành lĩnh vực sôi động, thu hút quan tâm nhiều nhà nghiên cứu phát triển Những kỹ thuật truy tìm ảnh số nghiên cứu từ cuối năm 70 kỷ 20 Năm 1979 hội thảo chuyên đề "Các kỹ thuật tổ chức CSDL cho ứng dụng đồ hoạ" tổ chức thành phố Florence, Italia Từ đến nay, khả ứng dụng cao kỹ thuật quản lý CSDL ảnh thu hút quan tâm nhiều nhà nghiên cứu 1.2 Một số phương pháp truy tìm ảnh Có nhiều tiệm cận tới số hoá truy tìm ảnh, lại có hai hướng truy tìm ảnh chủ yếu là: tiệm cận truy tìm theo từ khoá phương pháp truy tìm ảnh dựa vào nội dung ảnh Các tiệm cận truy tìm ảnnh theo từ khoá dựa sở ý tưởng lưu trữ từ khoá mô tả nội dung ảnh, từ khoá tạo người sử dụng nhập vào Truy tìm ảnh theo từ khoá sử dụng rộng rãi điển hình máy tìm kiếm ảnh Google tìm kiếm liệu đa phương tiện Lycos Trong truy tìm ảnh dựa vào nội dung, người sử dụng chọn ảnh đầu vào gọi ảnh truy vấn, hệ thống tiến hành trích chọn đặc trưng cho ảnh truy vấn tiến hành so sánh ảnh truy vấn ảnh CSDL sở đặc trưng ảnh, có nhiều hệ thống phát triển theo hướng hệ thống IBM QBIC, WebSEEK,…[3] Phương pháp truy tìm ảnh theo từ khoá sử dụng kỹ thuật CSDL truyền thống để quản lý ảnh Dựa vào thích, người ta tổ chức CSDL ảnh cách phân lớp theo chủ đề hay theo ngữ nghĩa việc duyệt CSDL ảnh dựa truy vấn kiểu Bool thông thường Phương pháp truy tìm ảnh dựa thích gọi truy tìm ảnh theo từ khoá Do việc xây dựng thuật toán có khả tự động sinh thích cho CSDL ảnh có nhiều chủ đề khó khăn nên nói chung hệ thống truy tìm ảnh kiểu yêu cầu phải thích ảnh cách thủ công thực tế việc thích ảnh tốn nhiều công sức quan trọng mang tính chủ quan, bị ảnh hưởng hoàn cảnh thường không đầy đủ Vì hệ thống truy tìm ảnh theo từ khoá không hỗ trợ kiểu truy vấn phụ thuộc tác vụ [5] Phương pháp truy tìm ảnh dựa theo nội dung đời khắc phục nhược điểm phương pháp truy tìm ảnh sở từ khoá Nội dung phương pháp dựa tương tự đặc điểm trực quan ảnh màu sắc, hình dạng, kết cấu hay bố cục không gian ảnh để phân loại, xếp ảnh CSDL ảnh Tuy nhiên đặc điểm mà phương pháp trích chọn để truy tìm đặc điểm mức thấp, chưa phản ánh nội dung mang tính ngữ nghĩa đối tượng ảnh Chi tiết phương pháp truy tìm ảnh dựa theo nội dung đề cập chi tiết chương 1.2.1 Truy tìm ảnh sở văn Trong truy tìm ảnh sở văn bản, ảnh mô tả free text Các câu truy vấn hình thức từ khoá hay free text có toán tử bool Việc truy tìm sử dụng kỹ thuật truy tìm thông tin thông thường sở tính tương đồng câu truy vấn text mô tả ảnh Tuy nhiên có hai khác biệt lớn truy tìm ảnh sở văn truy tìm tài liệu văn thông thường là: Thứ nhất: Trong truy tìm ảnh sở text, văn mô tả phải nhập vào trước Mô tả text thường thực thủ công việc tự động hiểu ảnh mức cao Vậy, mô tả khía cạnh quan trọng kỹ thuật mô tả sở text Các yêu cầu đòi hỏi mô tả ảnh bao gồm: làm cho hiệu làm để giải vấn đề quán Tri thức lĩnh vực từ điển liệt kê sử dụng để giải vấn đề quán đầy đủ Thứ hai: Văn mô tả không đầy đủ chủ quan Do vậy, sử dụng sở tri thức hản hồi liên quan đặc biệt quan trọng truy tìm ảnh sở văn Phản hồi liên quan hiệu người sử dụng xác định cách nhanh chóng ảnh có liên quan không Vì mô tả văn gốc không đầy đủ, ta sử dụng phản hồi liên quan để hiệu chỉnh mô tả, để có đầy đủ xác Lợi kỹ thuật truy tìm sở text thu thập khái niệm trừu tượng mức cao “smile”, “happy” chứa ảnh Các quan niệm khó thu thập kỹ thuật truy tìm ảnh dựa theo nội dung Hạn chế tiệm cận vài đặc trưng mức thấp kết cấu hình dạng không đều… khó mô tả text Hơn nữa, hệ thống truy tìm ảnh sở text không chấp nhận câu truy vấn hình ảnh Các hạn chế vượt qua nhờ kỹ thuật truy tìm ảnh sở nội dung sở màu, hình dạng texture 1.2.2 Truy tìm ảnh sở nội dung Đầu năm 1990, phát triển Internet công nghệ ảnh số tiên tiến, số lượng ảnh số lĩnh vực khoa học, giáo dục, y tế, công nghiệp tung cho người sử dụng truy cập tăng lên cách nhanh chóng Điều làm cho khó khăn hệ thống truy tìm ảnh dựa theo văn thêm khó giải Sự cần thiết phải có hệ thống quản lý hiệu thông tin trực quan vô cấp bách Nhu cầu động lực thúc đẩy nhà nghiên cứu vào mạnh mẽ nguyên nhân dẫn đến đời phương pháp truy tìm ảnh dựa theo nội dung Năm 1992, Quỹ Khoa học Quốc gia (National Science Foundation) Hoa Kỳ tổ chức buổi hội thảo hệ thống quản lý thông tin trực quan để xác định hướng cho hệ thống quản lý CSDL ảnh Tại buổi hội thảo người ta phải công nhận với cách hiệu để thể xếp thông tin trực quan ảnh phải dựa thuộc tính trích chọn từ ảnh Các nhà nghiên cứu từ lĩnh vực khác thị giác máy tính (computer vision), quản lý CSDL, giao diện người-máy truy tìm thông tin bị hấp dẫn bới hướng nghiên cứu Từ đến nay, công trình nghiên cứu truy tìm ảnh dựa theo nội dung triển khai nhiều Từ năm 1997 kết nghiên cứu truy tìm ảnh dựa theo nội dung kỹ thuật trích chọn thông tin trực quan, tổ chức, xếp, thiết kế truy vấn, tương tác với người dùng, quản lý CSDL công bố ngày nhiều Tương tự vậy, số lượng lớn mô hình nghiên cứu sản phẩm thương mại hệ thống truy tìm ảnh dựa theo nội dung trường đại học, quan nghiên cứu công ty tin học cho đời Một số hệ thống truy tìm ảnh dựa theo nội dung tiêu biểu:[2] - QBIC hay Query By Image Content hãng IBM Trung tâm nghiên cứu Almaden hợp tác phát triển Hệ thống cho phép người sử dụng dùng công cụ đồ hoạ để mô tả hiệu chỉnh truy vấn dựa nhiều thuộc tính trực quan màu sắc, kết cấu hình dạng đối tượng ảnh QBIC hỗ trợ kiểu truy vấn dựa ảnh mẫu, dựa hình phác thảo dựa mẫu màu mẫu kết cấu - VIR Image Engine Công ty Virage Inc phát triển, giống QBIC, hệ thống cho phép truy tìm ảnh dựa thuộc tính màu sắc, kết cấu cấu trúc - VisualSEEK WebSEEK trường Đại học Tổng hợp Columbia (Mỹ) phát triển Cả hai hệ thống hỗ trợ cách tìm kiếm theo màu sắc, kết cấu bố cục không gian - NeTra trường Đại học Tổng hợp California (Mỹ) phát triển Hệ thống hỗ trợ tìm kiếm theo màu sắc, hình dạng, bố cục không gian kết cấu theo phân mảnh ảnh - MARS hay Multimedia Analysis and Retrieval System trường Đại học Tổng hợp Illinois phát triển, hỗ trợ tìm kiếm theo màu sắc, bố cục không gian, kết cấu hình dạng - Viper hay Visual Information Processing for Enhanced Retrieval trường Đại học Geneva phát triển, tìm kiếm theo màu sắc kết cấu Ngoài người ta giới thiệu nhiều phương pháp truy tìm ảnh khác truy tìm ảnh theo nhận thức (Perception based image retrieval), truy tìm ảnh theo phân đoạn (Segment based image retrieval), truy tìm ảnh theo đồ thị (Graph based image retrieval), truy tìm ảnh theo thể (Ontology based image retrieval) Tuy nhiên phần lớn số phương pháp lại sử dụng nguyên tắc truy tìm ảnh dựa theo nội dung 10 truy tìm, chúng có cận cảnh khác Do che chắn cận cảnh biểu đồ màu, dẫn tới khó truy tìm ảnh với màu cận cảnh liên quan Kỹ thuật truy tìm ảnh sở màu cài đặt khắc phục nhược điểm kỹ thuật sở truy tìm sở màu, em sử dụng kỹ thuật phân đoạn tách màu khỏi màu cận cảnh, so sánh hai biểu đồ màu cận cảnh, nên kết tìm kiếm tốt  Quá trình trích chọn đặc trưng truy tìm ảnh sở hình dạng Hình dạng đối tượng biểu diễn đường biên So với đặc điểm màu sắc đặc điểm kết cấu đặc điểm hình dạng thường sử dụng sau ảnh phân thành vùng đối tượng ảnh Đặc trưng hình dạng ảnh trích chọn theo bước sau: - Bước 1: Dò biên để tìm đường bao bao trọn đối tượng ảnh Do cổ vật có cấu trúc phức tạp, nên việc dò biên để tìm đường bao bao trọn đối tượng ảnh khó, em cố gắng song tìm phương pháp phù hợp để cài đặt thành công chương trình bỏ qua bước này, thay vào sau sử dụng hàm biến đổi fourier cho ảnh em tiến hành phân chia ảnh thành khối, khối có kích thước là16  16 tính giá trị khối để tạo véc tơ đặc trưng thông qua hàm Shape(), kết tìm kiếm tương đối khả quan - Bước 2: Chuẩn hoá kích cỡ ảnh sử dụng hàm Resample Chúng ta biết để thực biến đổi Fourier nhanh kích thước dãy số đầu vào phải luỹ thừa Tuy nhiên ảnh cần đọc lại có số điểm ảnh khác thường không thoả mãn yêu cầu này, thủ tục Resample phải thực phép nội suy để thêm/bớt điểm ảnh để ảnh có số điểm ảnh thoả mãn yêu cầu mà không làm thay đổi chất lượng ảnh Các điểm ảnh thêm vào theo nguyên tắc nội suy - Bước 3: Thực phép biến đổi Fourier nhanh Hàm biến đổi Fourier nhanh FFT2(CxImage* srcReal, CxImage* srcImag, CxImage* dstReal, CxImage* dstImag, long direction, bool bForceFFT) hàm chuẩn thư viện mã nguồn CxImage Đầu vào srcReal, srcImag ảnh nguồn, hai thành phần Null Đầu dstReal, dstImag ảnh đích, hai 68 thành phần Null Direction biến đổi fourier thuận, -1 biến đổi fourier ngược bForceFFT True ảnh chuẩn hoá tức kích thước ảnh bội số Trong hàm FFT 2, ảnh đầu vào chuyển thành ma trận, hàng ma trận biến đổi Fourier hàm biến đổi chiều FFT, sau tính FFT chiều cho cột - Bước 4: Tạo véc tơ đặc trưng o Véc tơ đặc trưng ảnh vector 256 chiều, chứa 256 giá trị số double o Véc tơ đặc trưng sinh hàm Shape(CxImage img, double *signature) Signature véc tơ đặc trưng Thuật toán tạo véc tơ đặc trưng:  Đầu vào: Một ảnh  Đầu ra: vector đặc trưng 256 chiều mảng 256 số double dấu hiệu ảnh 1) Chia ảnh đầu vào thành khối kích thước 16x16 Như ảnh có kích thước 256*256 có 256 khối 2) Khởi tạo mảng signature[] gồm 256 phần tử 3) Tính signature cho khối theo công thức: SignatureiblockNume  15 15  Mag(iBlockRow i), (iBlockCol j) i 0 j 0 với Magi, j   Re(i, j )  Im(i, j ) Trong đó: Signature[iblockNume] giá trị signature khối, iBlockRow (0 - 255) số hàng phần tử khối, iBlockCol (0 - 255) số cột phần tử khối, i hàng phần tử khối (i = 0, ,15) , j số cột phần tử 69 khối (j = 0, ,15) Mag[i,j] modul số phức vị trí hàng i, cột j ma trận đầu vào 4) Lưu giá trị Signature[iblockNume] vào mảng Signature[] 5) Sau tính xong signature cho 256 khối, tiến hành chuẩn hóa mảng Signature[] Đoạn mã tạo véc tơ đặc trưng hình dạng cho ảnh: imgTemp.Resample(iWidth, iHeight); // Chuẩn hoá kích cỡ ảnh // Thực biến đổi Fourier nhanh imgTemp.FFT2(&imgTemp, &imgTemp, &rfft1, &ifft1); pImage = rfft1.GetBits(); for(iRow = 0; iRow < iHeight; iRow += iBlockSize) { for(iCol = 0; iCol < iWidth; iCol += iBlockSize ) { // Xử lý khối signature[iBlockNum] = 0.0; dTemp = 0.0; for(iLoopRow = 0; iLoopRow