(LUẬN VĂN THẠC SĨ) Nghiên cứu một số kỹ thuật tra cứu ảnh và ứng dụng vào bài toán kiểm chứng cổ vật Luận văn ThS. Công nghệ thông tin 1 01 10

MỤC LỤC DANH MỤC CÁC CHỮ VIẾT TẮT MỞ ĐẦU .7 CHƯƠNG 1: TỔNG QUAN VỀ TRA CỨU ẢNH 11 1.1 VẤN ĐỀ TRA CỨU ẢNH .11 1.2 MỘT SỐ PHƯƠNG PHÁP TRA CỨU ẢNH 12 1.2.1 Tra cứu ảnh theo nội dung 13 1.2.2 Tra cứu ảnh theo thể (ontology-based image retrieval) 15 1.2.3 Tra cứu ảnh theo đồ thị (graph based image retrieval) 17 U CHƯƠNG 2: TRA CỨU ẢNH THEO NỘI DUNG 19 2.1 GIỚI THIỆU .19 2.2 MƠ HÌNH HỆ THỐNG TRA CỨU ẢNH THEO NỘI DUNG 20 2.3 CÁC PHƯƠNG PHÁP MÔ TẢ NỘI DUNG ẢNH 21 2.3.1 Mô tả đặc điểm màu sắc 22 2.3.2 Mô tả đặc điểm kết cấu 29 2.3.3 Mô tả đặc điểm hình dạng 40 2.3.4 Thông tin không gian 55 2.4 ĐÁNH GIÁ ĐỘ TƯƠNG TỰ VÀ XÂY DỰNG SƠ ĐỒ ĐÁNH CHỈ SỐ 59 2.4.1 Đánh giá độ tương tự 59 2.4.2 Xây dựng sơ đồ đánh số .62 2.5 TƯƠNG TÁC VỚI NGƯỜI SỬ DỤNG 67 2.5.1 Đặc tả truy vấn 67 2.5.2 Xử lý phản hồi 69 2.6 HIỆU NĂNG CỦA HỆ THỐNG TRA CỨU ẢNH 70 U CHƯƠNG 3: ỨNG DỤNG 73 3.1 GIỚI THIỆU BÀI TOÁN TRA CỨU CỔ VẬT .73 3.2 PHÂN TÍCH BÀI TỐN 74 3.3 XÂY DỰNG CHƯƠNG TRÌNH QUERYIMAGE 75 3.3.1 Sơ đồ khối tổng quát 75 3.3.2 Tra cứu theo hình dạng 76 3.3.3 Tra cứu theo màu sắc 81 3.3.4 Sử dụng chương trình QueryImage 82 3.4 KHẢ NĂNG MỞ RỘNG CỦA CHƯƠNG TRÌNH 84 3.4.1 Những hạn chế chương trình .84 3.4.2 Khả mở rộng .84 KẾT LUẬN 86 TÀI LIỆU THAM KHẢO 89 TIEU LUAN MOI download : skknchat@gmail.com DANH MỤC CÁC CHỮ VIẾT TẮT Chữ tắt Dạng đầy đủ Nghĩa tiếng Việt PCA Principal Component Analysis Phân tích thành phần KL Karhumen-Loeve (transform) Biến đổi Karhumen-Loeve Kullback-Leibler SAR Simultaneous Auto-Regressive Tự thoái lui đồng thời MLE Maximum likelihood estimation Phép ước lượng khả tối đa LSE Least square error Sai số bình phương tối thiểu PWT Pyramid-structured Biến đổi dạng sóng kiểu hình chóp wavelet transform TWT Tree-structured Biến đổi dạng sóng kiểu hình wavelet transform MRF Markov random field Trường ngẫu nhiên Markov DC Direct Current Thành phần chiều SOM Self Organization Map Bản đồ tự tổ chức AVR Average rank Thứ hạng trung bình MRR Modified retrieval rank Thứ hạng tra cứu sửa đổi NMRR Nomalized retrieval rank Modified Thứ hạng tra cứu sửa đổi chuẩn hoá TIEU LUAN MOI download : skknchat@gmail.com Mở đầu MỞ ĐẦU Những năm gần đây, ảnh số ngày thu hút quan tâm nhiều người, phần thiết bị thu nhận ảnh số ngày phổ biến có giá phù hợp, cho phép nhiều người sở hữu sử dụng Mặt khác công nghệ chế tạo thiết bị lưu trữ cải tiến đời thiết bị lưu trữ có dung lượng lớn giá thành hạ làm cho việc lưu trữ ảnh dạng file trở nên phổ biến Thêm phát triển mạng Internet làm cho số lượng ảnh số đưa lên lưu trữ trao đổi qua Internet lớn Tuy nhiên số lượng ảnh lưu trữ trở nên lớn vấn đề phải có phương pháp tổ chức sở liệu ảnh tốt với kỹ thuật tìm kiếm, tra cứu ảnh hiệu quả, có độ xác cao có hiệu tốt Việc tìm kiếm ảnh mong muốn hàng triệu ảnh thuộc đủ loại chủ đề khác khó khăn Khi số lượng ảnh sưu tập cịn ít, việc nhận diện ảnh hay việc so sánh giống khác nhiều ảnh thực mắt thường, nhiên có số lượng lớn ảnh việc so sánh mắt thường khó khăn, địi hỏi phải có phương pháp hiệu xác Trong thực tế, tốn tra cứu ảnh số có nhiều ứng dụng quan trọng Ví dụ lĩnh vực ngân hàng việc so sánh chữ ký khách hàng với mẫu chữ ký lưu trữ sẵn thực nhanh xác có phần mềm so sánh mẫu chữ ký tốt Thực tế ngân hàng Việt nam người ta phải sử dụng phương pháp so sánh mắt thường việc so sánh chữ ký phần mềm chưa thực Một ví dụ khác toán quản lý biểu -7- TIEU LUAN MOI download : skknchat@gmail.com Mở đầu trưng (logo) lĩnh vực sở hữu trí tuệ Khi đơn vị muốn đăng ký logo riêng cho đơn vị quan quản lý phải tiến hành đánh giá xem mẫu logo sử dụng hay chưa có tương tự với mẫu logo sử dụng hay không Trong trường hợp sử dụng mắt thường để duyệt tốn nhiều thời gian, có phần mềm cho phép tìm kiếm sở liệu ảnh có sẵn biểu trưng tương tự với biểu trưng mẫu việc đánh giá tương tự dễ dàng nhiều Các ứng dụng phức tạp so sánh mẫu vân tay, tìm kiếm ảnh tội phạm v.v toán tra cứu ảnh áp dụng ngành khoa học hình Đối với lĩnh vực bảo tồn, bảo tàng, vấn đề lưu trữ tra cứu ảnh số có vai trị ngày quan trọng Ảnh tác phẩm hội hoạ, điêu khắc cổ vật lưu trữ dạng file ảnh đảm bảo chất lượng tốt hơn, thời gian lưu trữ lâu dài việc trao đổi hay giới thiệu với cơng chúng dễ dàng Bài tốn tra cứu cổ vật xuất phát từ thực tế ngành bảo tồn, bảo tàng sưu tầm cổ vật mới, người ta cần xác định hàng loạt thuộc tính niên đại, chất liệu, nguồn gốc chủ sở hữu cổ vật Nếu có trợ giúp phần mềm tra cứu ảnh phù hợp người ta dễ dàng xác định xem mẫu cổ vật lưu trữ sở liệu hay chưa, có loại cổ vật tương tự với kho tàng cổ vật giới phần mềm đưa ảnh loại cổ vật có màu sắc, hình dạng, hoa văn tương tự với cổ vật vừa tìm thấy Những thơng tin giúp ích nhiều cho chuyên gia trình phân loại, kiểm chứng cổ vật Vấn đề động lực để chúng tơi tìm hiểu phương pháp tra cứu ảnh số ứng dụng nhiều thực tế tìm kiếm phương pháp phù hợp để giải toán Trước năm 1990, người ta thường sử dụng phương pháp tra cứu ảnh theo văn (Text Based Image Retrieval) Theo cách người ta gán cho ảnh lời thích phù hợp với nội dung đặc điểm ảnh, sau -8- TIEU LUAN MOI download : skknchat@gmail.com Mở đầu việc tra cứu ảnh thực dựa lời thích Phương pháp đơn giản, nhiên lại áp dụng để tra cứu sở liệu ảnh có số lượng ảnh lớn kết tra cứu mang tính chủ quan cảm ngữ cảnh [1] Một phương pháp nhiều người quan tâm nghiên cứu phương pháp “Tra cứu ảnh dựa theo nội dung” (Content Based Image Retrieval) Ý tưởng phương pháp trích chọn đặc điểm dựa vào nội dung trực quan ảnh màu sắc, kết cấu, hình dạng bố cục khơng gian ảnh để làm sở cho việc tra cứu, xếp, tổ chức sở liệu ảnh [1, 6, 10] Một số hệ thống tra cứu ảnh tiếng QBIC (IBM), Virage (Virage Inc.), Photobook (MIT), VisualSEEK (Columbia University) áp dụng thành công phương pháp tra cứu [1, 6, 7, 12, 17] Trên sở phương pháp tra cứu ảnh theo nội dung người ta cịn tìm cách bổ sung, cải tiến đời số phương pháp tra cứu ảnh khác tra cứu ảnh theo thể, tra cứu ảnh theo đồ thị, tra cứu ảnh theo nhận thức v.v [8, 9] Nội dung đề tài giới thiệu sở lý thuyết ứng dụng số phương pháp tra cứu ảnh, sâu vào giới thiệu phương pháp tra cứu ảnh theo nội dung Trên sở tiến hành thử nghiệm phương pháp cụ thể để xây dựng chương trình phần mềm tra cứu cổ vật cho phép đọc vào ảnh cổ vật mẫu tìm kiếm ảnh tương tự với ảnh mẫu tập hợp ảnh cho trước theo hai đặc điểm hình dạng màu sắc cổ vật Chương trình trợ giúp đắc lực cho công tác bảo tồn, bảo tàng cải tiến để áp dụng cho số lĩnh vực khác giáo dục, sở hữu trí tuệ, y học, khoa học hình Nội dung luận văn gồm có ba chương: Chương 1: Trình bày tổng quan vấn đề tra cứu ảnh, giới thiệu sơ lược số phương pháp tra cứu ảnh số hệ thống tra cứu ảnh tiêu biểu -9- TIEU LUAN MOI download : skknchat@gmail.com Mở đầu Chương 2: Giới thiệu chi tiết phương pháp tra cứu ảnh theo nội dung, giới thiệu mơ hình hệ thống tra cứu ảnh theo nội dung số kỹ thuật sử dụng để xây dựng hệ thống tra cứu ảnh theo nội dung Chương 3: Giới thiệu ứng dụng phương pháp tra cứu ảnh theo nội dung áp dụng vào tốn tìm kiếm cổ vật; hạn chế khả mở rộng chương trình ứng dụng -10- TIEU LUAN MOI download : skknchat@gmail.com Chương 1: Tổng quan tra cứu ảnh CHƯƠNG 1: TỔNG QUAN VỀ TRA CỨU ẢNH 1.1 VẤN ĐỀ TRA CỨU ẢNH Những năm gần đây, vấn đề tra cứu ảnh số nhận quan tâm ngày lớn Nguyên nhân phần phát triển công nghệ chế tạo thiết bị thu nhận lưu trữ ảnh số phát triển mạnh mẽ mạng Internet Người sử dụng nhiều lĩnh vực khác có hội để truy cập sử dụng kho lưu trữ ảnh thuộc đủ loại chủ đề với nhiều kiểu định dạng ảnh khác Tuy nhiên người ta nhận thấy việc tìm ảnh mong muốn sưu tập ảnh đa dạng có kích thước lớn khó khăn Tra cứu ảnh trình tìm kiếm sở liệu ảnh ảnh thoả mãn u cầu Ví dụ, người sử dụng tìm kiếm tất ảnh chủ đề biển sở liệu ảnh người sử dụng khác lại muốn phân loại sở ảnh thành sưu tập có chủ đề khác Một ví dụ khác tra cứu ảnh người muốn tìm tất ảnh tương tự với ảnh mẫu sở liệu ảnh Vấn đề tra cứu ảnh nhìn nhận rộng rãi việc tìm kiếm giải pháp cho vấn đề trở thành lĩnh vực sôi động, thu hút quan tâm nhiều nhà nghiên cứu phát triển Những kỹ thuật tra cứu ảnh số nghiên cứu từ cuối năm 70 kỷ 20 Năm 1979 hội thảo chuyên đề "Các kỹ thuật tổ chức sở liệu cho ứng dụng đồ hoạ" tổ chức thành phố Florence, Italia Từ đến nay, khả ứng dụng cao kỹ thuật quản lý sở liệu ảnh thu hút quan tâm nhiều nhà nghiên cứu [1] -11- TIEU LUAN MOI download : skknchat@gmail.com Chương 1: Tổng quan tra cứu ảnh 1.2 MỘT SỐ PHƯƠNG PHÁP TRA CỨU ẢNH Các phương pháp tra cứu ảnh sử dụng không dựa đặc điểm trực quan ảnh mà dựa thích lời ảnh, người ta gán cho ảnh câu thích lời (text) dựa đặc điểm ảnh, sau sử dụng kỹ thuật tìm kiếm văn thơng thường để tìm kiếm ảnh Phương pháp tra cứu ảnh dựa văn sử dụng kỹ thuật sở liệu truyền thống để quản lý ảnh Dựa vào lời thích, người ta tổ chức sở liệu ảnh phân lớp theo chủ đề hay theo ngữ nghĩa việc duyệt sở liệu ảnh dựa truy vấn kiểu Bool thông thường Phương pháp tra cứu ảnh dựa thích cịn gọi tra cứu ảnh theo từ khoá Do việc xây dựng thuật tốn có khả tự động sinh thích cho sở liệu ảnh có nhiều chủ đề khó khăn nên nói chung hệ thống tra cứu ảnh kiểu u cầu phải thích ảnh cách thủ cơng thực tế việc thích ảnh tốn nhiều công sức quan trọng mang tính chủ quan, bị ảnh hưởng hồn cảnh thường khơng đầy đủ Vì hệ thống tra cứu ảnh dựa theo từ khố khơng hỗ trợ kiểu truy vấn phụ thuộc tác vụ [1, 8, 9] Phương pháp tra cứu ảnh theo nội dung đời khắc phục nhược điểm phương pháp từ khố Nội dung phương pháp dựa tương tự đặc điểm trực quan ảnh màu sắc, hình dạng, kết cấu hay bố cục khơng gian ảnh để phân loại, xếp ảnh sở liệu ảnh Tuy nhiên đặc điểm mà phương pháp trích chọn để tra cứu đặc điểm mức thấp, chưa phản ánh nội dung mang tính ngữ nghĩa đối tượng ảnh Vì người ta đưa số cách tiếp cận phát triển phương pháp tra cứu ảnh theo nội dung thành phương pháp tra cứu ảnh theo đồ thị [9] hay tra cứu ảnh theo thể [8] -12- TIEU LUAN MOI download : skknchat@gmail.com Chương 1: Tổng quan tra cứu ảnh Phần sau giới thiệu sơ lược số mốc phát triển quan trọng phương pháp tra cứu ảnh theo nội dung số phương pháp tra cứu ảnh cải tiến áp dụng hệ thống tra cứu ảnh Chi tiết phương pháp tra cứu ảnh theo nội dung đề cập chương 1.2.1 Tra cứu ảnh theo nội dung [1, 6, 10] Đầu năm 1990, phát triển Internet công nghệ ảnh số tiên tiến, số lượng ảnh số lĩnh vực khoa học, giáo dục, y tế, công nghiệp tung cho người sử dụng truy cập tăng lên cách nhanh chóng Điều làm cho khó khăn hệ thống tra cứu ảnh dựa theo văn thêm khó giải Sự cần thiết phải có hệ thống quản lý hiệu thông tin trực quan vơ cấp bách Nhu cầu động lực thúc đẩy nhà nghiên cứu vào mạnh mẽ nguyên nhân dẫn đến đời phương pháp tra cứu ảnh theo nội dung Năm 1992, Quỹ Khoa học Quốc gia (National Science Foundation) Hoa Kỳ tổ chức buổi Hội thảo hệ thống quản lý thông tin trực quan để xác định hướng cho hệ thống quản lý sở liệu ảnh Tại buổi hội thảo người phải công nhận với cách hiệu để thể xếp thông tin trực quan ảnh phải dựa thuộc tính trích chọn từ ảnh Các nhà nghiên cứu từ lĩnh vực khác thị giác máy tính (computer vision), quản lý sở liệu, giao diện người-máy tra cứu thông tin bị hấp dẫn bới hướng nghiên cứu [1] Từ đến nay, cơng trình nghiên cứu tra cứu ảnh theo nội dung triển khai nhiều Từ năm 1997 kết nghiên cứu tra cứu ảnh theo nội dung kỹ thuật trích chọn thơng tin trực quan, tổ chức, xếp, thiết kế truy vấn, tương tác -13- TIEU LUAN MOI download : skknchat@gmail.com Chương 1: Tổng quan tra cứu ảnh với người dùng, quản lý sở liệu công bố ngày nhiều Tương tự vậy, số lượng lớn mơ hình nghiên cứu sản phẩm thương mại hệ thống tra cứu ảnh theo nội dung trường đại học, quan nghiên cứu công ty tin học cho đời Một số hệ thống tra cứu ảnh theo nội dung tiêu biểu: o QBIC hay Query By Image Content hãng IBM Trung tâm nghiên cứu Almaden hợp tác phát triển Hệ thống cho phép người sử dụng dùng công cụ đồ hoạ để mô tả hiệu chỉnh truy vấn dựa nhiều thuộc tính trực quan màu sắc, kết cấu hình dạng đối tượng ảnh QBIC hỗ trợ kiểu truy vấn dựa ảnh mẫu, dựa hình phác thảo dựa mẫu màu mẫu kết cấu [17] o VIR Image Engine Công ty Virage Inc phát triển, giống QBIC, hệ thống cho phép tra cứu ảnh dựa thuộc tính màu sắc, kết cấu cấu trúc [17] o VisualSEEK WebSEEK trường Đại học Tổng hợp Columbia (Mỹ) phát triển Cả hai hệ thống hỗ trợ cách tìm kiếm theo màu sắc, kết cấu bố cục không gian [17] o NeTra trường Đại học Tổng hợp California (Mỹ) phát triển Hệ thống hỗ trợ tìm kiếm theo màu sắc, hình dạng, bố cục khơng gian kết cấu theo phân mảnh ảnh [17] o MARS hay Multimedia Analysis and Retrieval System trường Đại học Tổng hợp Illinois phát triển, hỗ trợ tìm kiếm theo màu sắc, bố cục không gian, kết cấu hình dạng [17] o Viper hay Visual Information Processing for Enhanced Retrieval trường Đại học Geneva phát triển, tìm kiếm theo màu sắc kết cấu [17] -14- TIEU LUAN MOI download : skknchat@gmail.com Chương 3: Ứng dụng o Đọc ảnh: sử dụng thư viện chuẩn Windows để đọc ảnh mẫu ảnh sở liệu vào cấu trúc DIB o Trích chọn đặc điểm: tuỳ thuộc vào đặc điểm cần trích chọn màu sắc hay hình dạng mà khối sử dụng thuật tốn trích chọn tương ứng o Tạo véc tơ đặc trưng: đặc điểm trích chọn dạng véc tơ đặc trưng nhiều chiều o Tính khoảng cách: dựa vào số phương pháp tính khoảng cách trình bày chương để tính khoảng cách tương ứng véc tơ đặc trưng ảnh mẫu ảnh sở liệu o Cuối dựa theo khoảng cách tính được, chương trình xếp kết theo chiều giảm dần độ tương tự véc tơ đặc trưng 3.3.2 Tra cứu theo hình dạng Đọc ảnh mẫu Đọc ảnh từ sở DL Dò biên Dò biên Resample 256x256 FFT Resample 256x256 FFT Tạo Véc tơ đặc trưng Tạo Véc tơ đặc trưng Tính k/c Euclide Thêm vào danh sách vị trí thích hợp Hình 3.2: Sơ đồ khối phần tra cứu ảnh theo hình dạng o Ảnh mẫu đọc vào cấu trúc DIB hàm DisplayImage -76- TIEU LUAN MOI download : skknchat@gmail.com Chương 3: Ứng dụng o Sử dụng thuật tốn dị biên gián tiếp để phân vùng ảnh o Thực co/giãn (resample) để chuẩn hố kích thước (cả hai kích thước luỹ thừa 2) trước chép sang ma trận số phức làm đầu vào hàm biến đổi Fourier nhanh FFT o Hàm FFT trả lại ma trận số phức o Việc tạo véc tơ đặc trưng ảnh thực ma trận số phức Véc tơ đặc trưng vector có 256 chiều o Đọc ảnh sở liệu, thực bước giống với ảnh mẫu để vector đặc trưng ảnh vừa đọc o So sánh vector đặc trưng ảnh mẫu ảnh đọc từ sở liệu cách tính khoảng cách Euclide vector đặc trưng hàm GetShape Distance o Thêm ảnh vừa đọc vào danh sách ảnh tìm thấy, ảnh có sai khác so với ảnh mẫu nhỏ xếp lên 3.2.2.1 Đọc ảnh Ảnh đọc vào cấu trúc DIB hiển thị thủ tục DisplayImage, đầu vào tên đường dẫn đến file cần đọc, đọc ảnh thành công thủ tục DisplayImage hiển thị ảnh lên khung ảnh định Việc thao tác với cấu trúc DIB thực thông qua cấu trúc DIBSection định nghĩa thư viện GDI32 Windows [15, 16] 3.2.2.2 Dò biên đối tượng ảnh Phần dị biên đối tượng ảnh sử dụng thuật tốn dò biên gián tiếp cách xác định chu tuyến đối tượng ảnh trình bày chương -77- TIEU LUAN MOI download : skknchat@gmail.com Chương 3: Ứng dụng 3.2.2.3 Resample Chúng ta biết để thực biến đổi Fourier nhanh kích thước dãy số đầu vào phải luỹ thừa Tuy nhiên ảnh cần đọc lại có số điểm ảnh khác thường không thoả mãn yêu cầu này, thủ tục Resample phải thực phép nội suy để thêm/bớt điểm ảnh để ảnh có số điểm ảnh thoả mãn yêu cầu mà không làm thay đổi chất lượng ảnh Các điểm ảnh thêm vào theo nguyên tắc nội suy Màu mật độ điểm ảnh nội suy tính tốn dựa giá trị điểm ảnh có sẵn ảnh Có nhiều cách để xây dựng thủ tục Resample, có phương pháp thông dụng [4]: o Nearest Neighbor: điểm ảnh sinh dựa vào thông tin điểm ảnh phía điểm ảnh mới, phương pháp resample nhanh độ xác thấp (trong phương pháp) o Bilinear: lấy thông tin từ điểm ảnh phía bên cạnh điểm ảnh Chất lượng ảnh tốt so với phương pháp Nearest Neighbor o Bicubic: Là phương pháp xác thơng tin điểm ảnh suy từ điểm ảnh xung quanh Trong chương trình chúng tơi sử dụng phương pháp đơn giản Nearest Neighbor Kích thước mảng liệu đầu 256×256 phần tử 3.2.2.4 Biến đổi Fourier nhanh Hàm biến đổi FFT cải tiến từ chương trình Randy Crane liệt kê "A Simplified Approach to Image Processing" [4] -78- TIEU LUAN MOI download : skknchat@gmail.com Chương 3: Ứng dụng Đầu vào ma trận số phức chiều sinh từ ma trận điểm ảnh đọc cách gán phần ảo tất số phức 0, phần thực gán giá trị điểm ảnh Đầu ma trận số phức hai chiều biểu diễn khai triển Fourier ma trận đầu vào Trong hàm FFT chiều (hàm twoD_FFT() ), hàng ma trận đầu vào biến đổi Fourier hàm biến đổi 1chiều (hàm oneD_FFT() ), sau tính FFT chiều cho cột Hai hàm sở để xây dựng oneD_FFT Scramble() Butterflies() Trong Scramble() sử dụng để xếp lại dãy đầu vào theo thứ tự đảo bit, cịn hàm Butterflies() thuật tốn sở, gọi đệ qui để tính FFT 3.2.2.5 Tạo véc tơ đặc trưng hình dạng cho ảnh Véc tơ đặc trưng ảnh vector 256 chiều, chứa 256 giá trị số double double* m_Signature; m_Signature = new double[256]; Hàm sinh chữ ký GenerateSignature(): Đầu vào: Ma trận vng kích thước 256x256 số phức (sinh hàm biến đổi FFT chiều twoD_FFT()) biểu diễn ảnh miền tần số Đầu ra: vector chữ ký 256 chiều mảng 256 số double signature ảnh Thuật tốn: Tính modul (magnitude) phần tử mảng hai chiều 256x256 phần tử theo công thức: Magnitude(i, j ) = Re(i, j ) + Im(i, j ) -79- TIEU LUAN MOI download : skknchat@gmail.com Chương 3: Ứng dụng đó: Magnitude(i,j) modul số phức vị trí hàng i, cột j ma trận, Re(i,j) phần thực số phức vị trí hàng i cột j, Im(i,j) phần áo số phức vị trí hàng i, cột j Chia ảnh đầu vào thành khối kích thước 16x16 Khởi tạo mảng image_Signature[] gồm 256 phần tử Tính signature cho khối theo cơng thức: block _ Signature = 15 15 ∑∑ Mag [(iBlockRow + i), (iBlockCol + j )] i =0 j =0 Trong đó: block_Signature giá trị signature khối, iBlockRow (0 - 255) số hàng phần tử khối, iBlockCol (0 - 255) số cột phần tử khối, i hàng phần tử khối (i = 0, ,15) , j số cột phần tử khối (j = 0, ,15) Mag[i,j] modul số phức vị trí hàng i, cột j ma trận đầu vào Lưu chữ ký block_Signature lưu vào mảng image_Signature[]; Sau tính xong signature cho 256 khối, tiến hành chuẩn hóa mảng image_Signature[] 3.2.2.6 So sánh ảnh cách tính khoảng cách Euclide Khoảng cách ảnh Query_Image ảnh Found_Image định nghĩa khoảng cách Euclide hai chữ ký query_Signature[] found_Signature[] theo công thức: diff = 255 ∑ ( found _ Signature[i] − query _ Signature[i]) i =0 -80- TIEU LUAN MOI download : skknchat@gmail.com Chương 3: Ứng dụng Khoảng cách diff nhỏ hai ảnh coi giống 3.3.3 Tra cứu theo màu sắc Đọc ảnh mẫu Chuyển đổi 256 màu Đọc ảnh từ sở DL Tính histogram màu Chuyển đổi 256 màu Tính k/c Euclide Tính histogram màu Thêm vào danh sách vị trí thích hợp Hình 3.3: Sơ đồ khối phần tra cứu ảnh theo màu sắc Sử dụng phương pháp histogram màu trình bày chương o Ảnh mẫu đọc vào cấu trúc DIB hiển thị thủ tục DisplayImage o Giảm số lượng bin màu xuống 256 cách chuyển đổi màu thực điểm ảnh thành số màu bảng màu chuẩn Windows hàm GetClosetIndex o Tính tốn số điểm ảnh bin màu hàm GenerateColorSignature, thu véc tơ 256 chiều véc tơ đặc trưng màu sắc ảnh o Làm bước tương tự với ảnh sở liệu o Tính khoảng cách Euclide véc tơ đặc trưng ảnh mẫu ảnh sở liệu hàm GetColorDistance xếp vào danh sách với khoảng cách nhỏ xếp trước tiên -81- TIEU LUAN MOI download : skknchat@gmail.com Chương 3: Ứng dụng 3.3.4 Sử dụng chương trình QueryImage o Khởi động chương trình, chọn file ảnh mẫu, ảnh mẫu hiển thị ô khung "Sample Image" o Chọn phương pháp so sánh: hình dạng hay màu sắc, nhập số đo khoảng cách tối đa (giá trị ngưỡng) hộp Similarity Distance o Nhấn nút Find, chương trình yêu cầu người dùng chọn thư mục chứa file ảnh cần tìm Chương trình sau liệt kê tất ảnh có khoảng cách Euclide nhỏ giá trị ngưỡng theo thứ tự tăng dần khoảng cách Euclide, ảnh coi giống xếp trước Khi chọn ảnh danh sách ảnh tìm thấy (Found Image List), chương trình hiển thị ảnh khung Retrieved Image Hình 3.4 trang sau kết chạy chương trình để tìm kiếm ảnh tương tự với ảnh mẫu bình cổ từ đời nhà Minh (Trung Quốc) -82- TIEU LUAN MOI download : skknchat@gmail.com Chương 3: Ứng dụng Hình 3.4: Một số kết chạy thử chương trình -83- TIEU LUAN MOI download : skknchat@gmail.com Chương 3: Ứng dụng 3.4 KHẢ NĂNG MỞ RỘNG CỦA CHƯƠNG TRÌNH 3.4.1 Những hạn chế chương trình o Chương trình giới thiệu đưa thuật toán đơn giản để trích chọn đặc điểm (sinh véc tơ đặc trưng) nên chắn cho kết so sánh tốt o Các ảnh ban đầu chưa xử lý “sơ chế” lọc nhiễu yêu cầu định dạng đơn giản nên phạm vi so sánh bị hạn chế o Chương trình thiết lập kích thước cố định cho ảnh trước xử lý 256×256, kích thước khối 16×16, số chiều vector đặc trưng 256 làm hạn chế tính mềm dẻo chương trình 3.4.2 Khả mở rộng o Kỹ thuật “tra cứu ảnh theo nội dung” có nhiều hướng nghiên cứu phát triển tạo thuật toán hiệu làm cho máy tính “hiểu” nội dung ảnh Chúng ta hồn tồn xây dựng thuật tốn tốt để trích chọn đặc điểm đặc trưng khác màu sắc, kết cấu, hình dạng đối tượng ảnh để phát triển cho toán nhận dạng vật thể o Thuật toán resample chương trình sử dụng phương pháp đơn giản để thực nội suy, sử dụng thuật tốn cho độ xác cao chắn cải thiện đáng kể chất lượng chương trình o Sử dụng phương pháp làm giảm số chiều véc tơ đặc trưng làm tăng đáng kể tốc độ tra cứu Đối với hệ thống máy tính có trang bị nhiều vi xử lý có xủ lý lõi kép xây dựng thuật toán cho phép phân phối tác vụ cho nhiều vi xử lý đồng thời giải pháp tốt để tăng tốc độ tra cứu -84- TIEU LUAN MOI download : skknchat@gmail.com Chương 3: Ứng dụng o Sử dụng phương pháp tính tốn độ tương tự phù hợp cho loại đặc điểm để có kết so sánh gần với trực giác -85- TIEU LUAN MOI download : skknchat@gmail.com Kết luận KẾT LUẬN Bản luận văn trình bày vài kỹ thuật tảng hệ thống tra cứu ảnh theo nội dung bao gồm mô tả nội dung trực quan, đánh giá độ tương tự, sơ đồ đánh số, giao tiếp với người sử dụng đánh giá hiệu hệ thống, nhấn mạnh vào kỹ thuật mô tả đặc điểm trực quan Các đặc điểm trực quan tổng quát sử dụng nhiều hệ tra cứu ảnh theo nội dung màu sắc, kết cấu, hình dạng thông tin không gian Màu sắc thường biểu diễn thông quan histogram màu, sơ đồ tương quan màu, véc tơ gắn kết màu moment màu khơng gian màu định Kết cấu biểu diễn thông qua đặc điểm Tamura, phân tích Wold, mơ hình SAR, biến đổi Gabor biến đổi dạng sóng Hình dạng biểu diễn thống qua bất biến moment, hàm xoay, mô tả Fourier, độ trịn, độ lệch tâm, hướng trục biến đổi radon Các mối quan hệ không gian vùng đối tượng ảnh thường biểu diễn chuỗi 2D Ngoài đặc điểm trực quan điểm ảnh lại sử dụng để phân tách ảnh thành vùng đồng đối tượng ảnh Các đặc điểm cục vùng ảnh đối tượng ảnh dùng hệ thống tra cứu ảnh theo vùng Có nhiều cách để đánh giá khoảng cách đặc điểm trực quan, số cách sử dụng phổ biến khoảng cách Minkowski, khoảng cách toàn phương, khoảng cách Mahalanobis, độ phân kỳ Kullback-Leibler độ phân kỳ -86- TIEU LUAN MOI download : skknchat@gmail.com Kết luận Jeffrey Đến thời điểm phương pháp tính khoảng cách Minkowski khoảng cách tồn phương sử dụng rộng rãi hệ thống tra cứu ảnh Việc xây dựng sơ đồ đánh số véc tơ đặc trưng cách hiệu điều quan trọng truy vấn ảnh Để lập sơ đồ đánh số trước hết phải tiến hành làm giảm số chiều véc tơ đặc trưng Một số phương pháp thường sử dụng PCA, ICA biến đối KL sử dụng mạng nơ ron Sau giảm số chiều véc tơ đặc trưng tiến hành xây dựng số Các cấu trúc số hay sử dụng R, R*, toàn phương, K-d-B Hiệu hệ thống tra cứu ảnh dựa nhiều vào khả tương tác với người sử dụng Nói cách khác, kết tra cứu phải dựa mô tả truy vấn người sử dụng Trong kết truy vấn hiệu chỉnh để thu nhiều kết phù hợp dựa vào phản hồi thích hợp người sử dụng Mặc dù kỹ thuật tra cứu ảnh theo nội dung đưa giải pháp thông minh tự động để tìm kiếm ảnh cách hiệu vấn đề kỹ thuật dựa đặc điểm mức thấp Nói chung đặc điểm mức thấp phản ánh đựơc khía cạnh ảnh Khơng có đặc điểm phản ánh ngữ nghĩa ảnh, kể sử dụng kết hợp nhiều đặc điểm Ngoài đánh giá độ tương tự đặc điểm trực quan lại chưa liên quan đến đặc điểm sinh lý thị giác người Người sử dụng thường quan tâm đến giống ngữ nghĩa nên kết truy vấn dựa đặc điểm mức thấp thường khơng thoả mãn u cầu nói chung khó đốn trước Mặc dù phản hồi thích hợp cách để bù đắp vào khoảng cách tìm kiếm theo ngữ nghĩa việc xử lý liệu mức thấp vấn đề tồn cần phải có kỹ thuật khác đáp ứng -87- TIEU LUAN MOI download : skknchat@gmail.com Kết luận Ngồi ra, người ta có số hướng tiếp cận nhằm giải triệt để vấn đề ngữ nghĩa ảnh việc tra cứu Phương pháp tra cứu ảnh theo thể tra cứu ảnh theo đồ thị hai số cách tiếp cận Tuy nhiên kết đạt nhiều hạn chế việc xây dựng hệ thống tra cứu ảnh thực hiểu ngữ nghĩa thực ảnh thách thức lớn Phần cuối luận văn đưa áp dụng cụ thể cho phương pháp tra cứu ảnh theo nội dung Những vấn đề giải luận văn: o Giới thiệu chi tiết phương pháp tra cứu ảnh theo nội dung o Sơ lược cách đánh giá hiệu hệ thống tra cứu ảnh o Giới thiệu số cách tiếp cận tra cứu ảnh theo ngữ nghĩa o Áp dụng phương pháp tra cứu ảnh theo nội dung vào tốn tìm kiếm cổ vật theo hai đặc điểm theo hình dạng theo màu sắc Những vấn đề cịn tồn tại: Do thời gian tìm hiểu đề tài chưa nhiều hạn chế khả lập trình đồ hoạ nên số mục tiêu đặt từ bắt tay nghiên cứu chưa thực chương trình chạy thử này, bao gồm: o Chưa có chức tra cứu ảnh cách kết hợp nhiều đặc điểm o Chưa cài đặt kỹ thuật đánh số hiệu đề cập phần luận o Chưa cài đặt kỹ thuật tăng hiệu hệ thống cách giảm số chiều véc tơ đặc trưng Trong thời gian tới, tơi hy vọng giải vấn đề tồn để xây dựng chương trình thực hữu ích, đáp ứng yêu cầu toán -88- TIEU LUAN MOI download : skknchat@gmail.com TÀI LIỆU THAM KHẢO [1] Fuhui Long, Hongjiang Zhang, David Dagan Feng (2002), Fundamentals of Content-based Image Retrieval, in Multimedia Information Retrieval and Management - Technological Fundamentals and Applications [2] Do Nang Toan (2002), The boundaries of the region and properties, Science and Technology Journal, Vol.40, Special No, pp 41-48 [3] Low (1991), A Introductory Computer Vision and Image Processin, McGraw-hill, 244p ISBN 0077074033 [4] Randy Crane (1997), A simplied approach to Image Processing: clasical and modern technique in C, Prentice Hall, ISBN 0-13-226616-1 [5] Lương Mạnh Bá, Nguyễn Thanh Thuỷ (2003), Nhập môn xử lý ảnh số, Nhà xuất Khoa học Kỹ thuật [6] Shengjiu Wang (2001), A Robust CBIR Approach Using Local Color Histograms, Department of Computer Science, University of Alberta, Edmonton, Alberta, Canada, Tech Rep TR 01-13, http://citeseer.nj.nec.com/wang01robust.html [7] Peter Howarth, Stefan Ruger (2000), Evaluation of Texture Features for Content-based Image Retrieval, Department of Computing, Imperial College London mmis.doc.ic.ac.uk/www-pub/civr04-texture.pdf -89- TIEU LUAN MOI download : skknchat@gmail.com [8] Eero Hyvönen et al (2002), Ontology Image Retrieval, www.seco.tkk.fi/publications/2003/hyvonen-saarela-et-al-ontology-basedimage-retrieval [9] Sanghoon Sull et al (2001), Relevance Graph-based Image Retrieval, School of Electrical Engineering Korea University, www.informatik.uni-trier.de/~ley/db/indices/a-tree/s/Sull:Sanghoon.html [10] Abhishek Krovi, Shahram Rahimi (2000), A distributed approach to content based image retrieval, Department of Computer Sciense, Southern Illinois University, wotan.liu.edu/docis/dbl/pdptap/2003 458_ADATCB.htm [11] S -K Chang et al (1987), Iconic Indexing by 2-D Strings, IEEE Trans Pattern Analysis and Machine Intelligence, pp 413-428 [12] Cheng Chang, Liu Wenyin, Hongjiang Zhang (2001), Image retrieval based on region shape similarity, Microsoft Research China, www.eecs.berkeley.edu/~cchang/docs/Spie01.pdf [13] Gunhan Park, Yunju Baek, Heung-Kyu Lee (2002), A Ranking Algorithm Using Dynamic Clustering for Content-Based Image Retrieval, Springer Berlin / Heidelberg, ISSN 0302-9743 [14] Dengsheng Zhang, Aylwin Wong, Maria Indrawan, Guojun Lu, Contentbased Image Retrieval Using Gabor Texture Features, personal.gscit.monash.edu.au/~dengs/resource/papers/pcm00.pdf [15] Mike D Sutton (2005), Using Device Independent Bitmaps (DIBs) in Visual Basic, Part 1, EDAIS, http://edais.mvps.org/ [16] Tanner Helland, Graphics Programming in Visual Basic, tannerhelland.tripod.com/VBGraphicsTutorial.htm [17] Colin C Venteres and Dr Matthew Cooper, A Review of Content-Based Image Retrieval Systems, http://www.jtap.ac.uk/reports/htm/jtap-054.html -90- TIEU LUAN MOI download : skknchat@gmail.com ... trình ứng dụng -10 - TIEU LUAN MOI download : skknchat@gmail.com Chương 1: Tổng quan tra cứu ảnh CHƯƠNG 1: TỔNG QUAN VỀ TRA CỨU ẢNH 1. 1 VẤN ĐỀ TRA CỨU ẢNH Những năm gần đây, vấn đề tra cứu ảnh số. .. thống tra cứu ảnh theo nội dung số kỹ thuật sử dụng để xây dựng hệ thống tra cứu ảnh theo nội dung Chương 3: Giới thiệu ứng dụng phương pháp tra cứu ảnh theo nội dung áp dụng vào tốn tìm kiếm cổ vật; ... người-máy tra cứu thông tin bị hấp dẫn bới hướng nghiên cứu [1] Từ đến nay, cơng trình nghiên cứu tra cứu ảnh theo nội dung triển khai nhiều Từ năm 19 97 kết nghiên cứu tra cứu ảnh theo nội dung kỹ thuật