PHƯƠNG PHÁP TRÍCH CHỌN đặc TRƯNG ẢNH TRONG THUẬT TOÁN học máy t ếm ẢNH áp ìm KI DỤNG v ếm sản PHẨM

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ Nguyễn Thị Hồn PHƯƠNG PHÁP TRÍCH CHỌN ĐẶC TRƯNG ẢNH TRONG THUẬT TỐN HỌC MÁY TÌM KIẾM ẢNH ÁP DỤNG VÀO BÀI TỐN TÌM KIẾM SẢN PHẨM KHỐ LUẬN TỐT NGHIỆP ĐẠI HỌC HỆ CHÍNH QUY Ngành: Cơng Nghệ Thông Tin Hà Nội – 2010 i download by : skknchat@gmail.com ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CƠNG NGHỆ Nguyễn Thị Hồn PHƯƠNG PHÁP TRÍCH CHỌN ĐẶC TRƯNG ẢNH TRONG THUẬT TỐN HỌC MÁY TÌM KIẾM ẢNH ÁP DỤNG VÀO BÀI TỐN TÌM KIẾM SẢN PHẨM KHỐ LUẬN TỐT NGHIỆP ĐẠI HỌC HỆ CHÍNH QUY Ngành: Cơng Nghệ Thông Tin Cán hướng dẫn: PGS.TS Hà Quang Thụy Cán đồng hướng dẫn: Ths Nguyễn Cẩm Tú Hà Nội - 2010 ii download by : skknchat@gmail.com Lời cảm ơn Trước tiên, xin gửi lời cảm ơn lịng biết ơn sâu sắc tới Phó Giáo sư Tiến sĩ Hà Quang Thụy Thạc sĩ Nguyễn Cẩm Tú, người t ận tình bảo hướng dẫn tơi suốt q trình thực khố luận tốt nghiệp Tôi chân thành cảm ơn thầy, cô tạo điều kiện thuận lợi cho học tập nghiên cứu trường Đại học Công nghệ Tôi xin gửi lời cảm ơn tới anh chị, bạn em sinh viên phịng nghiên cứu SIS-KTLab giúp tơi nhiều việc hỗ trợ kiến thức chun mơn để hồn thành tốt khố luận Cuối cùng, tơi muốn gửi lời cảm vơ hạn tới gia đình bạn bè, người thân yêu bên cạnh động viên suốt q trình thực khóa luận tốt nghiệp Tơi xin chân thành cảm ơn ! Sinh viên Nguyễn Thị Hồn iii download by : skknchat@gmail.com Tóm tắt Sự phát triển mạnh mẽ công nghệ ảnh số làm lượng ảnh lưu trữ web tăng lên cách nhanh chóng địi hỏi phải có cơng cụ hỗ trợ tìm kiếm ảnh hiệu tiện lợi M ặc dù cơng cụ tìm kiếm ảnh theo văn kèm ảnh đời cho phép người dùng tìm kiếm ảnh với thời gian đáp ứng nhanh, nhiên, cơng c ụ n ày cịn hạn chế việc giải nhập nhằng nội dung câu truy vấn nội dung hiển thị ảnh trả Sự đời cơng cụ tìm kiếm ảnh theo nội dung ảnh giải nhập nhằng Mục tiêu khóa luận l nghiên cứu phương pháp biểu diễn đặc trưng ản h để nâng cao chất lượng tìm kiếm ảnh Đầu tiên, khóa luận khảo sát phương pháp trích chọn đặc trưng ảnh tìm kiếm xếp hạng ảnh Tiếp đó, d ựa theo phương pháp lượng tử hóa tích Hervé Jégou cộng [12], khóa luận đưa mơ hình tìm kiếm k láng giềng gần kết hợp độ đo tương đồng khoảng cách vector đặc trưng tiến h ành thực nghiệm mơ h ình Thực nghiệm ban đầu cho thấy, từ ảnh truy vấn đầu vào hệ thống trả 10 ảnh tương đồng truy vấn với độ xác 80.4% kết khả quan iv download by : skknchat@gmail.com Mục lục Mở đầu Chương Khái quát trích chọn đặc trưng ảnh tìm kiếm theo đặc trưng ảnh 1.1 Đặt vấn đề 1.2 Đặc trưng văn kèm ảnh tìm kiếm ảnh theo văn kèm ảnh 1.3 Đặc trưng nội dung ảnh tìm kiếm theo đặc trưng nội dung Tổng kết chương Chương Các phương pháp lựa chọn đặc trưng độ đo tương đồng ảnh 10 2.1 Đặt vấn đề 10 2.2 Đặc trưng màu sắc 11 2.2.1 Đặc trưng màu sắc 11 2.2.2 Độ đo tương đồng cho màu sắc 11 2.3 Đặc trưng kết cấu 12 2.3.1 Đặc trưng kết cấu 12 2.3.2 Độ đo tương đồng cho kết cấu 12 2.4 Đặc trưng hình dạng 13 2.4.1 Đặc trưng hình dạng 13 2.4.2 Độ đo tương đồng cho hình dạng 13 2.5 Đặc trưng cục bất biến 13 2.5.1 Đặc trưng cục bất biến 14 2.5.2 Độ đo tương đồng cho đặc trưng cục bất biến 18 2.6 Lựa chọn đặc trưng 18 Tổng kết chương 20 Chương Một số phương pháp tìm kiếm ảnh theo nội dung 21 3.1 Phương pháp PageRank cho tìm kiếm ảnh sản phẩm 21 3.2 CueFlik: Một phương pháp xếp hạng lại ảnh dựa luật người dùng 22 v download by : skknchat@gmail.com 3.3 Phương pháp tìm kiếm ảnh dựa màu sắc, hình dạng, kết cấu ảnh 24 3.3.1 Lưới 25 3.3.2 Tích hợp đối sánh ảnh 25 3.3.3 Hình dạng: 26 3.4 Phương pháp tìm kiếm ảnh dựa vào nội dung sử dụng phân vùng ảnh mẫu truy vấn 26 Tổng kết chương 27 Chương Mơ hình k láng giềng gần sử dụng lượng tử hóa 28 4.1 Đặt vấn đề 28 4.2 Cơ sở lý thuyết 28 4.2.1 Các ký hiệu khái niệm 28 4.2.2 Tìm kiếm sử dụng lượng tử hóa 30 4.2.3 Tìm kiếm khơng toàn 31 4.3 Mơ hình tốn 33 4.3.1 Trích chọn đặc trưng ảnh 33 4.3.2 Tìm kiếm K láng giềng gần 34 Tổng kết chương 35 Chương Thực nghiệm đánh giá 36 5.1 Môi trường công cụ sử dụng cho thực nghiệm 36 5.2 Xây dựng tập liệu ảnh 37 5.3 Quy trình, phương pháp thực nghiệm 38 5.4 Kết thực nghiệm 38 Tổng kết chương 41 Kết luận 42 Tài liệu tham khảo 43 vi download by : skknchat@gmail.com Danh sách bảng Bảng Cấu hình phần cứng sử dụng thực nghiệm 36 Bảng Công cụ phần mềm sử dụng thực nghiệm 36 Bảng Một số thư viện sử dụng thực nghiệm 37 Bảng Kết độ xác trung bình c 10 truy vấn 40 Bảng Độ xác mức k số truy vấn 40 Danh sách hình vẽ Hình Ví dụ hiển thị ảnh Hình Ví dụ truy vấn Google Hình Ví dụ truy vấn Google Hình Ví dụ số lọai kết cấu Hình Một kết trả Google Image Swirl Hình Một kết trả Tiltomo Hình Một kết trả Byo Image Search Hình Biểu đồ mơ việc tính tốn DoG ảnh từ ảnh kề mờ 15 Hình Mỗi điểm ảnh so sánh với 26 láng giềng 16 Hình 10 Quá trình lựa chọn điểm hấp dẫn 17 Hình 11 Biểu diễn vector đặc trưng 18 Hình 12 Ví dụ ảnh sản phẩm trả từ hệ thống Jing 22 Hình 13 Tổng quan mơ h ình hệ thống tìm kiếm theo màu sắc, kết cấu hình dạng 25 Hình 14 Mơ hình hệ thống IVFADC 33 Hình 15 Mơ hình giải tốn 34 Hình 16 10 kết trả hệ thống với truy vấn Apple 41 vii download by : skknchat@gmail.com Danh sách từ viết tắt STT 10 11 12 13 Từ viết tắt ADC AP BDA CBIR DoG IVFADC JSD MAP MDA QBIC SDC SIFT SMMS Từ viết đầy đủ Asymmetric distance computation Average Precision Biased Discriminant analysis Content Based Images Retrieval Difference of Gaussian Inverted file asymmetric distance Computation Jensen-Shannon divergence Mean Average Precision Multiple Discriminant analysis Query Based Image Content Symmetric distance computation Scale Invariant feature transform Symmetric maximized minimal distance in subspace viii download by : skknchat@gmail.com Danh sách tham chiếu thuật ngữ Anh – Việt STT Thuật ngữ tiếng Anh Thuật ngữ tiếng Việt 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 Asymmetric distance Biased Discriminant analysis Boosting manner Content Based Images Retrieval Co-occurrence matrix Cotourlet transform Discriminant analysis Distribution based method Feature contrast Model Feature selection Gabor Wavelet transform Global texture descriptor Image Segment Interest point Inverted file asymmetric distance computation Inverted list Local features Local interest Point Local scale – invariant feature Mean Average Precision Metadata Non exhausitive search Product quantization Quantization code Query Based Image Content Similarity measurment Symmetric distance Texture The complex directional fillter The steerable pyramid Khoảng cách bất đối xứng Phân tích biệt th ức khơng đối xứng Tăng khuyếch đại Tìm kiếm ảnh theo nội dung Ma trân đồng xuất Biến đổi đường viền Phân tích biệt th ức Phương pháp dựa vào phân phối Mơ hình tương phản đặc trưng Lựa chọn đặc trưng Biến đổi sóng Gabor Đặt tả kết cấu toàn cục Phân vùng ảnh Điểm hấp d ẫn Tính tốn khoảng cách bất đố i xứng file mục ngược Danh sách mục ngược Đặc trưng cục Điểm hấp d ẫn cục Đặc trưng cục bất biến Độ xác trung bình Siêu liệu Tìm kiếm khơng tồn Lượng tử hóa tích Mã lượng tử hóa Truy vấn theo nội dung ảnh Độ đo tương đồng Khoảng cách đố i xứng Kết cấu Bộ lọc định hướng phức tạp Kim tự tháp lái 31 Visual hyperlinks Siêu liên kết trực quan ix download by : skknchat@gmail.com Mở đầu Cùng với bùng nổ thông tin web s ự phát triển công nghệ kỹ thuật số, lượng ảnh lưu trữ Web tăng cách nhanh chóng Vì vậy, việc xây dựng hệ thống tìm kiếm x ếp hạng ảnh cần thiết thực tế có nhiều cơng cụ tìm kiếm ảnh thương mại xuất Các cơng cụ tìm kiếm ảnh thường dựa vào hai đặc trưng văn kèm ảnh nội dung ảnh Một số cơng cụ tìm kiếm ảnh theo văn kèm Google Image Search, Yahoo!, MSN,…Một số cơng cụ tìm kiếm ảnh dựa vào nội dung ảnh Google Image Swirl, Bing, Tiltomo, Tineye,…Tuy nhiên, việc tìm kiếm dựa vào văn kèm cịn có nhiều nhập nhằng nội dung hiển thị ảnh nội dung văn kèm ảnh tình tìm kiếm Ví dụ, với truy vấn “Apple”, máy tìm kiếm khó phân biệt người dùng muốn tìm hình ảnh táo hay logo hãng Apple Những công cụ tìm kiếm ảnh theo n ội dung ảnh đời tỏ ưu hạn chế nhập nhằng Tìm kiếm ảnh theo nội dung nhận nhiều quan tâm nhà khoa học Nhiều cơng trình nghiên cứu tìm kiếm ảnh theo nội dung đăng tạp chí International Journal of Computer Vision, IEEE conference… Nhóm nghiên cứu chúng tơi tiến hành số nghiên c ứu bước đầu liên quan đến xếp hạng ảnh dựa vào độ tương đồng theo nội dung ảnh công tác sinh vi ên nghiên cứu khoa học Khóa luận “Phương pháp trích chọn đặc trưng ảnh học máy tìm kiếm ảnh ứng dụng trong tìm kiếm sản phẩm” nhằm khảo sát, phân tích số phương pháp trích ch ọn đặc trưng ảnh phổ biến tìm kiếm ảnh theo ảnh mẫu, thử nghiệm hệ thống ứng dụng tìm kiếm sản phẩm Ngồi phần MỞ ĐẦU này, khóa luận bao gồm nội dung sau:  Chương Khái quát lựa chọn đặc trưng cho tìm kiếm ảnh Các đặc trưng về văn kèm ảnh đặc trưng nội dung ảnh  Chương Các phương pháp lựa chọn đặc trưng độ đo tương tự ảnh Trình bày m ột số đặc trưng nội dung ảnh số độ đo tương đồng tương ứng với đặc trưng download by : skknchat@gmail.com ...ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ Nguyễn Thị Hồn PHƯƠNG PHÁP TRÍCH CHỌN ĐẶC TRƯNG ẢNH TRONG THU? ?T TỐN HỌC MÁY T? ?M KI? ??M ẢNH ÁP DỤNG V? ?O BÀI T? ??N T? ?M KI? ??M SẢN PHẨM KHỐ LUẬN T? ? ?T NGHIỆP... lựa chọn đặc trưng cho t? ?m ki? ??m ảnh Các đặc trưng v? ?? v? ?n kèm ảnh đặc trưng nội dung ảnh  Chương Các phương pháp lựa chọn đặc trưng độ đo t? ?ơng t? ?? ảnh Trình bày m ? ?t số đặc trưng nội dung ảnh. .. đồng v? ??i ảnh mẫu Trong nội khóa luận này, chúng t? ?i t ập trung v? ?o t? ??n t? ?m ki? ??m ảnh dựa theo mẫu, t? ?m hiểu phương pháp trích chọn đặc trưng nội dung độ đo t? ?ơng đồng để t? ?m ki? ??m t? ??p ảnh sản phẩm