Tìm hiểu một sô phương pháp trích chọn đặc trưng ảnh và thử nghiệm tìm kiếm ảnh

i ĐẠI HỌC THÁI NGUYÊN TRƢỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG - HỒNG TRẦN HIẾU TÌM HIỂU MỘT SỐ PHƢƠNG PHÁP TRÍCH CHỌN ĐẶC TRƢNG ẢNH VÀ THỬ NGHIỆM TÌM KIẾM ẢNH Chuyên ngành: Khoa học máy tính Mã số: 60.48.01 LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH Thái Ngun - 2012 Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn ii MỤC LỤC MỤC LỤC i DANH MỤC CÁC HÌNH VẼ v MỞ ĐẦU CHƢƠNG ĐẶC TRƢNG ẢNH VÀ BÀI TỐN TÌM KIẾM ẢNH 1.1 Đặt vấn đề 1.2 Đặc trưng văn kèm ảnh tìm kiếm ảnh theo đặc trưng văn kèm 1.3 Đặc trưng nội dung ảnh tìm kiếm ảnh theo nội dung 1.4 Một số chương trình minh họa tìm kiếm ảnh theo nội dung 1.5 Tổng kết chương 10 CHƢƠNG 2: MỘT SỐ PHƢƠNG PHÁP TRÍCH CHỌN ĐẶC TRƢNG ẢNH 11 2.1 TRÍCH CHỌN ĐẶC TRƯNG THEO MÀU 11 2.1.1 Màu sắc 11 2.1.1.1 Khái niệm màu sắc 11 2.1.1.2 Một số đặc tính vật lý đặc biệt màu sắc 12 2.1.2 Các hệ màu thông dụng 14 2.1.2.1 Hệ màu chuẩn RGB 14 2.1.2.2 Hệ màu CMY 15 2.1.2.3 Hệ màu HSI 16 2.1.2.4 Hệ màu HLS 18 2.1.2.5 Hệ màu YIQ 19 2.1.3 Đặc trưng màu sắc 19 2.1.3.1 Lược đồ màu (Histogram) 19 2.1.3.2 Véc- tơ liên kết mầu 21 2.1.3.3 Đặc trưng tương quan màu (AutoCorrelogram) 23 2.1.4 Các loại độ đo màu 26 2.1.4.1 Độ đo khoảng cách min- max 26 2.1.4.2 Độ đo khoảng cách Euclid 27 2.1.4.3 Độ đo khoảng cách toàn phương: 27 Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn iii 2.1.4.4 Độ đo Jensen – Shannon diergence (JSD): 27 2.2 TRÍCH CHỌN ĐẶC TRƯNG THEO KẾT CẤU ẢNH 28 2.2.1 Khái niệm 28 2.2.2 Một số loại kết cấu tiêu biểu 28 2.2.3 Đặc trưng kết cấu ảnh 28 2.2.4 Độ tương đồng kết cấu ảnh 29 2.2.4.1 Mật độ đường biên hướng biên 29 2.2.4.2 Phân hoạch màu nhị phân cục 31 2.2.4.3 Ma trận đồng đối tượng đồng 31 2.2.4.4 Độ đo lượng kết cấu dựa vào luật đo 34 2.2.4.5 Tương quan tự động lượng 35 2.2.5 Phân đoạn cho kết cấu 36 2.3 TRÍCH CHỌN ĐẶC TRƯNG THEO HÌNH DẠNG ẢNH 36 2.3.1 Khái niệm 36 2.3.2 Các kỹ thuật phát biên ảnh 37 2.3.2.1 Kỹ thuật phát biên trực tiếp 38 2.3.3.2 Kỹ thuật phát biên gián tiếp 48 2.3.3 Các đặc trưng biên cạch 48 2.3.3.1 Lược đồ hệ số góc (Edge Direction Histogram) 48 2.3.3.2 Véc – tơ liên kết hệ số góc (Edge Direction Coherence Vector) 49 2.4 Kết luận chƣơng 2: 51 CHƢƠNG 3: THỬ NGHIỆM TÌM KIẾM ẢNH 52 3.1 Kỹ thuật tìm kiếm ảnh dựa đặc trưng màu sắc 52 3.1.1 Biểu đồ màu 52 3.1.2.1 Độ đo khoảng cách Minkowski 53 3.1.2.2 Độ đo khoảng cách Quadratic 54 3.1.2.3 Độ đo khoảng cách Non-histogram 54 3.2 Các phương pháp tra cứu ảnh 55 3.2.1 Biểu đồ màu toàn cục (Global Color Histogram - GCH) 55 Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn iv 3.2.2 Biểu đồ màu cục (Local Color Histogram - LCH) 56 3.2.3 Color Auto Correlgram 57 3.3 Thực nghiệm 60 3.3.1 Môi trường test 60 3.3.2 Mơ tả chương trình 60 3.4 Giao diện chương trình 61 3.5 Kết luận 61 KẾT LUẬN 62 TÀI LIỆU THAM KHẢO 63 Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn v DANH MỤC CÁC HÌNH VẼ Hình 1.1 Hình trả truy vấn “d-80”……………………………………… Hình 1.2 Hình trả truy vấn “apple” Hình 1.3 Hình dễ mơ tả Hình 1.4 Hình khó mơ tả Hình 1.5 Hình khó mơ tả trực quan Hình 1.6 Sơ đồ tìm kiếm ảnh theo đặc trưng văn kèm ảnh Hình 1.7: Một số loại kết cấu tự nhiên Hình 1.8: Sơ đồ tìm kiếm ảnh nội dung ảnh Hình 1.9 Hình minh hoạ trả Google Image Swirl Hình 1.10 Hình minh hoạ trả Tiltomo Hình 1.11 Hình minh hoạ trả Byo Image Search 10 Hình 2.1 Hình mô tả ba màu Red-Green-Blue 14 Hình 2.2 Sự biến đổi từ RGB thành CMY 15 Hình 2.3: Hệ màu CMY 16 Hình 2.4: Hệ màu HSI 17 Hình 3.5: Khơng gian màu HSI 17 Hình 2.6 Hình minh họa thay đổi độ sáng hệ HSI 18 Hình 2.7 Mơ hình màu HLS 18 Hình 2.8.Ảnh hệ màu RGB 20 Hình 2.9.Ảnh hệ màu HSI 21 Hình 2.10 Lược đồ màu ảnh sau lượng tử hóa 21 Hình 2.11: Ảnh hệ màu RGB 22 Hình 2.12: Ảnh hệ màu HSI 22 Hình 2.13: Màu đỏ thể liên kết màu ảnh 22 Hình 2.15 Một số loại kết cấu tự nhiên 28 Hình 2.16 Đường bao ảnh 37 Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn vi Hình 2.17 Minh họa biên ảnh 38 Hình 2.18 Ảnh minh họa làm mảnh biên 44 Hình 2.19 Hình biên ảnh sau dùng phương pháp Gradient 44 Hình 2.20 Hình sau làm mảnh biên 44 Hình 2.21 Minh họa nguyên lý Bellman 46 Hình 2.22 Hình mơ tả tìm biên theo phương pháp quy hoạch động 48 Hình 2.23.Ảnh minh hoạ hệ số góc 49 Hình 2.24 Đường biên ảnh 49 Hình 2.25 Lược đồ hệ số góc ảnh 49 Hình 2.26 Ảnh minh hoạ véc- tơ liên kết hệ số góc 50 Hình 2.27 Biên cạch ảnh 50 Hình 2.28 Lược đồ vec- tơ liên kết hệ số góc 50 Hình 3.2 Độ đo khoảng cách Quadretic 54 Hình 3.3 Ba ảnh biểu đồ màu chúng 55 Hình 3.4 Sử dụng LCH để tính toán khoảng cách ảnh C D 57 H ình 3.5 Xác suất tính mầu sắc 57 Hình 3.6 Color auto correlgram ảnh tương tự 58 Hình 3.7 Các chức chương trình 59 Hình 3.8 Giao diện chương trình tra cứu ảnh 61 Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn MỞ ĐẦU Ngày với phát triển không ngừng cơng nghệ nói chung thiết bị kỹ thuật số nói riêng tạo loại thiết bị máy ghi hình ngày phổ biến đa dạng đại máy ảnh kỹ thuật số, camera, webcam…Với giá từ vài triệu đến vài chục triệu cá nhân, gia đình hay tổ chức xã hội sở hữu thiết bị Các thiết bị ghi lại nhiều hình ảnh thuộc nhiều lĩnh vực khác khoa học kỹ thuật, giáo dục, trị, thể thao, văn hóa du lịch… Trong lĩnh vực khác vậy, trải qua hàng tháng, hàng năm số ảnh quan, tổ chức cá nhân tăng lên cách nhanh chóng tạo thành sở liệu (CSDL) ảnh phong phú đa dạng Cùng với phát triển mạnh mẽ không ngừng mạng Internet, tài nguyên ảnh trang web ngày lớn Tính đến tháng 10/2009 Flick : tỷ ảnh, Facebook: 30 tỷ ảnh có 1,73 tỷ người sử dụng Internet [18] Đây số khổng lồ Vấn đề đặt với CSDL ảnh lớn vậy, để tìm kiếm ảnh đáp ứng yêu cầu người dùng cần phải có hệ thống hỗ trợ tìm kiếm ảnh cách nhanh chóng, xác cao tiện lợi Các cơng cụ tìm kiếm ảnh theo nội dung văn kèm ảnh với thời gian đáp ứng nhanh nhiên, công cụ hạn chế việc giải nội dung câu truy vấn nội dung hiển thị ảnh trả Sự đời công cụ tìm kiếm ảnh theo nội dung giải vấn đề Một bước quan trọng việc tìm kiếm ảnh theo nội dung bước trích chọn đặc trưng ảnh Trích chọn đặc trưng ảnh CSDL ảnh có sẵn để đưa ảnh huấn luyện Từ ảnh yêu cầu gửi vào ta trích chọn đặc trưng ảnh theo phương pháp sử dụng đối sánh với ảnh huấn luyện CSDL ảnh để trả lại kết tìm kiếm Phương pháp trích chọn đặc trưng ảnh bước quan trọng trình tìm kiếm ảnh Nó ảnh hưởng trực tiếp đến hiệu cơng cụ tìm kiếm Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn Chính khn khổ luận văn thạc sỹ em chọn để tài: “Tìm hiểu số phƣơng pháp trích chọn đặc trƣng ảnh thử nghiệm tìm kiếm ảnh” nhằm tìm hiểu kỹ kỹ thuật trích chọn đặc trưng ảnh, nhằm hiểu rõ chất tốn tìm kiếm ảnh theo nội dung từ lựa chọn được phương pháp thích hợp q trình tìm kiếm ảnh vào trường hợp cụ thể Luận văn gồm chương với nội dung sau: Chương 1: Trình bày đặc trưng ảnh tốn tìm kiếm ảnh Chương trình bày đặc trưng theo văn kèm ảnh, tìm kiếm ảnh theo văn kèm Phần chương luận văn trình bày khái quát đặc trưng ảnh Các đặc trưng màu sắc, kết cấu hình dạng ảnh Phần cuối chương nêu lên số hệ tìm kiếm ảnh mạng Chương 2: Tìm hiểu sâu, phân tích kỹ đặc trưng ảnh Các phương pháp trích chọn đặc trưng ảnh phục vụ trình tìm kiếm ảnh theo nội dung Chương 3: Luận văn sở từ việc nghiên cứu cách trích chọn đặc trưng theo màu sắc thử nghiệm cài đặt chương trình tìm kiếm ảnh Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn CHƢƠNG ĐẶC TRƢNG ẢNH VÀ BÀI TỐN TÌM KIẾM ẢNH 1.1 Đặt vấn đề Ngày với phát triển khơng ngừng cơng nghệ nói chung thiết bị kỹ thuật số nói riêng tạo loại thiết bị máy ghi hình ngày phổ biến đa dạng đại máy ảnh kỹ thuật số, camera, webcam…Với giá từ vài triệu đến vài chục triệu cá nhân, gia đình hay tổ chức xã hội sở hữu thiết bị Các thiết bị ghi lại nhiều hình ảnh thuộc nhiều lĩnh vực khác khoa học kỹ thuật, giáo dục, trị, thể thao, văn hóa du lịch… Trong lĩnh vực khác vậy, trải qua hàng tháng, hàng năm số ảnh quan, tổ chức cá nhân tăng lên cách nhanh chóng tạo thành sở liệu (CSDL) ảnh phong phú đa dạng Cùng với phát triển mạnh mẽ không ngừng mạng Internet, tài nguyên ảnh trang web ngày lớn Tính đến tháng 10/2009 Flick : tỷ ảnh, Facebook: 30 tỷ ảnh có 1,73 tỷ người sử dụng Internet[18] Đây số khổng lồ Vấn đề đặt với CSDL ảnh lớn vậy, để tìm kiếm ảnh đáp ứng u cầu người dùng cần phải có hệ thống hỗ trợ tìm kiếm ảnh cách nhanh chóng, xác cao tiện lợi Các cơng cụ tìm kiếm ảnh theo nội dung văn kèm ảnh với thời gian đáp ứng nhanh nhiên, cơng cụ cịn hạn chế việc giải nội dung câu truy vấn nội dung hiển thị ảnh trả Sự đời cơng cụ tìm kiếm ảnh theo nội dung giải vấn đề Phần trình bày giúp hiểu rõ cách tìm kiếm ảnh theo văn kèm theo nội dung ảnh, từ cho ta thấy ưu nhược điểm phương pháp Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 1.2 Đặc trƣng văn kèm ảnh tìm kiếm ảnh theo đặc trƣng văn kèm Mỗi ảnh Web thường có văn kèm tên ảnh (title), thẻ (tag), bình luận (comment)… để mô tả thông tin ảnh, siêu liệu (metadata) ảnh Các liệu thường người dùng tự đặt, công việc làm cách thủ công, sau tạo gắn cho ảnh, chúng mang ý nghĩa định Vì văn kèm ảnh mang ngữ nghĩa nội ảnh hai ảnh có nội dung giống thường có tên giống thẻ tương tự Vì vậy, cơng cụ tìm kiếm ảnh theo văn kèm thường tập trung khai thác nội dung văn để tìm kiếm xếp hạng ảnh Phương pháp cho kết khả quan đáp ứng nhanh nhu cầu người sử dụng Tuy nhiên, với câu truy vấn mang ý nghĩa không rõ ràng kết trả khơng yêu cầu đặt Ví dụ truy vấn “d-80”, “một máy ảnh phổ biến Nikon”, hình 1.1, hệ thống trả kết tốt Tuy nhiên, với truy vấn “apple”, người dùng muốn tìm táo kết khơng thỏa mãn (logo hãng Apple), hình 1.2, hạn chế thứ việc tìm kiếm ảnh dựa đặc trưng văn kèm ảnh Hình 1.1 Hình 1.2 Mặt khác từ khóa người dùng tạo nên dễ dàng mơ tả với số ảnh mức cao như: [3] Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 50 VE  [(1 , 1 ), (1 , 1 ), , ( n ,  n )] , n số màu (bin) Độ đo tính tương tự ảnh dựa đặc trưng véc- tơ liên kết hệ số góc: n DE ( I Q I D )   (  Q j   D j   Q j   D j ) j 1 Việc chọn đặc trưng vec – tơ liên kết hệ số góc cho việc tìm kiếm giúp cho ta phân biệt ảnh thiên nhiên ảnh thành phố Ảnh thành phố có khuynh hướng tạo điểm liên kết hệ số góc theo hướng ngang dọc Ảnh thiên nhiên có khuynh hướng tạo điểm liên kết hệ số góc theo hướng ngang dọc Vì đặc trưng có ưu điểm lược đồ hệ số góc việc phân lớp ảnh thiên nhiên ảnh thành phố Ví dụ minh họa ảnh lược đồ vec –tơ liên kết hệ số góc: Hình 2.26 Ảnh minh hoạ véc- tơ liên kết hệ số góc Hình 2.27 Biên cạch ảnh Hình 2.28 Lƣợc đồ vec- tơ liên kết hệ số góc Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 51 2.4 Kết luận chƣơng 2: Trong chương này, luận văn trình bày đặc trưng ảnh Các đặc trưng màu ảnh, kết cấu ảnh hình dạng ảnh Phần trình bày tìm hiểu phân tích chi tiết đặc trưng ảnh Đặc trưng màu ảnh tìm hiểu khái niệm màu ảnh, loại biểu đồ màu ảnh, độ đo màu ảnh Kết ứng dụng trình tìm kiếm ảnh Với đặc trưng kết cấu ảnh hiểu rõ kết cấu ảnh, số loại kết cấu tiêu biểu Luận văn trình bày đặc trưng kết cấu ảnh, loại độ đo tương đồng kết cấu ảnh Phần cuối chương đặc trưng hình dạng ảnh Qua phần khái niệm, thực chất hình dạng ảnh biên ảnh Phần trình bày cách phát biên ảnh Có hai cách tìm biên ảnh phát biên trực tiếp phát biên gián tiếp Các đặc trưng nội dung ảnh Chương luận văn cài đặt chương trình ứng dụng tìm kiếm ảnh dựa nội dung ảnh Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 52 CHƢƠNG 3: THỬ NGHIỆM TÌM KIẾM ẢNH Chương luận văn trình bày đầy đủ đặc trưng ảnh Đó đặc trưng màu sắc, kết cấu hình dạng ảnh Ở chương tìm hiểu cách rút trích đặc trưng ảnh Trong chương này, luận văn thực cụ thể hố kỹ thuật tìm kiếm ảnh Kỹ thuật tìm kiếm ảnh dựa màu sắc ảnh 3.1 Kỹ thuật tìm kiếm ảnh dựa đặc trƣng màu sắc 3.1.1 Biểu đồ màu Biểu đồ màu tập hợp mức mà mức số pixel màu riêng biệt ảnh Biểu đồ màu H cho ảnh định nghĩa vector: H={H[0], H[1], H[2], , H[i], H[N]} Ở i đại diện cho màu biểu đồ màu tương ứng với hình vng nhỏ khơng gian màu RGB, H[i] số điểm có màu i ảnh, N số mức biểu đồ màu tức số màu không gian màu chấp nhận Trong biểu đồ màu ảnh, giá trị mức tổng số điểm ảnh có màu tương ứng Để so sánh ảnh có kích cỡ khác biểu đồ màu nên chuẩn hóa biểu đồ màu chuẩn hóa định nghĩa sau: H’={H’[0], H’[1], H i  H ' i   P H’[2], , H’[i], H’[N]} Với P tổng số điểm ảnh Lượng tử hóa thành khơng gian màu lý tưởng cho màu khác biệt không định vị hình khối nhỏ, màu tương tự nên gán cho hình khối nhỏ Sử dụng màu làm giảm khả màu tương tự gán cho mức khác làm tăng khả màu phân biệt gán cho mức giống nhau, nội dung thông tin ảnh bị giảm đáng kể Mặt khác biểu đồ màu với số lượng lớn mức chứa nhiều thông tin nội dung ảnh hơn, làm giảm khả màu riêng biệt gán cho mức khác nhau, tăng không gian lưu trữ sở liệu, tăng thời gian tính tốn khoảng cách biểu đồ Chính cần phải có Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 53 cân nhắc việc xác định mức nên sử dụng biểu đồ màu Mức điển hình sử dụng 64 3.1.2 Một số độ đo khoảng cách biểu đồ màu Có nhiều độ đo khoảng cách đưa để tính tốn khoảng cách biểu đồ màu như: 3.1.2.1 Độ đo khoảng cách Minkowski Độ đo khoảng cách dạng Minkowski so sánh mức giống biểu đồ màu định nghĩa sau: N d Q, I    H Q i   H I i  r i 1 Với Q I ảnh, N số mức biểu đồ màu (đối với ảnh, số lượng màu giảm xuống N màu không gian màu RGB Bởi vậy, biểu đồ màu có N mức) HQ[i] giá trị mức i biểu đồ màu, HQ đại diện cho ảnh Q HI[i] giá trị mức i biểu đồ màu HI đại diện cho ảnh I HQ[i] HI[i] N=8 bins Hình 3.1 Độ đo khoảng cách Minkowski Khi r=1 khoảng cách Minkowski trở thành L1 Khi r=2 khoảng cách trở thành khoảng cách Euclidean Trong thực tế khoảng cách Euclidean xem khoảng cách không gian không gian đa chiều Trong luận văn bậc hai bình phương khoảng cách Euclidean sử dụng để tính tốn khoảng cách hai biểu đồ màu: d Q, I    H i  H i  N i 1 Số hóa Trung tâm Học liệu – Đại học Thái Nguyên Q I http://www.lrc-tnu.edu.vn 54 3.1.2.2 Độ đo khoảng cách Quadratic Dự án QBIC sử dụng độ đo khoảng cách màu Quadratic so sánh khơng mức giống mà cịn so sánh nhiều mức khác biểu đồ màu định nghĩa sau: d Q, I   H Q  H I  AH Q  H I  t Với Q I ảnh, HQ biểu đồ màu ảnh Q HI biểu đồ màu ảnh I, A =[ai,j] ma trận cỡ N*N với N số mức biểu đồ màu, HQ[i ] ai,j biểu thị tương tự màu i màu j Độ đo khoảng cách khắc a ij phục thiếu sót độ đo khoảng cách dạng Minkowski N=8bins s mức biểu đồ màu hồn tồn khơng liên quan đến Hình 3.2 Độ đo khoảng cách Quadretic 3.1.2.3 Độ đo khoảng cách Non-histogram Stricker Orengo [5] đưa phương pháp Color Moments nhằm vượt qua hiệu lượng tử hóa biểu đồ màu Trong phương pháp đặc điểm phân bố màu ảnh biểu diễn đặc điểm chủ yếu chúng gọi moment: độ trung bình, thay đổi tính đối xứng Moment màu trung bình ảnh, thứ hai độ lệch chuẩn kênh màu thứ ba mối liên hệ kênh màu, chúng định nghĩa sau: Ei  F  F P j 1 ij ;   i    Pij  E I    F j 1  F ; 1 Si   F   P F j 1 ij  Ei  3    Ở Pij giá trị kênh màu thứ j điểm ảnh thứ i Ei màu trung bình kênh màu thứ i δi độ lệch chuẩn kênh màu thứ i Si giá trị mối liên hệ thứ ba kênh màu thứ i F tổng số điểm ảnh Nếu Q I hai ảnh đặc Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 55 điểm màu chúng biểu diễn r kênh màu tương tự hai ảnh định nghĩa như: r  d Q, I    Wi1 EiQ  E iI  Wi2  iQ   iI  Wi3 S iQ  S iI i 1  Với Wi1, Wi2 , Wi3 trọng số xác định người sử dụng 3.2 Các phƣơng pháp tìm kiếm ảnh 3.2.1 Biểu đồ màu tồn cục (Global Color Histogram - GCH) Biểu đồ màu loại mô tả phân bố màu sử dụng tập mức Việc sử dụng biểu đồ màu tồn cục ảnh mã hóa với biểu đồ màu khoảng cách hai ảnh xác định khoảng cách biểu đồ màu chúng Với kỹ thuật sử dụng độ đo khác để tính tốn khoảng cách hai biểu đồ màu Ví dụ mơ tả hoạt động kỹ thuật này: Hình 3.3 Ba ảnh biểu đồ màu chúng Trong biểu đồ màu ví dụ có mức: Black, white and gray Ta kí hiệu biểu đồ màu ảnh A:{25%, 25%, 50%}, biểu đồ màu ảnh B: {18.75%, 37.5%, 43.75} ảnh C có biểu đồ màu ảnh B Nếu sử dụng độ đo khoảng cách Euclidean để tính tốn khoảng cách biểu đồ khoảng cách hai ảnh A B cho biểu đồ màu toàn là: d GCH  A, B   (0.25  0.1875)  (0.25  0.375)  (0.5  0.4375)  0.153 d GCH  A, C   d GCH  A, B  d GCH B, C   Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 56 GCH phương pháp truyền thống cho việc tra cứu ảnh dựa màu sắc khơng chứa thông tin liên quan đến phân bố màu vùng Do đó, khoảng cách ảnh khác thực chúng Ví dụ, khoảng cách ảnh A C khác so với khoảng cách ảnh A B việc xây dựng GCH lại thu khoảng cách tương tự Ngồi cịn có trường hợp hai ảnh khác có GCH giống ví dụ ảnh B C Và hạn chế biểu đồ màu tồn cục 3.2.2 Biểu đồ màu cục (Local Color Histogram - LCH) Phương pháp đề cập bao gồm thông tin liên quan đến phân bố màu vùng Trước tiên phân đoạn ảnh thành nhiều khối sau biểu diễn biểu đồ màu cho khối, ảnh biểu diễn biểu đồ màu Khi so sánh hai hình ảnh, khoảng cách tính tốn cách sử dụng biểu đồ chúng vùng ảnh vùng tương ứng ảnh khác Khoảng cách hai ảnh xác định tổng tất khoảng cách Phương pháp LCH đề cập ba bước: [5] Chia ảnh thành nhiều khối xây dựng biểu đồ màu cho khối So sánh khối vị trí tương ứng hai ảnh Tổng hợp khoảng cách tất khối Nếu sử dụng bậc hai khoảng cách Euclidean để tính tốn khoảng cách biểu đồ khoảng cách hai ảnh Q M I cho biểu đồ màu cục là: d Q, I    k 1 N  (H i  H i) i 1 k Q k I Ở M số vùng phân đoạn ảnh, N số mức biểu đồ màu H[i] giá trị mức i biểu đồ màu đại diện cho vùng k ảnh Những ví dụ sử dụng hình ảnh giống hình để hoạt động LCH minh họa việc phân đoạn ảnh thành khối có kích cỡ Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 57 Hình 3.4 Sử dụng LCH để tính tốn khoảng cách ảnh C D d LCH C , D   (0  0.25)  (0.25  0.25)  (0.75  0.5)  (0.5  0)  (0.25  0.25)  (0.25  0.75)  (0.25  0)  (0.5  0.75)  (0.25  0.25)  (0  0.5)  (0.5  0.25)  (0.5  0.25)  2.024 d LCH C , D   2.024; d GCH C , D   0.153 3.2.3 Color Auto Correlgram Cho ảnh I cỡ m*n , màu ảnh lượng tử hoá từ C1,C2,…, Ck Biểu đồ màu H[I]={h1,h2,…,hk} hi đại diện cho số phần tử màu Ci, biểu đồ màu biểu diễn xác suất điểm ảnh ảnh có màu Ci Biểu đồ màu dễ cho việc tính tốn Nó Red ? cần duyệt qua ảnh lần, với độ phức tạp tính k tốn O(n2) Và màu đặc tính trực quan, nên hiệu sử dụng biểu đồ màu cho việc tìm kiếm tra cứu ảnh tốt p2 Image: I p1 Hình 3.5: Xác suất tính màu sắc Điểm hạn chế phương pháp biểu đồ màu khơng có thơng tin khơng gian biểu đồ Một vài kỹ thuật đề xuất tích hợp thông tin không gian với biểu đồ màu “Color auto correlgram “ kỹ thuật Xem xét vấn đề sau: Lấy phần tử ảnh p1 có màu Ci ảnh I, khoảng cách k cách điểm p1 lấy điểm p2 Xác suất để p2 có màu Ci ? Chúng ta định nghĩa: Color auto correlgram ảnh I với màu Ci khoảng cách k[2]: Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 58 Bởi mà Color auto correlgram mối tương quan thay đổi màu với khoảng cách Dễ thấy biểu đồ màu hai ảnh Chúng ta hai ảnh khác từ biểu đồ màu chúng Nhưng Color auto correlgram cho thấy khác Hình 3.6 Color auto correlgram ảnh tƣơng tự Color auto correlgram tích hợp thơng tin màu thơng tin không gian Với phần tử ảnh, Color auto correlgram duyệt qua tất phần tử lân cận cạnh điểm Vì độ phức tạp tính toán O(k*n2), k số phần tử lân cận phụ thuộc vào khoảng cách chọn Độ phức tạp phép toán tăng lên khoảng cách k tăng lại tuyến tính với kích cỡ ảnh Độ đo khoảng cách phần tử ảnh Như biết, độ phức tạp tính tốn có liên quan trực tiếp đến việc chọn khoảng cách phần tử ảnh Nếu khoảng cách rộng tìm thấy auto correlgram vùng rộng, hiệu tốt tập hợp nhiều thơng tin Nhưng nguyên nhân làm tăng phức tạp tính tốn Trong thực nghiệm chúng tơi, chọn khoảng cách D8 (khoảng  cách bàn D8 p, q  max p x  q x , p y  q y cờ ) làm sở đo khoảng cách:  Đó khoảng cách lớn hướng x, hướng y, dễ dàng tính tốn Độ đo khoảng cách đặc điểm Cho hai ảnh, khác hai đặc trưng độ tương tự hai ảnh Đặc trưng thường biểu diễn véc tơ, khác trả khoảng cách hai véc tơ Nó định nghĩa theo khoảng cách Euclidean[2] Nhưng khoảng cách tuyệt đối lại khơng phù hợp với trường hợp Ví dụ có hai ảnh (a, a’ ), (b, b’ ) Đặc Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 59 trưng ảnh f(a) = 1000, f(a’) =1050, f(b) =100, f(b’) =150 Khoảng cách tuyệt đối cho hai trường hợp, khác trường hợp thứ hai có ý nghĩa Vì thế, sử dụng độ đo khoảng cách tương đối: Số mẫu số cộng thêm vào để ngăn không cho phép chia trở Với đặc tính biểu đồ màu: đồ màu Ci ảnh I hCi (I ' ) I  I' h  hCi I   hCi I '   h  I   h  I ' Ở : i[ m ] Ci Ci hCi (I ) : biểu : biểu đồ màu Ci ảnh I Với đặc tính tương quan tự động: I  I'   ie[ m ], ke[ d ]  Ck  I    Ck  I ' i i   Cki  I    Cki  I ' k   k  (I ' ) Ở :  C (I ) : biểu đồ màu Ci ảnh I C : biểu đồ màu Ci ảnh I’ i i Thực đo độ tương tự Như phần trước khoảng cách đặc điểm phụ thuộc vào độ tương tự ảnh Để đánh giá hiệu tra cứu ảnh chọn ảnh sở liệu ảnh làm ảnh gốc, sử dụng ảnh tương tự với ảnh truy vấn Kết tìm kiếm xếp theo trật tự khoảng cách đặc điểm, ảnh có khoảng cách đặc điểm nhỏ so với ảnh truy vấn xếp vị trí thứ nhất… Nếu vị trí ảnh gốc xếp thứ ảnh kết có nghĩa việc tìm kiếm thành cơng Vị trí thấp hiệu tốt Độ đo dùng để đánh giá hiệu tra cứu Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 60 3.3 Thực nghiệm A B Cơ sở liệu 3.3.1 Môi trường test Ứng dụng cài đặt thử nghiệm C# cho Microsoft.NET plaform phát triển windows hệ XP điều Ảnh truy vấn Lượng tử hố thành 125 màu khơng gian màu RGB Lượng tử hố thành 125 màu khơng gian màu RGB Trích chọn đặc điểm màu sắc Trích chọn đặc điểm màu sắc hành xử lý Pentium 1.8GHz, 512 MB Cơ sở liệu đặc điểm nhớ, thử nghiệm với sở liệu ảnh tự nhiên khoảng 300 Tính tốn độ tương tự ảnh Ảnh kết Hình 3.7 Các chức chƣơng trình 3.3.2 Mơ tả chương trình Bƣớc 1: Ảnh CSDL ảnh lượng tử hóa thành 125 màu khơng gian màu RGB Sau đặc điểm màu sắc trích chọn lưu vào CSDL (Bước làm độc lập) Bƣớc 2: Khi người sử dụng đưa ảnh truy vấn vào, ảnh lượng tử hóa thành 125 màu khơng gian màu RGB Sau đặc điểm ảnh truy vấn trích chọn bước Bƣớc 3: Đặc điểm trích chọn bước so sánh với đặc điểm CSDL để tính tốn độ tương tự tìm ảnh kết Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 61 3.4 Giao diện chƣơng trình Hình 3.8 Giao diện chƣơng trình tra cứu ảnh Pre-Process Dir: Tính tốn ánh xạ ảnh sở liệu thành véc tơ riêng lưu trữ chúng file Những ảnh lựa chọn thư mục ảnh Image Directory Compare with Dir: Chạy sau PreProcess Dir thực Khi hồn thành kết tìm kiếm hiển thị C xếp giảm dần theo mức độ tương tự tăng dần theo khác biệt Search type – GCH: Với lựa chọn tìm kiếm tương tự sử dụng thuộc tính màu sử dụng phương pháp biểu đồ màu toàn cục Search type – Correlgram: Với lựa chọn tìm kiếm tương tự sử dụng thuộc tính màu sử dụng phương pháp Correlgram Search type – Combined: Khi lựa chọn đặc điểm Pre-Process làm tổng hợp Sau kết hợp giá trị sử dụng cho tìm kiếm tương tự 3.5 Kết luận Tra cứu ảnh dựa nội dung lĩnh vực nghiên cứu mở Những cơng nghệ có cịn non trẻ nhiều vấn đề cần phải tiếp tục nghiên cứu Trong phần thử nghiệm xin trình bày số phương pháp trích chọn đặc điểm dựa màu sắc, tìm hiểu số phương pháp so sánh đặc điểm, sở tập trung nghiên cứu số phương pháp tra cứu ảnh truyền thống để làm sở sâu nghiên cứu phương pháp Color auto correlgram nhằm cải thiện việc tra cứu ảnh Quá trình thử nghiệm xây dựng hệ thống tra cứu ảnh tự động dựa đặc điểm màu sắc cho kết tìm kiếm ảnh nhanh chóng xác Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 62 KẾT LUẬN Sau thời gian nghiên cứu tìm hiểu vấn đề có liên quan đến luận văn, em tìm hiểu số vấn đề định như: Phương pháp tìm kiếm ảnh sở văn ảnh Phương pháp bộc lộ hạn chế định Từ hạn chế này, hướng nghiên cứu khác mở Hướng nghiên cứu tìm kiếm ảnh dựa nội dung ảnh Các đặc trưng ảnh là: màu sắc, kết cấu hình dạng ảnh Luận văn đưa cách trích chọn đặc trưng ảnh phục vụ cho trình tìm kiếm ảnh Trong thời gian làm luận văn tốt nghiệp, thân nỗ lực, cố gắng, đầu tư nhiều thời gian, cơng sức cho việc tìm hiểu nghiên cứu đề tài nhận bảo, định hướng tận tình thầy giáo hướng dẫn anh, chị trước hạn chế mặt thời gian khó khăn việc tìm kiếm tài liệu nên chưa có kết thực hoàn hảo Luận văn cài đặt phương pháp tìm kiếm ảnh, phương pháp tìm kiếm dựa đặc trưng màu sắc ảnh Do thời gian cịn hạn chế vấn đề mà tơi tìm hiểu tương đối rộng với thân nên chắn cịn nhiều sai sót kính mong bảo thầy cô Hướng nghiên cứu tiếp theo: - Trên sở tập trung nghiên cứu số phương pháp tra cứu ảnh truyền thống để làm sở sâu nghiên cứu phương pháp Color auto correlgram nhằm cải thiện việc tra cứu ảnh Quá trình thử nghiệm xây dựng hệ thống tra cứu ảnh tự động dựa đặc điểm màu sắc cho kết tìm kiếm ảnh nhanh chóng xác - Kết hợp phương pháp với để tìm kiếm ảnh xác nhanh chóng Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 63 TÀI LIỆU THAM KHẢO Tiếng Việt [1] PGS.TS Nguyễn Thanh Thủy, Lương Mạnh Bá, Nhập môn xử lý ảnh số, NXB Khoa học kỹ thuật, 2003 [2] PGS.TS Đỗ Năng Tồn, TS Phạm Việt Bình , Giáo trình mơn học Xử lý ảnh, Khoa CNTT - Đại học Thái Nguyên, 2007 [3] PGS.TS Đặng Văn Đức, đề cương giảng Cơ sở liệu đa phương tiện, Viện CNTT- Viện KH&KT Việt Nam, 2005 [4] PGS TS Nguyễn Quang Hoan, Xử lý ảnh, Học Viện Công nghệ bưu viễn thơng Hà Nội, 2006 Tiếng Anh [5] Shengjiu Wang, A Robust CBIR Approach Using Local Color Histograms, University of Alberta, Cananda, 2001 [6] Guojun Lu, Multimedia Database Management Systems, Artech House, Boston – London, 1999 [7] Subrahmanian V.S., Principles of Multimedia Database Systems, Morgan Kaufmann Publishers, Inc., California, 1998 [8] Carlos Ordonez & Edward Omiecinski, Discovering Association Rules based on Image Content ,College of Computing Georgia Institute of Technology Atlanta, Georgia, USA [9] Sushmita Mitra & Tinku Achaya, Data mining, multimedia, soft computing, and bioinformatics [10] TEE CHENG SIEW, Feature selection for content-based image retrieval using statistical discriminat analysis, Faculty of Computer Science and Information System, University Technology Malaysia, Ph.D Thesis 2008 [11] David G Lowe, Distinctive Image Features from Scale-Invariant Keypoints, International Journal of Computer Vision, 2004 [12] Mohamed Aly, Face Recognition using SIFT features, CNS186 Term Project Winter, 2006 Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 64 [13] Robert M.Haralick, Textural features for Image classification, K.Shanmugam & Its’hak Dinstein, 1973 [14] S.Arivazhagan, L.Ganesan, S.Selvanidhyananthan, Image Retrieval using Shape Feature, [15] Gonzalez & RichardE Woods, Digital Image Processing, Rafael C Addison-Wesley, 2002 [16] Marius TICO, Taneli Haverinen, Pauli Kuosmanen, A method of color histogram creation for Image retrieal, Signal processing laboratory Digital Media Institure Tampere University of Technology, P.O.BOX.553, FIN-33101, Tampere FINLAND [17] Yushi Jing, PageRank for image products search Reafered Track: Rich media, Beijing, China, 2008 Trang web: [18] www.comp.dit.ie/bmacnamee/ [19] www.socialtime.com/2010/02/20-impressive-internet-statistics Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn ... phƣơng pháp trích chọn đặc trƣng ảnh thử nghiệm tìm kiếm ảnh? ?? nhằm tìm hiểu kỹ kỹ thuật trích chọn đặc trưng ảnh, nhằm hiểu rõ chất tốn tìm kiếm ảnh theo nội dung từ lựa chọn được phương pháp thích... đưa ảnh huấn luyện Từ ảnh yêu cầu gửi vào ta trích chọn đặc trưng ảnh theo phương pháp sử dụng đối sánh với ảnh huấn luyện CSDL ảnh để trả lại kết tìm kiếm Phương pháp trích chọn đặc trưng ảnh. .. CHƢƠNG ĐẶC TRƢNG ẢNH VÀ BÀI TỐN TÌM KIẾM ẢNH 1.1 Đặt vấn đề 1.2 Đặc trưng văn kèm ảnh tìm kiếm ảnh theo đặc trưng văn kèm 1.3 Đặc trưng nội dung ảnh tìm kiếm ảnh theo