Nghiên cứu ứng dụng một số kỹ thuật tra cứu ảnh vào thực tế

1 ĐẠI HỌC THÁI NGUYÊN KHOA CÔNG NGHỆ THÔNG TIN BÁO CÁO ĐỀ TÀI NGHIÊN CỨU KHOA HỌC CẤP BỘ ĐỀ TÀI: NGHIÊN CỨU ỨNG DỤNG MỘT SỐ KỸ THUẬT TRA CỨU ẢNH VÀO THỰC TẾ Mã số: B2007-TN07-04 Chủ nhiệm đề tài: Ths Nguyễn Văn Tới 2009 Số hóa Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/ MỤC LỤC MỤC LỤC TÓM TẮT KẾT QUẢ NGHIÊN CỨU ĐỀ TÀI KHOA HỌC VÀ CÔNG NGHỆ CẤP BỘ SUMMARY CHƢƠNG MỞ ĐẦU CHƢƠNG CÁC VẤN ĐỀ LÝ THUYẾT LIÊN QUAN 13 Tổng quan tra cứu ảnh 13 1.1 Vấn đề tra cứu ảnh 13 1.2 Một số phƣơng pháp tra cứu ảnh 14 Tra cứu ảnh theo nội dung 16 2.1 Giới thiệu 16 2.2 Mơ hình hệ thống tra cứu ảnh theo nội dung 17 2.3 Các phƣơng pháp mô tả nội dung ảnh 17 2.3.1 Mô tả đặc điểm màu sắc 18 2.3.2 Mô tả đặc điểm hình dạng 23 2.3.3 Thông tin không gian 31 2.4 Đánh giá độ tƣơng tự xây dựng sơ đồ đánh số 32 2.4.1 Đánh giá độ tƣơng tự 32 2.4.2 Xây dựng sơ đồ đánh số 34 2.5 Hiệu hệ thống tra cứu ảnh 37 CHƢƠNG PHƢƠNG PHÁP ĐỀ XUẤT VÀ HỆ THỐNG THỰC NGHIỆM 40 Sử dụng kỹ thuật phân lớp liệu để tính tốn bins màu tra cứu ảnh dựa màu sắc [3] 40 1.1 Giới thiệu 40 1.2 Kỹ thuật sở tra cứu ảnh dựa màu sắc 40 1.3 Một số kỹ thuật tăng cƣờng kỹ thuật sở đƣợc đề xuất 41 1.4 Sử dụng kỹ thuật phân lớp liệu để tính tốn bins màu 42 1.5 Thực nghiệm 43 1.6 Kết luận hƣớng nghiên cứu 46 Một cách tiếp cận cho CBIR sử dụng thuật toán phân lớp K-Means đặc trƣng hình dạng dựa đa giác [4] 46 2.1 Giới thiệu 46 2.2 Những nghiên cứu liên quan 47 2.3 Trích rút đặc trƣng 47 2.4 Thuật toán phân lớp liệu K-means 48 Số hóa Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/ 2.5 Đặc trƣng hình dạng 49 2.6 Biểu diễn mờ 50 2.7 Thƣớc đo mức độ tƣơng tự vùng 51 2.8 So sánh ảnh 52 2.9 Gán trọng số 53 2.10 Thực nghiệm 54 2.11 Kết luận 55 Sử dụng đặc tính cục vùng phục vụ tra cứu ảnh phong cảnh [1] 55 3.1.Giới thiệu 55 3.2.Các nghiên cứu liên quan 56 3.3 Kỹ thuật tra cứu đề xuất 57 3.3.1 Lựa chọn thuộc tính màu 57 3.3.2 Trích rút biểu diễn vùng 58 3.3.3 Tính độ tƣơng tự 61 3.4 Kết thử nghiệm 61 3.4.1 Môi trƣờng thử nghiệm 61 3.4.2 Các kết 61 3.5 Kết luận hƣớng phát triển 64 Áp dụng thuật toán Octrees cho bƣớc lƣợng tử q trình phân đoạn ảnh màu thuật tốn Jseg [2] 65 4.1 Giới thiệu 65 4.2 Cải tiến thuật toán JSEG (Thuật toán O-JSEG) 65 4.3 Thực nghiệm 67 4.4 Kết luận 67 KẾT QUẢ VÀ THẢO LUẬN 69 TÀI LIỆU THAM KHẢO 71 Số hóa Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/ TÓM TẮT KẾT QUẢ NGHIÊN CỨU ĐỀ TÀI KHOA HỌC VÀ CÔNG NGHỆ CẤP BỘ Tên đề tài: NGHIÊN CỨU ỨNG DỤNG MỘT SỐ KỸ THUẬT TRA CỨU ẢNH VÀO THỰC TẾ Mã số: B2007-TN07-04 Chủ nhiệm đề tài: Ths Nguyễn Văn Tới Tel: 0912.847077 Email: nvtoi@ictu.edu.vn Cơ quan chủ trì đề tài: Khoa Cơng nghệ thơng tin – Đại học Thái Nguyên Cơ quan cá nhân phối hợp thực hiện: Viện Công nghệ thông tin Thời gian thực hiện: 01-2007 đến 12-2009 Mục tiêu: + Tìm hiểu, tổng hợp, hệ thống lại phƣơng pháp, kỹ thuật tra cứu ảnh Qua tạo tài liệu có hệ thống tra cứu ảnh + Cải tiến số phƣơng pháp tra cứu ảnh dựa vào nội dung + Áp dụng số phƣơng pháp tra cứu ảnh vào thực tế: để xây dựng thử nghiệm hệ thống tìm kiếm ảnh Nội dung - Nghiên cứu chuyên đề lý thuyết (Tra cứu ảnh dựa màu sắc) - Nghiên cứu chuyên đề lý thuyết (Tra cứu ảnh dựa hình dạng) - Thực chuyên đề nghiên cứu thực nghiệm (Cài đặt thử nghiệm phƣơng pháp tra cứu ảnh dựa màu sắc) - Thực chuyên đề nghiên cứu thực nghiệm (Cài đặt thử nghiệm phƣơng pháp tra cứu ảnh dựa hình dạng) Số hóa Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/ - Thực chuyên đề nghiên cứu thực nghiệm (Xây dựng chƣơng trình phần mềm tra cứu ảnh) - Kết đạt đƣợc: Hồn thành chun đề nghiên cứu vấn đề lý thuyết thực nghiệm - Đề xuất 01 cải tiến phƣơng pháp tra cứu ảnh dựa hình dạng [4] - Đề xuất 02 cải tiến phƣơng pháp tra cứu ảnh dựa màu sắc [1,3] - Đề xuất cải tiến 01 phƣơng pháp phân đoạn ảnh màu [2] - Các cải tiến đƣợc cơng bố 02 cơng trình khoa học Tạp chí Khoa học cơng nghệ - Đại học Thái Ngun [3,4] cơng trình Kỷ yếu hội thảo quốc gia “Một số vấn đề chọn lọc công nghệ thông tin truyền thông” [1] - Biên soạn 01 tài liệu tham khảo (lƣu hành nội bộ) - Hƣớng dẫn 02 đề tài NCKH sinh viên năm 2009 - Hƣớng dẫn 02 đồ án tốt nghiệp năm 2007 Số hóa Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/ SUMMARY Project Title: RESEARCH TO APPLY SOME CONTENT BASED IMAGE RETRIEVAL METHODS TO REALITY Code Number: B2007-TN07-04 Coordinator: Msc Nguyễn Văn Tới Implementing Institution: Faculty of Information Technology, Thai Nguyen University Cooperating Institution(s): Institute of Information Technology (IOIT) Duration: from Jan, 2007 to Dec, 2008 Objectives: This project researches the fundamentals of image retrieval We edit a book which is named “Image Retrieval” Then, we improve color based and shape based image retrieval method We apply some content based image retrieval method to develop a CBIR system (Photo Explore) Main contents: - Researching the 1st theoretic subject (color based image retrieval) - Researching the 2nd theoretic subject (shape based image retrieval) - Researching the 1st experimental subject (implement color based image retrieval system) - Researching the 2nd experimental subject (implement shape based image retrieval system) - Researching the 3rd theoretic subject (Developing Photo Explore system) Số hóa Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/ Results Obtained: - Completed the theoretic and experimental subjects - Improved 01 method of shape based image retrieval - Improved 02 methods of color based image retrieval - Improved 01 method of color image segmentation - The improvings published in proceedings of the national conference and Thai Nguyen University’s Journal of Science and Technology - Edited “Image retrieval” book Supervising of 02 scientific research for student projects (2009) and 02 graduate student thesis (2007) Số hóa Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/ CHƢƠNG MỞ ĐẦU Những năm gần đây, ảnh số ngày thu hút đƣợc quan tâm nhiều ngƣời, phần thiết bị thu nhận ảnh số ngày phổ biến có giá phù hợp, cho phép nhiều ngƣời sở hữu sử dụng Mặt khác công nghệ chế tạo thiết bị lƣu trữ đƣợc cải tiến đời thiết bị lƣu trữ có dung lƣợng lớn giá thành hạ làm cho việc lƣu trữ ảnh dƣới dạng file trở nên phổ biến Thêm phát triển mạng Internet làm cho số lƣợng ảnh số đƣợc đƣa lên lƣu trữ trao đổi qua Internet lớn Năm 2006, 300 triệu hình ảnh đƣợc tải lên Flickr, cộng đồng chia sẻ hình ảnh lớn internet Con số cho thấy thực tế số lƣợng ảnh số đƣợc lƣu giữ sở liệu gia tăng nhanh chóng Tuy nhiên số lƣợng ảnh đƣợc lƣu trữ trở nên lớn vấn đề phải có phƣơng pháp tổ chức sở liệu ảnh tốt với kỹ thuật tìm kiếm, tra cứu ảnh hiệu quả, có độ xác cao có hiệu tốt Việc tìm kiếm đƣợc ảnh mong muốn hàng triệu ảnh thuộc đủ loại chủ đề khác khó khăn Khi số lƣợng ảnh sƣu tập cịn ít, việc nhận diện ảnh hay việc so sánh giống khác nhiều ảnh thực đƣợc mắt thƣờng, nhiên có số lƣợng lớn ảnh việc so sánh mắt thƣờng khó khăn, địi hỏi phải có phƣơng pháp hiệu xác Trong thực tế, tốn tra cứu ảnh số có nhiều ứng dụng quan trọng Ví dụ nhƣ lĩnh vực ngân hàng việc so sánh chữ ký khách hàng với mẫu chữ ký đƣợc lƣu trữ sẵn thực nhanh xác có đƣợc phần mềm so sánh mẫu chữ ký tốt Thực tế ngân hàng Việt nam ngƣời ta phải sử dụng phƣơng pháp so sánh mắt thƣờng việc so sánh chữ ký phần mềm chƣa thực đƣợc Một ví dụ khác tốn quản lý biểu trƣng (logo) lĩnh vực sở hữu trí tuệ Khi đơn vị muốn đăng ký logo riêng cho đơn vị quan quản lý phải tiến hành đánh giá xem mẫu logo đƣợc sử dụng hay chƣa có tƣơng tự với mẫu logo đƣợc sử dụng hay không Trong trƣờng hợp sử dụng mắt thƣờng để duyệt tốn nhiều thời gian, có phần mềm cho phép tìm kiếm sở liệu ảnh Số hóa Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/ có sẵn biểu trƣng tƣơng tự với biểu trƣng mẫu việc đánh giá tƣơng tự dễ dàng nhiều Trong lĩnh vực khoa học hình sự, nhu cầu so sánh mẫu vân tay, hay tìm kiếm ảnh tội phạm đặt toán tra cứu ảnh Giả sử tổ chức quản lý nhân với thông tin ảnh vân tay ngƣời Trong vụ án, nhân viên điều tra thu thập đƣợc mẫu vân tay trƣờng, ngƣời ta cần tìm xem mẫu vân tay khớp với vân tay hàng chục triệu hình ảnh vân tay sở liệu Nếu có phần mềm thực xác, nhanh chóng điều giúp ích nhiều cho cơng tác điều tra Một ví dụ lĩnh vực bảo tồn, bảo tàng, vấn đề lƣu trữ tra cứu ảnh số có vai trị ngày quan trọng Ảnh tác phẩm hội hoạ, điêu khắc cổ vật đƣợc lƣu trữ dƣới dạng file ảnh đảm bảo đƣợc chất lƣợng tốt hơn, thời gian lƣu trữ lâu dài việc trao đổi hay giới thiệu với công chúng dễ dàng Bài toán tra cứu cổ vật xuất phát từ thực tế ngành bảo tồn, bảo tàng sƣu tầm đƣợc cổ vật mới, ngƣời ta cần xác định hàng loạt thuộc tính nhƣ niên đại, chất liệu, nguồn gốc chủ sở hữu cổ vật Nếu có đƣợc trợ giúp phần mềm tra cứu ảnh phù hợp ngƣời ta dễ dàng xác định xem mẫu cổ vật đƣợc lƣu trữ sở liệu hay chƣa, có loại cổ vật tƣơng tự với kho tàng cổ vật giới phần mềm đƣa ảnh loại cổ vật có màu sắc, hình dạng, hoa văn tƣơng tự với cổ vật vừa tìm thấy Những thơng tin giúp ích nhiều cho chuyên gia trình phân loại, kiểm chứng cổ vật Đã có số hệ thống tra cứu ảnh tiếng nhƣ QBIC (IBM), Virage (Virage Inc.), Photobook (MIT), VisualSEEK (Columbia University) [21, 41, 36, 13, 16] Trƣớc năm 1990, ngƣời ta thƣờng sử dụng phƣơng pháp tra cứu ảnh theo văn (Text Based Image Retrieval) Theo cách ngƣời ta gán cho ảnh lời thích phù hợp với nội dung đặc điểm ảnh, sau việc tra cứu ảnh đƣợc thực dựa lời thích Phƣơng pháp đơn giản, nhiên lại áp dụng để tra cứu sở liệu ảnh có số lƣợng ảnh lớn kết tra cứu mang tính chủ quan cảm ngữ cảnh [21,5] Bởi kỹ thuật tra cứu dựa văn đƣợc áp dụng hình ảnh đƣợc Số hóa Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/ 10 mô tả Việc tự động hiểu nội dung tranh theo cách ngƣời cơng việc khó Vấn đề đƣợc gọi lỗ hổng ngữ nghĩa (semantic gap)[56] Một phƣơng pháp đƣợc nhiều ngƣời quan tâm nghiên cứu phƣơng pháp “Tra cứu ảnh dựa theo nội dung” (Content Based Image Retrieval) Ý tƣởng phƣơng pháp trích chọn đặc điểm dựa vào nội dung trực quan ảnh nhƣ màu sắc, kết cấu, hình dạng bố cục không gian ảnh để làm sở cho việc tra cứu, xếp, tổ chức sở liệu ảnh [21, 41, 8] Đề tài tập trung nghiên cứu phƣơng pháp tra cứu ảnh dựa màu sắc tra cứu ảnh dựa hình dạng Phần cịn lại chƣơng này, chúng tơi giới thiệu số nghiên cứu liên quan hƣớng nghiên cứu Cuối chƣơng, giới thiệu cộng tác viên đóng góp họ Kỹ thuật tra cứu ảnh sở màu có nhiều hạn chế Hạn chế thứ kỹ thuật sở khơng sử dụng tính tƣơng đồng màu Khi đó, hai ảnh với màu cảm nhận tƣơng đồng nhƣng khơng có màu chung khoảng cách chúng lớn, cực đại Với hạn chế thứ này, số tác giả đƣa cách khắc phục nhƣ: Niblack [26] đƣa thƣớc đo mức độ giống quan tâm đến đóng góp màu cảm nhận tƣơng tự Chan [12] đề xuất kỹ thuật tính tốn khoảng cách màu giá trị biểu đồ màu đƣợc điều chỉnh sở mức độ tƣơng tự màu Lu Phillips [24] đƣa hƣớng tiếp cận sử dụng biểu đồ trọng số cảm nhận (PWH – perceptually weighted histogram) Hạn chế thứ hai không sử dụng quan hệ không gian pixel Để giải vấn đề này, Lu Phillips [24] đƣa hƣớng tiếp cận tách màu khỏi màu cận cảnh (phân đoạn ảnh) sau biểu đồ màu biểu đồ màu cận cảnh đƣợc tính tốn sử dụng Hạn chế thứ ba khơng gian màu lựa chọn đƣợc lƣợng tử hóa đồng màu điểm ảnh không phân bổ đồng không gian màu Wan Kuo [52] đƣa giải pháp lƣợng tử hóa màu khơng đồng Để khắc phục nhƣợc điểm phƣơng pháp sở, hƣớng tiếp cận lựa chọn khơng gian màu thích hợp đƣợc đề cập Trong đề tài này, đƣa hƣớng tiếp cận khác nhằm khắc phục hạn chế thứ hạn chế thứ ba nêu kỹ thuật sở Hƣớng tiếp cận mà đƣa cải tiến việc tính tốn bins màu cách sử dụng kỹ thuật phân lớp liệu Nhƣ trình bày đây, kỹ thuật tra cứu sở dựa lƣợc đồ màu chƣa tận dụng đƣợc đặc tính cục vùng ảnh nhƣ màu không gian Đề tài Số hóa Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/ 62 recall area ( R A ) , precision area ( R ) |R| area ( R A ) area ( A) |RA| |A| Hình 3.9 Precision Recall cho truy vấn Trong trƣờng hợp nhiều truy vấn kết trung bình cộng tất truy vấn: Q precisionavg (l ) i precisioni (l ) Q (3.14) Trong đó: precisionavg(l) trung bình precision mức l, precisioni(l) precision cho truy vấn thứ i mức l, |Q| số truy vấn 63 Bảng 3.1 kết thực truy vấn dƣới dạng Precision-Recall Recall 0.1 Độ xác MBRC CH CCV 0.91 0.93 0.95 0.2 0.79 0.56 0.64 0.3 0.68 0.34 0.54 0.4 0.55 0.31 0.43 0.5 0.48 0.27 0.41 0.6 0.45 0.19 0.32 0.7 0.39 0.16 0.29 0.8 0.28 0.07 0.17 0.9 0.21 0.05 0.15 0.08 0.04 0.09 Bảng 3.1 Các kết thực truy vấn Bảng 3.2 kết thực truy vấn dƣới dạng Precision-Recall Recall 0.1 Độ xác MBRC CH CCV 0.85 0.88 0.91 0.2 0.79 0.69 0.51 0.3 0.65 0.47 0.49 0.4 0.53 0.41 0.43 0.5 0.42 0.4 0.39 0.6 0.42 0.33 0.31 0.7 0.35 0.21 0.23 0.8 0.29 0.19 0.17 0.9 0.24 0.14 0.14 0.05 0.13 0.13 Bảng 3.2 Các kết thực truy vấn 64 Bảng 3.3 kết thực truy vấn dƣới dạng Precision-Recall Recall 0.1 Độ xác MBRC CH CCV 0.84 0.97 0.92 0.2 0.78 0.6 0.61 0.3 0.65 0.38 0.53 0.4 0.52 0.35 0.43 0.5 0.43 0.31 0.41 0.6 0.4 0.27 0.31 0.7 0.39 0.12 0.23 0.8 0.33 0.11 0.17 0.9 0.27 0.13 0.14 0.06 0.07 0.13 Bảng 3.3 Các kết thực truy vấn Hình 3.10 độ xác thuật toán MBRC thực tốt phƣơng pháp CH (lƣợc đồ màu) CCV (vector gắn kết màu) 0.9 0.8 Precision 0.7 0.6 MBRC 0.5 CH 0.4 CCV 0.3 0.2 0.1 10 Recall Hình 3.10 Đồ thị Precision - Recall so sánh phương pháp CH, CCV với MBRC Từ kết nhận thấy phƣơng pháp MBRC nhìn chung thực tốt phƣơng pháp CCV CH 3.5 Kết luận hƣớng phát triển Trong phần này, đề xuất kỹ thuật tra cứu ảnh phong cảnh dựa vào đặc tính cục vùng nhƣ màu khơng gian gồm bƣớc: Phân đoạn ảnh thành cụm dựa vào màu, chia ảnh thành dãy hình chữ nhật phƣơng pháp phủ hình chữ nhật tối thiểu có độ nhất, thơng tin đƣợc trích rút bƣớc thứ hai đƣợc sử dụng để tính độ tƣơng tự ảnh phong cảnh bao gồm 65 722 ảnh Kết thực nghiệm toán tra cứu ảnh phong cảnh kỹ thuật đề xuất có độ xác cao kỹ thuật dựa vào lƣợc đồ vector gắn kết màu Bài tốn đƣợc đặt cho chúng tơi tƣơng lai thử nghiệm phƣơng pháp tập liệu khác nhau, tiến hành đánh số cho tập ảnh khác theo tiêu khác Áp dụng thuật toán Octrees cho bƣớc lƣợng tử trình phân đoạn ảnh màu thuật toán Jseg [2] 4.1 Giới thiệu Phân đoạn ảnh dựa màu sắc có ích nhiều ứng dụng Từ kết phân đoạn vùng cần quan tâm đối tƣợng cảnh Có nhiều phƣơng pháp phân đoạn ảnh đƣợc nghiên cứu đƣa vào ứng dụng Thuật toán phân đoạn ảnh màu JSEG [54] giáo sƣ trƣờng đại học California Yining Deng, B S Manjunath Hyundoo Shin xây dựng Thuật toán JSEG đƣợc đề xuất thử nghiệm với kết hợp thuật toán lƣợng tử cách làm mịn sử dụng trọng số (Peer group filtering and perceptual color image – PGF and PCI [55]) cho kết tƣơng đối tốt Tuy nhiên, thuật tốn cịn số hạn chế làm việc với ảnh thiên nhiên Chúng đề xuất cải tiến thuật toán JSEG theo hƣớng kết hợp JSEG thuật toán lƣợng tử OCTREES [22] Cải tiến nhằm giảm khối lƣợng tính tốn sau bƣớc lƣợng tử hoá 4.2 Cải tiến thuật toán JSEG (Thuật toán O-JSEG) Các thử nghiệm cho thấy JSEG cung cấp kết phân đoạn tốt loại ảnh đa dạng Chúng ta khó đƣa nhận xét chung cho thuật tốn phân đoạn ln ln tồn ƣu, khuyết điểm lớp ảnh cụ thể Thuật toán JSEG số hạn chế làm việc với ảnh thiên nhiên Ví dụ trƣờng hợp hai vùng cạnh có ranh giới khơng rõ ràng Ngồi ra, kết bƣớc lƣợng tử có ảnh hƣởng lớn đến độ phức tạp bƣớc sau, việc cải tiến bƣớc lƣợng tử để giảm khối lƣợng tính tốn cho bƣớc bƣớc cần thiết Điều phụ thuộc vào đồ lớp màu (là kết 66 trình lƣợng tử hóa) Nhƣ vậy, bƣớc lƣợng tử có vai trị quan trọng Sự phân vùng JSEG phụ thuộc trực tiếp vào chất lƣợng ảnh lƣợng tử Ảnh màu Lƣợng tử hố khơng gian màu với thuật toán OCTREES Bản đồ lớp màu Khởi tạo Scale Tăng scale lên Với phân vùng Tính tốn giá trị J J-image Phát Valley Phát triển Valley Các phân vùng sai Scale < ngƣỡng? Trộn phân vùng Kết phân đoạn Hình 3.11: Sơ đồ thuật tốn O-JSEG Thuật tốn JSEG có độ phức tạp tínha/tốn điểm ảnh tƣơng đối lớn, nên liên thông lƣợng tử nên đƣa ảnh có số màu biểu diễn nhỏ (từ 10 đến 20 màu) để giảm khối lƣợng tính tốn Nếu xem xét để lựa chọn thuật toán lƣợng tử kết hợp với JSEG tiêu trí phải ảnh bị nhiễu, đối tƣợng ảnh đƣợc phân biệt rõ ràng Sau đó, ta xét đến tiêu trí màu cảm nhận gần với màu thật Nếu ảnh đầu vào thuật toán JSEG đạt đƣợc tiêu trí thứ khối lƣợng tính tốn giảm nhiều mà đảm bảo yêu cầu cho kết phân đoạn tốt Chúng lựa chọn thuật toán OCTREES để kết hợp với JSEG Ngƣời ta xây dựng OCTREES theo tiêu chuẩn hợp nhƣ sau: Rút gọn sâu lựa chọn chúng miêu tả màu sắc nằm gần 67 Chọn biểu diễn số điểm ảnh Hình 3.11 sơ đồ thuật tốn O-JSEG (thuật toán JSEG cải tiến theo hƣớng kết hợp với thuật toán lƣợng tử OCTREES) 4.3 Thực nghiệm Chúng tiến hành thực nghiệm 100 ảnh thiên nhiên liệu ảnh MISC [25] (có 9908 ảnh) Kết quả: 79 ảnh cho kết phân đoạn tốt Thuật toán O-JSEG khắc phục đƣợc nhƣợc điểm thuật toán JSEG trƣờng hợp hai vùng cạnh có ranh giới khơng rõ ràng Một số ảnh cho kết chƣa xác trƣờng hợp đối tƣợng có bóng chiếu sáng, đối tƣợng bị chia thành nhiều phần (thân ảnh 7567.jpg), điểm tồn thuật tốn JSEG Hình 3.12 biểu diễn số kết thử nghiệm với việc sử dụng thuật toán O-JSEG File ảnh Ảnh gốc J-Image Kết phân đoạn Đánh giá 66.jpg Tốt 59.jpg Tốt 79.jpg Tốt 9283.jpg Tốt 7567.jpg Chƣa tốt Hình 3.12: Kết trình phân đoạn thuật toán O-JSEG số ảnh thiên nhiên sở liệu ảnh MISC 4.4 Kết luận Các tác giả [54] kết hợp với lƣợng tử PGF and PCI với JSEG cho kết tƣơng đối tốt Chúng tơi đề xuất cải tiến thuật tốn JSEG tiến hành thử nghiệm theo hƣớng kết hợp thuật toán lƣợng tử OCTREES với JSEG (thuật toán O-JSEG) Kết thực nghiệm cho thấy: với số trƣờng hợp ảnh thiên nhiên, O-JSEG cho kết tốt Đối với thuật tốn phân đoạn, khơng thể kết luận thuật tốn tối ƣu với trƣờng 68 hợp kết hợp thuật toán PGF and Perceptual với JSEG tốt, nhƣng trƣờng hợp khác kết hợp OCTREES JSEG lại cho kết phân đoạn đạt yêu cầu (phụ thuộc mục đích sử dụng lĩnh vực áp dụng) Chúng dự định tiếp tục nghiên cứu nâng cao chất lƣợng O-JSEG để áp dụng xây dựng hệ thống tra cứu sở liệu ảnh thiên nhiên 69 KẾT QUẢ VÀ THẢO LUẬN Chúng hoàn thành mục tiêu nghiên cứu đề Đã có 04 báo đƣợc đăng nhận đăng Tạp chí Khoa học cơng nghệ Đại học Thái Nguyên [2,3,4], Kỷ yếu Hội thảo quốc gia “Một số vấn đề chọn lọc Công nghệ thông tin Truyền thơng” [1] kết liên quan trực tiếp đến mục tiêu đề tài [1,3,4] (nội dung cải tiến phƣơng pháp tra cứu ảnh), kết phát sinh trình thực đề tài (nội dung cải tiến phƣơng pháp phân đoạn ảnh màu) [2] Cụ thể nhƣ sau: Trong [3], đƣa đề xuất cải tiến phƣơng pháp sở tra cứu ảnh dựa màu sắc Thay chia khơng gian màu thành bins cố định, nhƣ kỹ thuật sở chúng tơi sử dụng kỹ thuật phân lớp liệu để tính tốn bins màu động Cải tiến khắc phục đƣợc số nhƣợc điểm kỹ thuật sở Tuy nhiên tốc độ tính tốn bins màu chậm Trong tƣơng lai, chúng tơi nghiên cứu nhằm nâng cao tốc độ bƣớc tính tốn bins màu; thử nghiệm với nhiều độ đo khác kết hợp đặc trƣng khác nhƣ thông tin không gian Trong [4], đƣa hƣớng tiếp cận kết hợp phƣơng pháp tra cứu ảnh dựa vùng Yxin Chen phƣơng pháp biểu diễn đặc trƣng vùng Cheng Chang đề xuất Tiếp cận sử dụng thuật toán phân lớp liệu K-Means để phân đoạn ảnh sau trích chọn đặc trƣng toàn cục cục dựa màu sắc, hình dạng vùng từ tính tốn mức độ tƣơng tự ảnh Kết thực nghiệm cho thấy hƣớng tiếp cận cho kết tốt tập liệu ảnh thử nghiệm gồm ảnh chụp biển Cát Bà Chúng thực đƣợc việc cài đặt kiểm nghiệm hợp lý kỹ thuật cải tiến tập liệu ảnh mẫu, chƣa có so sánh với kỹ thuật khác Trong tƣơng lai, thực so sánh hiệu kỹ thuật cải tiến với kỹ thuật chƣa cải tiến liên quan kỹ thuật tƣơng đƣơng từ tiếp tục nghiên cứu nâng cao hiệu kỹ thuật Trong [1], đƣa kỹ thuật tra cứu ảnh dựa vào đặc tính cục vùng bao gồm màu không gian áp dụng tra cứu ảnh phong cảnh Kết thực nghiệm cho thấy kỹ thuật tốt kỹ thuật sử dụng vector gắn kết màu (CCV) kỹ thuật sử dụng lƣợc đồ CCH Trong tƣơng lai, thử nghiệm phƣơng pháp tập liệu khác nhau, tiến hành đánh số cho tập ảnh khác theo tiêu khác 70 Ngoài ra, biên soạn tài liệu tham khảo “Tra cứu ảnh” dùng cho sinh viên giảng viên Khoa Cơng nghệ thơng tin (lƣu hành nội bộ) Những đóng góp cho lĩnh vực đề tài cịn khiêm tốn so với nghiên cứu giới nhƣng việc hồn thành đề tài đặt móng cho nghiên cứu, học tập Khoa Trên sở kết đề tài, tiếp tục nghiên cứu tiến tới triển khai ứng dụng liên quan Đây lĩnh vực có nhiều ứng dụng thực tiễn đồng thời có tính học thuật cao Trong tƣơng lai, chúng tơi tiếp tục nghiên cứu nhƣ định hƣớng cụ thể nêu đồng thời áp dụng kết nghiên cứu để xây dựng phần mềm tiện ích Photo Explore (PE) đề xuất xây dựng phần mềm ứng dụng cụ thể lĩnh vực 71 TÀI LIỆU THAM KHẢO Danh sách cơng trình kết đề tài [1] Nguyễn Hữu Quỳnh, Ngô Quốc Tạo, (2007), Sử dụng đặc tính cục vùng phục vụ tra cứu ảnh phong cảnh, Kỷ yếu Hội thảo quốc gia “Một số vấn đề chọn lọc Công nghệ Thông tin Truyền thông”, Đại Lải 14-15/9/2007, trang 608-616 [2] Đỗ Năng Toàn, Nguyễn Văn Tới, Nguyễn Thị Thu Hiền, (2008), “Áp dụng thuật toán Octrees cho bƣớc lƣợng tử q trình phân đoạn ảnh màu thuật tốn Jseg”, Tạp chí Khoa học Cơng nghệ, Đại học Thái Nguyên, Tập 2(1), trang 80-84 [3] Nguyễn Văn Tới, Phạm Việt Bình, Nguyễn Tiến Thành, (2009), “Sử dụng kỹ thuật phân lớp liệu để tính tốn bins màu động tra cứu ảnh dựa màu sắc”, Tạp chí Khoa học Cơng nghệ, Đại học Thái Nguyên, nhận đăng [4] Dominic Mai, Nguyen Van Toi, (2009), “An Approach to CBIR using K-Means clustering and Polygon Based Shape Features”, Tạp chí Khoa học Cơng nghệ, Đại học Thái Nguyên, nhận đăng Các tài liệu tham khảo khác Tiếng Việt [5] Lƣơng Mạnh Bá, Nguyễn Thanh Thuỷ (2003), Nhập môn xử lý ảnh số, Nhà xuất Khoa học Kỹ thuật [6] Phạm Việt Bình, (2007), Phát triển kỹ thuật dò biên, phát biên ứng dụng, Luận án tiến sỹ ngành Bảo đảm toán học cho máy tính hệ thống tính tốn, Viện Cơng nghệ thông tin – Viện Khoa học Công nghệ Việt Nam [7] Đặng Văn Đức, Hệ quản trị CSDL đa phương tiện, Giáo trình dành cho lớp Cao học - Khoa Công nghệ thông tin – Đại học Thái Nguyên [8] Trần Công Thự, (2006), Nghiên cứu số kỹ thuật tra cứu ảnh ứng dụng vào toán kiểm chứng cổ vật, Luận văn thạc sỹ ngành Công nghệ thông tin, Trƣờng ĐH Công nghệ - ĐH Quốc gia Hà nội Tiếng Anh [9] Abhishek Krovi, Shahram Rahimi (2000), A distributed approach to content based image retrieval, Department of Computer Sciense, Southern Illinois University, wotan.liu.edu/docis/dbl/pdptap/2003 458_ADATCB.htm [10] J Ashley, R Barber, M Flickner, J Hafner, D Lee W Niblack, D Petkovic, Automatic and semiautomatic methods for image annotation and retrieval in QBIC, In Proc of Storage and Retrieval for Image and Video Databases (SPIE) III, volume 2420, pages 24–35, 1995 [11] J Beck, Perceptual grouping produced by line _gures, Percept Pyschophys, 2, (1967) 491 72 [12] S K Chan, National University of Singapore, (1994), Content-based Image Retrieval, MSc thesis [13] S -K Chang et al (1987), Iconic Indexing by 2-D Strings, IEEE Trans Pattern Analysis and Machine Intelligence, pp 413-428 [14] Cheng Chang, Liu Wenyin, Hongjiang Zhang (2001), Image retrieval based on region shape similarity, Microsoft Research China, www.eecs.berkeley.edu/~cchang/docs/Spie01.pdf [15] Cheng Chang, Liu Wenyin, Hongjiang Zhang, (2001), Image retrieval based on region shape similarity, Proceedings of SPIE, the International Society for Optical Engineering ISSN 0277-786X, vol 4315, pp 31-38 [16] Chua T S., Lim S K., Pung H K., Content-based retrieval of segmented images, ACM Multimedia, (1994) 211 [17] Colin C Venteres and Dr Matthew Cooper, A Review of Content-Based Image Retrieval Systems, http://www.jtap.ac.uk/reports/htm/jtap-054.html [18] Dengsheng Zhang, Aylwin Wong, Maria Indrawan, Guojun Lu, Content-based Image Retrieval Using Gabor Texture Features, personal.gscit.monash.edu.au/~dengs/resource/papers/pcm00.pdf [19] Do Nang Toan (2002), The boundaries of the region and properties, Science and Technology Journal, Vol.40, Special No, pp 41-48 [20] 20 Eero Hyvönen et al (2002), Ontology Image Retrieval, www.seco.tkk.fi/publications/2003/hyvonen-saarela-et-al-ontology-based-imageretrieval [21] 21 Fuhui Long, Hongjiang Zhang, David Dagan Feng (2002), Fundamentals of Content-based Image Retrieval, in Multimedia Information Retrieval and Management - Technological Fundamentals and Applications, Springer, Chapter 1, pp 1-26 [22] 22 M Gervautz and W Purgathofer, “A simple method for color quantization: octree quantization” in A Glassner, ed, Graphics Gems I, Acad Press, 1990, pp 287-293 [23] 23 Gunhan Park, Yunju Baek, Heung-Kyu Lee (2002), A Ranking Algorithm Using Dynamic Clustering for Content-Based Image Retrieval, Springer Berlin / Heidelberg, ISSN 0302-9743 73 [24] 24 Guojun Lu; Phillips, J., (1998), Using perceptually weighted histograms for colour-based imageretrieval, Signal Processing Proceedings, 1998 ICSP apos’98 Fourth International Conference on Volume 2, Issue, Page(s):1150 - 1153 [25] 25 Jame Z Wang, J http://wang.ist.psu.edu/docs/related.shtml Li CSDL ảnh MISC [26] 26 James Hafner, Harpreet S Sawhney, Will Equitz, Myron Flickner, Wayne Niblack, (July 1995), Efficient Color Histogram Indexing for Quadratic Form Distance Functions, IEEE Transactions on Pattern Analysis and Machine Intelligence, vol 17, no 7, pp 729-736 [27] 27 Julia Vogel and Bernt, (2002), On Performance Characterization and Optimization for Image Retrieval, Proceedings of 7th European Conference on Computer Vision, Springer, pp 49-63 [28] 28 Low (1991), A Introductory Computer Vision and Image Processin, McGrawhill, 244p ISBN 0077074033 [29] 29 J B MacQueen, (1967), Some Methods for classification and Analysis of Multivariate Observations, Proceedings of 5-th Berkeley Symposium on Mathematical Statistics and Probability, Berkeley, University of California Press, 1:281-297 [30] 30 Michael J Swain, Dana H Ballard, Color indexing, International Journal of Computer Vision, 7(1), (1991) 11 [31] 31 Mike D Sutton (2005), Using Device Independent Bitmaps (DIBs) in Visual Basic, Part 1, EDAIS, http://edais.mvps.org/ [32] 32 Nagasaka A., Tanaka Y., Automatic video indexing and full-video search for object appearances, Visual Database Systems, II, IFIP, (1992) 113 [33] 33 A Natsev, R Rastogi, K Shim, WALRUS: A similarity retrieval algorithm for image databases, In Proc ACM SIGMOD Intl Conf on Management of Data, pages 395–406, 1999 [34] 34 Nguyen Huu Quynh, Ngo Quoc Tao, Improving Harbin method for retrieving landscape image, Proc of IEEE on Intelligent Information Hiding and Multimedia Signal Processing, 2008 [35] 35 G Pass, R Zabih, Histogram refinement for content-based image retrieval, In Proc of IEEE Workshop on Applications of Computer Vision, pages 96–102, 1996 [36] 36 Peter Howarth, Stefan Ruger (2000), Evaluation of Texture Features for Content-based Image Retrieval, Department of Computing, Imperial College 74 London mmis.doc.ic.ac.uk/www-pub/civr04-texture.pdf [37] 37 Randy Crane (1997), A simplied approach to Image Processing: clasical and modern technique in C, Prentice Hall, ISBN 0-13-226616-1 [38] 38 Ritendra Datta, Dhiraj Joshi, Jia Li and James Z Wang, ``Image Retrieval: Ideas, Influences, and Trends of the New Age,'' ACM Computing Surveys, vol 40, no 2, article 5, pp 5:1-60, April 2008 [39] 39 Sanghoon Sull et al (2001), Relevance Graph-based Image Retrieval, School of Electrical Engineering Korea University, www.informatik.uni-trier.de/~ley/db/indices/a-tree/s/Sull:Sanghoon.html [40] 40 E.D Sciascio, G Mingolla, M Mongiello, Content-based image retrieval over the web using query by sketch and relevance feedback, In Proc of the Intl Conf on Visual Information Systems, pages 123–130, 1999 [41] 41 Shengjiu Wang (2001), A Robust CBIR Approach Using Local Color Histograms, Department of Computer Science, University of Alberta, Edmonton, Alberta, Canada, Tech Rep TR 01-13, http://citeseer.nj.nec.com/wang01robust.html [42] 42 R.O Stehling, M.A Nascimento, A.X Falc˜ao, Techniques for color-based image retrieval, Technical Report 16, University of Alberta, 2001 [43] 43 R.O Stehling, M.A Nascimento, A.X Falc˜ao, Cell histograms versus color histograms for image representation and retrieval Knowledge and Information Systems (KAIS) Journal (To Appear), 2002 [44] 44 R.O Stehling, M.A Nascimento, and A.X Falc˜ao, An adaptive and efficient clustering-based approach for content based image retrieval in image databases, In Proc of the Intl Data Engineering and Application Symposium, pages 356–365, 2001 [45] 45 M.A Stricker, M Orengo, Similarity of color images, In Proc of Storage and Retrieval for Image and Video Databases (SPIE)-III, volume 2420, pages 381–392, 1995 [46] 46 D Symon D’O Cotton, School of Computer Science, University of Birmingham, England, (1995), Colour, colour spaces and the human visual system, Technical report [47] 47 Tanner Helland, Graphics Programming tannerhelland.tripod.com/VBGraphicsTutorial.htm in Visual Basic, [48] 48 A Treisman, R Paterson, A feature integration theory of attention, Cognit Psychol, vol 12, (1980) 97 75 [49] 49 S Wang, A robust CBIR approach using local color histograms, Master’s thesis, University of Alberta, 2001 [50] 50 Wei-Ying Ma, HongJiang Zhang, Content-Based Image Indexing and Retrieval, Handbook of Multimedia Computing, CRC Press, (1999) [51] 51 Wong, J A Hartigan and M A., (1979), Algorithm AS136: A k- means Clustering Algorithm Applied Statistics, vol 28, pp 100-108 [52] 52 Xia Wan; Kuo, C.-C.J., (Sep 1998), A new approach to image retrieval with hierarchical colorclustering, Circuits and Systems for Video Technology, IEEE Transactions on Volume 8, Issue 5, Page(s):628 – 643 [53] 53 B Yates, R Neto, Modern Information Retrieval, Addison Wesley, 1999 [54] 54 Yining Deng, B S Manjunath and Hyundoo Shin, “Color Image Segmentation”, Department of Electrical and Computer Engineering University of California, Santa Barbara, http://www-iplab.ece.ucsb.edu/publications/99CVPRSeg.htm [55] 55 Y Deng, C Kenney, M.S Moore, and B.S Manjunath, “Peer group filtering and perceptual color image quantization”, to appear in Proc of ISCAS, 1999 [56] 56 Yixin Chen, James Z Wang and Robert Krovetz, ``CLUE: Cluster-based Retrieval of Images by Unsupervised Learning,'' IEEE Transactions on Image Processing, vol 14, no 8, pp 1187-1201, 2005 [57] 57 Yixin Chen, Department of Computer Science and Engineering, The Pennsylvania State University, (June 2003), A Machine Learning Approach to Content-Based Image Indexing and Retrieval, Ph.D Dissertation [58] 58 Yong Rui, Thomas S Huang, Image Retrieval: Current Techniques, Promising Directions and Open Issues, Journal of Visual Communication and Image Representation, (1999) [59] 59 D JPEG http://www.w3.org/Graphics/JPEG/itu-t81.pdf [Online] 76 CHỮ KÝ CỦA CHỦ NHIỆM ĐỀ TÀI VÀ XÁC NHẬN CỦA ĐƠN VỊ Chủ nhiệm đề tài Ths Nguyễn Văn Tới Thủ trƣởng đơn vị ... Nhƣ ta biết, hƣớng tiếp cận tra cứu ảnh tra cứu ảnh dựa vào màu sắc Kỹ thuật sở tra cứu ảnh dựa màu sắc đƣợc nhắc lại phần 1.2 Các kỹ thuật sở tra cứu ảnh dựa màu sắc số hạn chế Những hạn chế đƣợc... thống tra cứu ảnh + Cải tiến số phƣơng pháp tra cứu ảnh dựa vào nội dung + Áp dụng số phƣơng pháp tra cứu ảnh vào thực tế: để xây dựng thử nghiệm hệ thống tìm kiếm ảnh Nội dung - Nghiên cứu chuyên... http://www.lrc-tnu.edu.vn/ TÓM TẮT KẾT QUẢ NGHIÊN CỨU ĐỀ TÀI KHOA HỌC VÀ CÔNG NGHỆ CẤP BỘ Tên đề tài: NGHIÊN CỨU ỨNG DỤNG MỘT SỐ KỸ THUẬT TRA CỨU ẢNH VÀO THỰC TẾ Mã số: B2007-TN07-04 Chủ nhiệm đề tài: