Tìm kiếm ảnh dựa vào nội dung ứng dụng tra cứu ảnh y tế

ĐẠI HỌC THÁI NGUYÊN TRƯỜNG ĐẠI HỌC CNTT VÀ TRUYỀN THÔNG Kiều Thị Hương Lan TÌM KIẾM ẢNH DỰA VÀO NỘI DUNG ỨNG DỤNG TRA CỨU ẢNH Y TẾ LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH Thái Nguyên - 2011 Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc – tnu.edu.vn ĐẠI HỌC THÁI NGUYÊN TRƯỜNG ĐẠI HỌC CNTT VÀ TRUYỀN THÔNG Kiều Thị Hương Lan TÌM KIẾM ẢNH DỰA VÀO NỘI DUNG ỨNG DỤNG TRA CỨU ẢNH Y TẾ Chuyên ngành : Khoa học máy tính Mã số : 60.48.01 LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH NGƯỜI HƯỚNG DẪN KHOA HỌC PGS.TS Ngô Quốc Tạo Thái Nguyên - 2011 Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc – tnu.edu.vn MỞ ĐẦU Cùng với bùng nổ thông tin web phát triển công nghệ kỹ thuật số, lượng ảnh lưu trữ Web tăng cách nhanh chóng Vì vậy, việc xây dựng hệ thống tìm kiếm cần thiết Các công cụ tìm kiếm ảnh thường dựa vào hai đặc trưng văn kèm ảnh nội dung ảnh Một số công cụ tìm kiếm ảnh theo văn kèm Google Image Search, Yahoo!, MSN,…Một số công cụ tìm kiếm ảnh dựa vào nội dung ảnh Google Image Swirl, Bing, Tiltomo, Tineye,… Tìm kiếm ảnh theo nội dung nhận nhiều quan tâm nhà khoa học Khi số lượng ảnh sưu tập ít, việc nhận diện ảnh hay việc so sánh giống khác nhiều ảnh thực mắt thường, nhiên có số lượng lớn ảnh việc so sánh mắt thường khó khăn, đòi hỏi phải có phương pháp hiệu xác Trong thực tế, toán tra cứu ảnh có nhiều ứng dụng quan trọng Đặc biệt lĩnh vực y học việc ứng dụng tra cứu ảnh y tế quan trọng Việc tìm ảnh giống tương tự với ảnh mẫu hay không Trong trường nàu sử dụng mắt thường để duyệt tốn nhiều thời gian độ xác không cao, ngược lại có phần mềm cho phép tìm kiếm sở liệu ảnh có sẵn hình ảnh tương tự với hình ảnh mẫu việc đánh giá phát bệnh lý dễ dàng nhiều Trước năm 1990, người ta thường sử dụng phương pháp tra cứu ảnh theo văn (Text Based Image Retrieval) Theo cách người ta gán cho ảnh lời thích phù hợp với nội dung đặc điểm ảnh, sau việc tra cứu ảnh thực dựa lời thích Phương pháp đơn giản Tuy nhiên, việc tìm kiếm dựa vào văn kèm có nhiều nhập nhằng nội dung hiển thị ảnh nội dung văn kèm ảnh trình tìm kiếm Ví dụ, với truy vấn “Apple”, máy tìm kiếm khó phân biệt Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http;//www.lrc-tnu.edu.vn người dùng muốn tìm hình ảnh táo hay logo hãng Apple Bên cạnh phương pháp tra cứu ảnh dựa theo văn áp dụng để tra cứu sở liệu ảnh có số lượng ảnh lớn Một phương pháp nhiều người quan tâm nghiên cứu phương pháp “Tra cứu ảnh dựa theo nội dung” (Content Based Image Retrieval) Ý tưởng phương pháp trích chọn đặc điểm dựa vào nội dung trực quan ảnh màu sắc, kết cấu, hình dạng bố cục không gian ảnh để làm sở cho việc tra cứu, xếp, tổ chức sở liệu ảnh Một số hệ thống tra cứu ảnh tiếng QBIC (IBM), Virage (Virage Inc.), Photobook (MIT), VisualSEEK (Columbia University) áp dụng thành công phương pháp tra cứu [7],[16],[17] Nội dung đề tài giới thiệu sở lý thuyết ứng dụng số phương pháp tra cứu ảnh, sâu vào giới thiệu phương pháp tra cứu ảnh theo nội dung ứng dụng tra cứu ảnh y tế Trên sở tiến hành thử nghiệm phương pháp cụ thể để xây dựng chương trình phần mềm tra cứu ảnh cho phép đọc vào ảnh mẫu tìm kiếm ảnh tương tự với ảnh mẫu tập hợp ảnh cho trước theo hai đặc điểm hình dạng màu sắc ảnh Luận văn gồm có ba chương: Chƣơng 1: Trình bày tổng quan tra cứu ảnh Chƣơng 2: Một số phương pháp tìm kiếm ảnh theo nội dung Chƣơng 3: Tra cứu ảnh y tế giới thiệu ứng dụng phương pháp tra cứu ảnh theo nội dung y tế; hạn chế khả mở rộng chương trình ứng dụng Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http;//www.lrc-tnu.edu.vn CHƢƠNG I: TỔNG QUAN VỀ TRA CỨU ẢNH 1.1 Tra cứu ảnh Ngày nay, lĩnh vực tra cứu ảnh nhận quan tâm ngày lớn Lý phần phát triển công nghệ chế tạo thiết bị thu nhận lưu trữ ảnh phát triển mạnh mẽ mạng Internet Người sử dụng nhiều lĩnh vực khác có hội để truy cập sử dụng kho lưu trữ ảnh thuộc đủ loại chủ đề với nhiều kiểu định dạng ảnh khác Tuy nhiên người ta nhận thấy việc tìm ảnh mong muốn sưu tập ảnh đa dạng có kích thước lớn khó khăn Tra cứu ảnh trình tìm kiếm sở liệu ảnh ảnh thoả mãn yêu cầu Ví dụ người muốn tìm tất ảnh tương tự với ảnh mẫu sở liệu ảnh Vấn đề tra cứu ảnh nhìn nhận rộng rãi việc tìm kiếm giải pháp cho vấn đề trở thành lĩnh vực sôi động, thu hút quan tâm nhiều nhà nghiên cứu Những kỹ thuật tra cứu ảnh số nghiên cứu từ cuối năm 70 kỷ 20 Năm 1979 hội thảo chuyên đề "Các kỹ thuật tổ chức sở liệu cho ứng dụng đồ hoạ" tổ chức thành phố Florence, Italia Từ đến nay, khả ứng dụng cao kỹ thuật quản lý sở liệu ảnh thu hút quan tâm nhiều nhà nghiên cứu [7] 1.2 Mô hình hệ thống tra cứu ảnh theo nội dung Phương pháp tra cứu ảnh theo nội dung (Content-Based Image Retrieval) sử dụng nội dung trực quan ảnh màu sắc, hình dạng, kết cấu (texture) phân bố không gian để thể đánh số ảnh [7] Trong hệ thống tra cứu ảnh theo nội dung điển hình (hình vẽ 1.1) nội dung trực quan ảnh trích chọn mô tả véctơ đặc trưng nhiều chiều Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http;//www.lrc-tnu.edu.vn Tập hợp véctơ đặc trưng ảnh sở liệu ảnh tạo thành sở liệu đặc trưng Quá trình tra cứu ảnh tiến hành sau: Người sử dụng cung cấp cho hệ thống tra cứu ảnh mẫu cụ thể Sau hệ thống chuyển mẫu thành véc tơ đặc trưng tính toán giống (hay độ tương tự) véc tơ đặc trưng ảnh mẫu véc tơ đặc trưng ảnh sở liệu Sau việc tra cứu tiến hành với trợ giúp sơ đồ đánh số Sử dụng sơ đồ đánh số cách hiệu để tìm kiếm sở liệu ảnh Một số hệ thống tra cứu ảnh phát triển gần tích hợp chức xử lý phản hồi người sử dụng để cải tiến qui trình tra cứu kết tra cứu tốt Phản hồi thích hợp Người sử dụng Tạo truy vấn Cơ sở Dữ liệu ảnh Mô tả Nội dung Trực quan Mô tả Nội dung Các Vector Đặc trưng Đánh giá độ tương tự Cơ sở Dữ liệu Đặc trưng Tra cứu Đánh số Trực quan Đầu Kết tra cứu Hình 1.1: Mô hình hệ thống Tra cứu ảnh theo nội dung Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http;//www.lrc-tnu.edu.vn Trong mô hình này, người sử dụng tạo truy vấn cách chọn ảnh mẫu sở liệu ảnh cho trước phác thảo hình vẽ mô tả đối tượng ảnh cần tìm cách sử dụng giao diện đồ hoạ hệ thống Ảnh mẫu đưa qua khối mô tả nội dung trực quan, người ta sử dụng phương pháp mô tả nội dung trực quan để trích chọn đặc điểm nội dung trực quan để xây dựng thành véc tơ đặc trưng Véc tơ đặc trưng ảnh mẫu so sánh với véc tơ đặc trưng tương ứng ảnh sở liệu ảnh Kết phép so sánh số đánh giá độ tương tự ảnh mẫu ảnh lấy để so sánh Dựa vào số độ tương tự tính toán trên, hệ thống xếp ảnh tìm sở liệu ảnh theo sơ đồ đánh số Danh sách ảnh tìm (đã xếp) đưa đầu hệ thống 1.3 Một số hệ thống tra cứu ảnh theo nội dung tiêu biểu 1.3.1 Hệ thống QBIC (Query By Image Content) Hệ thống QBIC hãng IBM hệ thống tra cứu ảnh thương mại tiếng số hệ thống tra cứu ảnh dựa nội dung Nó cho phép người sử dụng tra cứu ảnh dựa vào màu sắc, hình dạng kết cấu QBIC cung cấp số phương pháp: Simple, Multi-feature, Multi-pass Trong phương pháp truy vấn Simple sử dụng đặc điểm Truy vấn Multifeature bao gồm nhiều đặc điểm đặc điểm có trọng số suốt trình tìm kiếm Truy vấn Multi-pass sử dụng đầu truy vấn trước làm sở cho bước Người sử dụng vẽ định màu, kết cấu mẫu hình ảnh yêu cầu Trong hệ thống QBIC màu tương tự tính toán độ đo bình phương sử dụng biểu đồ màu k phần tử màu trung bình sử dụng lọc để cải tiến hiệu truy vấn [4] Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http;//www.lrc-tnu.edu.vn 1.3.2 Hệ thống Photobook Hệ thống phát triển viện kỹ thuật Massachusetts Nó cho phép người sử dụng tra cứu ảnh dựa màu sắc, hình dạng kết cấu Hệ thống cung cấp tập thuật toán đối sánh gồm: Euclidean, mahalanobis, vector space angle, histogram, Fourier peak, wavelet tree distance độ đo khoảng cách Hệ thống công cụ bán tự động sinh mẫu truy vấn dựa vào ảnh mẫu cung cấp người sử dụng Điều cho phép người sử dụng trực tiếp đưa yêu cầu truy vấn họ với lĩnh vực khác nhau, lĩnh vực họ thu mẫu truy vấn tối ưu [4] 1.3.3 Hệ thống VisualSEEK WebSEEK Cả hai hệ thống phát triển Trường Đại học Colombia VisualSEEK hệ thống sở liệu ảnh Nó cho phép người sử dụng tra cứu ảnh dựa màu sắc, không gian miền đặc điểm kết cấu Thêm vào VisualSEEK cho phép người sử dụng tạo truy vấn việc định vùng màu không gian vị trí chúng WebSEEK catalog ảnh công cụ tìm kiếm website [4] 1.3.4 Hệ thống RetrievalWare Hệ thống phát triển tập đoàn công nghệ Excalibur cho phép người sử dụng tra cứu ảnh nội dung màu, hình dạng, kết cấu, độ sáng, kết cấu màu hệ số co Người sử dụng điều chỉnh tỷ trọng đặc điểm suốt trình tìm kiếm [4] 1.3.5 Hệ thống Imatch Hệ thống cho phép người sử dụng tra cứu ảnh nội dung màu, hình dạng, kết cấu Nó cung cấp số phương pháp để tra cứu ảnh tương tự: Màu tương tự, màu hình dạng, màu hình dạng mờ, phân bố màu Màu tương Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http;//www.lrc-tnu.edu.vn tự để tra cứu ảnh tương tự với ảnh mẫu dựa phân bố màu toàn cục Màu hình dạng thực tra cứu việc kết hợp hình dạng, kết cấu màu Màu hình dạng mờ thực thêm bước xác định đối tượng ảnh mẫu Phân bố màu cho phép người sử dụng vẽ phân bố màu xác định tỷ lệ phần trăm màu hình ảnh mong muốn Imatch cung cấp đặc điểm khác nội dung để xác định ảnh: ảnh nhị phân, lưu trữ định dạng khác ảnh có tên tương tự [4] 1.4 Một số ứng dụng tra cứu ảnh Tra cứu ảnh ứng dụng nhiều lĩnh vực, lĩnh vực thành công bao gồm: Ngăn chặn tội phạm: Từ liệu ảnh gốc (có thể ảnh chân dung, ảnh vân tay) đối tượng sau tìm sở liệu lưu trữ để đưa thông tin lịch sử phạm tội đối tượng Quân sự: Hỗ trợ giảng dạy tra cứu vũ khí đạn dược nước giới, nâng cao khả tìm kiếm tài liệu, tiết kiệm nhiều thời gian giúp cho cán chuyên môn đơn vị khai thác, sử dụng hiệu vũ khí đạn dược quản lý Ngoài ứng dụng lĩnh vực sau : Quản lý tài sản trí tuệ, thiết kế kiến trúc máy móc, thiết kế thời trang nội thất, báo chí quảng cáo, chẩn đoán y học, hệ thống thông tin địa lý, di sản văn hóa, giáo dục đào tạo, giải trí… Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http;//www.lrc-tnu.edu.vn CHƢƠNG II: MỘT SỐ PHƢƠNG PHÁP TÌM KIẾM ẢNH THEO NỘI DUNG Nếu nhìn cách tổng quát nội dung ảnh bao gồm nội dung trực quan nội dung ngữ nghĩa Nội dung trực quan ảnh lại phân làm hai loại nội dung tổng quan nội dung đặc tả Nội dung tổng quan bao gồm màu sắc, kết cấu, hình dạng quan hệ không gian đối tượng ảnh vùng ảnh Nội dung đặc tả tuỳ vào ứng dụng cụ thể, ví dụ với ứng dụng tra cứu ảnh người mặt người mắt nội dung đặc tả; với ứng dụng tra cứu ảnh ô tô bánh xe nội dung đặc tả Nội dung ngữ nghĩa phát thông qua thích sử dụng phương pháp suy diễn từ nội dung trực quan Trong khuôn khổ luận văn tập trung vào việc mô tả nội dung trực quan tổng quan ảnh Một phương pháp mô tả nội dung trực quan thiết kế tốt phải có tính bất biến biến đổi bất thường sinh trình xử lý ảnh (ví dụ biến đổi bất thường độ sáng cảnh vật) Tuy nhiên cần phải ý tới cân tính bất biến khả đáp ứng thay đổi tuỳ ý đặc trưng trực quan ảnh, hệ thống có tính bất biến lớn thường tính nhạy cảm, khả phản ánh thay đổi nhỏ quan trọng Một phương pháp mô tả nội dung trực quan phương pháp toàn cục phương pháp cục Phương pháp mô tả nội dung toàn cục sử dụng đặc trưng trực quan toàn ảnh phương pháp mô tả nội dung cục lại sử dụng đặc trưng trực quan vùng ảnh đối tượng ảnh để mô tả nội dung ảnh Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http;//www.lrc-tnu.edu.vn data error !!! can't not read data error !!! can't not read data error !!! can't not read data error !!! can't not read data error !!! can't not read data error !!! can't not read data error !!! can't not read data error !!! can't not read data error !!! can't not read data error !!! can't not read data error !!! can't not read data error !!! can't not read data error !!! can't not read data error !!! can't not read data error !!! can't not read data error !!! can't not read ... phương pháp tra cứu [7],[16],[17] Nội dung đề tài giới thiệu sở lý thuyết ứng dụng số phương pháp tra cứu ảnh, sâu vào giới thiệu phương pháp tra cứu ảnh theo nội dung ứng dụng tra cứu ảnh y tế Trên... Chƣơng 1: Trình b y tổng quan tra cứu ảnh Chƣơng 2: Một số phương pháp tìm kiếm ảnh theo nội dung Chƣơng 3: Tra cứu ảnh y tế giới thiệu ứng dụng phương pháp tra cứu ảnh theo nội dung y tế; hạn chế... TÌM KIẾM ẢNH THEO NỘI DUNG Nếu nhìn cách tổng quát nội dung ảnh bao gồm nội dung trực quan nội dung ngữ nghĩa Nội dung trực quan ảnh lại phân làm hai loại nội dung tổng quan nội dung đặc tả Nội