Tìm kiếm ảnh dựa vào nội dung ứng dụng tra cứu ảnh y tế

ĐẠI HỌC THÁI NGUYÊN TRƯỜNG ĐẠI HỌC CNTT VÀ TRUYỀN THƠNG Kiều Thị Hương Lan TÌM KIẾM ẢNH DỰA VÀO NỘI DUNG ỨNG DỤNG TRA CỨU ẢNH Y TẾ LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH Thái Nguyên - 2011 Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc – tnu.edu.vn ĐẠI HỌC THÁI NGUYÊN TRƯỜNG ĐẠI HỌC CNTT VÀ TRUYỀN THÔNG Kiều Thị Hương Lan TÌM KIẾM ẢNH DỰA VÀO NỘI DUNG ỨNG DỤNG TRA CỨU ẢNH Y TẾ Chuyên ngành : Khoa học máy tính Mã số : 60.48.01 LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH NGƯỜI HƯỚNG DẪN KHOA HỌC PGS.TS Ngơ Quốc Tạo Thái Ngun - 2011 Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc – tnu.edu.vn MỞ ĐẦU Cùng với bùng nổ thông tin web phát triển công nghệ kỹ thuật số, lượng ảnh lưu trữ Web tăng cách nhanh chóng Vì vậy, việc xây dựng hệ thống tìm kiếm cần thiết Các cơng cụ tìm kiếm ảnh thường dựa vào hai đặc trưng văn kèm ảnh nội dung ảnh Một số cơng cụ tìm kiếm ảnh theo văn kèm Google Image Search, Yahoo!, MSN,…Một số cơng cụ tìm kiếm ảnh dựa vào nội dung ảnh Google Image Swirl, Bing, Tiltomo, Tineye,… Tìm kiếm ảnh theo nội dung nhận nhiều quan tâm nhà khoa học Khi số lượng ảnh sưu tập cịn ít, việc nhận diện ảnh hay việc so sánh giống khác nhiều ảnh thực mắt thường, nhiên có số lượng lớn ảnh việc so sánh mắt thường khó khăn, địi hỏi phải có phương pháp hiệu xác Trong thực tế, tốn tra cứu ảnh có nhiều ứng dụng quan trọng Đặc biệt lĩnh vực y học việc ứng dụng tra cứu ảnh y tế quan trọng Việc tìm ảnh giống tương tự với ảnh mẫu hay không Trong trường nàu sử dụng mắt thường để duyệt tốn nhiều thời gian độ xác khơng cao, ngược lại có phần mềm cho phép tìm kiếm sở liệu ảnh có sẵn hình ảnh tương tự với hình ảnh mẫu việc đánh giá phát bệnh lý dễ dàng nhiều Trước năm 1990, người ta thường sử dụng phương pháp tra cứu ảnh theo văn (Text Based Image Retrieval) Theo cách người ta gán cho ảnh lời thích phù hợp với nội dung đặc điểm ảnh, sau việc tra cứu ảnh thực dựa lời thích Phương pháp đơn giản Tuy nhiên, việc tìm kiếm dựa vào văn kèm cịn có nhiều nhập nhằng nội dung hiển thị ảnh nội dung văn kèm ảnh trình tìm kiếm Ví dụ, với truy vấn “Apple”, máy tìm kiếm khó phân biệt Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http;//www.lrc-tnu.edu.vn người dùng muốn tìm hình ảnh táo hay logo hãng Apple Bên cạnh phương pháp tra cứu ảnh dựa theo văn áp dụng để tra cứu sở liệu ảnh có số lượng ảnh lớn Một phương pháp nhiều người quan tâm nghiên cứu phương pháp “Tra cứu ảnh dựa theo nội dung” (Content Based Image Retrieval) Ý tưởng phương pháp trích chọn đặc điểm dựa vào nội dung trực quan ảnh màu sắc, kết cấu, hình dạng bố cục khơng gian ảnh để làm sở cho việc tra cứu, xếp, tổ chức sở liệu ảnh Một số hệ thống tra cứu ảnh tiếng QBIC (IBM), Virage (Virage Inc.), Photobook (MIT), VisualSEEK (Columbia University) áp dụng thành công phương pháp tra cứu [7],[16],[17] Nội dung đề tài giới thiệu sở lý thuyết ứng dụng số phương pháp tra cứu ảnh, sâu vào giới thiệu phương pháp tra cứu ảnh theo nội dung ứng dụng tra cứu ảnh y tế Trên sở tiến hành thử nghiệm phương pháp cụ thể để xây dựng chương trình phần mềm tra cứu ảnh cho phép đọc vào ảnh mẫu tìm kiếm ảnh tương tự với ảnh mẫu tập hợp ảnh cho trước theo hai đặc điểm hình dạng màu sắc ảnh Luận văn gồm có ba chương: Chƣơng 1: Trình bày tổng quan tra cứu ảnh Chƣơng 2: Một số phương pháp tìm kiếm ảnh theo nội dung Chƣơng 3: Tra cứu ảnh y tế giới thiệu ứng dụng phương pháp tra cứu ảnh theo nội dung y tế; hạn chế khả mở rộng chương trình ứng dụng Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http;//www.lrc-tnu.edu.vn CHƢƠNG I: TỔNG QUAN VỀ TRA CỨU ẢNH 1.1 Tra cứu ảnh Ngày nay, lĩnh vực tra cứu ảnh nhận quan tâm ngày lớn Lý phần phát triển công nghệ chế tạo thiết bị thu nhận lưu trữ ảnh phát triển mạnh mẽ mạng Internet Người sử dụng nhiều lĩnh vực khác có hội để truy cập sử dụng kho lưu trữ ảnh thuộc đủ loại chủ đề với nhiều kiểu định dạng ảnh khác Tuy nhiên người ta nhận thấy việc tìm ảnh mong muốn sưu tập ảnh đa dạng có kích thước lớn khó khăn Tra cứu ảnh trình tìm kiếm sở liệu ảnh ảnh thoả mãn u cầu Ví dụ người muốn tìm tất ảnh tương tự với ảnh mẫu sở liệu ảnh Vấn đề tra cứu ảnh nhìn nhận rộng rãi việc tìm kiếm giải pháp cho vấn đề trở thành lĩnh vực sôi động, thu hút quan tâm nhiều nhà nghiên cứu Những kỹ thuật tra cứu ảnh số nghiên cứu từ cuối năm 70 kỷ 20 Năm 1979 hội thảo chuyên đề "Các kỹ thuật tổ chức sở liệu cho ứng dụng đồ hoạ" tổ chức thành phố Florence, Italia Từ đến nay, khả ứng dụng cao kỹ thuật quản lý sở liệu ảnh thu hút quan tâm nhiều nhà nghiên cứu [7] 1.2 Mơ hình hệ thống tra cứu ảnh theo nội dung Phương pháp tra cứu ảnh theo nội dung (Content-Based Image Retrieval) sử dụng nội dung trực quan ảnh màu sắc, hình dạng, kết cấu (texture) phân bố không gian để thể đánh số ảnh [7] Trong hệ thống tra cứu ảnh theo nội dung điển hình (hình vẽ 1.1) nội dung trực quan ảnh trích chọn mơ tả véctơ đặc trưng nhiều chiều Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http;//www.lrc-tnu.edu.vn Tập hợp véctơ đặc trưng ảnh sở liệu ảnh tạo thành sở liệu đặc trưng Quá trình tra cứu ảnh tiến hành sau: Người sử dụng cung cấp cho hệ thống tra cứu ảnh mẫu cụ thể Sau hệ thống chuyển mẫu thành véc tơ đặc trưng tính tốn giống (hay độ tương tự) véc tơ đặc trưng ảnh mẫu véc tơ đặc trưng ảnh sở liệu Sau việc tra cứu tiến hành với trợ giúp sơ đồ đánh số Sử dụng sơ đồ đánh số cách hiệu để tìm kiếm sở liệu ảnh Một số hệ thống tra cứu ảnh phát triển gần cịn tích hợp chức xử lý phản hồi người sử dụng để cải tiến qui trình tra cứu kết tra cứu tốt Phản hồi thích hợp Người sử dụng Tạo truy vấn Cơ sở Dữ liệu ảnh Mô tả Nội dung Trực quan Mô tả Nội dung Các Vector Đặc trưng Đánh giá độ tương tự Cơ sở Dữ liệu Đặc trưng Tra cứu Đánh số Trực quan Đầu Kết tra cứu Hình 1.1: Mơ hình hệ thống Tra cứu ảnh theo nội dung Số hóa Trung tâm Học liệu – Đại học Thái Ngun http;//www.lrc-tnu.edu.vn Trong mơ hình này, người sử dụng tạo truy vấn cách chọn ảnh mẫu sở liệu ảnh cho trước phác thảo hình vẽ mơ tả đối tượng ảnh cần tìm cách sử dụng giao diện đồ hoạ hệ thống Ảnh mẫu đưa qua khối mô tả nội dung trực quan, người ta sử dụng phương pháp mơ tả nội dung trực quan để trích chọn đặc điểm nội dung trực quan để xây dựng thành véc tơ đặc trưng Véc tơ đặc trưng ảnh mẫu so sánh với véc tơ đặc trưng tương ứng ảnh sở liệu ảnh Kết phép so sánh số đánh giá độ tương tự ảnh mẫu ảnh lấy để so sánh Dựa vào số độ tương tự tính tốn trên, hệ thống xếp ảnh tìm sở liệu ảnh theo sơ đồ đánh số Danh sách ảnh tìm (đã xếp) đưa đầu hệ thống 1.3 Một số hệ thống tra cứu ảnh theo nội dung tiêu biểu 1.3.1 Hệ thống QBIC (Query By Image Content) Hệ thống QBIC hãng IBM hệ thống tra cứu ảnh thương mại tiếng số hệ thống tra cứu ảnh dựa nội dung Nó cho phép người sử dụng tra cứu ảnh dựa vào màu sắc, hình dạng kết cấu QBIC cung cấp số phương pháp: Simple, Multi-feature, Multi-pass Trong phương pháp truy vấn Simple sử dụng đặc điểm Truy vấn Multifeature bao gồm nhiều đặc điểm đặc điểm có trọng số suốt q trình tìm kiếm Truy vấn Multi-pass sử dụng đầu truy vấn trước làm sở cho bước Người sử dụng vẽ định màu, kết cấu mẫu hình ảnh yêu cầu Trong hệ thống QBIC màu tương tự tính tốn độ đo bình phương sử dụng biểu đồ màu k phần tử màu trung bình sử dụng lọc để cải tiến hiệu truy vấn [4] Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http;//www.lrc-tnu.edu.vn 1.3.2 Hệ thống Photobook Hệ thống phát triển viện kỹ thuật Massachusetts Nó cho phép người sử dụng tra cứu ảnh dựa màu sắc, hình dạng kết cấu Hệ thống cung cấp tập thuật toán đối sánh gồm: Euclidean, mahalanobis, vector space angle, histogram, Fourier peak, wavelet tree distance độ đo khoảng cách Hệ thống công cụ bán tự động sinh mẫu truy vấn dựa vào ảnh mẫu cung cấp người sử dụng Điều cho phép người sử dụng trực tiếp đưa yêu cầu truy vấn họ với lĩnh vực khác nhau, lĩnh vực họ thu mẫu truy vấn tối ưu [4] 1.3.3 Hệ thống VisualSEEK WebSEEK Cả hai hệ thống phát triển Trường Đại học Colombia VisualSEEK hệ thống sở liệu ảnh Nó cho phép người sử dụng tra cứu ảnh dựa màu sắc, không gian miền đặc điểm kết cấu Thêm vào VisualSEEK cịn cho phép người sử dụng tạo truy vấn việc định vùng màu khơng gian vị trí chúng WebSEEK catalog ảnh cơng cụ tìm kiếm website [4] 1.3.4 Hệ thống RetrievalWare Hệ thống phát triển tập đồn cơng nghệ Excalibur cho phép người sử dụng tra cứu ảnh nội dung màu, hình dạng, kết cấu, độ sáng, kết cấu màu hệ số co Người sử dụng điều chỉnh tỷ trọng đặc điểm suốt trình tìm kiếm [4] 1.3.5 Hệ thống Imatch Hệ thống cho phép người sử dụng tra cứu ảnh nội dung màu, hình dạng, kết cấu Nó cung cấp số phương pháp để tra cứu ảnh tương tự: Màu tương tự, màu hình dạng, màu hình dạng mờ, phân bố màu Màu tương Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http;//www.lrc-tnu.edu.vn tự để tra cứu ảnh tương tự với ảnh mẫu dựa phân bố màu tồn cục Màu hình dạng thực tra cứu việc kết hợp hình dạng, kết cấu màu Màu hình dạng mờ thực thêm bước xác định đối tượng ảnh mẫu Phân bố màu cho phép người sử dụng vẽ phân bố màu xác định tỷ lệ phần trăm màu hình ảnh mong muốn Imatch cung cấp đặc điểm khác nội dung để xác định ảnh: ảnh nhị phân, lưu trữ định dạng khác ảnh có tên tương tự [4] 1.4 Một số ứng dụng tra cứu ảnh Tra cứu ảnh ứng dụng nhiều lĩnh vực, lĩnh vực thành công bao gồm: Ngăn chặn tội phạm: Từ liệu ảnh gốc (có thể ảnh chân dung, ảnh vân tay) đối tượng sau tìm sở liệu lưu trữ để đưa thơng tin lịch sử phạm tội đối tượng Quân sự: Hỗ trợ giảng dạy tra cứu vũ khí đạn dược nước giới, nâng cao khả tìm kiếm tài liệu, tiết kiệm nhiều thời gian giúp cho cán chuyên môn đơn vị khai thác, sử dụng hiệu vũ khí đạn dược quản lý Ngồi cịn ứng dụng lĩnh vực sau : Quản lý tài sản trí tuệ, thiết kế kiến trúc máy móc, thiết kế thời trang nội thất, báo chí quảng cáo, chẩn đốn y học, hệ thống thơng tin địa lý, di sản văn hóa, giáo dục đào tạo, giải trí… Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http;//www.lrc-tnu.edu.vn CHƢƠNG II: MỘT SỐ PHƢƠNG PHÁP TÌM KIẾM ẢNH THEO NỘI DUNG Nếu nhìn cách tổng quát nội dung ảnh bao gồm nội dung trực quan nội dung ngữ nghĩa Nội dung trực quan ảnh lại phân làm hai loại nội dung tổng quan nội dung đặc tả Nội dung tổng quan bao gồm màu sắc, kết cấu, hình dạng quan hệ khơng gian đối tượng ảnh vùng ảnh Nội dung đặc tả tuỳ vào ứng dụng cụ thể, ví dụ với ứng dụng tra cứu ảnh người mặt người mắt nội dung đặc tả; với ứng dụng tra cứu ảnh ô tơ bánh xe nội dung đặc tả Nội dung ngữ nghĩa phát thơng qua thích sử dụng phương pháp suy diễn từ nội dung trực quan Trong khuôn khổ luận văn tập trung vào việc mô tả nội dung trực quan tổng quan ảnh Một phương pháp mô tả nội dung trực quan thiết kế tốt phải có tính bất biến biến đổi bất thường sinh trình xử lý ảnh (ví dụ biến đổi bất thường độ sáng cảnh vật) Tuy nhiên cần phải ý tới cân tính bất biến khả đáp ứng thay đổi tuỳ ý đặc trưng trực quan ảnh, hệ thống có tính bất biến lớn thường khơng có tính nhạy cảm, khả phản ánh thay đổi nhỏ quan trọng Một phương pháp mô tả nội dung trực quan phương pháp tồn cục phương pháp cục Phương pháp mơ tả nội dung tồn cục sử dụng đặc trưng trực quan toàn ảnh cịn phương pháp mơ tả nội dung cục lại sử dụng đặc trưng trực quan vùng ảnh đối tượng ảnh để mô tả nội dung ảnh Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http;//www.lrc-tnu.edu.vn 50 đường cong theo tỷ lệ chiều dài Việc tổng kết đơn giản hoá T kết hợp với việc xác định tỷ lệ độ dài cung cấp giải pháp cho vấn đề tỷ lệ khác Q trình di chuyển đỉnh có độ phức tạp O(n2), với n số đỉnh T Điều khơng làm tính phức tạp độ đo tương tự hình dạng tồn cục s, sử dụng bước Vì s tính toán với độ phức tạp O(n*log(n)), nên tổng độ phức tạp việc đối sánh hình dạng phần O(n3log(n)) 2.5 Đánh giá hiệu hệ thống tra cứu ảnh Để đánh giá hiệu hệ thống tra cứu, người ta đưa hai số đo độ thu hồi (recall) độ xác (precision) Các số đo mượn từ hệ thống tra cứu thông tin truyền thống [7] Đối với truy vấn q, tập hợp ảnh sở liệu thích hợp với truy vấn q ký hiệu R(q) kết tra cứu truy vấn q ký hiệu Q(q) Độ xác việc tra cứu định nghĩa tỉ lệ kết thu thực thích hợp với truy vấn precision  Q(q)R(q) (2.56) Q( q ) Độ thu hồi tỉ lệ kết thích hợp truy vấn trả lại: recall  Q ( q )R ( q ) R(q) (2.57) Thơng thường phải có thoả hiệp hai số đo muốn tăng cường số đo lại phải chịu giảm số đo ngược lại Trong hệ thống tra cứu điển hình độ thu hồi có xu hướng tăng lên số lượng kết thu tăng lên độ xác dường lại bị giảm Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http;//www.lrc-tnu.edu.vn 51 Ngoài ra, việc lựa chọn R(q) lại không ổn định đa đạng cách hiểu ảnh Hơn nữa, số lượng ảnh thích hợp lại lớn số lượng ảnh hệ thống tìm lúc khái niệm độ thu hồi trở thành vơ nghĩa Do đó, độ xác độ thu hồi mô tả dạng thô hiệu hệ thống truy vấn mà thơi Gần MPEG7 có khuyến nghị cách đánh giá hiệu hệ thống tra cứu gọi ANMRR (average normalized modified retrieval rank) Theo cách độ xác độ thu hồi kết hợp thành số đo Ký hiệu số lượng ảnh hoàn toàn với truy vấn q N(q) số lượng lớn ảnh hoàn toàn với tất Q truy vấn tức max{N(q1), N(q2), ,N(qQ)} M Sau truy vấn q ảnh hoàn toàn k gán giá trị xếp hạng rank(k) giá trị thứ hạng số ảnh hồn tồn ảnh nằm K kết truy vấn (ở K = min{4N(q), 2M}) có giá trị K+1 ảnh khơng nằm K kết truy vấn Thứ hạng trung bình AVR(q) truy vấn q tính sau: AVR (q)  k 1 N (q) rank(q) N (q) (2.58) Thứ hạng tra cứu sửa đổi MRR(q) tính là: MRR(q)=AVR(q)-0.5-0.5*N(q) (2.59) MRR(q) nhận giá trị tất ảnh hoàn toàn nằm K kết truy vấn Thứ hạng tra cứu sửa đổi chuẩn hoá NMRR(q) nhận giá trị từ đến tính sau: Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http;//www.lrc-tnu.edu.vn 52 NMRR (q)  MRR (q) K  0.5  0.5 * N (q) (2.60) Thứ hạng tra cứu sửa đổi chuẩn hố trung bình ANMRR xét tất truy vấn Q là: ANMRR  Q  NMRR (q) (2.61) Q q 1 Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http;//www.lrc-tnu.edu.vn 53 CHƢƠNG III : TRA CỨU ẢNH Y TẾ Sự phát triển công nghệ đại với mở rộng multimedia làm lượng ảnh lưu trữ ngày gia tăng cách nhanh chóng ảnh y tế tăng lên đáng kể, địi hỏi phải có cơng cụ hỗ trợ tìm kiếm ảnh hiệu tiện lợi Lấy thông tin từ liệu ảnh có giúp ích đến nhiều lĩnh vực, từ kho lưu trữ ảnh chụp, kho lưu trữ ảnh tội phạm, sở liệu ảnh địa lý quan trọng lĩnh vực y học Vấn đề tra cứu ảnh y tế trở thành cần thiết việc sử dụng hình ảnh y tế y học lâm sàng nghiên cứu bệnh tật y học giáo dục 3.1 Tìm hiểu đặc trƣng ảnh y tế Nhà vật lý người Đức Wilhelm Conrad Rontgen ghi nhận người phát tia X ơng người có hệ thống nghiên cứu chúng người quan sát thấy tác động chúng Ông người đặt tên X-Quang ngồi có nhiều người gọi “tia Rontgen” Các nhà nghiên cứu quan trọng X-quang Ivan Pulyui, William Crookes, Johann Wilhelm Hittorf, Eugen Goldstein, Heinrich Hertz, Philipp Lenard, Hermann von Helmholtz, Nikola Tesla, Thomas Edison, Charles Glover Barkla, Max von Laue, Wilhelm Conrad Rontgen Năm 1985 Rontgen phát X- Quang người tiên phong hình ảnh y tế Lần giới người ta hình dung phần bên thể người mà không cần phải trải qua phẫu thuật Ngay khám phá công bố rộng rãi báo trí Cơng bố ơng đưa hình ảnh X- Quang bàn tay bà Rontgen Bức xạ tia X bao gồm X-Quang hình thức xạ điện từ Bước sóng điện từ X-Quang khoảng 0.01- 10 nanomet, tương ứng với tần số khoảng 3x1016 Hz- 3x1019 Hz lượng phạm vi Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http;//www.lrc-tnu.edu.vn 54 120 eV-120keV Đây bước song ngắn so với tia UV dài tia gamma Bức xạ tia X gọi xạ Rontgen Hình : hình ảnh X-Quang bàn tay bà Rontgen X-Quang phân phân thành loại: X-Quang từ 0.12 – 12 keV (10-0.10 nm bước sóng) phân loại mềm X-Quang từ 12 – 120 keV (0.10-0.01nm bước sóng) phân loại cứng X-Quang cứng xuyên qua vật thể rắn sử dụng phổ biến lĩnh vực xác định hình thể bên đối tượng tinh thể Vì ứng dụng chẩn đốn y tế, lượng X-Quang mềm bị thể hấp thụ kim loại mỏng làm nhôm đặt cửa sổ ống X-ray (là phần quang phổ điện từ) để lọc lượng thấp quang phổ để chụp ảnh thu hình ảnh phóng xạ X-Quang hữu ích việc phát triển bệnh lý hệ thống xương để phát số quy trình bệnh mơ mềm Đáng ý vùng ngực, xác định bệnh phổi viêm phổi, phù phổi, ung thư phổi, X-Quang bụng phất số bệnh đường ruột Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http;//www.lrc-tnu.edu.vn 55 tắc ruột, cổ trướng nhiều chẩn đoán khác Tuy nhiên X-Quang khơng có tác dụng chẩn đốn nhiều mô mềm não hay Trong năm gần máy vi tính chụp X-Quang kỹ thuật số thay ảnh phim ứng dụng y tế nha khoa ảnh phim cịn sử dụng rộng rãi q trình chụp X-Quang cơng nghiệp (ví dụ: Để kiểm tra đường nối hàn kết cấu) Vào cuối kỷ XIX cơng nghệ hình ảnh phát triển đáng kể Nhiều kỹ thuật hình ảnh khác phát triển sử dụng dựa nguyên tắc vật lý khác Trong lĩnh vực y học kỹ thuật hình ảnh khác gọi phương thức: + Phương thức giải phẫu học: Cung cấp nhìn sâu sắc hình thái giải phẫu bao gồm X-Quang, siêu âm, chụp cắt lớp (CT), hình ảnh cộng hưởng từ (MRI) đơi cịn xuất tên khác như: Chụp động mạch cộng hưởng từ (MRA từ MRI) chụp cắt lớp vi tính động mạch (CTA từ CT) + Phương thức chức năng: Miêu tả trình trao đổi chất mô phận thể bao gồm phương thức y học hạt nhân Ngày hình ảnh y tế phần quan trọng thường xuyên sử dụng y học X-Quang sử dụng để xác định số bệnh lý cấu trúc thể Bệnh lý bệnh nhân quan sát trực tiếp suy từ triệu chứng lâm sàng Ngồi hình ảnh y tế cịn sử dụng lập kế hoạch thực phẫu thuật 3.2 Tác dụng tra cứu ảnh y tế Tra cứu ảnh dựa vào nội dung hình ảnh y tế để hỗ trợ lâm sàng, góp phần quản lý liệu lâm sàng phương pháp tiếp cận nội dung hình ảnh lưu trữ Trước có xuất việc tra cứu ảnh y tế hình ảnh y tế thích văn thông tin thời gian, địa điểm, nhiếp ảnh gia, cho phép hình ảnh y tế truy cập cách tìm kiếm dựa văn Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http;//www.lrc-tnu.edu.vn 56 Thông qua mô tả văn bản, hình ảnh y tế quản lý dựa việc phân loại ảnh, phương thức Tuy nhiên với xuất sở liệu hình ảnh lớn, phương pháp tìm kiếm truyền thống dựa vào văn nhiều mặt hạn chế bởi: + Tiêu đề mô tả phụ thuộc vào ý tưởng chủ quan người dung thu thập sở liệu + Một số tính hình ảnh, kết cấu phân phối mầu sắc khó thể mơ tả cách rõ ràng + Nhập chuỗi văn sở liệu đòi hỏi nhiều thời gian thay đổi quy tắc phân loại phải phân loại lại hình ảnh Để thực thích tay địi hỏi nhiều thời gian Trong số lượng hình ảnh sở liệu tăng lên gây khó khăn việc tìm kiếm hình ảnh mong muốn khơng khả thi để thích tất thuộc tính nội dung ảnh khối lượng hình ảnh khổng lồ Thơng thường hình ảnh y tế thường có chứa số đối tượng thơng tin Để thích tất kiến thức, hình dạng bất thường thể, phạm vi bệnh lý khác hình ảnh gần khơng thể Ngồi tra cứu ảnh y tế gặp số khó khăn định Bởi hình ảnh y tế thu từ nhiều thiết bị khác Mặt khác với đặc điểm ảnh y tế có độ phân giải thấp tiếng ồn mạnh mẽ đặc điểm phổ biến hầu hết hình ảnh y tế Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http;//www.lrc-tnu.edu.vn 57 Hình 2: Tiếng ồn xung quanh đối tượng hình ảnh y tế 3.3.4 Chƣơng trình mơ Khởi động chương trình, chọn file ảnh mẫu, ảnh mẫu hiển thị ô khung "Query Image" Chọn phương pháp so sánh: Bằng hình dạng hay màu sắc, nhập số đo khoảng cách tối đa (giá trị ngưỡng) hộp Similarity Distance Nhấn nút Find, chương trình yêu cầu người dùng chọn thư mục chứa file ảnh cần tìm Chương trình sau liệt kê tất ảnh có khoảng cách Euclide nhỏ giá trị ngưỡng theo thứ tự tăng dần khoảng cách Euclide, ảnh coi giống xếp trước Khi chọn ảnh danh sách ảnh tìm thấy (Found Image List), chương trình hiển thị ảnh khung Results Image Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http;//www.lrc-tnu.edu.vn 58 Hình 3.4: Một số kết chạy thử chƣơng trình 3.4 Khả mở rộng chƣơng trình 3.4.1 Những hạn chế chƣơng trình Chương trình giới thiệu đưa thuật toán đơn giản để trích chọn đặc điểm (sinh véc tơ đặc trưng) nên chắn cho kết so sánh tốt Các ảnh ban đầu chưa xử lý “sơ chế” lọc nhiễu yêu cầu định dạng đơn giản nên phạm vi so sánh bị hạn chế Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http;//www.lrc-tnu.edu.vn 59 Chương trình thiết lập kích thước cố định cho ảnh trước xử lý 256×256, kích thước khối 16×16, số chiều vector đặc trưng 256 làm hạn chế tính mềm dẻo chương trình 3.4.2 Khả mở rộng Kỹ thuật “tra cứu ảnh theo nội dung” có nhiều hướng nghiên cứu phát triển tạo thuật toán hiệu làm cho máy tính “hiểu” nội dung ảnh Chúng ta hồn tồn xây dựng thuật tốn tốt để trích chọn đặc điểm đặc trưng khác màu sắc, kết cấu, hình dạng đối tượng ảnh để phát triển cho toán nhận dạng vật thể Thuật tốn resample chương trình sử dụng phương pháp đơn giản để thực nội suy, sử dụng thuật tốn cho độ xác cao chắn cải thiện đáng kể chất lượng chương trình Sử dụng phương pháp làm giảm số chiều véc tơ đặc trưng làm tăng đáng kể tốc độ tra cứu Đối với hệ thống máy tính có trang bị nhiều vi xử lý có xủ lý lõi kép xây dựng thuật toán cho phép phân phối tác vụ cho nhiều vi xử lý đồng thời giải pháp tốt để tăng tốc độ tra cứu Sử dụng phương pháp tính tốn độ tương tự phù hợp cho loại đặc điểm để có kết so sánh gần với trực giác Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http;//www.lrc-tnu.edu.vn 60 KẾT LUẬN Bản luận văn trình bày vài kỹ thuật tảng hệ thống tra cứu ảnh theo nội dung bao gồm mô tả nội dung trực quan, đánh giá độ tương tự đánh giá hiệu hệ thống, nhấn mạnh vào kỹ thuật mơ tả đặc điểm trực quan Các đặc điểm trực quan tổng quát sử dụng nhiều hệ tra cứu ảnh theo nội dung màu sắc, kết cấu, hình dạng Màu sắc thường biểu diễn thông quan histogram màu, sơ đồ tương quan màu, véc tơ gắn kết màu moment màu khơng gian màu định Kết cấu biểu diễn thơng qua đặc điểm Tamura, phân tích Wold, mơ hình SAR, biến đổi Gabor biến đổi dạng sóng Hình dạng biểu diễn thơng qua mơ tả Fourier Ngoài đặc điểm trực quan điểm ảnh lại sử dụng để phân tách ảnh thành vùng đồng đối tượng ảnh Các đặc điểm cục vùng ảnh đối tượng ảnh dùng hệ thống tra cứu ảnh theo vùng Có nhiều cách để đánh giá khoảng cách đặc điểm trực quan, số cách sử dụng phổ biến khoảng cách Minkowski, khoảng cách toàn phương, khoảng cách Mahalanobis, độ phân kỳ Kullback-Leibler độ phân kỳ Jeffrey Đến thời điểm phương pháp tính khoảng cách Minkowski khoảng cách toàn phương sử dụng rộng rãi hệ thống tra cứu ảnh Mặc dù kỹ thuật tra cứu ảnh theo nội dung đưa giải pháp thông minh tự động để tìm kiếm ảnh cách hiệu vấn đề kỹ thuật dựa đặc điểm mức thấp Nói chung đặc điểm mức Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http;//www.lrc-tnu.edu.vn 61 thấp phản ánh đựơc khía cạnh ảnh Khơng có đặc điểm phản ánh ngữ nghĩa ảnh, kể sử dụng kết hợp nhiều đặc điểm Ngoài đánh giá độ tương tự đặc điểm trực quan lại chưa liên quan đến đặc điểm sinh lý thị giác người Người sử dụng thường quan tâm đến giống ngữ nghĩa nên kết truy vấn dựa đặc điểm mức thấp thường không thoả mãn yêu cầu nói chung khó đốn trước Mặc dù phản hồi thích hợp cách để bù đắp vào khoảng cách tìm kiếm theo ngữ nghĩa việc xử lý liệu mức thấp vấn đề tồn cần phải có kỹ thuật khác đáp ứng Những vấn đề đƣợc giải luận văn: Giới thiệu chi tiết phương pháp tra cứu ảnh theo nội dung Sơ lược cách đánh giá hiệu hệ thống tra cứu ảnh Xây dựng chương trình thử nghiệm theo hai đặc điểm là: Hình dạng màu sắc Những vấn đề tồn tại: Do thời gian tìm hiểu đề tài chưa nhiều hạn chế khả lập trình đồ hoạ nên số mục tiêu đặt từ bắt tay nghiên cứu chưa thực chương trình chạy thử này, bao gồm: Chưa xây dựng chức tra cứu ảnh theo kết cấu (Texture) Chưa có chức tra cứu ảnh cách kết hợp nhiều đặc điểm Chưa cài đặt kỹ thuật đánh số hiệu Chưa cài đặt kỹ thuật tăng hiệu hệ thống cách giảm số chiều véc tơ đặc trưng Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http;//www.lrc-tnu.edu.vn 62 Trong thời gian tới, tơi hy vọng giải vấn đề cịn tồn để xây dựng chương trình thực hữu ích, đáp ứng yêu cầu toán Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http;//www.lrc-tnu.edu.vn 63 TÀI LIỆU THAM KHẢO Tiếng Việt Lương Mạnh Bá, Nguyễn Thanh Thuỷ (2003), Nhập môn xử lý ảnh số, Nhà xuất Khoa học Kỹ thuật Đỗ Năng Tồn, Phạm Việt Bình (2008) Xử lý ảnh Nhà xuất Khoa học kỹ thuật Tiếng Anh Cheng Chang, Liu Wenyin, Hongjiang Zhang (2001), Image retrieval base on region shape similarity, Microsoft Research China, www.eecs.berkeley.edu/~cchang/docs/Spie01.pdf Colin C Venteres and Dr Matthew Cooper, A Review of Content-Based Image Retrieval Systems, http://www.jtap.ac.uk/reports/htm/jtap-054.html Dengsheng Zhang, Aylwin Wong, Maria Indrawan, Guojun Lu, Content-based Image Retrieval Using Gabor Texture Features, personal.gscit.monash.edu.au/~dengs/resource/papers/pcm00.pdf Eva M.van Rikxoort (2005), “Content-based Image Retrieval Utilizing Color, Texture, and Shape”, Master’s thesis in AI Radbound University Nijmegen The Netherlands Fuhui Long, Hongjiang Zhang, David Dagan Feng (2002), Fundamentals of Content-based Image Retrieval, in Multimedia Information Retrieval and Management - Technological Fundamentals and Applications Randy Crane (1997), A simplied approach to Image Processing: clasical and modern technique in C, Prentice Hall, ISBN 0-13-226616-1 J.Eakins, M.Graham (2004), “Content-based Image Retrieval”: A report to the JISC Technology Applications Programme, University of Northumbria at Newcastle 10 Longin J Latecki, R Lamkaemper, D Wolter (2005), “Optimal Partial Shape Similarity”, Dept of Computer and Infomation Sciences Temple University Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http;//www.lrc-tnu.edu.vn 64 11 Low (1991), A introductory Computer Vision and Image Processin, McGrawhill, 244p ISBN 0077074033 12 M A Stricker and M Orengo (1995), “Similarity of color images In Proc of the SPIE conference on the Storage and Retrieval for Image and Video Databases III”, pages 381–392 13 M Partio, B Cramariuc, M Gabbouj, and A Visa (2002), “Rock Texture Retrieval using Gray Level Co-occurrence Matrix”, NORSIG-2002, 5th Nordic Signal Processing Symposium, On Board Hurtigruten M/S Trollfjord, Norway 14 Mike D Sutton (2005), Using Device Independent Bitmaps (DIBs) in Visual Basic, Part 1, EDAIS, http://edais.mvps.org/ 15 Palaniraja Sivakumar (2004), “Image Similarity Based on Color and Texture”, Report for CIS751 MS Project 16 Sebe N, Lew (2001), “Texture Features for Content-based Retrieval”: Principles of visual Information Retrieval 17 Shengjiu Wang (2001),"A Robust CBIR Approach Using Local Color Histogram", Technique Repost TR 01-13, Edmonton, Alberta, Canada 18 Tanner Helland, Graphics Programming in Visual Basic, tannerhelland.tripod.com/VBGraphicsTutorial.htm 19 Vishal Chitkara (2001) “Color-based image retrieval using compact binary signatures”, Master’s thesis, University of Alberta 20 Vittorio Castelli and Lawrence D Bergman (2002) “Image Database Search and Retrieval of Digital Imagery”, John Wiley & Sons, Inc., New York Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http;//www.lrc-tnu.edu.vn ... phương pháp tra cứu [7],[16],[17] Nội dung đề tài giới thiệu sở lý thuyết ứng dụng số phương pháp tra cứu ảnh, sâu vào giới thiệu phương pháp tra cứu ảnh theo nội dung ứng dụng tra cứu ảnh y tế Trên... Chƣơng 1: Trình b? ?y tổng quan tra cứu ảnh Chƣơng 2: Một số phương pháp tìm kiếm ảnh theo nội dung Chƣơng 3: Tra cứu ảnh y tế giới thiệu ứng dụng phương pháp tra cứu ảnh theo nội dung y tế; hạn chế... TÌM KIẾM ẢNH THEO NỘI DUNG Nếu nhìn cách tổng quát nội dung ảnh bao gồm nội dung trực quan nội dung ngữ nghĩa Nội dung trực quan ảnh lại phân làm hai loại nội dung tổng quan nội dung đặc tả Nội