Nghiên cứu phát triển hệ thống truy vấn ảnh y sinh theo nội dung

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƢỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI Lê Hữu Toàn NGHIÊN CỨU PHÁT TRIỂN HỆ THỐNG TRUY VẤN ẢNH Y SINH THEO NỘI DUNG Chuyên ngành : Kỹ thuật y sinh LUẬN VĂN THẠC SĨ KĨ THUẬT KỸ THUẬT Y SINH NGƯỜI HƯỚNG DẪN KHOA HỌC : PGS.TS Nguyễn Tiến Dũng Hà Nội – Năm 2016 MỤC LỤC DANH MỤC HÌNH VẼ DANH MỤC CÁC KÍ HIỆU, CÁC CHỮ VIẾT TẮT LỜI CAM ĐOAN LỜI MỞ ĐẦU CHƢƠNG TỔNG QUAN VỀ TRUY VẤN ẢNH Y SINH THEO NỘI DUNG 1.1 Động lực đề tài 1.1.1 Hệ thống dựa khái niệm (Concept-base) 1.1.2 Tiêu chuẩn hình ảnh y tế 1.1.3 Những hạn chế truy vấn concept -based 10 1.2 Truy vấn ảnh theo nội dung (CBIR) 12 1.3 CBIR ứng dụng y tế 13 CHƢƠNG THÔNG TIN NỀN TẢNG CỦA HÌNH ẢNH KỸ THUẬT SỐ 16 2.1 Ảnh kỹ thuật số 16 2.2 Xử lý ảnh kỹ thuật số 17 2.2.1 Biểu diễn ảnh 20 2.2.2 Tăng cường ảnh – khôi phục ảnh 21 2.2.3 Biến đổi ảnh 22 2.2.4 Phân tích ảnh 22 2.2.5 Nhận dạng ảnh 23 2.3 Đặc tính ảnh số 23 2.3.1 Màu sắc 23 2.3.2 Hình dạng 24 2.3.3 Cấu trúc 25 2.4 Kết hợp đặc tính 26 2.5 Lập mục đặc tính (Feature Indexing) 27 2.6 Truy vấn ảnh tương tác 28 CHƢƠNG CÁC ĐẶC TÍNH ỨNG DỤNG TRONG TRUY VẤN ẢNH THEO NỘI DUNG 32 3.1 Đặc tính màu 32 3.1.1 Không gian màu 32 3.1.2 Lượng tử hóa màu 35 3.1.3 Mô tả màu 36 3.2 Đặc tính bất biến 38 3.3 Ma trận đồng xuất (Co-occurence Matrix ) 40 3.4 Đặc tính Gabor 41 3.5 Đặc tính Tamura 42 3.6 Mơ tả cấu trúc tồn 45 3.7 Đặc tính cục 46 3.8 Đặc tính dựa vùng 48 3.9 Các đặc điểm biến đổi PCA 49 3.10 Tương quan đặc tính 50 CHƢƠNG KHOẢNG CÁCH ĐẶC TÍNH TRONG HỆ THỐNG TRUY VẤN ẢNH THEO NỘI DUNG 51 4.1 Phương pháp so sánh lược đồ 51 4.1.1 So sánh thành phần ( bin-by-bin) 51 4.1.2 Phương pháp so sánh chéo thành phần lược đồ: 54 4.2 So sánh ảnh 59 4.2.1 Khoảng cách Euclidean 59 4.2.2 Khoảng cách tiếp tuyến 59 4.2.3 Mơ hình méo ảnh 60 4.3 So sánh ảnh dựa đặc tính cục 60 4.3.1 Chuyển trực tiếp (Direct Tranfer) 60 4.3.2 Mơ hình méo ảnh đặc tính cục ( Local Feature Image Distortion Model) 61 4.4 So sánh mô tả dựa vùng 61 4.4.1 So sánh vùng kết hợp ( Integrated Region Matching) 62 4.4.2 So sánh vùng Hungarian lượng tử (Quantized Hungarian Region Matching) 62 4.5 Các đặc tính khác 64 CHƢƠNG ĐÁNH GIÁ CHẤT LƢỢNG TRUY VẤN ẢNH VÀ MÔ PHỎNG NHẬN DẠNG ẢNH SIÊU ÂM 65 5.1 Đánh giá chất lượng truy vấn ảnh 65 5.2 Mô nhận dạng ảnh siêu âm 68 5.2.1 Giới thiệu chương trình mơ 68 5.2.2 Sơ đồ khối chương trình 74 5.2.3 Giao diện chương trình 75 5.2.4 Kết nhận dạng ảnh đánh giá 76 KẾT LUẬN VÀ HƢỚNG PHÁT TRIỂN CỦA ĐỀ TÀI 80 TÀI LIỆU THAM KHẢO 81 DANHMỤC HÌNH VẼ Hình 1.1 Loại kích cỡ số hình ảnh y tế kỹ thuật số thường sử dụng Hình 1.2 - Một sơ đồ đại diện cho hệ thống truy vấn ảnh theo khái niệm Hình 1.3 Sơ đồ khối hệ thống truy vấn ảnh theo nội dung 13 Hình 2.1 Các bước xử lý ảnh số 19 Hình 2.2 Ảnh biến dạng nhiễu 21 Hình 2.3 Hệ thống truy vấn có tương tác 30 Hình 3.1 Biến đổi TCHSV từ RGB thành HSV lượng tử hóa QC166 cung cấp 166 màu HSV 36 Hình 3.2 Biểu diễn màu phân bố cục 38 Hình 3.3 Ví dụ đặc tính cấu trúc: (a) độ thơ lớn, (b) độ thô nhỏ, (c) độ tương phản cao, (d) độ tương phản thấp, (e) có tính hướng, (f) khơng có tính hướng 43 Hình 3.4 Trích chọn đặc tính cục 47 Hình 3.5 Các phân vùng ảnh với số lượng vùng k khác 49 Hình 4.1 Ba lược đồ với khoảng cách thành phần giống tứng đôi 51 Hình 4.2 So sánh lược đồ : Dạng bình phương EMD 57 Hình 4.3 Time warp disance T(Ha ,H b) = 6; 58 Hình 4.4 Ví dụ biểu đồ chỉnh 58 Hình 4.5 Căn vùng để tìm vùng phù hợp lượng tử hóa Hungarian 63 Hình 5.1 Tương quan phép đo chất lượng theo phạm vi [-100,100] 68 Hình 5.2 Ảnh siêu âm Gallbladder 69 Hình 5.3 Ảnh siêu âm Kidney 69 Hình 5.4 Ảnh siêu âm Liver 70 Hình 5.5 Ảnh siêu âm Pancreas 70 Hình 5.6 Ảnh siêu âm Spleen 71 Hình 5.7 Ảnh siêu âm Heart Chamber 71 Hình 5.8 Ảnh siêu âm Heart Parasternal View 71 Hình 5.9 Ảnh siêu âm Heart Short Axis View Papillary 72 Hình 5.10 Ảnh siêu âm Heart Short Axis View Mitral Valve 72 Hình 5.11 Ảnh siêu âm LT.THY.TRANS 72 Hình 5.12 Ảnh siêu âm RT.CCA.LONG 73 Hình 5.13 Ảnh siêu âm RT.THY.LONG 73 Hình 5.14 Ảnh siêu âm RT.THY.TRANS 73 Hình 5.15 Sơ đồ khối mơ tả hoạt động chương trình 74 Hình 5.16 Giao diện chương trình mơ 75 Hình 5.17 Chương trình nhận dạng Gallbladder 76 Hình 5.18 Chương trình nhận dạng sai Gallbladder thành Kidney 77 Hình 5.19 Chương trình nhận dạng Heart Parasternal View 77 Hình 5.20 Chương trình nhận dạng RT.THY.TRANS 78 Hình 5.21: Chương trình nhận dạng sai Liver thành RT.CCA.LONG 78 DANHMỤC CÁC KÍ HIỆU, CÁC CHỮ VIẾT TẮT DICOM - Digital Image and Communications System MRI - magnetic resonance imaging PACS - Picture Archive and Communications Systems CBIR - Content Based Image Retrieval IRMA - Image Retrieval for Medical Applications – SPIRS - Spine Pathology & Image Retrieval System – CCD - Charge Coupled Device LỜI CAM ĐOAN Tơi Lê Hữu Tồn, học viên lớp Cao họcKỹ thuật Y sinhkhóa CH2013B Trường Đại học Bách khoa Hà Nội Đề tài luận văn: Nghiên cứu phát triển hệ thống truy vấn ảnh y sinh theo nội dung Nay xin cam đoan: Tất nội dung luận văn thực chưa công bố cơng trình khác Tất phần thơng tin trích dẫn từ tài liệu tác giả khác thích rõ ràng Tôi xin chịu trách nhiệm nội dung luận văn CÁN BỘ HƢỚNG DẪN TÁC GIẢ LUẬN VĂN PGS.TS Nguyễn Tiến Dũng Lê Hữu Toàn LỜI MỞ ĐẦU Những tiến cơng nghệ hình ảnh kỹ thuật số tỷ lệ ngày tăng hệ thống lưu trữ hình ảnh dẫn đến tăng trưởng theo cấp số nhân số hình ảnh tạo lưu trữ bệnh viện năm gần Vì vậy, tự động thích phân loại ảnh y tế hữu ích cho mục đích quản lý sở liệu hình ảnh Hệ thống truy xuất hình ảnh thơng thường dựa văn thích thơng tin quan trọng hình ảnh lưu trữ Trong hình ảnh y tế tạo thành thành phần thiết yếu hồ sơ bệnh nhân Tuy nhiên, nhiều trường hợp thông tin r ất thường bị hậu việc nén hình ảnh lỗi người Ngoài ra, với nhiều tiêu chuẩn khác áp dụng cho việc thích hình ảnh y tế, việc xây dựng thể luận toàn diện liên quan đến thuật ngữ y tế khơng phải ln ln có đồng thuận Gần đây, tiến truy vấn ảnh theo nội dung nhắc nhở nhà nghiên cứu theo hướng tiếp cận truy vấn thông tin sở liệu hình ảnh Trong ứng dụng y tế gặp số mức độ thành cơng cịn nhiều hạn chế Luận văn với đề tài: Nghiên cứu phát triển hệ thống truy vấn ảnh y sinh theo nội dung, gồm phần sau: - Chương 1:Tổng quan truy vấn ảnh dựa nội dung: Trình bày tổng quan vấn đề truy vấn ảnh dựa nội dung - Chương 2:Thông tin tảng hình ảnh kỹ thuật số: Trình bày Tổng quan xử lý ảnh số đặc tính ảnh số - Chương 3:Các đặc tính ứng dụng truy vấn ảnh theo nội dung: Trình bày đặc tính khác trích chọn từ ảnh để phục vụ cho việc so sánh ảnh - Chương 4: Khoảng cách đặc tính hệ thống truy vấn ảnh theo nội dung: Trình bày phương pháp đánh giá mức độ khác biệt đặc tính ảnh hệ thống truy vấn - Chương 5: Đánh giá chất lượng truy vấn ảnh theo nội dung mô nhận dạng ảnh siêu âm: Trình bày phương pháp đ ánh giá chất lượng truy vấn ảnh; giới thiệu chương trình nhận dạng ảnh siêu âm (một chức quan trọng hệ thống truy vấn ảnh) ngơn ngữ lập trình C++ Truy vấn ảnh dựa nội dung vấn đề nhiên cứu để đáp ứng yêu cầu khác lĩnh vực áp dụng khác Trong tương lai, tơi hy vọng có hội để nghiên cứu , tìm hiểu đầy đủ chi tiết Trong phạm vi luận văn tốt nghiệp khả hiểu biết cịn có nhiều hạn chế, luận văn khơng thể tránh khỏi thiếu sót, tơi mong nhận ý kiến đóng góp thầy bạn bè để hồn thiện nghiên cứu sau Tôi xin chân thành cảm ơn PGS.TS Nguyễn Tiến Dũng giúp đỡ tơi hồn thành luận văn tốt nghiệp dụng đặc tính phép đo khoảng cách Vì tốc độ lỗi phân loại tính NN- ER = 1- P(1) Dựa vào tập hợp phép đo chất lượng này, so sánh hệ thống truy vấn ảnh dựa nội dung cách định lượng theo sở liệu mà ảnh thích hợp biết trước tương ứng với số yêu cầu Để so sánh chất lượng c ác hệ thống truy vấn ảnh dễ dàng hơn, người ta thường dùng phép đo chất lượng Vì phép đo đánh giá chất lượng hệ thống truy vấn cách hay cách khác nên rõ ràng chúng có tương quan với Ma trận tương quan số phép đo chất lượng mơ tả Hình 5.1 Ma trận biểu diễn phép đo có tương quan lớn với để so sánh hệ thống truy vấn ảnh, sử dụng phép đo chất lượng đủ Sự tương quan lớn thấy rõ giá trị lân cận từ biểu đồ PR Các giá trị không tương quan lớn với phép đo khác R (P=0.5) P(R=1) Điều hai giá trị không phản ánh chất lượng ảnh truy vấn đầu tiên, P(R=1) xét đến ảnh cuối truy vấn Đối với người tìm kiếm ảnh, tìm ảnh thích hợp cách nhanh quan trọng tìm ảnh thích hợp cuối Nếu cần phân tích chi tiết cần đánh giá đặc tính cụ thể hệ thống nên xét nhiều tất phép đo chất lượng Error rate (ER) lựa chọn làm phép đo chất lượng để so sánh thông số khác 67 Hình 5.1 Tương quan phép đo chất lượng theo phạm vi [-100,100] 5.2 Mô nhận dạng ảnh siêu âm 5.2.1 Giới thiệu chƣơng trình mơ Chúng ta vừa tìm hiểu sơ qua hệ thống truy vấn ảnh theo nội dung với đặc tính truy vấn, phép đo khoảng cách đặc tính Dựa vào tảng lý thuyết truy vấn ảnh theo nội dung, chương sau, tìm hiểu xây dựng chương trình nhận dạng ảnh mơ ngơn ngữ lập trình C++ Chương trình mơ ngơn ngữ lập trình C++, xây dựng chương trình nhận dạng ảnh Nhận dạng ảnh q trình liên quan đến mơ tả đối tượng mà người ta mong muốn đặc tả Quá trình nhận dạng thực sau trình trích chọn đặc tính chủ yếu đối tượng Vì thế, thấy nhận dạng ảnh nhiệm vụ cụ thể hệ thống truy vấn ảnh Ảnh nhận dạng chương trình ảnh siêu âm, đối tượng cần nhận dạng quan nội tạng thể người Ảnh sử dụng chương trình ảnh siêu âm, chụp quan nội tạng thể người, ảnh định dạng Raw, có kích thước 640x480 68 RAW định dạng ảnh kỹ thuật số, lưu tất thông tin mà cảm biến máy ảnh nhận RAW tiếng Anh có nghĩa là: thơ, chưa xử lý, ký tự viết tắt Đặc điểm tệp tin RAW - Lưu trữ thông tin trực tiếp từ cảm biến - Không phải từ viết tắt mà từ Tiếng Anh có nghĩa: thơ, chưa xử lý - Lưu trữ gần toàn cảm biến "nhìn thấy" "cảm nhận" điều kiện chụp Cơ sở liệu ảnh bao gồm 460 ảnh siêu âm, có : - 28 ảnh Gallbladder - Túi mật Hình 5.2 Ảnh siêu âm Gallbladder - 59 ảnh Kidney - Thận Hình 5.3 Ảnh siêu âm Kidney 69 - 67 ảnh Liver – Gan Hình 5.4 Ảnh siêu âm Liver - 33 ảnh Pancreas – Tuyến tụy Hình 5.5 Ảnh siêu âm Pancreas - 22 ảnh Spleen – Lá lách 70 Hình 5.6 Ảnh siêu âm Spleen - 17 ảnh Heart Chamber – Tim ngăn Hình 5.7 Ảnh siêu âm Heart Chamber - 36 ảnh Heart Parasternal View – Tim nhìn từ trục xương ức Hình 5.8 Ảnh siêu âm Heart Parasternal View -16 ảnh Heart Short Axis View Papillary – Cơ nhú cuối tâm trương theo trục ngắn 71 Hình 5.9 Ảnh siêu âm Heart Short Axis View Papillary - 16 ảnh Heart Short Axis View Mitral Valve – Van hai theo trục ngắn Hình 5.10 Ảnh siêu âm Heart Short Axis View Mitral Valve - 40 ảnh LT.THY.TRANS – xuyên mờ bên trái tuyến giáp Hình 5.11 Ảnh siêu âm LT.THY.TRANS - 42 ảnh RT.CCA.LONG – xuyên dài bên phải động mạch cảnh chung 72 Hình 5.12 Ảnh siêu âm RT.CCA.LONG - 43 ảnh RT.THY.LONG – xuyên dài bên phải tuyến giáp Hình 5.13 Ảnh siêu âm RT.THY.LONG - 41 ảnh RT.THY.TRANS – xuyên mờ bên phải tuyến giáp Hình 5.14 Ảnh siêu âm RT.THY.TRANS Trong nhận dạng ảnh, có hai kiểu mơ tả đối tượng: - Mô tả theo tham số - Mô tả theo cấu trúc Trong chương trình mơ này, ta sử dụng kiểu mô tả đối tượng theo tham số Mơ hình tham số sử dụng vector để đặc tả đối tượng Mỗi phần tử vector mơ tả đặc tính đối tượng [1] Ở chương trình mơ phỏng, đặc tính đối tượng sử dụng đặc tính phổ Fourier Chương trình trích chọn đặc tính phổ Fourier ảnh, tính tốn vector đặc tính, sau đem so sánh vector đặc tính 73 với vector đặc tính trung bình lớp đối tượng định nghĩa để nhận dạng ảnh đầu vào 5.2.2 Sơ đồ khối chƣơng trình Người sử dụng Chọn ảnh yêu cầu đầu vào Cơ sở liệu Tính vector đặc tính ảnh Vector trung bình lớp Tính khoảng cách vector đặc tính ảnh yêu cầu với vector trung bình CSDL So sánh khoảng cách với mức cho Hiển thị kết truy vấn thích hợp Hình 5.15 Sơ đồ khối mơ tả hoạt động chương trình Hình 5.15 mơ tả sơ đồ khối chương trình Đầu tiên, người sử dụng chọn ảnh yêu cầu đầu vào cần nhận dạng Chương trình trích chọn đặc tính ảnh đầu vào Sau đó, chương trình tính vector đặc tính ảnh đầu vào đem so sánh với vector đặc tính trung bình lớp đối tượng sở liệu để thu 74 khoảng cách chúng Với khoảng cách tính được, chương trình nhận dạng đối tượng ảnh đầu vào 5.2.3 Giao diện chƣơng trình Hiển thị ảnh yêu cầu Kết phản hồi Hình mơ tả nội tạng thể người Chọn ảnh Tên ảnh Thông tin ảnh Nhận dạng ảnh Thốt Hình 5.16 Giao diện chương trình mơ Chương trình bao gồm: - Module chọn ảnh yêu cầu đầu vào: Bấm nút “Mở” để chọn ảnh đầu vào, hiển thị ảnh khung “Ảnh siêu âm” hiển thị tên ảnh khung “Loại ảnh” bên cạnh - Module nhận dạng ảnh: Bấm nút “Nhận dạng” để chương trình tính tốn đưa kết nhận dạng ảnh - Module khỏi chương trình: Bấm nút “Bỏ qua” để khỏi chương trình 75 5.2.4 Kết nhận dạng ảnh đánh giá Qua thực nghiệm thực chương trình mơ với tồn 460 ảnh sở liệu, chương trình nhận dạng 445 ảnh nhận dạng sai 15 ảnh Một số kết đưa hình Hình 5.17 Chương trình nhận dạng Gallbladder 76 Hình 5.18 Chương trình nhận dạng sai Gallbladder thành Kidney Hình 5.19 Chương trình nhận dạng Heart Parasternal View 77 Hình 5.20Chương trình nhận dạng RT.THY.TRANS Hình 5.21: Chương trình nhận dạng sai Liver thành RT.CCA.LONG 78 Hình 5.17, hình 5.19, hình 5.20 ví dụ nhận dạng chương trình mơ Ảnh đầu vào với thông tin xác nhận Gallbladder Heart Parasternal RT.THY.TRANS sau chương trình thực chức nhận dạng, kết nhận dạng xác Hình 5.18 ví dụ nhận dạng sai chương trình mơ Ảnh đầu vào với thông tin ảnh Gallbladder kết nhận dạng chương trình lại cho Kidney Hình 5.21 ví dụ nhận dạng sai chương trình mơ So với thơng tin xác nhận ảnh đầu vào Liver kết nhận dạng chương trình lại RT.CCA.LONG Dựa thực nghiệm, ta tính độ xác chương trình mơ sau: Số ảnh nhận dạng xác A (5.5) Tồn số ảnh nhận dạng Vậy với 445 ảnh nhận dạng xác tất 460 ảnh đưa vào để nhận dạng độ xác chương trình mô là: A 445 100% 460 (5.6) 96,73% Như vậy, chương trình mơ hệ thống nhận dạng ảnh thể đầy đủ chức với độ xác nhận dạng cao Tuy chương trình cịn đơn giản với giới hạn sở liệu ảnh, số đặc tính ảnh trích chọn, loại ảnh nhận dạng, hay số lớp đối tượng cần nhận dạng,…nhưng với kết đạt được, hồn tồn phát triển chương trình thành hệ thống truy vấn ảnh hoàn chỉnh 79 KẾT LUẬN VÀ HƢỚNG PHÁT TRIỂN CỦA ĐỀ TÀI Luận văn trình bày số đặc tính sử dụng để truy vấn ảnh theo nội dung Để so sánh ảnh dựa đặc tính trích trọn, phương pháp so sánh tính tương tự đặc tính khác sử dụng Chương đánh giá hiệu truy vấn ảnh đặc tính hàm khoảng cách khác Kết cho thấy hiệu truy vấn phụ thuộc vào sở liệu khác Điều có nghĩa tùy thuộc vào ứng dụng khác ta cần chọn đặc tính hàm khoảng cách thích hợp để đạt hiệu tốt Chương trình mơ luận văn tương đối đơn giản, thực số module hệ thống truy vấn ảnh hồn chỉnh Vì thế, tơi xin đề xuất hướng nghiên cứu dựa chương trình mơ để hồn thiện chương trình truy vấn ảnh theo nội dung: - Mở rộng phạm vi hoạt động chương trình Cụ thể chương trình thực nhiều loại ảnh định dạng khác nhau, mở rộng với nhiều loại, nhiều lớp đối tượng khác nhau, không ảnh y sinh - Nghiên cứu thiết kế thêm module khác để tiến tới hồn thiện thành chương trình truy vấn ảnh nghĩa với ảnh đầu vào lựa chọn ảnh đầu mong muốn người sử dụng Với đề tài: Nghiên cứu phát triển hệ thống truy vấn ảnh y sinh theo nội dung (Research and development of a content-based medical image retrieval system), kết đạt cịn nhiều hạn chế song có thời gian tiếp tục nghiên cứu hồn thiện đề tài có ích việc phục vụ điều trị sở y tế tạo sở liệu chung ngành y tế phục vụ việc hội chẩn, chẩn đoán cho sở y tế bất chấp vị trí địa lý quy mô 80 TÀI LIỆU THAM KHẢO [1] Lương Mạnh Bá, Nguyễn Thanh Thủy, Nhập môn xử lý ảnh số, Nhà xuất khoa học kỹ thuật, Hà Nội-1999 [2] Thomas Deselaers, Features for Image Retrieval, Aschen, 2003 [3] Mark S.Nixon, Alberto S.Aguado, Feature Extraction and Image Processing, Newnes, 2002 [4] Rafael C.Gonzalez, Richard E.Woods, Digital Image Processing, Prentice Hall, Upper Saddle River, New Jersey 07458 81 ... dụng truy vấn ảnh theo nội dung: Trình b? ?y đặc tính khác trích chọn từ ảnh để phục vụ cho việc so sánh ảnh - Chương 4: Khoảng cách đặc tính hệ thống truy vấn ảnh theo nội dung: Trình b? ?y phương... tiếp cận truy vấn thông tin sở liệu hình ảnh Trong ứng dụng y tế gặp số mức độ thành cơng nhiều hạn chế Luận văn với đề tài: Nghiên cứu phát triển hệ thống truy vấn ảnh y sinh theo nội dung, gồm... khác biệt đặc tính ảnh hệ thống truy vấn - Chương 5: Đánh giá chất lượng truy vấn ảnh theo nội dung mô nhận dạng ảnh siêu âm: Trình b? ?y phương pháp đ ánh giá chất lượng truy vấn ảnh; giới thiệu