Truy vấn ảnh y sinh và ứng dụng

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI HOÀNG V N V TR V N NH INH VÀ NG DỤNG Chuyên ngành : LUẬN VĂN THẠC SĨ Ngành: Ỹ THUẬT NGƯỜI HƯỚNG DẪN HOA HỌC : PGS.TS NGU N TI N D NG Hà Nội – Năm 2014 ĐỀ TÀI THẠC SĨ: TRUY VẤN ẢNH Y SINH MỤC LỤC LỜI NÓI ĐẦU NỘI DUNG 1 Giới thiệu xử lý ảnh 1.2 Hệ thống xử lý ảnh 1.2.1 Ảnh 1.2.2 Mô tả hệ thống xử lý ảnh tổng quát 1.3 Các vấn đề xử lý ảnh số 1.3.1 Biểu diễn ảnh 1.3.2 Tăng cường ảnh – khôi phục ảnh 1.3.3 Biến đổi ảnh 1.3.4 Phân tích ảnh 1.3.5 Nhận dạng ảnh 1.3.6 Nén ảnh 10 1.4 Giới thiệu truy vấn ảnh theo nội dung 10 1.5 Trích chọn đặc tính để truy vấn ảnh 12 1.5.1 Màu sắc 12 1.5.2 Cấu trúc 13 1.5.3 Hình dạng 13 1.5.4 Kết hợp đặc tính 14 1.6 Lập mục đặc tính (Feature Indexing) 15 1.6.1 Giảm thiểu số chiều 15 1.6.2 Kỹ thuật lập mục 16 1.7 Truy vấn ảnh tƣơng tác 16 CHƢƠNG II: CÁC ĐẶC TÍNH TRUY VẤN ẢNH THEO NỘI DUNG 19 2.1 Đặc tính màu 19 2.1.1 Không gian màu 19 2.1.2 Lượng tử hóa màu 21 2.1.3 Mô tả màu 23 2.1.3.1 Lược đồ màu 23 Người thực hiện: Hoàng Văn Võ GVHD: PGS.TS Nguyễn Tiến Dũng ĐỀ TÀI THẠC SĨ: TRUY VẤN ẢNH Y SINH 2.1.3.2 Màu theo vùng 24 2.2 Đặc tính bất biến 25 2.3 Ma trận đồng xuất (Co-occurence Matrix )[3] 27 2.4 Đặc tính Gabor [3] 27 2.5 Đặc tính Tamura [4] 29 2.6 Mô tả cấu trúc toàn 32 2.7 Đặc tính cục 32 2.8 Đặc tính dựa vùng ( regioned based feature) 34 2.9 Các đặc điểm biến đổi PCA 35 2.10 Tƣơng quan đặc tính khác 36 CHƢƠNG III- KHOẢNG CÁCH ĐẶC TÍNH TRONG HỆ THỐNG TRUY VẤN ẢNH 37 3.1 Phƣơng pháp so sánh lƣợc đồ 37 3.1.1 So sánh thành phần ( bin-by-bin) 37 3.1.2 Phương pháp so sánh chéo thành phần lược đồ ( Cross-bin comparision) 40 3.2 So sánh ảnh 44 3.2.1 Khoảng cách Euclidean 44 3.2.2 Khoảng cách tiếp tuyến 45 3.2.3 Mơ hình méo ảnh 45 3.3 So sánh ảnh dựa đặc tính cục 46 3.3.1 Chuyển trực tiếp (Direct Tranfer) 46 3.3.2 Mơ hình méo ảnh đặc tính cục ( Local Feature Image Distortion Model) 46 3.4 So sánh mô tả dựa vùng 47 3.4.1 Sánh vùng kết hợp ( Integrated Region Matching) 47 3.4.2 Sánh vùng Hungarian lượng tử (Quantized Hungarian Region Matching) 48 3.5 Các đặc tính khác 49 CHƢƠNG IV : ĐÁNH GIÁ CHẤT LƢỢNG TRUY VẤN ẢNH 50 4.1 Thông số đánh giá chất lƣợng truy vấn ảnh 50 Người thực hiện: Hoàng Văn Võ GVHD: PGS.TS Nguyễn Tiến Dũng ĐỀ TÀI THẠC SĨ: TRUY VẤN ẢNH Y SINH CHƢƠNG V: MƠ PHỎNG CHƢƠNG TRÌNH NHẬN DẠNG 53 5.1 Giới thiệu chƣơng trình mơ 53 5.2 Sơ đồ khối chƣơng trình 54 5.3 Giao diện chƣơng trình 55 5.3 Kết nhận dạng ảnh đánh giá 56 5.3.1 Kết nhận dạng ảnh 56 5.3.2 Đánh giá 60 KẾT LUẬN 61 TÀI LIỆU THAM KHẢO 62 Người thực hiện: Hoàng Văn Võ GVHD: PGS.TS Nguyễn Tiến Dũng ĐỀ TÀI THẠC SĨ: TRUY VẤN ẢNH Y SINH DANH MỤC HÌNH Hình 1.1 Các bước xử lý ảnh số Hình 1.2 Các thành phần hệ thống xử lý ảnh Hình 1.3 Ảnh biến dạng nhiễu Hình 1.4 Sơ đồ khối hệ thống truy vấn ảnh theo nội dung 12 Hình 1.5 Hệ thống truy vấn có tương tác 17 Hình 2.1 Biến đổi TCHSV từ RGB thành HSV lượng tử hóa QC166 23 Hình 2.2 Biểu diễn màu phân bố cục 25 Hình 2.3 Ví dụ đặc tính cấu trúc 29 Hình 2.4 Trích chọn đặc tính cục 33 Hình 2.5 Các phân vùng ảnh với số lượng vùng k khác 35 Hình 3.1 Ba lược đồ với khoảng cách thành phần giống tứng đơi 37 Hình 3.2 So sánh lược đồ : Dạng bình phương EMD 43 Hình 3.3 Time warp disance T(Ha,Hb) = 44 Hình 3.4 Ví dụ biểu đồ chỉnh 44 Hình 3.5 Căn vùng để tìm vùng phù hợp lượng tử hóa Hungarian 49 Hình 4.1 Tương quan phép đo chất lượng theo phạm vi [-100,100] 52 Hình 5.1 Sơ đồ khối mơ tả hoạt động chương trình 54 Hình 5.2 Giao diện chương trình mô 55 Hình 5.3 Chương trình nhận dạng 56 Hình 5.4 Chương trình nhận dạng 57 Hình 5.5 Chương trình nhận dạng sai: Đối tượng Gallbladder kết 58 Hình 5.6 Chương trình nhận dạng sai 59 Người thực hiện: Hoàng Văn Võ GVHD: PGS.TS Nguyễn Tiến Dũng ĐỀ TÀI THẠC SĨ: TRUY VẤN ẢNH Y SINH LỜI NĨI ĐẦU Ảnh đóng vai trị quan trọng sống thơng tin hàng ngày Có người so sánh: ảnh nói lên nhiều điều dùng ngàn từ mô tả Sự xuất phổ biến máy ảnh kỹ thuật số làm gia tăng nhanh chóng số lượng ảnh kỹ thuật số Khối lượng ảnh đồ sộ quản lý cách thủ công người Một người dễ dàng tìm kiếm ảnh theo yêu cầu sở liệu gồm 100 ảnh Tuy nhiên, số lượng ảnh hàng ngàn, hàng chục ngàn cơng việc trở thành bất khả thi Sự phát triển công nghệ máy tính ngày trợ giúp việc tìm kiếm ảnh giống cách thực tìm kiếm văn mà ta biết Một phương thức tìm kiếm ảnh sở liệu ảnh tạo văn mô tả tất ảnh sở liệu sử dụng phương pháp tìm kiếm thơng tin dựa văn để tìm ảnh Phương pháp khơng hồn tồn khả thi việc thích cho ảnh phải thực thủ công tốn nhiều thời gian Mặt khác, thích chưa mơ tả hết nội dung ảnh Vì vậy, cần có phương pháp khác để tìm kiếm ảnh Một phạm vi lớn ứng dụng cần tìm kiếm ảnh như: y tế, nhiều ảnh tạo bác sỹ cần tìm kiếm hình ảnh tương tự để hiểu trình điều trị bệnh nhân kết điều trị họ Một phóng viên tìm kiếm ảnh để minh họa báo Các ví dụ cho thấy việc tìm kiếm khơng giống hồn tồn việc tìm kiếm sở liệu truyền thống mà tìm kiếm tương tự Sự tương tự cần phải xác định cách xác để thực q trình tìm kiếm ảnh tự động Các kỹ thuật quy vào tìm kiếm ảnh theo nội dung (content based imga retrievsl- CBIR) Trong CBIR, cần phải trích chọn thơng tin hữu ích từ liêu thơ để thu nội dung ảnh Q trình trích chọn đặc trưng nội dung ảnh có tác động đến hiệu trình truy vấn ảnh theo nội dung Luận văn trình bày phương pháp trích chọn nội dung ảnh (các đặc tính ảnh), phương pháp so sánh đặc tính ảnh để đánh giá mức Người thực hiện: Hoàng Văn Võ GVHD: PGS.TS Nguyễn Tiến Dũng ĐỀ TÀI THẠC SĨ: TRUY VẤN ẢNH Y SINH độ tương tự ảnh yêu cầu so với ảnh sở liệu Luận văn gồm phần sau: - Chương I: Giới thiệu truy vấn ảnh dựa nội dung: Trình bày tổng quan xử lý ảnh, vấn đề truy vấn ảnh dựa nội dung - Chương II: Các đặc tính truy vấn ảnh theo nội dung: Trình bày đặc tính khác trích chọn từ ảnh để phục vụ cho việc so sánh ảnh sau - Chương III: Khoảng cách đặc tính hệ thống truy vấn ảnh: Trình bày phương pháp đánh giá chất lượng truy vấn ảnh - Chương IV: Mô nhận dạng ảnh ngơn ngữ lập trình C++: Giới thiệu chương trình nhận dạng ảnh đơn giản (một chức quan trọng hệ thống truy vấn ảnh) ngôn ngữ lập trình C++ Truy vấn ảnh dựa nội dung vấn đề nhiên cứu để đáp ứng yêu cầu khác lĩnh vực áp dụng khác Trong tương lai, hy vọng có hội để nghiên cứu , tìm hiểu đầy đủ chi tiết Trong phạm vi luận văn tốt nghiệp khả hiểu biết cịn có nhiều hạn chế, luận văn khơng thể tránh khỏi thiếu sót, tơi mong nhận ý kiến đóng góp thầy bạn bè để hồn thiện nghiên cứu sau Tôi xin chân thành cảm ơn thầy giáo, bạn bè gia đình giúp đỡ tơi hồn thành luận văn tốt nghiệp Người thực hiện: Hồng Văn Võ GVHD: PGS.TS Nguyễn Tiến Dũng ĐỀ TÀI THẠC SĨ: TRUY VẤN ẢNH Y SINH CHƢƠNG I: GIỚI THIỆU TRUY VẤN ẢNH DỰA TRÊN NỘI DUNG 1 Giới thiệu xử lý ảnh Xử lý ảnh số có nhiều ứng dụng thực Các nghiên cứu xử lý ảnh số năm đầu thập kỷ 60 phịng thí nghiệm Jet Propulsion Do có hạn chế kích thước khối lượng hệ thống chụp hình gắn tàu vũ trụ nên ảnh nhận từ hệ thống bị suy giảm chất lượng bị mờ, méo hình học nhiễu Do ảnh phải xử lý để đạt chất lượng tốt Hình ảnh mặt trăng hỏa mà ta thường gặp tạp chí xử lý máy tính số Ứng dụng xử lý ảnh có tác động mạnh mẽ đến nhiều lĩnh vực khác như: viễn thám (remotensensing) qua vệ tinh hay tàu vũ trụ, truyền ảnh, lưu trữ cho ứng dụng nội vụ, hành chính, xử lý y học, radar, somar, xử lý ảnh acoustic, robotics, giám định tự động ngành công nghiệp… Trong ứng dụng y học, xử lý ảnh liên quan đến xử lý tia X, ảnh cắt lớp ảnh y học khác từ chụp điện (radiology), cộng hưởng từ tính hạt nhân (nuclear magnetic retonance), quét siêu âm (ultrasonic scanning) Các kỹ thuật dùng để phát khối u bệnh khác bệnh nhân Một ứng dụng khác gần gũi với sống cải tiến ảnh tivi Hình ảnh hiển thị hình tivi có độ phân giải hạn chế, có bóng mờ, nhiễu nền, trượt hình xen dòng mức độ khác Hiện nay, tivi số có bước phát triển dần thay tivi truyền thống tương tự xử lý ảnh số có tác động định đến việc cải thiện chất lượng hình ảnh hệ truyền hình làm phát triển hệ truyền hình truyền hình có độ phân giải cao HDTV Ứng dụng xử lý ảnh truyền thông nén liệu ảnh, giảm thời gian kênh truyền tiết kiệm khơng gian lưu trữ.Ví dụ hội nghị video, điện thoại video, yêu cầu cần có dải tần rộng Việc mã hóa thẳng chương trình video chất lượng quảng bá yêu cầu cần đến 100 triệu bit/sec Nếu hy sinh phần chất lượng dùng sơ đồ mã hóa ảnh số đạt chất lượng đủ rõ với nhịp bit 100 nghìn bit/sec Người thực hiện: Hoàng Văn Võ GVHD: PGS.TS Nguyễn Tiến Dũng ĐỀ TÀI THẠC SĨ: TRUY VẤN ẢNH Y SINH Các ứng dụng khác như: sinh học, phân tích ảnh mẫu xương, mơ, tế bào, kiểu AND…, an ninh, quốc phòng xử lý ảnh trinh thám để phát mục tiêu như: phi trường, tàu chiến, dàn phóng hỏa vệ tinh Xử lý vân tay, nhận dạng nhân thể…, nhiếp ảnh, điện ảnh, thay kỹ thuật phòng tối số trường hợp tạo hiệu đặc biệt phim ảnh, viễn thám, trắc địa, tái tạo tăng cường độ rõ, độ sáng cho ảnh số vệ tinh, lập đồ, phát tài ngun, quản lý mơi trường, theo dõi biến động khí quyển, phát cháy rừng, tự động hóa kiểm tra chất lượng sản phẩm tự động hệ thống giúp loại bỏ phế phẩm, xây dựng hình ảnh máy cho robot 1.2 Hệ thống xử lý ảnh 1.2.1 Ảnh Ảnh tĩnh không gian chiều định nghĩa hàm hai biến S(x,y), với S giá trị biên độ ( biểu diễn màu sắc) vị trí khơng gian (x,y) Phân loại ảnh: + Ảnh tương tự S(x,y): (x,y) liên tục, S liên tục + Ảnh số S(m,n): (m,n) rời rạc, S rời rạc Xử lý ảnh số xử lý ảnh 2D máy tính, hay nói cách khác xử lý số số liệu chiều Ảnh số ma trận số thực số phức biểu diễn bới số bit hữu hạn Trong việc biểu diễn ảnh mức xám (gray- level images), ảnh biểu diễn mảng số hai chiều Mỗi số thể cường độ mức xám ảnh vị trí tương đối Nếu mức xám biểu diễn bit số mức xám biểu diễn 28 = 256 giá trị Các mức thông thường gán giá trị nguyên từ đến 255, với đặc trưng cho mức tối thấp 255 đặc trưng cho mức xám cao Mỗi phần tử ma trận gọi pixel PEL Trong ảnh màu, cách biểu diễn tương tự, vị trí ma trận số biểu diễn màu bản: red, green blue (RGB) Đối với việc biểu diễn màu 8bit*3 = 24 bit pixel số chia làm segment* 8bit Mỗi segment biểu diễn cường độ màu Người thực hiện: Hoàng Văn Võ GVHD: PGS.TS Nguyễn Tiến Dũng ĐỀ TÀI THẠC SĨ: TRUY VẤN ẢNH Y SINH 1.2.2 Mô tả hệ thống xử lý ảnh tổng quát Như trình bày phần giới thiệu, xử lý ảnh ứng dụng rộng rãi nhiều lĩnh vực sống Việc xử lý ảnh thực thông qua hệ thống xử lý ảnh chuyên dùng hệ thống ảnh dùng xử lý, tạo Hình 1.1 mơ tả bước cần thiết xử lý ảnh số Lưu trữ Thiết bị thu nhận ảnh Thu nhận ảnh Số hóa Nhận dạng Phân tích ảnh Hệ định Hình 1.1 Các bước xử lý ảnh số Trước hết q trình thu nhận ảnh Ảnh thu nhận qua camera Thường ảnh thu nhận qua camera tín hiệu tương tự (loại camera ống kiểu CCIR), tín hiệu số hóa (loại CCD – Charge Coupled Device) Ảnh thu nhận từ vệ tinh qua cảm ứng (sensor), hay ảnh, tranh quét scanner Tiếp theo trình số hóa (Digitalizer) để biến đổi tín hiệu tương tự sang tín hiệu rời rạc (lấy mẫu) số hóa lượng tử hóa, trước chuyển sang giai đoạn xử lý, phân tích hay lưu trữ lại Q trình phân tích ảnh thực chất bao gồm nhiều cơng đoạn nhỏ Trước hết công việc tăng cường ảnh để nâng cao chất lượng ảnh Do nguyên nhân khác nhau: chất lượng thiết bị thu nhận ảnh, nguồn sáng hay nhiễu, ảnh bị suy biến Do cần phải tăng cường khôi phục lại ảnh để làm bật số đặc tính ảnh, hay làm cho ảnh gần giống với trạng thái gốctrạng thái trước ảnh bị biến dạng Giai đoạn phát đặc tính biên, phân vùng ảnh, trích chọn đặc tính,v.v… Người thực hiện: Hồng Văn Võ GVHD: PGS.TS Nguyễn Tiến Dũng ĐỀ TÀI THẠC SĨ: TRUY VẤN ẢNH Y SINH s 'j  s 'j  mins 'j , s 'j  si  si  si , s j  (3.28) Quá trình kết thúc khơng cịn si , si' khác khơng nào, có nghĩa vùng ảnh hồn toàn khớp với vùng ảnh 2, vùng phù hợp phần với vùng khác ảnh cịn lại Q trình tìm vùng phù hợp có ưu điểm dễ dàng tính tốn ảnh so sánh giống nhau, khoảng cách tìm khơng có vùng giống khớp với 3.4.2 Sánh vùng Hungarian lượng tử (Quantized Hungarian Region Matching) Do phương pháp greedy, IRM khơng phải ln cho kết tốt Tìm kết tốt phức tạp nhiều, với việc lượng tử hóa độ quan trọng vùng, chuyển vấn đề tìm vùng phù hợp (matching) thành vấn đề gán vùng (assignment) tính O(n3) với n số vùng, sử dụng thuật tốn Hungarian Để áp dụng thuật tốn Hungarian, ma trận khoảng cách bình phương cần tính, hai ảnh có số lượng vùng khác Đồng thời thuật toán Hungarian tạo so sánh một Do giới hạn không yêu cầu để tạo ma trận khoảng cách bình phương mô tả vùng ảnh phân chia cho ảnh mô tả tổng cộng 50 vùng Trong bước này, kích thước vùng ( độ quan trọng) lượng tử hóa bội 0.02 Sau phân chia, ảnh mô tả gồm 50 mơ tả vùng, mơ tả có kích thước 0.02 Với việc mơ tả hai ảnh vậy, ma trận khoảng cách 50x50 D tạo với d i , j khoảng cách vùng ri từ ảnh ri' từ ảnh Đối với ma trận này, áp dụng thuật toán Hungarian cho kết tìm vùng phù hợp một tốt từ 50 vùng ảnh với 50 vùng ảnh Mỗi vùng ban đầu ảnh ánh xạ phần đến vùng nhiều vùng ảnh Quá trình tìm vùng phù hợp mơ tả Hình 3.5 Ảnh bên trái mô tả ba vùng Ảnh bên phải mô tả hai vùng Mỗi tập hợp vùng chia tiếp thành 50 vùng mô tả vùng với 50 mô tả vùng từ ảnh 1, phù hợp tốt với 50 vùng ảnh tìm Người thực hiện: Hồng Văn Võ 48 GVHD: PGS.TS Nguyễn Tiến Dũng ĐỀ TÀI THẠC SĨ: TRUY VẤN ẢNH Y SINH Hình 3.5 Căn vùng để tìm vùng phù hợp lượng tử hóa Hungarian Với việc khớp vùng này, khoảng cách phù hợp vùng dùng Hungarian lượng tử tổng cộng khoảng cách đơn lẻ giống IRM: d qhrm R1 , R2    si , j d i , j (3.29) i, j Để đạt khoảng cách tổng thể ảnh ảnh hai Ở đây, si,j đặt 0.02 3.5 Các đặc tính khác Các mục trước trình bày phương pháp so sánh mức xám đồ, ảnh, mơ tả vùng, đặc tính cục Một số đặc tính khơng thuộc loại đặc tính chuyển đổi PCA, vector đặc tính bất biến đặc tính cấu trúc tồn cục Để so sánh đặc tính sử dụng khoảng cách Euclidean khoảng cách Mahalanobis để tính phạm vi khác thành phần vector Cho Q vector N chiều ảnh yêu cầu X vector N chiều ảnh sở liệu so sánh, khoảng cách Mahalanobis X Q tính theo cơng thức dạng bình phương sau : d M Q, X   Với  1 Q  X T 1 Q  X  (3.30) ma trận hiệp biến nghịch đảo Người thực hiện: Hoàng Văn Võ 49 GVHD: PGS.TS Nguyễn Tiến Dũng ĐỀ TÀI THẠC SĨ: TRUY VẤN ẢNH Y SINH CHƢƠNG IV : ĐÁNH GIÁ CHẤT LƢỢNG TRUY VẤN ẢNH 4.1 Thông số đánh giá chất lƣợng truy vấn ảnh Vấn đề việc đánh giá chất lượng truy vấn ảnh dựa nội dung khơng có sở liệu kiểm chuẩn thông số đo chất lượng Vì vậy, số đánh giá ban đầu hệ thống truy vấn ảnh dựa nội dụng, kết thường giới hạn yêu cầu ví dụ mà thường cho kết tích cực khả hệ thống Rõ ràng phép đo khách quan hay phép đo có tính chất định lượng Ta cần phép đo có tính khách quan định lượng Một vấn đề khác khơng có sở liệu chuẩn Các hệ thống truy vấn ảnh sử dụng sở liệu khác để biểu diễn kết hệ thống Do khó so sánh chất lượng hệ thống khác chí có kết định lượng Trong truy vấn thông tin văn bản, vài phép đo chất lượng cho kết tốt thay đổi chúng để sử dụng cho truy vấn ảnh dựa nội dung Phép đo chất lượng sử dụng phổ biến hệ thống truy vấn ảnh thông tin precision (độ xác) P recall (khả truy vấn) R, định nghĩa sau : P= R= Số lượng tài liệu thích hợp truy vấn Tổng số tài liệu truy vấn Số lượng tài liệu thích hợp truy vấn Tổng số tài liệu truy vấn thích hợp (4.1) (4.2) Hai giá trị thường kết hợp với thành biểu đồ PR Các số biểu diễn số lượng tài liệu thích hợp khơng thích hợp có tài liệu xếp hạng Biểu đồ PR thực theo số bước : Đầu tiên, giả sử người sử dụng kiểm tra tài liệu danh sách xếp hạng Với n = N, precision Pn recall Rn tính tốn Ta thu đường cong cưa xét thêm ảnh tăng giảm precision Bước tiếp theo, đường cong hình cưa chuyển đổi thành đường cong đơn điệu cách đặt : Người thực hiện: Hoàng Văn Võ 50 GVHD: PGS.TS Nguyễn Tiến Dũng ĐỀ TÀI THẠC SĨ: TRUY VẤN ẢNH Y SINH Pk : max Pi | i  k  (4.3) Q trình giải thích sau : xét đến tập hợp kết tối ưu cục mà recall precision cải thiện đồng thời kiểm tra thêm tài liệu Trong bước cuối cùng, biểu đồ PR yêu cầu khác kết hợp cách tính trung bình số học giá trị precision tương ứng với giá trị recall Một số giá trị recall lựa chọn, giá trị precision tương ứng với giá trị recall tính cho u cầu tính trung bình Biểu đồ PR không chứa tất thông tin mong muốn không rõ so sánh hệ thống truy vấn ảnh dựa vào biểu đồ Ta cải thiện biểu đồ PR tập hợp phép đo chất lượng khác định nghĩa ~ sau : Rank1 , R ank , P(20),P(50), P(NR), R(P=0.5), R(100), P(P=R), P(1), NNER PR-area Rank1 thứ hạng ảnh thích hợp thu nhận ~ R ank thứ hạng trung bình chuẩn hóa ảnh thích hợp ~ Rank  NN R  NR N N  1    Ri  R R   n1  (4.4) Với R i thứ hạng ảnh truy vấn thích hợp N R tổng số ảnh thích hợp Phép đo có giá trị khơng với hệ thống hồn hảo cho hệ thống thất bại Với truy vấn ngẫu nhiên, giá trị mong muốn 0.5 P(20), P(50), P( N R ) precision sau 20, 50 N R ảnh truy vấn R(P=0.5), R(100) recall với P = 0.5 recall sau 100 ảnh truy vấn P(P=R) precision recall precision PR-area vùng phía PR- graph P(1) precision ảnh truy vấn đầu tiên, lấy trung bình tồn sở liệu, giống tốc độ nhận dạng phân loại lân cận gần sử dụng đặc tính phép đo khoảng cách Vì tốc độ lỗi phân loại tính NN- ER = 1- P(1) Dựa vào tập hợp phép đo chất lượng này, so sánh hệ thống truy vấn ảnh dựa nội dung cách định lượng theo sở liệu mà ảnh thích hợp biết trước tương ứng với số yêu cầu Người thực hiện: Hoàng Văn Võ 51 GVHD: PGS.TS Nguyễn Tiến Dũng ĐỀ TÀI THẠC SĨ: TRUY VẤN ẢNH Y SINH Để so sánh chất lượng hệ thống truy vấn ảnh dễ dàng hơn, người ta thường dùng phép đo chất lượng Vì phép đo đánh giá chất lượng hệ thống truy vấn cách hay cách khác nên rõ ràng chúng có tương quan với Ma trận tương quan số phép đo chất lượng mô tả Hình 4.1 Ma trận biểu diễn phép đo có tương quan lớn với để so sánh hệ thống truy vấn ảnh, sử dụng phép đo chất lượng đủ Sự tương quan lớn thấy rõ giá trị lân cận từ biểu đồ PR Các giá trị không tương quan lớn với phép đo khác R (P=0.5) P(R=1) Điều hai giá trị không phản ánh chất lượng ảnh truy vấn đầu tiên, P(R=1) xét đến ảnh cuối truy vấn Đối với người tìm kiếm ảnh, tìm ảnh thích hợp cách nhanh quan trọng tìm ảnh thích hợp cuối Nếu cần phân tích chi tiết cần đánh giá đặc tính cụ thể hệ thống nên xét nhiều tất phép đo chất lượng Error rate (ER) lựa chọn làm phép đo chất lượng để so sánh thông số khác Hình 4.1 Tương quan phép đo chất lượng theo phạm vi [-100,100] Chúng ta vừa tìm hiểu sơ qua hệ thống truy vấn ảnh theo nội dung với đặc tính truy vấn, phép đo khoảng cách đặc tính, hay thơng số đánh giá chất lượng hệ thống Dựa vào tảng lý thuyết truy vấn ảnh theo nội dung, chương sau, tìm hiểu xây dựng chương trình nhận dạng ảnh mơ ngơn ngữ lập trình C++ Người thực hiện: Hồng Văn Võ 52 GVHD: PGS.TS Nguyễn Tiến Dũng ĐỀ TÀI THẠC SĨ: TRUY VẤN ẢNH Y SINH CHƢƠNG V: MÔ PHỎNG CHƢƠNG TRÌNH NHẬN DẠNG ẢNH BẰNG C++ 5.1 Giới thiệu chƣơng trình mơ Chương trình mơ ngơn ngữ lập trình C++, xây dựng chương trình nhận dạng ảnh Nhận dạng ảnh trình liên quan đến mô tả đối tượng mà người ta mong muốn đặc tả Q trình nhận dạng thực sau q trình trích chọn đặc tính chủ yếu đối tượng Vì thế, thấy nhận dạng ảnh nhiệm vụ cụ thể hệ thống truy vấn ảnh Ảnh nhận dạng chương trình ảnh y sinh, đối tượng cần nhận dạng quan nội tạng thể người Ảnh sử dụng chương trình ảnh chụp X-Quang, chụp quan nội tạng thể người, ảnh định dạng Raw, có kích thước 640x480 Cơ sở liệu ảnh bao gồm 460 ảnh X-Quang, có : - 28 ảnh Gallbladder - 59 ảnh Kidney - 67 ảnh Liver - 33 ảnh Pancreas - 22 ảnh Spleen - 17 ảnh Heart Chamber - 36 ảnh Heart Parasternal View - 16 ảnh Heart Short Axis View Papilary - 16 ảnh Heart Short Axis View Mitral Valve - 40 ảnh LT.THY.TRANS - 42 ảnh RT.CCA.LONG - 43 ảnh RT.THY.LỌNG - 41 ảnh RT.THY.TRANS Trong nhận dạng ảnh, có hai kiểu mơ tả đối tượng: - Mô tả theo tham số - Mô tả theo cấu trúc Người thực hiện: Hoàng Văn Võ 53 GVHD: PGS.TS Nguyễn Tiến Dũng ĐỀ TÀI THẠC SĨ: TRUY VẤN ẢNH Y SINH Trong chương trình mơ này, ta sử dụng kiểu mô tả đối tượng theo tham số Mơ hình tham số sử dụng vector để đặc tả đối tượng Mỗi phần tử vector mơ tả đặc tính đối tượng [1] Ở chương trình mơ phỏng, đặc tính đối tượng sử dụng đặc tính phổ Fourier Chương trình trích chọn đặc tính phổ Fourier ảnh, tính tốn vector đặc tính, sau đem so sánh vector đặc tính với vector đặc tính trung bình lớp đối tượng định nghĩa để nhận dạng ảnh đầu vào 5.2 Sơ đồ khối chƣơng trình Người sử dụng Chọn ảnh yêu cầu đầu vào Cơ sở liệu Tính vector đặc tính ảnh Vector trung bình lớp Tính khoảng cách vector đặc tính ảnh yêu cầu với vector trung bình CSDL So sánh khoảng cách với mức cho Hiển thị kết truy vấn thích hợp Hình 5.1 Sơ đồ khối mơ tả hoạt động chương trình Người thực hiện: Hồng Văn Võ 54 GVHD: PGS.TS Nguyễn Tiến Dũng ĐỀ TÀI THẠC SĨ: TRUY VẤN ẢNH Y SINH Hình 5.1 mơ tả sơ đồ khối chương trình Đầu tiên, người sử dụng chọn ảnh yêu cầu đầu vào cần nhận dạng Chương trình trích chọn đặc tính ảnh đầu vào Sau đó, chương trình tính vector đặc tính ảnh đầu vào đem so sánh với vector đặc tính trung bình lớp đối tượng sở liệu để thu khoảng cách chúng Với khoảng cách tính được, chương trình nhận dạng đối tượng ảnh đầu vào 5.3 Giao diện chƣơng trình Hiển thị ảnh yêu cầu Kết phản hồi Hình mơ tả nội tạng thể người Chọn ảnh Tên ảnh Thông tin ảnh Nhận dạng ảnh Thốt Hình 5.2 Giao diện chương trình mơ Chương trình bao gồm: - Module chọn ảnh yêu cầu đầu vào: Bấm nút “Open” để chọn ảnh đầu vào, hiển thị ảnh khung ảnh “Image” hiển thị tên ảnh khung Textbox bên cạnh - Module nhận dạng ảnh: Bấm nút “Run Recognition” để chương trình tính toán đưa kết nhận dạng ảnh - Module khỏi chương trình: Bấm nút “Cancel” để khỏi chương trình Người thực hiện: Hồng Văn Võ 55 GVHD: PGS.TS Nguyễn Tiến Dũng ĐỀ TÀI THẠC SĨ: TRUY VẤN ẢNH Y SINH 5.3 Kết nhận dạng ảnh đánh giá 5.3.1 Kết nhận dạng ảnh Qua thực nghiệm thực chương trình mơ với tồn 460 ảnh sở liệu, chương trình nhận dạng 445 ảnh nhận dạng sai 15 ảnh Một số kết đưa hình Hình 5.3 Chương trình nhận dạng Người thực hiện: Hoàng Văn Võ 56 GVHD: PGS.TS Nguyễn Tiến Dũng ĐỀ TÀI THẠC SĨ: TRUY VẤN ẢNH Y SINH Hình 5.4 Chương trình nhận dạng Hình 5.3 Hình 5.4 hai ví dụ nhận dạng chương trình mơ Ảnh đầu vào với thông tin xác nhận Gallbladder Heart Parasternal sau chương trình thực chức nhận dạng, kết nhận dạng Gallbladder Heart Paraternal Người thực hiện: Hoàng Văn Võ 57 GVHD: PGS.TS Nguyễn Tiến Dũng ĐỀ TÀI THẠC SĨ: TRUY VẤN ẢNH Y SINH Hình 5.5 Chương trình nhận dạng sai: Đối tượng Gallbladder kết nhận dạng lại Kidney Hình 5.5 ví dụ nhận dạng sai chương trình mơ Ảnh đầu vào với thông tin ảnh Gallbladder kết nhận dạng chương trình lại cho Kidney Người thực hiện: Hoàng Văn Võ 58 GVHD: PGS.TS Nguyễn Tiến Dũng ĐỀ TÀI THẠC SĨ: TRUY VẤN ẢNH Y SINH Hình 5.6 Chương trình nhận dạng sai Hình 5.6 ví dụ nhận dạng sai chương trình mơ So với thơng tin xác nhận ảnh đầu vào Liver kết nhận dạng chương trình lại RT.CCA.LONG Dựa thực nghiệm, ta tính độ xác chương trình mơ sau: A Số ảnh nhận dạng xác (5.1) Toàn số ảnh nhận dạng Vậy với 445 ảnh nhận dạng xác tất 460 ảnh đưa vào để nhận dạng độ xác chương trình mơ là: A 445  100%  96,73% 460 Người thực hiện: Hoàng Văn Võ (5.2) 59 GVHD: PGS.TS Nguyễn Tiến Dũng ĐỀ TÀI THẠC SĨ: TRUY VẤN ẢNH Y SINH 5.3.2 Đánh giá Qua tìm hiểu mục 5.3.1, chương trình mơ hệ thống nhận dạng ảnh thể đầy đủ chức với độ xác nhận dạng cao Tuy chương trình đơn giản với giới hạn sở liệu ảnh, số đặc tính ảnh trích chọn, loại ảnh nhận dạng, hay số lớp đối tượng cần nhận dạng,…nhưng với kết đạt được, hồn tồn phát triển chương trình thành hệ thống truy vấn ảnh hồn chỉnh Người thực hiện: Hoàng Văn Võ 60 GVHD: PGS.TS Nguyễn Tiến Dũng ĐỀ TÀI THẠC SĨ: TRUY VẤN ẢNH Y SINH KẾT LUẬN Luận văn trình bày số đặc tính sử dụng để truy vấn ảnh theo nội dung Để so sánh ảnh dựa đặc tính trích trọn, phương pháp so sánh tính tương tự đặc tính khác sử dụng Chương IV đánh giá hiệu truy vấn ảnh đặc tính hàm khoảng cách khác Kết cho thấy hiệu truy vấn phụ thuộc vào sở liệu khác Điều có nghĩa tùy thuộc vào ứng dụng khác ta cần chọn đặc tính hàm khoảng cách thích hợp để đạt hiệu tốt Chương V giới thiệu chương trình mơ viết ngơn ngữ lập trình C++ Đây chương trình nhận dạng ảnh y sinh dựa tảng lý thuyết truy vấn ảnh Chương trình thực với sở liệu ảnh chụp phim X-Quang với lớp đối tượng quan nội tạng thể người gan, mật, tụy, lách hay tim Qua thực nghiệm, thấy kết chương trình tương đối tốt Chương trình mơ luận văn tương đối đơn giản, thực số module hệ thống truy vấn ảnh hồn chỉnh Vì thế, tơi xin đề xuất hướng nghiên cứu dựa chương trình mơ để hồn thiện chương trình truy vấn ảnh theo nội dung: - Mở rộng phạm vi hoạt động chương trình Cụ thể chương trình thực nhiều loại ảnh định dạng khác nhau, mở rộng với nhiều loại, nhiều lớp đối tượng khác nhau, không ảnh y sinh - Nghiên cứu thiết kế thêm module khác để tiến tới hồn thiện thành chương trình truy vấn ảnh nghĩa với ảnh đầu vào lựa chọn ảnh đầu mong muốn người sử dụng Trong tương lai, điều kiện cho phép, tơi có mong muốn nghiên cứu cách kỹ lưỡng đề tài này, sâu vào ứng dụng cụ thể Một lần nữa, xin chân thành cảm ơn giúp đỡ, hướng dẫn tận tình thầy giáo TS Nguyễn Tiến Dũng gia đình bạn bè q trình tơi thực luận văn Xin chân thành cảm ơn! Người thực hiện: Hoàng Văn Võ 61 GVHD: PGS.TS Nguyễn Tiến Dũng ĐỀ TÀI THẠC SĨ: TRUY VẤN ẢNH Y SINH TÀI LIỆU THAM KHẢO [1] Lương Mạnh Bá, Nguyễn Thanh Thủy, Nhập môn xử lý ảnh số, Nhà xuất khoa học kỹ thuật, Hà Nội-1999 [2] Rafael C.Gonzalez, Richard E.Woods, Digital Image Processing, Prentice Hall, Upper Saddle River, New Jersey 07458 [3] Mark S.Nixon, Alberto S.Aguado, Feature Extraction and Image Processing, Newnes, 2002 [4] Thomas Deselaers, Features for Image Retrieval, Aschen, 2003 Người thực hiện: Hoàng Văn Võ 62 GVHD: PGS.TS Nguyễn Tiến Dũng ... GIÁ CHẤT LƢỢNG TRUY VẤN ẢNH 50 4.1 Thông số đánh giá chất lƣợng truy vấn ảnh 50 Người thực hiện: Hoàng Văn Võ GVHD: PGS.TS Nguyễn Tiến Dũng ĐỀ TÀI THẠC SĨ: TRUY VẤN ẢNH Y SINH CHƢƠNG V:... PGS.TS Nguyễn Tiến Dũng ĐỀ TÀI THẠC SĨ: TRUY VẤN ẢNH Y SINH độ tương tự ảnh y? ?u cầu so với ảnh sở liệu Luận văn gồm phần sau: - Chương I: Giới thiệu truy vấn ảnh dựa nội dung: Trình b? ?y tổng quan... Dũng ĐỀ TÀI THẠC SĨ: TRUY VẤN ẢNH Y SINH CHƢƠNG I: GIỚI THIỆU TRUY VẤN ẢNH DỰA TRÊN NỘI DUNG 1 Giới thiệu xử lý ảnh Xử lý ảnh số có nhiều ứng dụng thực Các nghiên cứu xử lý ảnh số năm đầu thập