Nghiên cứu một số kỹ thuật xử lý ảnh dựng mô hình 3d của gan từ ảnh dữ liệu ảnh CT

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC QUY NHƠN ĐOÀN THỊ XƯƠNG NGHIÊN CỨU MỘT SỐ KỸ THUẬT •• XỬ LÝ ẢNH DỰNG MƠ HÌNH 3D CỦA GAN TỪ ẢNH DỮ LIỆU ẢNH CT Chuyên ngành: Khoa học máy tính Mã số: 8480101 Người hướng dẫn: TS Lê Thị Kim Nga LỜI CAM ĐOAN Tôi xin cam đoan luận văn thực hướng dẫn trực tiếp giảng viên TS Lê Thị Kim Nga Các số liệu, kết thực nghiệm trình bày luận văn trung thực Những tư liệu sử dụng luận văn có nguồn gốc trích dẫn rõ ràng, đầy đủ Học viên Đồn Thị Xương LỜI CẢM ƠN Trong q trình thực nghiên cứu luận văn em nhận nhiều quan tâm, giúp đỡ, hướng dẫn dìu dắt quý thầy cô, bạn bè người thân Trước tiên em xin gửi đến Tiến sĩ Lê Thị Kim Nga lời cảm ơn chân thành nhất, cô người hướng dẫn cho em suốt trình thực luận văn này, với tinh thân nhiệt tình chu em làm tốt cơng việc nghiên cứu Em xin gửi lời cảm ơn quý thầy cô Trường Đại học Quy Nhơn, Khoa Công nghệ thông tin thầy cô mơn Khoa học máy tính tận tậm dạy bảo em suốt trình học tập giúp đỡ em trau dồi kiến thức phục vụ cho trình nghiên cứu Em xin chân thành cảm ơn người thân gia đình, anh chị em, bạn bè, đồng nghiệp giúp đỡ, động viên em q trình thực hồn thành luận văn Bình Định, ngày 11 tháng năm 2020 Học viên Đồn Thị Xương MỤC LỤC •• LỜI CAM ĐOAN LỜI CẢM ƠN DANH MỤC TỪ VIẾT TẮT DANH MỤC CÁC BẢNG DANH MỤC CÁC HÌNH QUYẾT ĐỊNH GIAO ĐỀ TÀI LUẬN VĂN THẠC SĨ (bản sao) DANH MỤC TỪ VIẾT TẮT CNTT Công nghệ thông tin CT MRI Computed Tomography Magnetic Resonance Imaging 2D Two-Dimensional 3D Three-Dimensional PACS DICOM RF DIMSE SVM Picture Archiving and Communication System The Digital Image and Communication in Medicine Random Forests Dicom Message Service Elements Support Vector Machine DANH MỤC BẢNG BIỂU Bảng 3.1 Số lượng lát cắt, thời gian phân đoạn Gan, tái tạo mơ hình 3D Gan 66 DANH MỤC HÌNH • MỞ ĐẦU LÝ DO CHỌN ĐỀ TÀI Trong năm qua, với phát triển mạnh mẽ, Công nghệ thông tin (CNTT) thâm nhập vào mặt đời sống xã hội đem lại nhiều lợi ích to lớn Trong lĩnh vực y tế, thấy rằng, CNTT tạo thay đổi mẻ, thúc đẩy phát triển, đại hóa Y học nước nhà Y học đại chẩn đoán bệnh dựa vào triệu chứng lâm sàng (chẩn đoán lâm sàng) triệu chứng cận lâm sàng (chẩn đoán cận lâm sàng) Trong chẩn đốn cận lâm sàng chẩn đốn dựa hình ảnh thu từ thiết bị, máy y tế (chẩn đốn hình ảnh) ngày chiếm vai trị quan trọng, ngày với trợ giúp thiết bị, máy y tế đại, công nghệ cao có phần mềm tin học hỗ trợ khiến cho hình ánh rõ nét xác Một kênh thông tin quan trọng hỗ trợ chẩn đốn điều trị bệnh dựa vào hình ảnh y khoa X-quang, CT, MRI, chụp xạ hình Chụp hình ảnh cắt lớp (Computed Tomography - CT) ứng dụng rộng rãi cho chẩn đoán cận lâm sàng để phát bệnh lý từ sọ não, đầu mặt cổ, tim, ngực, bụng, chậu, xương, mô mềm bệnh lý mạch máu não, cổ, mạch máu chi mạch máu tạng khác Ảnh chụp từ thiết bị chụp cắt lớp CT dùng để hướng dẫn phẫu thuật xạ trị, theo dõi sau phẫu thuật Kỹ thuật xây dựng mơ hình 3D (3 chiều) đối tượng từ ảnh chụp cắt lớp cho phép đánh giá xác vị tí tổn thương khơng gian chiều, từ định hướng tốt cho phẫu thuật xạ trị Ngoài ra, kỹ thuật dùng để tái tạo đối tượng 3D bệnh lý bất thường bẩm sinh, giúp cho nhà phẫu thuật tạo hình chỉnh sửa tốt dị tật bẩm sinh Ngày với thói quen ăn uống tùy tiện, mơi trường nhiễm, thực phẩm độc hại khiến gan phải làm việc sức, dẫn đến nhiều bệnh tật xơ gan, ung thư gan, suy gan.Theo thông báo bệnh viện Trung ương, bệnh ung thư ngày có xu hướng gia tăng Hiện tồn cầu có khoảng 32,6 triệu người sống chung với bệnh ung thư năm có khoảng 14,1 triệu người mắc, 8,2 triệu ca tử vong Số lượng người bị ung thư Gan xếp thứ giới xếp thứ Việt Nam Để phòng bệnh ung thư gan, cần điều trị bệnh gan mạn tính, ngăn ngừa xơ gan phát triển thành ung thư gan Bằng cách phát có khối u nhỏ cm tiên lượng tốt Qua đó, thấy tầm quan trọng nhu cầu cấp bách cho nghiên cứu xử lý chun sâu hình ảnh CT hỗ trợ chẩn đốn điều trị sớm bệnh Gan Từ lý trên, chọn đề tài “NGHIÊN CỨU MỘT SỐ KỸ THUẬT XỬ LÝ ẢNH DỰNG MƠ HÌNH 3D CỦA GAN TỪ ẢNH DỮ LIỆU ẢNH CT” MỤC ĐÍCH NGHIÊN CỨU Tìm hiểu nghiên cứu chung quy trình dựng mơ hình 3D gan từ liệu ảnh CT, từ sâu vào kỹ thuật ứng dụng quy trình Bên cạnh tiến hành tìm hiểu chuẩn liệu ảnh y tế nói chung áp dụng giới Việt Nam Đầu vào: Một tập hợp lát cắt song song xếp theo kiểu ngăn xếp Gan chụp thiết bị chụp cắt lớp lưu dạng chuẩn DICOM Đầu ra: Mô hình 3D Gan Phương pháp hiển thị sử dụng kỹ thuật Marchinh Cubes 10 ĐỐI TƯỢNG VÀ PHẠM VI NGHIÊN CỨU - Đối tượng nghiên cứu: Một số kỹ thuật xử lý ảnh ứng dụng quy trình dựng mơ hình 3D gan từ liệu ảnh CT - Phạm vi nghiên cứu: Ảnh Gan chụp từ thiết bị chụp cắt lớp CT PHƯƠNG PHÁP NGHIÊN CỨU Phương pháp nghiên cứu đề tài lựa chọn lý thuyết kết hợp với thực nghiệm Các vấn đề cần giải liên quan đến thuật tốn lý thuyết truyền thơng mạng, xử lý ảnh, thị giác máy đồ họa máy tính thực phần mềm máy tính với đầu vào thông tin thu nhận từ thực tế Quá trình tiến hành dựa việc tìm hiểu tài liệu, cài đặt thử nghiệm sau đánh giá kết thực nghiệm cải tiến nhằm nâng cao chất lượng hệ thống Như vậy, cần tiến hành tìm hiểu lý thuyết số kỹ thuật xử lý ảnh ứng dụng quy trình dựng mơ hình 3D gan từ liệu ảnh CT Tìm hiểu kỹ thuật mặt lý thuyết kết hợp với việc cài đặt thực nghiệm liệu ảnh chụp cắt lớp thực tế để kiểm chứng đánh giá nội dung lý tìm hiểu lý thuyết từ cải tiến hồn thiện chương trình CẤU TRÚC LUẬN VĂN Ngồi phần mở đầu, mục lục, danh mục bảng biểu, danh mục từ viết tắt, kết luận tài liệu than khảo, luận văn gồm chương Chương 1: Tổng quan xử lý ảnh dựng mơ hình 3D Gan Chương 2: Một số kỹ thuật dựng mơ hình 3d Gan từ ảnh CT Chương 3: Cài đặt thử nghiệm Hình 3.4 Mơ hình 3D Gan từ 30 lát cắt Gan Ảnh đầu vào: Gồm 90 ảnh lát cắt CT ổ bụng, ảnh có kích thước 512 512 pixel Hình 3.5 Ảnh DICOM 90 lát cắt ổ bụng Hình 3.6 Ảnh phân đoạn Gan (màu xanh) tương ứng 90 ảnh DICOM ổ bụng đầu vào Hình 3.7 Mơ hình 3D Gan từ 90 ảnh phân đoạn Gan Ảnh đầu vào: Gồm 129 ảnh lát cắt CT ổ bụng, ảnh có kích thước 512 512 pixel Hình 3.8 Mơ hình 3D Gan từ 129 ảnh phân đoạn Gan Ảnh đầu vào: Gồm 172 ảnh lát cắt CT ổ bụng, ảnh có kích thước 512 512 pixel Hình 3.9 Mơ hình 3D Gan từ 172 ảnh phân đoạn Gan Ảnh đầu vào: Gồm 225 ảnh lát cắt CT ổ bụng, ảnh có kích thước 512 512 pixel Hình 3.10 Mơ hình 3D Gan từ 225 ảnh phân đoạn Gan 3.4 ĐÁNH GIÁ Trong ảnh y tế, liệu gan có độ tương phản thấp so với vùng mô xung quanh; nữa, độ tương phản gan thay đổi ảnh hưởng nồng độ chất béo gan Một điểm quan trọng hình dạng gan có nhiều biến thể Đây loại đối tượng phức tạp khó quan sát chi tiết kể với mắt người Kết thử nghiệm xác định tương đối vị trí xuất đối tượng số vấn đề cần giải với vùng biên, vùng góc Đây thách thức vấn đề nghiên cứu có ý nghĩa với nhóm tác giả tương lai tới Nhìn chung, với liệu lớn, thời gian chạy chương trình cịn chậm Một số mơ hình phức tạp hiển thị phần liệu Gan có lỗ bề mặt có nhiều đa giác tạo Trung bình khối lập phương tạo tam giác Vì khối liệu kích thước lớn tạo nhiều tam giác thuật tốn khơng hiệu với khối liệu lớn Bảng 3.1 Số lượng lát cắt, thời gian phân đoạn Gan, tái tạo mơ hình 3D Gan Số lượng lát cắt 30 90 129 172 225 Thời gian phân đoạn gan (s) 68 148 165 220 325 Thời gian tái tạo 3D Gan (s) 2,5 8,4 10,6 13,5 16,6 Từ bảng 3.1, ta thấy theo kỹ thuật mà luận văn thử nghiệm, thời gian xử lý phụ thuộc nhiều vào thời gian phân đoạn gan Khi số lượng lát cắt tăng lên từ 30 đến 255, thời gian tái tạo 3D gan tăng từ 2.5 giây lên 16.6 giây, tức khoảng 14.1 giây, thời gian phân đoạn gan tăng lên từ 68 giây lên 325 giây tức 257 giây Ngoài kết phân đoạn đầu vào để dựng 3D gan Do để tiếp tục phát triển tiếp nội dung luận văn, việc đầu tư nghiên cứu cho công đoạn xử lý ảnh, cụ thể phân đoạn gan, vấn đề cần đặt trọng tâm 3.5 HƯỚNG PHÁT TRIỂN Để cải tiến nhược điểm nêu phần 3.4.2, xin đưa hướng cải tiến chương trình sau: Nghiên cứu thuật toán phân đoạn gan để cải thiện thời gian phân đoạn gan Cải tiến chất lượng hình ảnh: Để khắc phục tình trạng hiển thị phần liệu có lỗ bề mặt có nhiều đa giác tạo cải tiến tốc độ ta không vẽ đa giác mà vẽ điểm bề mặt Để vẽ đường ta tìm pixel có giao với đường đó, sau chia nhỏ pixel Để vẽ khơng gian chiều trước hết ta cần tìm voxel có giao với mặt, sau chia nhỏ voxel Tiếp tục tìm kiếm chia nhỏ đạt đến độ phân giải cần thiết Tìm điểm voxel sau dùng phép chiếu để chuyển thành pixel Ưu điểm kỹ thuật cải thiện tốc độ chương trình bề mặt tạo mịn Cải tiến tốc độ chương trình: Dựa phương pháp tính tốn song song Phương pháp tính tốn song song phương pháp tính tốn thời điểm thay tính tốn giá trị điểm ảnh tồn ảnh ta áp dụng phương pháp tính tốn nhiều giá trị điểm ảnh tồn ảnh 3.6 KẾT LUẬN CHƯƠNG Chương cài đặt chương trình thử nghiệm kỹ thuật dựng mơ hình 3D Gan từ liệu ảnh CT dùng kỹ thuật hiển thị 3D Marching Cubes hiển thị mơ hình 3D Gan từ liệu hình ảnh CT ổ bụng Từ kết chạy thử chương trình, rút hướng phát triển thuật toán KẾT LUẬN VÀ KIẾN NGHỊ •• Theo thống kê vịng 20 năm gần tỷ lệ ung thư gan tăng lên đáng kể [6] Ung thư gan nguyên phát đứng hàng thứ nguyên nhân chết ung thư giới Yếu tố nguy phổ biến ung thư gan xơ gan, xơ gan sau viêm gan B C mạn tính Việt Nam nước nằm vùng dịch tễ viêm gan vi rút B với tỷ lệ người nhiễm vi rút cao giới, với tỷ lệ người nhiễm viêm gan B 10% Tỷ lệ ung thư gan Việt Nam tương đối cao bệnh nhân ung thư gan thường phát vào giai đoạn muộn, có khoảng 20% trường hợp phát khối u gan định phẫu thuật thể tích gan cịn lại khơng đủ, có nguy suy gan sau phẫu thuật dẫn đến tử vong Đồ họa máy tính nói chung tái tạo hình ảnh ba chiều vật thể thực máy tính lĩnh vực thu hút quan tâm nhiều giới nghiên cứu lĩnh vực công nghệ thông tin năm qua Hình ảnh tái tạo từ máy tính sử dụng có hiệu nhiều lĩnh vực khác giáo dục, giải trí, y tế, Tại Việt Nam, thiết bị chẩn đốn hình ảnh có khả tạo ảnh ba chiều máy MSCT, MRI, siêu âm 3D, siêu âm 4D bắt đầu sử dụng phổ biến trung tâm điều trị kỹ thuật cao Nếu thiết bị thông thường có khả tạo ảnh cắt lớp hai chiều thiết bị có thêm chức tái tạo ảnh chiều từ lát cắt Bộ phận thực chức máy tính mạnh có phần mềm xây dựng, tái tạo ảnh chiều Hiện nay, giới có nhiều phần mềm thương mại có khả tái tạo ảnh ba chiều từ ảnh cắt lớp 3D - DOCTOR Able Software, Vitrea2 Vital Images, eFilm Các phần mềm có giá trị từ vài nghìn USD đến vài chục nghìn USD tùy theo lựa chọn người sử dụng Với thực khoa học công nghệ Việt Nam chế tạo phần cứng (máy cắt lớp) việc tương đối khó hồn tồn có khả nghiên cứu phần mềm lĩnh vực hình ảnh y tế Tuy nhiên, Việt Nam chưa có nhiều nghiên cứu lĩnh vực xử lý ảnh y tế Do đó, việc nghiên cứu kỹ thuật tái tạo ảnh 3D từ ảnh chụp cắt lớp 2D y tế cần thiết Cùng với xu hướng dựa nhu cầu thực tế, luận văn mong muốn lý thuyết kỹ thuật tăng cường chất lượng ảnh y tế nói chung, ảnh CT Gan nói riêng, kỹ thuật phân đoạn Gan kỹ thuật tái tạo ảnh 3D từ ảnh cắt lớp nói chung, từ lát cắt song song nói riêng Dựa đề xuất có lĩnh vực nghiên cứu tái tạo 3D Gan, luận văn tổng hợp, phân tích nét kỹ thuật nâng cao chất lượng ảnh y tế, kỹ thuật phân đoạn Gan, kỹ thuật dựng mô hình 3D Trong luận văn tập trung: - Tìm hiểu tổng quan xử lý ảnh, xử lý ảnh y tế, vấn đề dựng mơ hình 3D - Tìm hiểu lý thuyết nâng cao chất lượng ảnh y tế nói chung ảnh CT Gan nói riêng - Tìm hiểu lý thuyết kỹ thuật phân đoạn ảnh CT Gan - Dựa lý thuyết tìm hiểu, đề xuất kỹ thuật lấy mẫu phục vụ hiển thị ánh sáng tái tạo mô hình 3D Gan theo Cinematic Rendering - Đề xuất thuật tốn phân đoạn Gan dựa vào mơ hình chất liệu - Nghiên cứu, phân tích giải pháp thuật tốn dựng mơ hình 3D Gan từ ảnh chụp cắt lớp - Đưa giải pháp phù hợp xây dựng ứng dụng minh họa dựng mơ hình 3D Gan từ ảnh chụp cắt lớp dựa kỹ thuật Marching Cubes - Nghiên cứu kế thừa chương trình mã nguồn mở (VTK) phục vụ cho chương trình NHỮNG KẾT QUẢ CHƯA ĐẠT ĐƯỢC - Chưa cải thiện tốc độ hiển thị mơ hình 3D Gan so với thời gian thực lý thuyết - Ngoài ra, liệu hình ảnh y tế có số lượng lát cắt chất lượng hình ảnh Tác giả thật mong muốn nhận gợi ý chun mơn lẫn cách trình bày để luận văn hồn thiện HƯỚNG PHÁT TRIỂN - Tiếp tục nghiên cứu phương pháp phân đoạn ảnh Gan để phân đoạn Gan cách xác - Tiếp tục nghiên cứu phương pháp dựng mơ hình ảnh 3D với dạng ảnh cắt lớp khác cắt lớp xuyên tâm, cắt lớp tự Nghiên cứu đặc tính loại ảnh cắt lớp để đưa phương án tái tạo tốt cho loại - Đưa thêm số chức đo thể tích Gan vào ứng dụng để bác sĩ khảo sát chi tiết mơ hình tái tạo - Cải tiến giải thuật để tăng tốc độ xử lý - Cải tiến giải thuật để tăng chất lượng mơ hình tái tạo 3D Gan - Nghiên cứu thêm số dựng mơ hình 3D dựa vào phần cứng DANH MỤC CƠNG TRÌNH KHOA HỌC ĐÃ CƠNG BỐ CỦA •• TÁC GIẢ [1] Đoàn Thị Xương, Phùng Văn Minh, Trần Thị Liên, Một thuật tốn hiển thị mơ hình 3D từ liệu hình ảnh y tế DICOM, Tạp chí trường Đại học Quy Nhơn, 2016 [2] Lê Thị Kim Nga, Đoàn Thị Xương, Đoàn Thị Thu Cúc, A technique of identifying the contour point to assess the change of abnormal areas on medical imaging, Tạp chí trường Đại học Quy Nhơn, 2020 [3] Lê Thị Kim Nga, Đoàn Thị Xương, Đoàn Thị Thu Cúc, A Technique to detect liver tumor based on texture model, Tạp chí trường Đại học Quy Nhơn, 2020 DANH MỤC TÀI LIỆU THAM KHẢO •• TIẾNG VIỆT [1] Lê Thị Kim Nga (2019), Bài giảng môn xử lý ảnh, Đại học Quy Nhơn [2] Đỗ Năng Tồn (2001), Giáo trình xử lý ảnh, Học viện Cơng nghệ Bưu Viễn thơng [3] Lê Thị Kim Nga, Huỳnh Lê Anh Vũ, Nguyễn Thị Kim Phượng (2017), Một kỹ thuật phát đối tượng không cấu trúc ảnh dựa vào tiếp cận hồi quy, Hội nghị quốc gia CNTT&TT 2017 TIẾNG ANH [4] Adria Kaehler, Gary Bradski (2014), Learning OpenCV: Computer Vision in C++ with the OpenCVLibrary, 2nd Edition, O'Reilly Media, Inc [5] Anamika Bhardwaj, Manish K.Singh (2012), A Novel approach of medical image enhancement based on Wavelet transform, International Journal of Engineering Research and Applications, 2012 [6] Jemal A, Bray F, Center MM, Ferlay J, Ward E, Forman D (2011), Global cancer statistic, CA Cancer J Clin 61(2):69-90 [7] K Somasundaram, P Kalavathi (2012), Medical Image Contrast Enhancement based on Gamma Correction,Image Processing Lab, Department of Computer Science and Applications Gandhigram Rural Institute, Gandhigram - 624 302, Tamilnadu, India [8] Lu, F., Wu, F., Hu, P., Peng, Z., & Kong, D (2017), Automatic 3D liver location and segmentation via convolutional neural network and graph cut International journal of computer assisted radiology and surgery, 12(2), 171-182 [9] Olaf Ronneberger, Philip Fischer, Thomas Brox (2015), U-Net: Convolution Networks for Biomedical Image segmentation, Medical Inage Computing and Computer-Assisted Intervention (MICCA) 2015 [10] He, K., Zhang, X., Ren, S., & Sun, J (2016) Deep residual learning for image recognition In Proceedings of the IEEE conference on computer vision and pattern recognition (pp 770-778) [11] Wiliam E.Lorensen, Harvey E Cline (1987), Marching Cubes: A high Resolution 3D Surface Construction Algorithm, Computer Graphics, Volume 21, Number [12] https://www.ircad.fr/research/3d-ircadb-01/ ... cho nghiên cứu xử lý chuyên sâu hình ảnh CT hỗ trợ chẩn đoán điều trị sớm bệnh Gan Từ lý trên, chọn đề tài “NGHIÊN CỨU MỘT SỐ KỸ THUẬT XỬ LÝ ẢNH DỰNG MƠ HÌNH 3D CỦA GAN TỪ ẢNH DỮ LIỆU ẢNH CT? ??... dựng mơ hình 3D Gan từ liệu ảnh CT Từ đó, làm sở lý thuyết để viết chương trình hiển thị mơ hình 3D gan từ liệu ảnh CT y tế dựa kỹ thuật CHƯƠNG 2: MỘT SỐ KỸ THUẬT TRONG DỰNG MƠ HÌNH 3D GAN TỪ... Tổng quan xử lý ảnh dựng mô hình 3D Gan Chương 2: Một số kỹ thuật dựng mơ hình 3d Gan từ ảnh CT Chương 3: Cài đặt thử nghiệm CHƯƠNG 1: TỔNG QUAN VỀ XỬ LÝ ẢNH TRONG DỰNG MƠ HÌNH 3D GAN Nội dung