Đang tải... (xem toàn văn)
Bài viết này đề xuất phương pháp cải thiện chất lượng ảnh khâu và tăng tốc độ khâu ảnh để cung cấp cho bác sĩ phẫu thuật hình ảnh tốt về khu vực phẫu thuật với thời gian tốt nhất. Phương pháp đề xuất đó là: Giảm thời gian phát hiện các điểm đặc trưng trong ảnh nhỏ bằng cách sử dụng OpenCL và cải thiện chất lượng ảnh khâu bằng cách tìm ma trận Hemography tốt nhất.
TNU Journal of Science and Technology 227(08): 382 - 388 THE IMAGE STITCHING PERFORMANCE AND QUALITY IMPROVE TECHNIQUES FOR MINIMALLY INVASIVE SURGERY Nguyen Thi Ngan* TNU - University of Information and Communication Technology ARTICLE INFO ABSTRACT Received: 31/3/2022 Minimally Invasive Surgery (MIS) is a surgical technique of the present and the future However, there are two major challenges in the MIS technique: the quality of the stitched image and the speed of the image stitching Because MIS has very high requirements on the precision of tissue surgery and the time taken by the surgeon Therefore, this paper proposes a method to improve the quality of the stitched image and speed of the image stitching to provide the surgeon with a good image of the surgical area in the best time The proposed method is: reduce the time spent to detecting feature points in the small image by using OpenCL and improve the quality of the stiched image by finding the best hemography matrix Research results show that the time spent to detecting feature points is reduced by seven times compared to the current method, so the stitched speeding will be faster Moreover, the number of detected feature points is times higher compared to the current method , so the quality of the stitched image is better This proposed method give promises to improve existing limitations in laparoscopic surgery Revised: 26/5/2022 Published: 27/5/2022 KEYWORDS SIFT SURF Image Stitching Feature points Good match KỸ THUẬT CẢI THIỆN CHẤT LƯỢNG VÀ HIỆU SUẤT KHÂU ẢNH TRONG PHẪU THUẬT XÂM LẤN TỐI THIỂU Nguyễn Thị Ngân Trường Đại học Công nghệ thông tin Truyền thơng - ĐH Thái Ngun THƠNG TIN BÀI BÁO TÓM TẮT Ngày nhận bài: 31/3/2022 Phẫu thuật xâm lấn tối thiểu (MIS) kỹ thuật phẫu thuật tương lai Tuy nhiên, MIS gặp phải hai thách thức lớn chất lượng ảnh khâu tốc độ khâu ảnh Bởi MIS yêu cầu cao độ xác phẫu thuật mơ thời gian thực bác sĩ phẫu thuật Do đó, báo đề xuất phương pháp cải thiện chất lượng ảnh khâu tăng tốc độ khâu ảnh để cung cấp cho bác sĩ phẫu thuật hình ảnh tốt khu vực phẫu thuật với thời gian tốt Phương pháp đề xuất là: giảm thời gian phát điểm đặc trưng ảnh nhỏ cách sử dụng OpenCL cải thiện chất lượng ảnh khâu cách tìm ma trận Hemography tốt Kết nghiên cứu cho thấy thời gian phát điểm đặc trưng giảm bảy lần so với phương pháp tại, tốc độ khâu ảnh nhanh Hơn nữa, số lượng điểm đặc trưng phát cao gấp lần so với phương pháp tại, vậy, chất lượng ảnh ghép tốt Phương pháp đề xuất hứa hẹn cải thiện hạn chế có phẫu thuật nội soi Ngày hồn thiện: 26/5/2022 Ngày đăng: 27/5/2022 TỪ KHĨA SIFT SURF Khâu ảnh Điểm đặc trưng Kết hợp tốt DOI: https://doi.org/10.34238/tnu-jst.5784 * Email: ntngan@ictu.edu.vn http://jst.tnu.edu.vn 382 Email: jst@tnu.edu.vn TNU Journal of Science and Technology 227(08): 382 - 388 Giới thiệu Phẫu thuật xâm lấn tối thiểu (MIS - Minimally Invasive Surgery) dần thay phương pháp phẫu thuật truyền thống ưu điểm vết mổ kích thước nhỏ, gây tổn thương, bệnh nhân phục hồi nhanh Vết mổ MIS đủ nhỏ để đưa dụng cụ ống nội soi qua Tuy nhiên, bác sĩ phẫu thuật khơng thể nhìn trực tiếp vào vùng mổ mà phải nhìn hình ảnh hình kết nối với ống nội soi Khi lắp camera vào thân máy để chụp ảnh, khoảng cách từ camera đến chủ thể tương đối ngắn nên phạm vi quan sát nhỏ Do vậy, sử dụng camera để quan sát vùng mổ hạn chế góc nhìn Kỹ thuật khâu ảnh cho phép mở rộng vùng quan sát cách sử dụng từ hai camera trở lên Một số nhà nghiên cứu thực khâu ảnh tĩnh [1] cách khó thu ảnh khâu với chất lượng tốt Trong báo này, sử dụng hai camera nội soi thuật tốn khâu hình ảnh dựa việc kết nối điểm đặc trưng tốt để tạo hình ảnh động tồn cảnh Kỹ thuật khâu ảnh bao gồm: phát điểm đặc trưng, mơ tả tính tốn, tìm kết nối tốt tìm ma trận Homography Về vấn đề phát điểm đặc trưng, số nghiên cứu trước đề xuất số thuật toán phát điểm đặc trưng SIFT SUFT [2] SIFT lợi xác SIFT dành nhiều thời gian cho tính tốn, ứng dụng thời gian thực thuật tốn SIFT khơng thể sử dụng Do vậy, nghiên cứu này, tơi sử dụng thuật tốn SURF dựa nguyên tắc bước tương tự SIFT [3] có cải tiến để thu điểm đặc trưng tốt điều kiện môi trường khác Tơi trình bày phương pháp loại bỏ điểm đặc trưng dư thừa, nhờ mà giảm thời gian tính tốn mơ tả tìm điểm nối tốt Về vấn đề mơ tả tính tốn, số nghiên cứu gần tăng tốc độ khâu ảnh cách thay đổi kích thước ảnh gốc thành ảnh nhỏ chọn vùng nhỏ để phát điểm đặc trưng [4] Bộ mô tả SURF 64 chiều tạo cách tính tốn phản hồi sóng Haar vùng 4x4 với điểm đặc trưng trung tâm [5] Phương pháp giảm thời gian phát điểm đặc trưng thông tin bị Đôi khâu ảnh áp dụng phương pháp Phương pháp đề xuất chia hình ảnh gốc thành bốn hình ảnh nhỏ, sau phát điểm đặc trưng bốn hình ảnh nhỏ liên tiếp kết hợp bốn điểm đặc trưng phát bốn hình ảnh nhỏ trên, ta có tất điểm đặc trưng hình ảnh gốc Bằng cách phát điểm đặc trưng hình ảnh nhỏ, ta giảm nhiều thời gian Ngoài ra, việc hợp đặc trưng từ bốn hình ảnh nhỏ mang lại số lượng lớn đặc trưng hình ảnh gốc, dẫn đến chất lượng khâu ảnh cải thiện Về vấn đề tìm kết nối tốt, nghiên cứu gần thực so sánh mơ tả thu từ hình ảnh khác để tìm thấy cặp phù hợp [6] Một kết hợp tốt xác định cách lấy tỷ lệ khoảng cách từ hàng xóm gần với khoảng cách gần thứ hai [7] Tuy nhiên, tỷ lệ sử dụng giá trị Tỷ lệ nên lấy nhỏ 0,7 hầu hết kết kết nối tốt [8] Ma trận Homography ánh xạ xạ ảnh từ mặt phẳng xạ ảnh sang mặt phẳng xạ ảnh khác Thực tìm ma trận Homography hai ảnh nhiều lần kết vị trí điểm đặc trưng cố định [9] Nhưng tìm ma trận Homography hai ảnh đọc từ hai camera cố định kết khơng giống khoảng cách điểm đặc trưng, vị trí điểm đặc trưng, số lượng khung hình kết hợp tốt khơng giống [10] Điều dẫn tới số kết tốt số không tốt, vậy, làm cho kết bị sai lệch Trong báo này, đề xuất phương pháp làm cho kết ổn định Đề xuất 2.1 Phát điểm đặc trưng sử dụng OpenCL http://jst.tnu.edu.vn 383 Email: jst@tnu.edu.vn TNU Journal of Science and Technology 227(08): 382 - 388 Bảng chi tiết thời gian dùng khâu ảnh sử dụng CPU [9] Ta thấy thời gian cần thiết để phát điểm đặc trưng chiếm gần 46% tổng thời gian khâu ảnh Bảng Thời gian sử dụng cho việc khâu ảnh [9] Thời gian phát điểm đặc trưng Thời gian phát tính tốn Thời gian tìm ma trận Homography Thời gian kết hợp 320,3 ms 220 ms 120 ms 40 ms Khi sử dụng OpenCL để phát điểm đặc trưng thời gian tiêu tốn giảm nhiều [10] Như bảng cho thấy, thời gian để phát điểm đặc trưng thực OpenCL nhỏ so với việc sử dụng CPU Tuy nhiên, thời gian để phát điểm đặc trưng sử dụng OpenCL lớn Để khâu ảnh theo thời gian thực thời gian phát phải nhỏ 30 (ms) Phần trình bày đề xuất để giảm bớt thời gian Bảng So sánh thời gian phát điểm đặc trưng sử dụng CPU OpenCL [10] CPU 320,3 ms OpenCL 191,7 ms 2.2 Phát điểm đặc trưng ảnh nhỏ Trước hết, ảnh gốc lấy mẫu theo yếu tố 𝑓𝑟 , 𝑓𝑐 để có ảnh nhỏ với kích thước 320x240 [11] Với 𝑓𝑟 , 𝑓𝑐 tỷ lệ hàng cột tương ứng Ví dụ với hình ảnh VGA 640x480 𝑓𝑟 = 𝑓𝑐 = 2; Hình ảnh Full HD 1920x1080 𝑓𝑟 = 4,5, 𝑓𝑐 = v.v Bước tiếp theo, chia hình ảnh sở thành bốn hình nhỏ, hình ảnh gồm hàng lẻ, cột lẻ; Hình thứ hai gồm hàng lẻ, cột chẵn; Hình thứ ba gồm hàng chẵn, cột lẻ; Hình ảnh cuối bao gồm hàng chẵn cột chẵn ảnh sở (1) 𝑆1 (𝑥, 𝑦) = 𝐼𝐵 (2𝑥 + 1, 2𝑥 + 1); 𝑆2 (𝑥, 𝑦) = 𝐼𝐵 (2𝑥 + 1, 2𝑥); 𝑆3 (𝑥, 𝑦) = 𝐼𝐵 (2𝑥, 2𝑥 + 1) 𝑆4 (𝑥, 𝑦) = 𝐼𝐵 (2𝑥, 2𝑥) Trong đó, 𝑆1, 𝑆2, 𝑆3, 𝑆4 ảnh nhỏ; 𝐼𝐵 hình sở; (𝑥, 𝑦) tọa độ hàng cột tương ứng Thuật tốn tìm ma trận Homography mơ tả hình Với thuật tốn đề xuất này, ta có ma trận Homography tốt việc chia ảnh sở thành bốn ảnh nhỏ, phát điểm đặc trưng cập nhật ma trận Homography Thuật toán đề xuất gồm bước sau: Bước 1: Phát điểm đặc trưng hình ảnh nhỏ S1 sử dụng ma trận Homography trước khung 𝐹𝑛−1 đến khung ghép 𝐹𝑛 Bước 2: Phát điểm đặc trưng hình ảnh nhỏ S2 sử dụng ma trận Homography trước 𝐹𝑛−1 đến khung ghép 𝐹𝑛+1 Bước 3: Phát điểm đặc trưng hình ảnh nhỏ S3 sử dụng ma trận Homography trước khung 𝐹𝑛−1 đến khung ghép 𝐹𝑛+2 Bước 4: Phát điểm đặc trưng hình ảnh nhỏ S4, sau tìm ma trận Homography với bốn điểm đặc trưng phát bốn bước Kiểm tra cập nhật ma trận Homography cho khung khung Quay lại bước Hình điểm đặc trưng phát ảnh nhỏ sau định vị chúng hình ảnh gốc Số lượng điểm đặc trưng phát S1, S2, S3 S4 160, 146, 161 138 Cuối cùng, ta nhận 605 điểm đặc trưng hình ảnh gốc Để xác định vị trí điểm đặc trưng hình ảnh gốc, sử dụng phương trình: 𝑥 = (2𝑥𝑠 + 1)𝑓𝑐 Cho ảnh nhỏ S1 (2) { 𝑜 𝑦𝑜 = (2𝑦𝑠 + 1)𝑓𝑟 http://jst.tnu.edu.vn 384 Email: jst@tnu.edu.vn TNU Journal of Science and Technology 227(08): 382 - 388 𝑥 = (2𝑥𝑠 + 1)𝑓𝑐 Cho ảnh nhỏ S2 { 𝑜 𝑦𝑜 = 2𝑦𝑠 𝑓𝑟 𝑥 = 2𝑥𝑠 𝑓𝑐 Cho ảnh nhỏ S3 { 𝑜 𝑦𝑜 = (2𝑦𝑠 + 1)𝑓𝑟 𝑥 = 2𝑥𝑠 𝑓𝑐 Cho ảnh nhỏ S4 { 𝑜 𝑦𝑜 = 2𝑦𝑠 𝑓𝑟 (3) (4) (5) Khởi tạo Đọc khung hình từ camera Chia thành ảnh nhỏ S1, S2, S3, S4 Phát điểm đặc trưng S1 Ghép khung Fn n Luồng Video Phát điểm đặc trưng S2 Ghép khung F n+1 Phát điểm đặc trưng S3 Ghép khung F n+2 Phát điểm đặc trưng S4 Hợp điểm đặc trưng tính tốn mơ tả Tìm cập nhật ma trận Homography Hình Lưu đồ thuật tốn đề xuất tìm ma trận Homography Trong đó, (𝑥0 , 𝑦0 ), (𝑥𝑠 , 𝑦𝑠 ) tọa độ điểm đặc trưng hình ảnh gốc hình ảnh nhỏ Hình Phát điểm đặc trưng ảnh nhỏ http://jst.tnu.edu.vn 385 Email: jst@tnu.edu.vn TNU Journal of Science and Technology 227(08): 382 - 388 Ưu điểm phương pháp không giảm thời gian phát điểm đặc trưng mà cịn nhận nhiều điểm đặc trưng hơn, từ cung cấp nhiều kết phù hợp hơn, phương pháp đề xuất hồn tồn cải thiện chất lượng khâu ảnh Bảng So sánh thời gian phát điểm đặc trưng Ảnh gốc 191,7 ms Ảnh nhỏ 25,3 ms Bảng cho thấy thời gian phát điểm đặc trưng ảnh gốc lớn Vì ta khơng thể đạt thời gian thực khâu ảnh ta sử dụng ảnh gốc để phát điểm đặc trưng Trong đó, thời gian dành cho việc phát điểm đặc trưng hình ảnh nhỏ nhỏ 30 ms, có nghĩa ta đạt trình khâu ảnh theo thời gian thực 2.3 Lọc điểm đặc trưng Mỗi ảnh có nhiều điểm đặc trưng, thực tế khâu ảnh ta cần dùng số điểm đặc trưng có chất lượng tốt (ít điểm) khâu ảnh Do đó, việc tìm điểm đặc trưng có chất lượng tốt loại bỏ điểm đặc trưng không cần thiết làm giảm đáng kể cơng đoạn tính tốn mơ tả điểm đặc trưng Nghiên cứu sử dụng thuật toán SIFT SURF để phát điểm đặc trưng, tính tốn mơ tả so khớp điểm đặc trưng Chất lượng hình ảnh “đường may” ảnh phụ thuộc vào số lượng khớp tốt, từ thực nghiệm với 3500 khung hình với chất lượng góc độ khác tơi xét thấy hầu hết khớp tốt điểm đặc trưng có đường kính nhỏ 30 Tất nhiên, với điểm đặc trưng có đường kính lớn 30 ta tìm khớp tốt, khớp tốt khơng cần thiết hầu hết điểm đặc trưng có đường kính nhỏ 30 đủ khớp tốt để khâu ảnh, ta loại bỏ điểm đặc trưng có đường kính lớn 30, điều làm tăng tốc độ đáng kể cho việc tính tốn mơ tả cho điểm đặc trưng, có nghĩa tăng tốc độ khâu ảnh mà đảm bảo chất lượng ảnh khâu 2.4 Tìm kết hợp tốt dựa thuật toán đường song song gần Phương pháp đề xuất bao gồm quy trình hai bước Bước tìm kết hợp tốt dựa Khoảng cách Euclide tối thiểu điểm đặc trưng sau xác định phương trình đường Đây gọi đường sở Bước tìm kết hợp tốt khác gần song song với đường sở cho chúng kết hợp tốt Bài báo tập trung tìm kết hợp tốt hình ảnh nội soi cách tìm điểm đặc trưng hai hình ảnh mà tương ứng với vector riêng có khoảng cách Euclide tối thiểu Nếu tỷ số khoảng cách nhỏ với khoảng cách nhỏ thứ hai nhỏ giá trị định, điểm tương ứng chúng coi điểm đặc trưng phù hợp mà vector riêng chúng có khoảng cách nhỏ Hai điểm đặc trưng tạo thành cặp điểm phù hợp Nếu không, chúng coi cặp điểm không phù hợp bị loại bỏ Tuy nhiên, hình ảnh bị mờ chụp với tiêu cự q gần, khó để tìm đủ kết phù hợp tốt để ghép hình ảnh Nếu sử dụng phương pháp có để ghép 3200 khung hình đọc từ hai camera cố định, nhận 727 ma trận Homography khác mà sử dụng 340 ma trận Homography có 340 khung sử dụng để ghép 2.5 Kết có tính ổn định khâu ảnh Để kết đầu ổn định, tác giả sử dụng ma trận Homography cho khung hình camera cố định Chất lượng kết phụ thuộc vào ma trận Homography, ta có ma trận Homography tốt khung hình ghép có kết tốt Để có ma trận Homography tốt, ta so sánh số lượng kết phù hợp tốt ma trận Homography với ma trận trước Sau đó, cập nhật ma trận Homography số lượng phù hợp tốt lớn Cùng với đó, cập nhật ma trận Homography camera di chuyển Khi camera di chuyển đến gần đối tượng, vùng chồng chéo giảm xuống http://jst.tnu.edu.vn 386 Email: jst@tnu.edu.vn TNU Journal of Science and Technology 227(08): 382 - 388 camera di chuyển xa đối tượng, vùng chồng chéo tăng lên Nhưng trình bày trên, camera cố định, vùng chồng chéo tăng giảm ngẫu nhiên, để đảm bảo camera chuyển động ta so sánh vùng chồng chéo khung hình với khung hình trước Nếu vùng chồng lấp tăng giảm N khung liên tục, ta cập nhật ma trận Homography N không lớn N lớn camera chuyển động ta bị trễ nhiều Trong báo này, N chọn 3 Kết 400 100 300 50 200 0 100 100 200 300 400 500 0 200 400 600 Number of Good Matches of existing method Number of Good Matches of proposed method Number of Feature Point of existing method Number of Feature Point of proposed method Hình So sánh số lượng điểm đặc trưng phát Hình So sánh số lượng kết hợp tốt Hình cho thấy số lượng điểm đặc trưng phát theo phương pháp đề xuất (màu cam đỏ) lớn gấp phương pháp có (màu xanh) Với số lượng điểm đặc trưng lớn hơn, dễ dàng tìm nhiều kết hợp tốt Như hình cho thấy số lượng kết hợp tốt phương pháp đề xuất (đường màu cam đỏ) lớn phương pháp có (đường màu xanh), chất lượng khâu ảnh tốt Bảng cho thấy kết 3500 khung ghép Khi áp dụng phương pháp đề xuất ma trận Homography thay đổi 56 lần Trong áp dụng với phương pháp có, thay đổi 747 lần Điều có nghĩa là, kết ổn định áp dụng phương pháp đề xuất Bảng So sánh tính ổn định kết Ma trận Homography thay đổi (lần) Phương pháp Phương pháp đề xuất 747 56 Tổng số khung 3500 Hình hiển thị kết hình ảnh ghép, Hình 5a hình ảnh bên trái (640x480), Hình 5b hình ảnh bên phải (640x480), Hình 5c hình ảnh kết (971x517) Bằng cách sử dụng hai camera, ta mở rộng chiều rộng hình ảnh thêm 51,7% chiều cao 5,8% a b c Hình Kết khâu ảnh: (a) Ảnh bên trái; (b) Ảnh bên phải; (c) Ảnh sau khâu http://jst.tnu.edu.vn 387 Email: jst@tnu.edu.vn TNU Journal of Science and Technology 227(08): 382 - 388 Kết so sánh phương pháp đề xuất với phương pháp thể bảng Rõ ràng, phương pháp đề xuất cho kết tốc độ ghép chất lượng ảnh tốt Bảng So sánh phương pháp đề xuất với phương pháp Số lượng điểm đặc trưng Số lượng phù hợp tốt Thời gian phát điểm đặc trưng Phương pháp đề xuất 337 58 25 ms Phương pháp 117 191 ms Kết luận Bài báo trình bày phương pháp cải thiện chất lượng ảnh khâu tốc độ khâu ảnh với kết khả quan Phương pháp đề xuất giải nhiều hạn chế phương pháp thời gian phát điểm đặc trưng, loại bỏ điểm đặc trưng dư thừa, phát kết hợp tốt để khâu ảnh Cách tiếp cận cải thiện chất lượng hình ảnh khâu cách giảm lỗi chỉnh “bóng mờ” so sánh với phương pháp SUFT Trong tương lai, nghiên cứu dự định phát triển modul theo dõi đối tượng dựa học sâu để hình ảnh khâu có chiều sâu, chất lượng tốt đáp ứng thời gian thực TÀI LIỆU THAM KHẢO/REFERENCES [1] J Totz, K Fujii, P Mountney, and G.-Z Yang, “Enhanced visualisation for minimally invasive surgery,” International Journal of Computer Assisted Radiology and Surgery, vol 7, no 3, pp 423432, 2012 [2] H Bay, A Ess, T Tuytelaars, and L Van Gool, “Speededup robust features (SURF),” Computer Vision and Image Understanding, vol 110, no 3, pp 346-359, 2008 [3] A H Vardhan et al., “Unsupervised approach for object matching using Speeded Up Robust Features,” in 2015 IEEE Applied Imagery Pattern Recognition Workshop (AIPR), 2015 [4] C N Senarathne et al., “A faster image registration and stitching algorithm,” in 2011 6th International Conference on Industrial and Information Systems, 2011 [5] S K Trivedi et al., Handbook of Research on Advanced Data Mining Techniques and Applications for Business Intelligence, IGI Global, 2017 [6] A A Goshtasby, Point Pattern Matching, in Image Registration: Principles, Tools and Methods, Springer London, 2012, pp 267-312 [7] C Takada, T Suzuki, A Aff, and T Nakaguchi, Hybrid tracking and matching algorithm for mosaicking multiple surgical views, Cham: Springer, 2017, pp 24-35 [8] D G Lowe, “Distinctive Image Features from Scale-Invariant Keypoints,” International Journal of Computer Vision, vol 60, no 2, pp 91-110, 2004 [9] R Srivastava, Research Developments in Computer Vision and Image Processing: Methodologies and Applications, IGI Global, 2013 [10] Z Zhang, “A fexible new technique for camera calibration,” IEEE Transactions on Pattern Analysis and Machine Intelligence, vol 22, no 11, pp 1330-1334, 2000 [11] A Kaehler and G Bradski, Learning OpenCV 3: Computer vision in C ++ with the OpenCV library, Sebastopol: O’Reilly Media Inc., 2016 http://jst.tnu.edu.vn 388 Email: jst@tnu.edu.vn ... chế góc nhìn Kỹ thuật khâu ảnh cho phép mở rộng vùng quan sát cách sử dụng từ hai camera trở lên Một số nhà nghiên cứu thực khâu ảnh tĩnh [1] cách khó thu ảnh khâu với chất lượng tốt Trong báo này,... tồn cải thiện chất lượng khâu ảnh Bảng So sánh thời gian phát điểm đặc trưng Ảnh gốc 191,7 ms Ảnh nhỏ 25,3 ms Bảng cho thấy thời gian phát điểm đặc trưng ảnh gốc lớn Vì ta đạt thời gian thực khâu. .. tốt Trong báo này, sử dụng hai camera nội soi thuật tốn khâu hình ảnh dựa việc kết nối điểm đặc trưng tốt để tạo hình ảnh động tồn cảnh Kỹ thuật khâu ảnh bao gồm: phát điểm đặc trưng, mô tả tính