Phân vùng tổn thương da từ ảnh soi da bằng mô hình SegUnet

Nghiên cứu này đề xuất một mô hình phân vùng tổn thương da từ ảnh soi da bằng mô hình học sâu-SegUnet. Mô hình đề xuất kế thừa những ưu điểm của hai mô hình UNet và SegNet, như khả năng trích chọn các thông tin thô và tinh từ ảnh đầu vào của U-Net; Tính hiệu quả trong tính toán của SegNet. Chúng tôi cũng đề xuất sử dụng phép chuẩn hóa trung bìnhphương sai để thay cho phép toán chuẩn hóa theo mẻ như trong các mô hình gốc để giảm số tham số của mô hình.

ISSN 1859-1531 - TẠP CHÍ KHOA HỌC VÀ CƠNG NGHỆ - ĐẠI HỌC ĐÀ NẴNG, VOL 19, NO 4.1, 2021 57 PHÂN VÙNG TỔN THƯƠNG DA TỪ ẢNH SOI DA BẰNG MƠ HÌNH SEGUNET SKIN LESION SEGMENTATION FROM DERMOSCOPIC IMAGES BY SEGUNET NEURAL NETWORK Phạm Văn Trường1*, Trần Thị Thảo1 Trường Đại học Bách khoa Hà Nội Tác giả liên hệ: truong.phamvan@hust.edu.vn (Nhận bài: 04/01/2021; Chấp nhận đăng: 11/4/2021) * Tóm tắt - Phân tích ảnh soi da kỹ thuật quan tâm nghiên cứu ung thư da Trong phân tích ảnh soi da, việc phân vùng xác vùng da bị tổn thương đóng vai trị quan trọng Nghiên cứu đề xuất mơ hình phân vùng tổn thương da từ ảnh soi da mơ hình học sâu-SegUnet Mơ hình đề xuất kế thừa ưu điểm hai mô hình UNet SegNet, khả trích chọn thông tin thô tinh từ ảnh đầu vào U-Net; Tính hiệu tính tốn SegNet Chúng tơi đề xuất sử dụng phép chuẩn hóa trung bìnhphương sai để thay cho phép tốn chuẩn hóa theo mẻ mơ hình gốc để giảm số tham số mơ hình Mơ hình áp dụng liệu ISIC 2017 gồm 2000 ảnh huấn luyện đánh giá liệu thử nghiệm gồm 600 ảnh Kết cho thấy, mô hình SegUNet cho độ xác cao 93,1%, hệ số Dice 0,851, chứng minh tính hiệu phương pháp đề xuất Abstract - Skin cancer is one of the most widespread cancer types all over the world, but it can be treated if early detected Nowadays, analyzing the dermoscopic images is a crucial approach in skin cancer study In particular, accurate segmentation of skin lesion from dermoscopic images play an important role in skin cancer analysis In this paper, we present an approach for skin lesion segmentation by a deep neural network model namely SegUNet The proposed model takes the advantages of both SegNet and UNet models, i.e., the ability of capturing fine image information of UNet, and computational efficiency of SegNet In particular, instead of using batch normalization as in the original model, we propose using meanvariance normalization operation in order to reduce parameters of the network The model is applied on the ISIC 2017 dataset including 2000 training images and validated on 600 test images Experimental results show that the proposed model can reach 93.1% of accuracy and obtained the Dice coefficient of 0.851, which demonstrate the effective performances of the proposed approach Từ khóa - Mạng nơ-ron SegNet; Mạng nơ-ron UNet; Phân vùng tổn thương da; Phân vùng ảnh; Mạng Nơ-ron Key words - SegNet; UNet; Skin lesion segmentation; Image segmentation; Deep neural networks Đặt vấn đề Ung thư da vấn đề sức khỏe cộng đồng lớn Tại Hoa Kỳ, tính riêng năm 2020, có 108 420 ca chẩn đoán 11 480 ca tử vong [1] Trong đó, nguy hiểm bậc phải kể đến ung thư hắc tố da, tên tiếng Anh Melanoma [1] Ung thư hắc tố da xuất khối u ác tính tế bào hắc tố, tế bào tìm thấy lớp biểu bì da với nhiệm vụ sản xuất melanin-sắc tố giúp mang lại màu sắc cho da mắt Ung thư hắc tố da chiếm tỷ lệ chủ yếu ca tử vong ung thư da gây Mặc dù, tỷ lệ tử vong cao, phát sớm, tỷ lệ sống người mắc ung thư hắc tố da lên đến 92% [2] Khi tổn thương sắc tố xảy bề mặt da, khối u ác tính phát sớm cách kiểm tra trực quan chuyên gia, phát phương pháp phân tích hình ảnh Hiện nay, kỹ thuật quan tâm phân tích ảnh soi da Kỹ thuật sử dụng phổ biến bệnh viện trung tâm chẩn đoán lâm sàng [3] Trong phân tích ảnh soi da việc phát hay phân vùng xác vùng bị tổn thương da từ ảnh soi da đóng vai trị quan trọng, tiền đề cho bước [4] Mặt khác, năm gần đây, trí tuệ nhân tạo đặc biệt mạng nơron tích chập (CNN) ứng dụng phân tích phân vùng hình ảnh y tế Ví dụ như: Glavan Holbal [5] sử dụng mạng nơron tích chập để lấy vùng phân vùng sườn từ ảnh chụp X-ray ngực Melinscak cộng [6] dùng mạng nơ-ron để phân vùng mạch máu Tiếp đến kể đến phương pháp dựa tảng mạng CNN để phát triển mơ hình phù hợp tốn phân vùng ảnh Ví dụ, Long cộng [7] đề xuất phương pháp tích chập hồn toàn Fully Convolutional Network (FCN), cách thay lớp kết nối đầy đủ toán phân loại ảnh lớp tích chập Với đời FCN, phương pháp dùng kỹ thuật học sâu cho toán phân vùng ảnh thu nhiều thành tự bật [8] Đã có nhiều mơ hình phát triển từ mơ hình FCN này, mơ hình FCN [9] cho phân vùng ảnh tim Phi-Vu Tran, mơ hình DeconvNet [10], đặc biệt U-Net [11] SegNet [12] Trong lĩnh vực phân vùng ảnh vùng tổn thương da, có nhiều nghiên cứu đề xuất [13, 14] Ví dụ, Yu cộng [13], Bi cộng [3] Gần Yuan cộng [14] đề xuất sử dụng mô hình FCN với hàm tối ưu Jaccard Trong nghiên cứu Ibtehaz cộng [15], Tang cộng [16], tác giả đề xuất mơ hình phân vùng tổn thương da sử dụng mơ hình Unet với số cải tiến mơ hình kết hợp thêm số bước xử lý nhằm tăng độ xác cho mơ hình Tuy có nhiều nghiên cứu hướng sử dụng học sâu, kết cho thấy, chưa cải tiến nhiều thách thức đặc thù Hanoi University of Science and Technology (Van-Truong Pham, Tran Thi Thao) 58 toán Vì tốn phân vùng ảnh tổn thương da toán mở, quan tâm nghiên cứu Trong phạm vi báo này, tác giả đề xuất mơ hình phân vùng tổn thương da từ ảnh soi da mơ hình học sâu-mạng SegUNet Mơ hình đề xuất kế thừa ưu điểm hai mơ hình UNet SegNet khả trích chọn thơng tin thơ tinh từ ảnh đầu vào U-Net, tính hiệu tính tốn SegNet Mơ hình huấn luyện thơng qua liệu ISIC 2017 bao gồm 2000 ảnh soi da bảy chủng bệnh da liễu khác Các tham số hiệu đánh giá dựa liệu thử nghiệm bao gồm 600 hình ảnh Kết thu cho thấy, mơ hình SegUNet cho độ xác cao 93,1%, hệ số Dice 0,851, chứng minh tính hiệu phương pháp đề xuất Phân vùng ảnh sử dụng kỹ thuật học sâu Trong năm gần đây, mạng nơ ron, mạng nơ ron tích chập, sử dụng rộng rãi ứng dụng liên quan tới phân vùng ảnh Trong mạng nơ ron tích chập, lớp tích chập (convolutional layer) kết hợp với lớp giảm chiều (pooling) có xu hướng làm cho kích thước liệu đầu vào bị thu nhỏ lại Trong toán phân vùng ảnh, đầu mơ hình ảnh khác, hay gọi mặt nạ (mask) – phân chia xác vùng riêng biệt, tương ứng với vật thể ảnh, có chiều dài rộng với ảnh đầu vào Và để làm điều này, cách người ta xóa bỏ từ lớp mạng liên kết đầy đủ trở sau, giữ lại phần tích chập giảm chiều, đồng thời thêm vào cuối lớp tích chập khác, lớp mở rộng, hay gọi upsampling Cụ thể, từ lớp tích chập giảm chiều đầu vào, ta thu loạt biểu đồ đặc tính (feature map) từ biểu đồ đặc tính ấy, thơng qua việc mở rộng, tính tốn với lớp tích chập khác, ta có đầu mặt nạ tương ứng Như vậy, mơ hình tóm gọn lại với hai phần chính, phần mã hóa (encoder), với đầu biểu đồ đặc tính, phần giải mã (decoder) phần mở rộng để thu mặt nạ phân vùng Các mơ dễ dàng cải tiến từ mơ hình mạng CNN vốn hiệu VGG [17], ResNet [18], DenseNet [19], GoogLeNet [20]… 2.1 Mơ hình mạng UNet Mơ hình mạng UNet [11] giới thiệu Ronnenberger cộng dành cho phân vùng ảnh y sinh Unet cải tiến phát triển dựa mơ hình mạng nơ ron tích chập tồn phần Mơ hình có tên UNet cấu trúc đối xứng tạo thành hình chữ U, mơ tả Hình Cấu trúc mạng UNet phần mã hóa encoder tương tự mạng nơ ron tích chập truyền thống, gồm lớp tích chập lớp giảm chiều nhằm thu đặc trưng ảnh Trong Hình thấy, các lớp tích chập sử dụng cửa sổ trượt có kích thước 3x3, lớp giảm chiều với cửa sổ trượt 2x2, giảm kích thước đầu vào lần chiều dài rộng Qua lần tích chập, giảm chiều, kích thước dài rộng ảnh giảm dần, cần phải tăng lên chiều sâu, số lượng kênh (chanel) thông qua việc tăng lên số cửa sổ trượt lớp tích chập cuối phần mã hóa Việc giúp tăng thêm hiệu học, lượng thông tin, đặc tính trích xuất Điều bật mạng Unet lớp giải mã decoder Trong kiến Phạm Văn Trường, Trần Thị Thảo trúc mạng Unet, phần decoder gần đối xứng với encoder Trong phần decoder, số lần mở rộng chiều tương ứng với số lần giảm chiều lớp trước Sau lần mở rộng chiều, ta kết hợp đầu với đầu lớp tích chập trước lớp giảm chiều tương ứng, tính tốn qua số lớp tích chập khác trước đến bước mở rộng Trong phần decoder việc mở rộng ta thực kết nối đối xứng với layer phần encoder tận layer cuối Việc kết nối đối xứng với phần encoder giúp ta phục hồi lại thông tin lớp giảm chiều pooling So với mơ hình FCN, mơ hình UNet cho kết phân vùng ảnh tốt Tại thời điểm cơng bố, năm 2015, mơ hình đạt độ xác đứng đầu bảng thử thách phân vùng ảnh chụp từ kính hiển vi điện tử, phân vùng tế bào ảnh tổ chức Hội nghị quốc tế hình ảnh y sinh năm 2012 Hình Mơ hình mạng UNet 2.2 Mơ hình mạng SegNet Mơ hình mạng SegNet, nghiên cứu phát triển nhóm nghiên cứu robot thị giác máy tính đại học Cambrigde cơng bố lần đầu năm 2016 [12] dành cho toán phân vùng ảnh đa lớp Mơ hình SegNet tương tự mơ hình UNet, có phần mã hóa xây dựng mạng nơ ron tích chập thơng thường, với lớp tích chập, giảm chiều, xây dựng dựa mơ hình mạng tiếng hiệu VGG16, VGG19, ResNet… với phần cuối lớp mạng liên kết đầy đủ loại bỏ Như minh họa Hình người ta sử dụng phần mã hóa mạng VGG16, với 13 lớp tích chập lớp giảm chiều Và phần giải mã SegNet gồm có lớp mở rộng lớp tích chập, điểm đặc biệt làm nên hiệu mạng lớp mở rộng, đầu mở rộng dựa vào vị trí ban đầu pixel tương ứng lớp giảm chiều trước Để thực điều này, phần mã hóa, lớp giảm chiều, vị trí điểm ảnh, pixel lớn đầu vào lưu giữ lại Những pixel đầu lớp giảm chiều, qua q trình tính tốn, qua lớp tích chập, đến lớp mở rộng đưa vị trí chưa thực giảm chiều Khi so sánh với UNet, khơng có kết nối với biểu đồ đặc trưng lớp trước, nhằm đưa thông tin quan trọng tới lớp sau, mơ hình SegNet có thông tin lưu trữ chuyển tới lớp sau vị trí pixel Điều thể ưu điểm bật SegNet, ứng dụng, thiết bị ISSN 1859-1531 - TẠP CHÍ KHOA HỌC VÀ CƠNG NGHỆ - ĐẠI HỌC ĐÀ NẴNG, VOL 19, NO 4.1, 2021 nhúng, tốn nhớ để lưu trữ Nhờ có lớp giải mã lớn, phức tạp với nhiều tầng tích chập, mơ hình mạng SegNet nhiều thử nghiệm thực tế cho kết khả quan, tốn phân vùng tổn thương da Hình Mơ hình mạng SegNet Mơ hình đề xuất phương pháp đánh giá 3.1 Mơ hình SegUNet Trong nghiên cứu này, ta tích hợp mơ hình SegNet vào mơ hình UNet để có mơ hình SegUNet dùng cho tốn phân vùng da tổn thương Do đó, kiến trúc mơ hình SegUNet kết hợp giữ hai kiến trúc mạng SegNet UNet thể Hình Conv + MVN +ReLU Upsampling with indices Pooling Conv + MVN +Sigmoid Hình Mơ hình SegUNet đề xuất Mơ hình SegUNet cấu tạo 38 lớp, chia làm hai phần phần mã hóa (Encoder) phần giải mã (Decoder) Giống với mơ hình SegNet trình bày phần trước, phần mã hóa thừa kế từ mơ hình VGG16 với 13 lớp tích chập lớp giảm chiều Các lớp tích chập sử dụng tốn tích chập 2D Các lớp tích chập sử dụng cửa sổ trượt có chiều dài rộng 3x3, bước trượt thêm lề lớp cho kích thước sau lần tính tích chập khơng đổi Đầu lớp tích chập biểu đồ đặc tính, có chiều sâu số lượng cửa sổ trượt lớp tích chập sử dụng, với nguyên tắc, chiều dài rộng giảm Theo sau lớp tích chập lớp Batch Normalization, nhằm chuẩn hoá phân phối giá trị đầu lớp tích chập, chuyển dạng liệu phân phối chuẩn quanh điểm lớp lớp hàm kích hoạt Ở hàm kích hoạt sử dụng ReLU, biến giá trị nhỏ Bên cạnh lớp tích chập, phần mã hóa mơ hình bao gồm lớp giảm chiều Các lớp giảm chiều sử dụng cửa sổ trượt có kích thước 2x2, bước trượt sử dụng phương thức giảm chiều theo giá trị cực đại Đầu lớp giảm chiều bị giảm nửa chiều dài chiều rộng so với đầu vào Và đặc trưng mơ hình SegNet thể việc vị trí pixel có giá trị lớn lưu lại Phần giải mã bao gồm lớp mở rộng, tương ứng với lớp giảm chiều gồm 13 lớp tích chập, 12 lớp đầu sử dụng cửa sổ trượt 3x3, bước trượt thêm lề giá trị để kích thước dài rộng không đổi Đi liền với 59 lớp tích chập lớp Batch normalization với lớp hàm kích hoạt Và lớp mở rộng, đầu vào mở rộng gấp lần kích thước dài rộng với vị trí pixel max trích xuất từ lớp giảm chiều tương ứng Điểm đặc biệt so với SegNet thông thường đặc trưng mơ hình UNet đầu lớp mở rộng kết hợp với đầu lớp tích chập đằng trước lớp giảm chiều tương ứng sau đưa vào lớp tích chập để tính tốn Trong lớp tích chập trước, hàm kích hoạt ReLU lớp tích chập này, hàm kích hoạt sử dụng hàm Sigmoid, thực nhiệm vụ dự đốn nhãn cho pixel đầu lớp tích chập Đây toán phân vùng đầu hai nhãn, biểu diễn đầu kênh Còn toán mà đầu phân vùng từ ba nhãn trở nên, số lượng cửa sổ trượt lớp cuối phải tương ứng với số nhãn đầu ra, hàm kích hoạt sử dụng hàm Softmax 3.2 Đánh giá kết huấn luyện mạng Để phân loại cho ảnh hay pixel với nhãn tương ứng, người ta sử dụng bốn khái niệm đánh giá phân loại hay sai mẫu, ảnh Đó dương tính thật (True Positive - TP), dương tính giả (False Positive - FP), âm tính thật (True Negative – TN), âm tính giả (False Negative – FN) - Dương tính thật: Chỉ ảnh, mẫu vật thể cần dự đoán mơ hình dự đốn - Dương tính giả: Chỉ mẫu vật thể cần dự đốn mơ hình dự đốn, phân loại - Âm tính thật: Chỉ mẫu khơng phải vật thể cần dự đốn mơ hình dự đốn khơng phải - Âm tính giả: Chỉ mẫu vật thể cần dự đoán bị mơ hình phân loại khơng phải Trong toán phân vùng ảnh, xét tới phân vùng nhãn, phần vật thể mà mơ hình bao dương tính thật, phần mơ hình khoanh thừa, khơng phải vật dương tính giả, phần mà mơ hình khơng khoanh âm tính thật, phần vật thể mà mơ hình khơng khoanh âm tính giả Như vậy, để đánh giá mơ hình phân loại có xác hay khơng, ta đến với tiêu chí đánh giá đầu tiên, phổ biến huấn luyện mạng nơ ron, độ xác (Accuracy) Độ xác tính tỉ số số mẫu phân loại tổng tất số mẫu đưa vào phân loại, có nghĩa tổng số mẫu âm tính thật dương tính thật chia cho tổng âm tính thật, dương tính thật, âm tính giả dương tính giả Accuracy = TP + TN TP + TN + FP + FN (1) Trong phân vùng ảnh, liệu dự đoán pixel ảnh đầu Như vậy, độ xác tỉ số số lượng pixel mà mô hình phân loại tổng pixel ảnh Bên cạnh đó, để đánh giá mơ hình phân vùng ảnh, hai tiêu chí khác hay sử dụng, hệ số Dice (Dice Coefficient) số Jaccard (Jaccard Index) Dice Coefficient số đánh giá độ tương tự hai đối tượng Trong tốn phân vùng ảnh, độ tương tự vùng vật thể xác định mơ hình vùng thực tế Chỉ số trở thành tiêu chuẩn phổ biến việc Phạm Văn Trường, Trần Thị Thảo 60 đánh giá mơ hình học sâu nhiệm vụ phân vùng hình ảnh Trong lý thuyết tập hợp, Dice Coefficient xác định tỉ số hai lần phần trùng hai tập hợp so với tổng hai tập, ý nói số lượng phần tử Biểu diễn cơng thức, ta có: Dice Coefficient = 2* X  Y X +Y (2) Trong đó, |X| |Y| biểu thị số lượng phần tử tập X Y Từ suy với ví dụ phân vùng ảnh, ta có Dice Coeffiecient xác định bởi: Dice Coefficient = 2* TP 2* TP + FP + FN (3) Jaccard Index, số để đánh giá độ tương tự đối tượng, xác định sau: Jaccard Index = TP TP + FP + FN (4) Ta nhận thấy, khơng có q nhiều khác biệt Jaccard Index Dice Coefficient, đánh giá mức độ tương tự, hay phần trùng phần bao vật thể dự đoán thực tế Nhưng Dice coefficient tập trung nhiều vào độ tương tự hai mẫu, Jaccard Index lại cho nhìn rõ ràng sai khác phần bao mô hình so với thực tế Cùng với Accuracy, tiêu chí sử dụng để đánh giá mơ hình triển khai báo Trong nghiên cứu này, mơ hình thực thi ngơn ngữ Python gói Keras với Tensorflow Máy tính sử dụng vi xử lý E5−1620 Intel ® Xeon ®, 3.5 GHZ, 64GB RAM Card đồ họa sử dụng loại Geforce RTX 2080 với GB RAM Để huấn luyện mạng, thuật tốn ta sử dụng Gradient giảm dần với với hệ số học chọn 0.01, theo khuyến nghị nghiên cứu lĩnh vực phân vùng ảnh Số lượng Epoch sử dụng 100 batch size để đảm bảo việc hội tụ thuật tốn hiệu tính tốn Sau epoch ta thực lưu weights để chắn tìm tham số tốt mơ hình Hàm mát sử dụng với mơ hình hàm Dice loss định nghĩa sau: Dice loss = − Dice Coefficient (5) 2* TP = 1− 2* TP + FP + FN Kết thí nghiệm 4.1 Cơ sở liệu phân vùng ảnh tổn thương da ISIC2017 Trong nghiên cứu này, để phân vùng ảnh ung thư da, liệu sử dụng lấy từ thi ISIC 2017, thử thách Dữ liệu gồm ảnh vùng da bị tổn thương mặt nạ phân vùng da tổn thương khoanh bác sỹ Các ảnh thu thập từ nhiều nguồn với kích thước khác nhau, từ 540x722 tới 4499x6748 pixels Bộ liệu chia thành ba tập tương ứng với tập huấn luyện (Training set), tập đánh giá (Validation set) tập kiểm tra (Test set) Tập huấn luyện bao gồm 2000 ảnh kèm theo mặt nạ phân vùng, tập đánh giá 150 ảnh tập kiểm tra 600 ảnh Ảnh đầu vào mặt nạ trước đưa vào mơ hình để phân vùng chuẩn hóa kích cỡ 256x256 Phần gia tăng liệu đươc thực với tập huấn luyện số phép đơn giản xoay, lật, dịch Cụ thể là, nghiên cứu nhóm tác giả sử dụng phép gia tăng liệu online với phép xoay ảnh 180 độ, phép lật theo phương thẳng đứng; phép thay đổi kích thước (tăng thêm 10% so với ảnh gốc) theo phương ngang Cịn tập đánh giá kiểm tra liệu giữ nguyên nhằm tạo hiệu tốt cho việc kiểm định mơ hình 4.2 Kết phân vùng ảnh tổn thương da 4.2.1 Kết mơ hình SegUNet Để minh họa hiệu mơ hình SegUNet cho phân vùng tổn thương da, ta quan sát đường cong học (Learning Curve) Hình Trên hình biểu diễn kết huấn luyện tập Training set gồm 2000 ảnh thử nghiệm 600 ảnh tập ISIC 2017 Hình Learning curve mơ hình UNet (hàng 1), SegNet (hàng 2), SegUNet (hàng 3) tập ISIC 2017 Cột 1: Hàm mát; Cột 2: hệ số Dice; Cột 3: Giá trị accuracy ISSN 1859-1531 - TẠP CHÍ KHOA HỌC VÀ CƠNG NGHỆ - ĐẠI HỌC ĐÀ NẴNG, VOL 19, NO 4.1, 2021 Sau trình huấn luyện, ta thấy biến đổi hàm mát, hàm Loss giảm dần Độ xác mơ hình Accuracy, với Dice Coefficient Jaccrad Index tăng lên qua epoch hai tập huấn luyện đánh giá Điều thể hiện, mơ hình học học có hiệu Cụ thể, đường cong học thấy mơ hình cho kết hội tụ sau khoảng 70 vòng lặp Các kết tập thử nghiệm cho thấy, độ xác Accuracy hệ số Dice cao ổn định sau 30 vịng lặp Cũng cần nói thêm đường cong học, nhóm tác giả khơng đưa số Jaccard thay đổi số theo vòng lặp tương đồng với số Dice Hình Như đồ thị Hình thấy, biến đổi Loss, Accuracy, Dice Coefficient tập đánh giá trơn, khơng có nhiều nhấp nhơ, mơ hình đạt đến hội tụ sớm, biến đổi thành phần hai tập tương tự nhau, cho thấy mô hình học hiệu quả, nhấp nhơ mơ hình đạt hội tụ Thơng qua kết trọng số sau epoch, ta lựa chọn trọng số có kết cao để đánh giá Ảnh đầu vào UNet 61 với tập kiểm tra Đối với mơ hình SegUNet, kết tập kiểm tra là: Loss – 0,1491, Accuracy – 0,9305, Dice Coefficient – 0,8508, Jaccard Index – 0,7649 4.2.2 So sánh với SegNet UNet Mơ hình SegUNet kết hợp SegNet UNet, nhằm tận dụng lợi hai mơ hình, tạo nên mơ hình tốt Và thực tế huấn luyện mơ hình UNet SegNet, với kích thước ảnh vào, gia tăng liệu giống thuật toán học học nhau, ta thu kết tốt SegNet UNet Để minh họa kết phân vùng, nhóm tác giả đưa số kết phân vùng đại diện Hình Trên hình 5, ảnh đầu vào đặt cột đầu tiên, kết dự đốn mơ hình: UNet, SegNet, SegUNet Cột cuối kết phân vùng chuản thực bác sỹ chuyên gia (thường gọi ground truth) cung cấp với tập liệu ISIC 2017 Từ kết Hình ta thấy, kết dự đốn, kết mơ hình SegUNet thu đươc gần với ground truth SegNet SegUNet Ground truth Hình Một số hình ảnh phân vùng ảnh UNet, SegNet, SegUNet, so với phân vùng chuẩn (ground truth) Để so sánh cách định lượng hiệu mơ hình cho tập liệu thử nghiệm tập ISIC 2017, cung cấp số kết trung bình Bảng Trong có thơng tin kết gồm Accuracy, Dice hệ số Dice, số Jaccard Từ bảng ta thấy mơ hình SegUNet cho kết cao so với UNet SegNet Về mặt thời gian huấn luyện, với ảnh kích thước 256x256, UNet 172,3 phút, mơ hình SegNet SegUNet huấn luyện thời gian lâu hơn, tương ứng với 210,3 216,4 phút, Bảng Bảng Kết mơ hình UNet, SegNet SegUnet tập kiểm tra ISIC 2017 Phương pháp Time (minutes) UNet 172,3 0,812 0,716 0,917 SegNet 210,3 0,837 0,748 0,927 SegUNet (proposed) 216,4 0,851 0,765 0,931 Dice Jaccard Accuracy Coefficient Coefficient Phạm Văn Trường, Trần Thị Thảo 62 4.2.3 So sánh với số nghiên cứu trước Để biểu thị hiệu phương pháp đề xuất, phần nhóm tác giả đưa bảng so sánh với kết số phương pháp trước Các nghiên cứu huấn luyện tập Training thử nghiệm tập test tập sở liệu ISIC 2017 Các kết nghiên cứu đưa bao gồm hệ số Dice số Jaccard Các phương pháp so sánh bên cạnh UNet SegNet bao gồm nghiên cứu Bi cộng [4], Xue cộng [21], Yuan cộng [22] Thêm vào đó, mơ hình đề xuất so sánh với mơ hình Unet+ [23], Unet++ [24], U-SegNet [25], Res-SegNet [25] Kết so sánh biểu diễn Bảng Từ Bảng ta thấy, mơ hình đề xuất SegUNet cho kết phân vùng tốt so với số nghiên cứu trước Bảng Kết so sánh với số nghiên cứu tập kiểm tra ISIC 2017 Phương pháp Dice Coefficient Jaccard Coefficient Bi cộng 0,834 0,731 Xue cộng 0,839 0,749 Yuan cộng 0,849 0,765 UNet 0,812 0,716 SegNet 0,837 0,748 UNet+ 0,833 0,743 UNet++ 0,829 0,738 U-SegNet 0,844 0,759 Res-SegNet 0.841 0,755 SegUNet (proposed) 0,851 0,765 Kết luận Nghiên cứu đề xuất phương án phân vùng ảnh vùng tổn thương da sử dụng kỹ thuật học sâu Dựa nghiên cứu kiểm chứng phương pháp khác nhau, báo đề xuất mơ hình SegUNet kết hợp hai mơ hình UNet SegNet kết tốt hơn, đồng thời đề xuất thay phép tốn chuẩn hóa trung bình - phương sai thay cho chuẩn hóa theo mẻ để giảm số tham số mơ hình Trên sở đó, nghiên cứu xây dựng mơ hình mạng học sâu cho tốn phân vùng tổn thương da Mơ hình thử nghiệm tập sở liệu ISIC 2017 đạt độ xác cao so với số mơ hình trước Mơ hình đề xuất ứng dụng ứng dụng phân vùng ảnh khác, ý tưởng trích xuất, phát vị trí, hình dạng vật thể [5] [6] [7] [8] [9] [10] [11] [12] [13] [14] [15] [16] [17] [18] [19] [20] [21] [22] [23] TÀI LIỆU THAM KHẢO [1] R L Siegel, K D Miller, and A Jemal, "Cancer Statistics, 2020”, CA CANCER J CLIN vol 70, pp 7–30, 2020 [2] R Siegel, K Miller, and A Jemal, "Cancer statistics, 2018”, CA Cancer J Clin., vol 68, pp 7–30, 2018 [3] L Bi, J Kim, E Ahn, A Kumar, M Fulham, and D Feng, "Dermoscopic image segmentation via multi-stage fully convolutional networks”, IEEE Trans Biomed Eng., vol 64, pp 2065-2074, 2017 [4] L Bi, J Kim, E Ahn, and D Feng, "Automatic skin lesion analysis [24] [25] using large-scale dermoscopy images and deep residual networks”, in arXiv:1703.04197, Available: https://arxiv.org/abs/1703.04197, 2017 C Cernazanu-Glavan and S Holban, "Segmentation of bone structure in X-ray images using convolutional neural network”, Adv Electr Comput Eng., vol 13, pp 87-94, 2013 M Melinšˇcak, O Prentaši´c, and S Lonˇ cari´c, "Retinal vessel segmentation using deep neural networks”, in Proc 10th International Conference on Computer Vision Theory and Applications, 2015, pp 577–582 J Long, E Shelhamer, and T Darrell, "Fully convolutional networks for semantic segmentation”, Proc of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp 3431–3440, 2015 A Garcia-Garcia, S Orts-Escolano, S Oprea, V Villena-Martinez, and J Garcia-Rodriguez, "A review on deep learning techniques applied to semantic segmentation”, arXiv: 1704.06857, 2017 P V Tran, "A fully convolutional neural network for cardiac segmentation in short-axis MRI”, Available: https://arxiv.org/abs/1604.00494, 2016 H Noh, S Hong, and B Han, "Learning deconvolution network for semantic segmentation”, in Proc of the IEEE International Conference on Computer Vision, 2015, pp 1520-1528 O Ronneberger, P Fischer, and T Brox, "U-net: Convolutional networks for biomedical image segmentation”, in Proc Int Conf Med Image Comput Comput.-Assist Intervent., 2015, pp 234-241 V Badrinarayanan, A Kendall, and R Cipolla, "E: A deep convolutional encoder-decoder architecture for image segmentation”, IEEE Trans Pattern Anal Mach Intell., vol 39, pp 2481–2495, 2017 L Yu, H Chen, Q Dou, J Qin, and P A Heng, "Automated melanoma recognition in dermoscopy images via very deep residual networks”, IEEE Trans Med Imaging, vol 36, pp 994-1004, 2017 Y Yuan, M Chao, and Lo, Y C., "Automatic skin lesion segmentation using deep fully convolutional networks with Jaccard distance”, IEEE Trans Med Imaging vol 36, pp 1876-1886, 2017 N Ibtehaz and M S Rahman, "Multiresunet: Rethinking the U-Net architecture for multimodalbiomedical image segmentation”, Available: https://arxiv.org/abs/1902.04049, 2019 Y Tang, F Yang, S Yuan, and C A Zhan, "A multi-stage framework with context information fusion structure for skin lesion segmentation”, in Proc IEEE 16th International Symposium on Biomedical Imaging (ISBI 2019), 2019, pp 1407–1410 K Simonyan and A Zisserman, "Very deep convolutional networks for large-scale image recognition”, pp arXiv preprint arXiv:1409.1556, 2014 K He, X Zhang, S Ren, and S Sun, "Deep residual learning for image recognition”, [Online] Available: https://arXiv:1512.03385, 2015 G Huang, Z Liu, and K Q Weinberger, "Densely connected convolutional networks”, arXiv:1608.06993, 2016 C Szegedy, W Liu, Y Jia, P Sermanet, S Reed, D Anguelov, et al., "Going deeper with convolutions”, in Proc IEEE Conf Comput Vis Pattern Recognition, 2015, pp 1-9 Y Xue, T Xu, H Zhang, L R Long, and X Huang, "SegAN: Adversarial network with multi-scale L loss for medical image segmentation”, Neuroinformatic, vol 16, pp 383-392, 2018 Y Yuan and Y.-C Lo, "Improving dermoscopic image segmentation with enhanced convolutional-deconvolutional networks”, IEEE J Biomed Health Inform., vol 23, pp 519-526, 2019 S M K Hasan and C A Linte, "U-NetPlus: A modified encoderdecoder U-Net architecture for semantic and instance segmentation of surgical instruments from laparoscopic images”, Proc 41st Annu Int Conf IEEE Eng Med Biol Soc (EMBC), pp 7205-7211, Jul 2019 Z Zhou, M M R Siddiquee, N Tajbakhsh and J Liang, “UNet++: Redesigning skip connections to exploit multiscale features in image segmentation”, IEEE Trans Med Imag., vol 39, no 6, pp 18561867, Jun 2020 D Daimary, M.B Bora, K Amitab, D Kandar, “Brain tumor segmentation from MRI images using hybrid convolutional neural networks”, Procedia Comput Sci., vol 167, pp 2419-2428, 2020  ... tốn Vì tốn phân vùng ảnh tổn thương da toán mở, quan tâm nghiên cứu Trong phạm vi báo này, tác giả đề xuất mô hình phân vùng tổn thương da từ ảnh soi da mơ hình học sâu-mạng SegUNet Mơ hình đề xuất... liệu phân vùng ảnh tổn thương da ISIC2017 Trong nghiên cứu này, để phân vùng ảnh ung thư da, liệu sử dụng lấy từ thi ISIC 2017, thử thách Dữ liệu gồm ảnh vùng da bị tổn thương mặt nạ phân vùng da. .. định mô hình 4.2 Kết phân vùng ảnh tổn thương da 4.2.1 Kết mơ hình SegUNet Để minh họa hiệu mơ hình SegUNet cho phân vùng tổn thương da, ta quan sát đường cong học (Learning Curve) Hình Trên hình