Kỷ yếu Hội nghị KHCN Quốc gia lần thứ XIII Nghiên cứu ứng dụng Công nghệ thông tin (FAIR), Nha Trang, ngày 8-9/10/2020 DOI: 10.15625/vap.2020.00238 XỬ LÝ MẤT CÂN BẰNG DỮ LIỆU TRONG PHÂN LOẠI TỔN THƯƠNG DA TRÊN ẢNH SOI DA Võ Minh Thiện1, Lê Minh Hưng1, Trần Kim Tâm2, Trần Văn Lăng3 Trƣờng ĐH Công nghệ Thông tin - ĐHQG TP HCM Trƣờng Đại học Giao thông Vận tải TP HCM Viện Hàn lâm Khoa học Công nghệ Việt Nam 16521170@gm.uit.edu.vn, hunglm@uit.edu.vn, kimtam.tran@ut.edu.vn, langtv@vast.vn TÓM TẮT: Ung thư hắc tố bệnh lý ác tính da, có khả di đến quan khác tiên lượng nặng chẩn đoán muộn Ở giai đoạn sớm, tổn thương ác tính dễ nhầm lẫn với nốt ruồi lành tính thăm khám mắt thường Để khắc phục thực trạng này, máy soi da - thiết bị quang học sử dụng bệnh viện da liễu để hỗ trợ bác sĩ thăm khám lớp nông da với độ phóng đại lớn, đồng thời kết hợp với hệ thống chụp lưu trữ hình ảnh Cuộc thi International Skin Image Collaboration 2018 (ISIC2018) tổ chức với nhiệm vụ phân loại ảnh tổn thương da để phát sớm bệnh lý, ung thư ác tính Dữ liệu bao gồm 10,015 ảnh soi da loại bệnh tổn thương Vấn đề đặt tốn việc cân liệu nghiêm trọng chênh lệch lớp nhiều lớp lên đến 60 lần Để giải toán đặt ra, nghiên cứu tiến hành thực tinh chỉnh thơng số có sẵn mạng nơron tích chập sâu (Deep Convolutional Neural Network - DCNN) đại, kể đến Inception, DenseNet Với vấn đề cân liệu, nghiên cứu thực nghiệm so sánh phương pháp phổ biến cân batch, gán trọng số lớp Bên cạnh đó, nghiên cứu áp dụng hàm mát mang lại kết cải tiến đáng kể toán phân loại ảnh Large Margin Cosine Loss (CosFace) để phân loại đặc trưng lớp tốt Đặc biệt, nghiên cứu đề xuất phương pháp phương pháp gán trọng số động (Dynamic Classweight) nhằm mong muốn tạo nên mô hình có khả thích nghi khơng phụ thuộc vào tỷ lệ lớp, cân liệu Kết phương pháp đề xuất cho thấy cải thiện tốt rõ rệt với độ xác đạt 82,9 % so với khơng can thiệp vào hàm mát 70,7 % hệ thống kiểm thử thi ISIC2018 Từ khóa: Ung thư da, ISIC2018, CosFace, Dynamic Classweight I GIỚI THIỆU Ung thƣ da ung thƣ phổ biến Mỹ, với triệu trƣờng hợp mắc phải đƣợc chẩn đoán năm Ung thƣ hắc tố giai đoạn nguy hiểm ung thƣ da, với xấp xỉ 91.000 ca bệnh mắc năm Mỹ 9.000 ngƣời chết Điều trị ung thƣ hắc tố da tiêu tốn triệu đô la Mỹ năm tính riêng Mỹ Ung thƣ da đặt vấn đề nhƣ mối đe dọa lớn đến với sức khỏe cộng đồng Ở Úc, 14.000 ca mắc bệnh ung thƣ hắc tố đƣợc báo cáo năm, gây 2.000 chết Ở châu Âu, 100.000 ca mắc ung thƣ hắc tố 22.000 chết liên quan đến ung thƣ hắc tố đƣợc báo cáo định kỳ năm Một điều đáng báo động không giống nhiều loại ung thƣ khác, tỷ lệ mắc bệnh ung thƣ hắc tố tăng cách đặn qua thập kỷ gần trở lại đây, từ năm 1990 đến năm 2018, ghi nhận tăng lên đến 225 % Mỹ [1] Trong khứ, phƣơng thức chẩn đốn ung thƣ hắc tố thăm khám lâm sàng khơng có hỗ trợ, điều làm cho độ xác bị giới hạn biến động, dẫn đến thách thức quan trọng phát sớm bệnh lẫn hạn chế việc sinh thiết không cần thiết Trong năm gần đây, kỹ thuật soi da đƣợc đời, kỹ thuật hình ảnh có độ phân giải cao da cho phép hiển thị cấu trúc da sâu cách giảm phản xạ bề mặt, với độ phóng đại từ 10 đến 100 lần, điều góp phần cải tiến khả chẩn đoán chuyên gia Đây tiến chẩn đoán lâm sàng thƣơng tổn có sắc tố, cho phép gia tăng hiệu chẩn đoán so với quan sát thăm khám đơn mắt thƣờng [2], hạn chế bỏ sót tổn thƣơng ung thƣ hắc tố giai đoạn sớm Hình Hình ảnh lâm sàng ảnh soi da nốt ruồi lành tính Những năm trở lại đây, với phát triển khoa học kỹ thuật công nghệ, hệ thống máy tính hỗ trợ phát chẩn đốn (Computer-Aided Detection And Diagnosis System - CAD/CADx) hỗ trợ nhà bệnh lý học, bác sĩ việc phát bất thƣờng bệnh lý lĩnh vực hình ảnh y khoa nói chung tốn phân loại tổn thƣơng da đƣợc nghiên cứu nói riêng, giúp nâng cao độ xác việc chẩn đoán phát sớm tổn thƣơng, mà đặc biệt ung thƣ hắc tố, đồng thời giảm bớt khối lƣợng công việc, thời gian chuyên gia Những cách tiếp cận sớm ban đầu phụ thuộc vào việc trích xuất đặc trƣng chuyên gia đề xuất (hand-crafted) để đƣa chúng vào phân lớp truyền thống [3], [4] Gần đây, cách tiếp cận dựa học sâu (deep learning) cho thấy thành cơng lớn lĩnh vực hình ảnh y khoa [5] Một mở rộng cho phƣơng pháp trích xuất đặc trƣng cổ điển sử dụng học sâu để trích xuất đặc trƣng kết hợp với phƣơng pháp máy Võ Minh Thiện, Lê Minh Hƣng, Trần Kim Tâm, Trần Văn Lăng 757 học thông thƣờng để giải toán phân loại tổn thƣơng da [6], [7] Nhiều hƣớng tiếp cận hƣớng đến xây dựng mạng nơron tích chập (CNN) có khả học đầu-cuối cho chẩn đoán tổn thƣơng da [8], [9], [10] Thêm vào đó, nhiều hƣớng tiếp cận đa mơ hình sử dụng ảnh lâm sàng, ảnh soi da siêu liệu đƣợc đề xuất [11], nhƣ phƣơng pháp kết hợp phân đoạn ảnh thông tin cấu trúc tổn thƣơng vào hệ thống [12] Bên cạnh đó, nghiên cứu Esteva et al [13] thể tảng chẩn đoán tổn thƣơng da với hiệu suất nhƣ bác sĩ da liễu đạt đƣợc mạng CNN Ở nghiên cứu họ, nhóm tác giả huấn luyện kiến trúc mạng Inception-V3 [14] 130,000 ảnh lâm sàng so sánh dự đốn so với đánh giá 21 bác sĩ gia liễu có tay nghề Trong thành tựu đáng ý, hiệu suất cao đạt đƣợc phần lớn nhờ vào kích thƣớc liệu khổng lồ với mơ hình tiêu chuẩn thay mơ hình thiết kế chun biệt cho chẩn đốn tổn thƣơng da Bộ liệu HAM10000 đƣợc công bố công khai [15] Bộ liệu gồm 10015 ảnh soi da phục vụ nhƣ tiêu chuẩn cho chẩn đoán tổn thƣơng da HAM đƣợc sử dụng nhƣ tập huấn luyện cho thi “ISIC2018 Skin Lesion Diagnosis Challenge” với lớp Trong nghiên cứu trƣớc phần lớn tập trung vào phân lớp nhị phân để xác định tổn thƣơng cần sinh thiết (“biopsy”) hay không cần sinh thiết (“no biopsy”), liệu HAM10000 phù hợp cho toán phân loại tổn thƣơng da nhiều lớp kèm theo nhiều thách thức phải giải quyết, đặc biệt vấn đề cân liệu, vấn đề phổ biến toán phân loại ảnh y khoa, đặc thù bệnh lý da đời sống khơng đồng đều, có bệnh nguy hiểm nhƣng lại thƣờng gặp so với bệnh lành tính khác Bài báo có đóng góp nhƣ sau: Xử lý tập liệu HAM10000 thi ISIC2018 chọn phƣơng pháp tiền xử lý ảnh đầu vào để giữ đƣợc nhiều đặc trƣng ảnh soi da Xây dựng mơ hình CNN kết hợp phƣơng pháp xử lý cân quen thuộc nhƣ cân batch, trọng số lớp, đồng thời áp dụng hàm mát LMCL phƣơng pháp gán trọng số động Thực phƣơng pháp kết hợp (esssemble) mơ hình để nâng cao hiệu suất II PHƯƠNG PHÁP A Tiền xử lý ảnh đầu vào Nghiên cứu xác định vấn đề mấu chốt việc sử dụng ảnh có độ phân giải cao Thơng thƣờng, ảnh đƣợc giảm kích thƣớc (downsampling) xuống thành kích thƣớc đầu vào có độ phân giải thấp cho phù hợp với mơ hình CNN, nhớ tài ngun tính tốn máy tính có giới hạn Q trình downsampling nhiều thơng tin quan trọng ảnh bị vấn đề quan trọng ngữ cảnh y khoa Bên cạnh đó, hƣớng tiếp cận dựa patch mà sử dụng crop nhỏ từ ảnh có độ phân giải cao làm đầu vào mạng CNN đƣợc sử dụng thƣờng xun Để có đƣợc tồn ảnh với ảnh xén (crop) nhỏ, theo truyền thống, phƣơng pháp đánh giá multi-crop đƣợc sử dụng mà xác suất dự đoán từ tất ảnh xén đƣợc kết hợp lại, thơng qua lấy trung bình bình chọn Cách tiếp cận lợi việc sử dụng patch nhỏ thấp mặt tính tốn quan trọng hơn, kiến trúc mạng thơng thƣờng đƣợc huấn luyện sẵn từ ảnh đời sống thực tế với kích thƣớc đầu vào nhỏ thơng thƣờng 224 x 224 đƣợc sử dụng Tuy nhiên, phƣơng pháp đánh giá multi-crop thách thức patch cục cần đƣợc kết hợp cách có ý nghĩa Những phƣơng pháp đơn giản nhƣ lấy trung bình hay bỏ phiếu xem tất patch cách nhƣ vấn đề việc phân lớp tổn thƣơng da thực tế tổn thƣờng bao phủ phần ảnh [16] Hình Phƣơng pháp Multi-crop với n=9 cho thấy không đồng crop [16] Do đó, vấn đề này, chúng tơi chọn thực kết hợp phƣơng pháp single-crop (crop đơn thuần) đánh giá multi-crop gọi đánh giá random multi-crop (đánh giá multi-crop ngẫu nhiên) Với mong muốn tạo đa dạng đặc trƣng từ liệu trình huấn luyện đề cao yếu tố ngẫu nhiên mơ hình huấn luyện đƣợc, đồng thời sử dụng downsampling để so sánh Cụ thể: Downsampling Đầu tiên, thƣờng đƣợc sử dụng phƣơng pháp downsampling, thực giảm trực tiếp kích thƣớc ảnh xuống kích thƣớc đầu vào mơ hình nhƣ Hình Phƣơng pháp đƣợc sử dụng cho giai đoạn huấn luyện đánh giá Bài báo sử dụng phƣơng pháp nhƣ hệ quy chiếu để so sánh 758 XỬ LÝ MẤT CÂN BẰNG DỮ LIỆU TRONG PHÂN LOẠI TỔN THƢƠNG DA TRÊN ẢNH SOI DA Single-Crop Kế tiếp phƣơng pháp Single-Crop, thực crop ảnh cách ngẫu nhiên thay đổi kích thƣớc thành kích thƣớc đầu vào mơ hình suốt q trình huấn luyện nhƣ Hình Do đó, đạt đƣợc thêm đa dạng liệu suốt trình huấn luyện Ở giai đoạn đánh giá, crop trung tâm chiếm 85 % ảnh đƣợc lấy thay đổi kích thƣớc thành kích thƣớc đầu vào mơ hình Phƣơng pháp tƣơng tự nhƣ chiến thuật đƣợc sử dụng cho mơ hình DenseNet121 Inception-V3 báo gốc [14], [17] Hình Các phƣơng pháp tiền xử lý ảnh đầu vào Multi-Crop Phƣơng pháp Multi-Crop khơng thay đổi kích thƣớc ảnh crop cách ngẫu nhiên patch kích thƣớc đầu vào mơ hình Trong suốt q trình đánh giá, việc crop có thứ tự nơi mà vị trí patch đƣợc cố định điểm đƣợc định nghĩa trƣớc ảnh Sau đó, tiến hành lấy trung bình xác suất dự đốn tất ảnh xén Số lƣợng ảnh xén Nc thuộc {5, 9, 16} bao phủ bốn góc trung tâm, 16 đƣợc phân bố ảnh với phần trùng lặp patches, ví dụ với N c = 16 Hình Phƣơng pháp đƣợc sử dụng thành công cho phân lớp tổn thƣơng da [18] Random Multi-crop Nghiên cứu đề xuất phƣơng pháp Random Multi-Crop, đƣợc dựa ý tƣởng Single-Crop MultiCrop, ảnh đƣợc xén cách ngẫu nhiên suốt trình huấn luyện, với tỷ lệ dao động 0,08 đến 1,0 so với kích thƣớc ảnh gốc trình đánh giá, ảnh đƣợc xén ngẫu nhiên 32 lần, sau đƣợc tổng hợp phƣơng pháp lấy trung bình giá trị xác suất dự đoán Phƣơng pháp cho kết cải thiện rõ rệt so với phƣơng pháp Downsampling Trong nghiên cứu này, phƣơng pháp tăng cƣờng liệu đƣợc thực trình huấn luyện, bao gồm lật ảnh trái phải dƣới không thực xoay ảnh điều chỉnh màu ảnh B Xử lý cân liệu Oversampling Nghiên cứu thực lặp lại mẫu lớp tập huấn luyện mà lớp có số lƣợng mẫu Trong suốt trình huấn luyện, lấy mẫu cách đồng ngẫu nhiên từ tập mẫu Ở cách này, số lƣợng mẫu từ lớp đƣợc xuất xuyên suốt tồn q trình huấn luyện Tuy nhiên, q trình thực nghiệm, chúng tơi nhận kết cho thấy phƣơng pháp không phù hợp khối lƣợng liệu đƣợc phình to nhƣng lại khơng có thay đổi cấu trúc ảnh, dẫn đến tốn chi phí tính tốn thời gian huấn luyện Hình Minh họa cho phƣơng pháp Oversampling Võ Minh Thiện, Lê Minh Hƣng, Trần Kim Tâm, Trần Văn Lăng 759 Balanced batches Cách tiếp cận Oversampling không đảm bảo số lƣợng mẫu batch, mà sấp xỉ toàn q trình huấn luyện Do đó, nghiên cứu cho thấy cách nghiêm ngặt cân mẫu batch đƣợc xây dựng cho chứa cách xác số lƣợng mẫu lớp Hình Minh họa cho phƣơng pháp Balanced batches Trọng số lớp - classweight Đây phƣơng pháp phổ biến đƣợc dùng tốn có cân lớp, với mục đích “trừng phạt” mạnh lớp có số lƣợng mẫu ít, nghĩa dự đoán sai lớp gặp gây biến động lớn hàm mát, làm ảnh hƣởng đến trình tối ƣu hóa hội tụ mơ hình, ngƣợc lại lớp chiếm ƣu Công thức đƣợc biểu diễn nhƣ sau: (1) đó: trọng số lớp thứ i, ni số lƣợng mẫu lớp thứ i, N tổng số mẫu liệu, c tổng số lớp Có thể nói phƣơng pháp đơn giản nhƣng mang lại hiệu rõ rệt toán cân lớp liệu Trọng số lớp động - dynamic classweight Ngoài ra, nghiên cứu đề xuất thử nghiệm phƣơng pháp trọng số lớp động (dynamic classweights) Các trọng số thay đổi ngẫu nhiên liên tục đƣợc gán vào hàm mát suốt q trình huấn luyện, epoch batch, với cơng thức nhƣ sau: đó: ∑ ( ) ( ) ( ) (2) H giá trị hàm mát thu đƣợc sau cùng, ( )có giá trị nhãn ảnh xét thuộc nhãn khác, ( ) xác suất dự đốn thu đƣợc từ mơ hình, ( ) trọng số đƣợc chọn ngẫu nhiên khoảng [1, + s, + 2s,…, α - 2s, α - s, α] Ở giá trị mặc định α = 100 s = Bằng cách kết hợp phƣơng pháp balanced batches dynamic class weights, nghiên cứu mong muốn tạo mơ hình có khả tƣơng thích điều kiện thay đổi trọng số lớp cổ điển, hƣớng tới việc giải cân liệu C Áp dụng hàm mát Large Margin Cosine Loss Nhận diện khn mặt có phát triển mạnh nhờ vào tiến mạng CNN Nhiệm vụ trọng tâm nhận diện khuôn mặt xác thực định danh khn mặt, liên quan đến phân biệt đặc trƣng khuôn mặt khác Tuy nhiên, hàm mát Softmax truyền thống mạng CNN thƣờng thiếu khả phân biệt mạnh Để giải vấn đề này, vài hàm mát mát gần nhƣ Center Loss, Large Margin Softmax Loss, Angular Softmax Loss Large Margin Cosine Loss [19] đƣợc đề xuất Tất hàm mát cải tiến có chung ý tƣởng là: tối đa khác biệt lớp khác tối thiểu khác lớp Trong đó, Large Margin Cosine Loss (LMCL) cho thấy kết cải thiện rõ rệt đạt đƣợc state-of-the-art hiệu suất chuẩn đo nhận diện khuôn mặt XỬ LÝ MẤT CÂN BẰNG DỮ LIỆU TRONG PHÂN LOẠI TỔN THƢƠNG DA TRÊN ẢNH SOI DA 760 Hình Tổng quan mơ hình CosFace sử dụng LMCL [19] Với hàm mát Softmax, vector đặc trƣng xi tƣơng ứng với nhãn yi, hàm mát Softmax đƣợc biểu diễn nhƣ cơng thức sau: ∑ đó: ∑ ∑ (3) pi ký hiệu cho xác suất xi sau đƣợc phân loại cách xác, N số lƣợng mẫu huấn luyện, C số lƣợng lớp, fj thƣờng đƣợc ký hiệu nhƣ kích hoạt lớp FC với vector trọng số W j Bj Hàm LMCL đƣợc định nghĩa công thức sau: Tùy thuộc theo: ∑ ( ( ‖ đó: ( ( ) ( ) ∑ ) ) ( ) (4) ‖ ‖ ‖ ) N số lƣợng mẫu huấn luyện, vector đặc trƣng thứ i tƣơng ứng với nhãn yi, Wj vector trọng số lớp thứ j, θj góc Wj xi, s m siêu tham số Trong báo áp dụng hàm mát LMCL thay cho hàm Softmax thông thƣờng, với kỳ vọng tạo đƣợc đặc trƣng có khả phân biệt cao, từ nâng cao đƣợc độ xác mơ hình, đồng thời kết hợp với phƣơng pháp xử lý cân khác Hình Một ví dụ trực quan so sánh đặc trƣng đƣợc tạo LMCL với giá trị m khác [19] Võ Minh Thiện, Lê Minh Hƣng, Trần Kim Tâm, Trần Văn Lăng 761 D Mơ hình mạng Trong nghiên cứu này, sử dụng 02 mơ hình Inception-V3 [14] DenseNet201 [17] đƣợc huấn luyện sẵn tập liệu ImageNet mang lại hiệu cao so với việc huấn luyện mạng lại từ đầu [18] Đồng thời, thực phƣơng pháp kết hợp (essemble) hƣớng tiếp cận dựa mơ hình cách lấy trung bình xác suất dự đốn đầu nâng cao độ xác mơ hình III THỬ NGHIỆM VÀ ĐÁNH GIÁ A Tập liệu HAM10000 (ISIC2018) Bộ liệu chứa 10015 ảnh để đƣợc phân loại thành lớp khác nhau, với kích thƣớc 600 x 450 pixel Phân bố liệu thể thực tế giới thực với phần lớn tổng thể hình ảnh lành tính trƣờng hợp ác tính cịn Phân bố lớp tập liệu đƣợc hiển thị Bảng 1, cho thấy bật lên vấn đề cân lớp vốn có nhƣ vấn đề then chốt cần giải Ở đây, tổn thƣơng gồm có loại bao gồm: melanoma (mel), melanocytic nevus (nv), basal cell carcinoma (bcc), actinic keratosis (akiec), benign keratosis (bkl), dermatofibroma (df) vascular lesions (vasc) Hình Ví dụ minh họa lớp tập liệu HAM10000, thi ISIC2018 Ngoài ra, tập gồm 1512 ảnh không công khai, đƣợc sử dụng tập kiểm tra ghi nhận điểm suốt trình diễn thi Tất đánh giá, kiểm tra cuối nghiên cứu đƣợc thực tập kiểm thử đƣợc ghi nhận thông qua hệ thống chấm trực tuyến thi MEL ISIC2018 1113 Bảng Phân bố lớp liệu HAM10000, thi ISIC2018 NV BCC AKIEC BKL DF 6705 514 327 1099 115 VASC 142 Để đảm bảo hạn chế ngẫu nhiên khơng đáng có chia tập liệu, nghiên cứu sử dụng 5-fold crossvalidation chia tập liệu thành liệu, gồm 8012 ảnh để huấn luyện, 2003 ảnh để đánh giá tinh chỉnh siêu tham số, đảm bảo tỷ lệ phân bố lớp tập huấn luyện đánh giá nhƣ giống nhƣ tỷ lệ phân bố liệu gốc Chúng tiến hành thực thực nghiệm liệu fold-1, sau tinh chỉnh chọn đƣợc cấu hình tối ƣu, tiến hành huấn luyện lại liệu fold lại đồng thời sử dụng phƣơng pháp esemble models để ghi nhận kết cuối B Độ đo Về chuẩn đo đánh giá, chất vấn đề phân loại tổn thƣơng đa lớp phải đƣợc tính đến Một độ xác (accuracy) bình thƣờng ủng hộ khuyến khích phân lớp xác lớp xuất nhiều, không đánh giá đƣợc hiệu suất tập liệu cân Do đó, theo đề xuất Nil Gessert el at [16], nghiên cứu sử dụng multiclass sensitivity (MC-Sensitivity) viết tắt S để đánh giá hiệu cách tiếp cận, đƣợc định nghĩa công thức: ∑ (5) đó: TP biểu thị True Positives, FN biểu thị False Negatives, C biểu thị số lƣợng lớp Độ đo Macro-Recall, đƣợc tính cách lấy trung bình cộng Recall lớp Ngồi ra, độ đo đƣợc gọi overall balanced accuracy (BACC) theo cách quy ƣớc thi ISIC2018 Để thống tiện theo dõi, báo dùng ký hiệu BACC cho kết ghi nhận đƣợc cuối hệ thống thi XỬ LÝ MẤT CÂN BẰNG DỮ LIỆU TRONG PHÂN LOẠI TỔN THƢƠNG DA TRÊN ẢNH SOI DA 762 C Các thực nghiệm Trƣớc tiên, để đánh hiệu phƣơng pháp tiền xử lý ảnh đầu vào, nghiên cứu tiến hành so sánh hai nhóm thực nghiệm lớn sử dụng downsampling đơn sử dụng random multi-crop với 32 crops dùng tập liệu fold-1 Ở nhóm sử dụng downsampling, chúng tơi thực thực nghiệm sau: So sánh việc không sử dụng có sử dụng riêng lẻ phƣơng pháp xử lý cân liệu nhƣ: classweight, balanced batches dynamic classweight nhƣ dùng hàm mát LMCL So sánh việc sử dụng kết hợp phƣơng pháp Sau tìm phƣơng pháp tốt trƣờng hợp downsampling, tập trung thực nghiệm phƣơng pháp trƣờng hợp random multi-crop tập liệu fold-1 Và cuối cùng, tiến hành thực phƣơng pháp tốt tất fold nhƣ thực essemble phƣơng pháp lại kết cuối Phƣơng pháp huấn luyện tối ƣu: nghiên cứu chọn giải thuật tối ƣu Stochastic Gradient Descent (SGD) suốt q trình thực nghiệm Các thơng số q trình huấn luyện nhƣ learning rate, batch size, momentum đƣợc điều chỉnh cho trƣờng hợp đạt kết cao nhất, số epoch rơi vào khoảng 200-300 epoch lần chạy thực nghiệm D Kết thử nghiệm Ở nhóm thực nghiệm downsampling sử dụng riêng lẻ phƣơng pháp đề xuất, kết Bảng cho thấy phƣơng pháp đề xuất mang lại độ xác BACC cao so với không xử lý, kết cho thấy mơ hình DenseNet201 cho kết cao mơ hình Inception-V3 Bảng Kết nhóm downsampling sử dụng riêng lẻ phƣơng pháp xử lý cân hàm LMCL Trường hợp Không xử lý cân Classweight Balanced batches Dynamic weight on epoch Dynamic weight on batch LMCL InceptionV3 60,2 70,4 69,6 69,2 70,5 65,4 DenseNet201 70,7 72,1 74,0 71,4 72,0 70,4 Ở nhóm thực nghiệm downsampling sử dụng riêng lẻ phƣơng pháp đề xuất, kết Bảng cho thấy cách kết hợp Classweight với LMCL, Balanced batches với Dynamic weight on batch cho độ xác BACC cao hẳn so với sử dụng riêng lẻ phƣơng pháp nhƣ không xử lý cân Tuy nhiên, mơ hình Inception-V3 cải thiện tƣơng đối khơng nhiều Hai cách kết hợp đƣợc chọn để thực nghiệm trƣờng hợp nghiên cứu Bảng Kết nhóm downsampling sử dụng kết hợp phƣơng pháp xử lý cân hàm LMCL Trường hợp InceptionV3 DenseNet201 Classweight + LMCL 75,1 75,4 Balanced batches + Dynamic weight on batch 71,7 76,1 Balanced batches + LMCL 71,8 75,2 LMCL + Dynamic weight on batch 60,1 70,1 Balanced batches + LMCL + Dynamic weight on batch 65,4 68,8 Ở nhóm thực nghiệm random multi-crop với số crops 32, kết Bảng cho thấy cách không xử lý cân cách kết hợp Classweight với LMCL, Balanced batches với Dynamic weight on batch cho độ xác BACC cao hẳn so với sử dụng phƣơng pháp tiền xử lý ảnh downsampling Bảng Kết nhóm random multi-crop Trường hợp Khơng xử lý cân Classweight + LMCL Balanced batches + Dynamic weight on batch InceptionV3 73,2 80,3 79,5 DenseNet201 75,5 80,0 80,7 Cuối cùng, nhóm thực nghiệm random multi-crop với số crops 32 thực essemble fold nhƣ phƣơng pháp với nhau, kết Bảng cho thấy mơ hình DenseNet201 đạt đƣợc kết cao hẳn Inception-V3, việc kết hợp mơ hình lại với dẫn đến hiệu suất cải thiện không đáng kể Võ Minh Thiện, Lê Minh Hƣng, Trần Kim Tâm, Trần Văn Lăng 763 Bảng Kết nhóm random multi-crop thực essemble fold essemble phƣơng pháp với Trường hợp Classweight + LMCL Balanced batches + Dynamic weight on batch Essemble phƣơng pháp Esemble mơ hình InceptionV3 79,4 77,5 78,3 DenseNet201 80,0 80,7 82,6 82,9 IV KẾT LUẬN Nghiên cứu tiến hành tìm hiểu liệu HAM10000 (ISIC2018) cho toán phân loại tổn thƣơng da xác định phƣơng pháp xử lý cân liệu nhƣ áp dụng hàm mát LMCL để tăng khả phân loại Đồng thời, áp dụng phƣơng pháp kết hợp trọng số lớp hàm LMCL nhƣ cách kết hợp cân batch trọng số lớp động đƣợc đề xuất cho kết cải thiện rõ rệt, với độ xác BACC cuối đạt 82,9 % Kết đạt đƣợc hạng thứ mơ hình sử dụng liệu công khai thi hạng thứ tất mơ hình dự thi thi ISIC2018 (bao gồm sử dụng liệu ngồi) Kỹ thuật đề xuất đƣợc ứng dụng hiệu để khắc phục tính cân liệu cho toán xử lý ảnh y khoa khác Một số nghiên cứu cho thấy việc ứng dụng mơ hình GAN (Generative adversarial network) vào giải vấn đề thiếu cân liệu tổn thƣơng da nói riêng hay liệu ảnh y khoa nói chung Ngồi ra, việc nghiên cứu đánh giá thật kỹ phƣơng pháp multi-crop giúp tận dụng hết mức thơng tin hình ảnh tổn thƣơng da, từ giúp phân loại lớp tốt V LỜI CẢM ƠN Bài báo đƣợc hoàn thành dƣới hỗ trợ đề tài VAST-1.03/19-20 Viện Hàn lâm Khoa học Công nghệ Việt Nam TÀI LIỆU THAM KHẢO [1] M E Celebi, N Codella, and A Halpern "Dermoscopy image analysis: Overview and future directions" IEEE journal of biomedical and health informatics, 2019 [2] M E Vestergaard, P Macaskill, P E Holt, and S W Menzies, “Dermoscopy compared with naked eye examination for the diagnosis of primary melanoma: A meta-analysis of studies performed in a clinical setting”, Brit J Dermatol., Vol 159, No 3, pp 669-676, 2008 [3] M Maragoudakis and I Maglogiannis, “Skin lesion diagnosis fromimages using novel ensemble classification techniques”, in InformationTechnology and Applications in Biomedicine (ITAB), 10 th IEEE International Conference on IEEE, 2010, pp 1-5, 2010 [4] A Madooei et al., “Intrinsic melanin and hemoglobin colour componentsfor skin lesion malignancy detection”, in MICCAI Springer, pp.315-322, 2012 [5] G Litjens et al., “A survey on deep learning in medical image analysis”, Medical Image Analysis, Vol 42, pp 6088, 2017 [6] N Codella et al., “Deep learning, sparse coding, and svm for melanomarecognition in dermoscopy images”, in International Workshop on Machine Learning in Medical Imaging Springer, pp 118-126, 2015 [7] J Kawahara et al., “Deep features to classify skin lesions”, in ISBI, pp 1397-1400, 2016 [8] J Kawahara and G Hamarneh, “Multi-resolution-tract CNN with hybridpretrained and skin-lesion trained layers”, in International Workshop onMachine Learning in Medical Imaging Springer, pp 164-171, 2016 [9] A R Lopez et al., “Skin lesion classification from dermoscopic imagesusing deep learning techniques”, in Biomedical Engineering (BioMed),2017 13th IASTED International Conference on IEEE, pp 49-54, 2017 [10] J Yang et al., “Clinical skin lesion diagnosis using representationsinspired by dermatologist criteria”, in CVPR, Vol 11, 2018 [11] J Kawahara et al., “7-point checklist and skin lesion classification usingmulti-task multi-modal neural nets”, IEEE Journal of Biomedical andHealth Informatics, 2018 [12] I G Diaz, “Dermaknet: Incorporating the knowledge of dermatologiststo convolutional neural networks for skin lesion diagnosis”, IEEEJournal of Biomedical and Health Informatics, 2018 [13] A Esteva et al., “Dermatologist-level classification of skin cancer withdeep neural networks”, Nature, Vol 542, No 7639, pp 115, 2017 [14] C Szegedy et al., “Rethinking the inception architecture for computervision”, in CVPR, pp 2818-2826, 2016 764 XỬ LÝ MẤT CÂN BẰNG DỮ LIỆU TRONG PHÂN LOẠI TỔN THƢƠNG DA TRÊN ẢNH SOI DA [15] P Tschandl et al., “The HAM10000 dataset, a large collection ofmulti-source dermatoscopic images of common pigmented skin lesions”, Scientific Data, Vol 5, No 180161, 2018 [16] Gessert, Nils & Sentker, Thilo & Madesta, Frederic & Schmitz, Rudiger & Kniep, Helge & Baltruschat, Ivo & Werner, René & Schlaefer, Alexander "Skin Lesion Classification Using CNNs With Patch-Based Attention and Diagnosis-Guided Loss Weighting" IEEE Transactions on Biomedical Engineering pp 1-1 10.1109/TBME.2019.2915839, 2019 [17] G Huang et al., “Densely connected convolutional networks”, in CVPR, 2017 [18] N Gessert et al., “Skin lesion diagnosis using ensembles, unscaled multicrop evaluation and loss weighting”, arXiv preprint arXiv:1808.01694, 2018 [19] Hao Wang, Yitong Wang, Zheng Zhou, Xing Ji, Zhifeng Li,Dihong Gong, Jingchao Zhou, and Wei Liu "Cos face: Largemargin cosine loss for deep face recognition" In CVPR, 2018 HANDLE IMBALANCE OF DATA IN SKIN LESION CLASSIFICATION ON DERMOSCOPY Vo Minh Thien, Le Minh Hung, Tran Kim Tam, Tran Van Lang ABSTRACT: Melanoma is a malignant skin condition that has the potential to spread to other organs and has a very severe prognosis if diagnosed late In an early stage, these malignant lesions are easy to confuse with benign moles if they are only examined with the naked eye To overcome this situation, dermoscopes - an optical device that has been used in dermatology hospitals to assist physicians in examining shallow layers of the skin with a large magnification, at the same time with an image capture and storage system The International Skin Image Collaboration 2018 (ISIC2018) is organized with the task of classifying photos of skin lesions for early detection of diseases, especially malignant cancer Data included 10,015 skin scans of lesions The main problem posed by this problem is the severe data imbalance when the difference between the largest layer and the least layer reaches 60 times To solve the problem posed, in this study, we conduct to refine the available parameters of modern Deep Convolutional Neural Network (DCNN), such as Inception, DenseNet Given the problem of data imbalances, this study has experimented with and compared popular methods such as batch balancing and class weighting In addition, the study also applied a loss function that has brought about significant improvements in image classification problems, namely Large Margin Cosine Loss (CosFace) to better classify classes In particular, in this study, a new method is proposed which is the dynamic classweight method, aiming to create a model that is adaptable and does not depend on the ratio of classes, or the data imbalance The results of the proposed method show a marked improvement with an accuracy of 82.9 % compared with 70.7 % when not interfering with the loss function on the test system of the ISIC2018 competition ... particular, in this study, a new method is proposed which is the dynamic classweight method, aiming to create a model that is adaptable and does not depend on the ratio of classes, or the data imbalance... parameters of modern Deep Convolutional Neural Network (DCNN), such as Inception, DenseNet Given the problem of data imbalances, this study has experimented with and compared popular methods such as... organized with the task of classifying photos of skin lesions for early detection of diseases, especially malignant cancer Data included 10,015 skin scans of lesions The main problem posed by this