Cải tiến phương pháp học sâu cho tác vụ phân loại ảnh và ứng dụng cho bài toán chẩn đoán ung thư da

Bài viết Cải tiến phương pháp học sâu cho tác vụ phân loại ảnh và ứng dụng cho bài toán chẩn đoán ung thư da đưa ra các phương pháp cải tiến độ chính xác của mô hình học sâu sử dụng mạng nơ-ron tích chập, ứng dụng cho bài toán phân loại ảnh trẩn đoán ung thư da.

Tuyển tập Hội nghị Khoa học thường niên năm 2020 ISBN: 978-604-82-3869-8 CẢI TIẾN PHƯƠNG PHÁP HỌC SÂU CHO TÁC VỤ PHÂN LOẠI ẢNH VÀ ỨNG DỤNG CHO BÀI TOÁN CHẨN ĐOÁN UNG THƯ DA Nguyễn Trung Hiếu1, Đỗ Văn Hải2 Trung tâm Không gian Mạng Viettel, 2Khoa CNTT, Trường Đại học Thủy lợi PHƯƠNG PHÁP NGHIÊN CỨU GIỚI THIỆU CHUNG Ung thư da vấn đề sức khỏe cộng đồng lớn, với 5.000.000 trường hợp chẩn đoán Hoa Kỳ năm Ung thư hắc tố (melanoma cancer) dạng ung thư da nguy hiểm nhất, chịu trách nhiệm cho phần lớn ca tử vong ung thư da Năm 2015, tỷ lệ mắc u ác tính tồn cầu ước tính 350.000 trường hợp, với gần 60.000 ca tử vong Mặc dù tỷ lệ tử vong đáng kể, phát sớm, tỷ lệ sống khối u ác tính vượt 95% Tuy nhiên chi phí thời gian đào tạo y bác sĩ có đủ chun mơn cho cơng việc trẩn đốn ung thư da lớn, đáp ứng nhu cầu thực tế Phân loại hình ảnh tốn có nhiều ứng dụng thực tiễn ngành công nghiệp, nông nghiệp,… Đặc biệt y tế, phân loại ảnh góp phần giải toán trẩn đoán ung thư qua ảnh chụp X quang, chụp da liễu Trong năm gần đây, mơ hình học sâu sử dụng mạng nơ-ron tích chập sử dụng rộng rãi thành công cho nhiều toán phân loại ảnh Nhưng để ứng dụng tốn trẩn đốn ung thư da, mơ hình phải xác để đưa hỗ trợ hay chí thay bác sĩ Trong nghiên cứu này, đưa phương pháp cải tiến độ xác mơ hình học sâu sử dụng mạng nơ-ron tích chập, ứng dụng cho toán phân loại ảnh trẩn đoán ung thư da 2.1 Xây dựng hệ thống Hệ thống trẩn đoán ung thư da xây dựng toán phân loại ảnh khác: ảnh đầu vào đưa vào lớp trích chọn đặc trưng mạng tích chập để trích xuất véc-tơ đặc trưng, véc-tơ đưa qua mạng nơ-ron nhiều lớp với số đầu định nghĩa trước, ví dụ: bệnh A, bệnh B, không bị bệnh 2.2 Tăng cường số lượng đa dạng hố liệu Một mơ hình học sâu nhiều tầng-lớp cần nhiều liệu để huấn luyện hiệu quả, cho độ xác cao Hơn ảnh chụp da để trẩn đốn chụp điều kiện tối-sáng, tương phản, màu da, góc chụp khác nhau, nên nghiên cứu này, sử dụng phương pháp tăng cường liệu ảnh sau để nâng cao tính tổng qt mơ hình:  Chỉnh độ sáng, độ tương phản  Xoay góc chụp, lật ngược ảnh  Thay đổi màu da, thêm long da cách ngẫu nhiên 2.3 Tăng tần số lấy mẫu Trong toán học giám sát nói chung phân loại ảnh nói riêng, phân bố liệu qua lớp đóng vai trị quan trọng hiệu huấn luyện mơ hình Việc lượng liệu học lớp áp đảo lớp cịn lại khiến mơ hình bị thiên kiến, thường cho kết phân loại lên lớp 111 Tuyển tập Hội nghị Khoa học thường niên năm 2019 ISBN: 978-604-82-3869-8 Để khắc phục việc cân liệu, sử dụng phương pháp lấy mẫu cho tần số xuất vòng lặp huấn luyện lớp KẾT QUẢ NGHIÊN CỨU 3.3 Phương pháp đánh giá Phương pháp đánh giá sử dụng AUC (Area Under the Curve) - tiêu chuẩn đánh giá sử dụng thi ISIC 2017 3.4 Kết thí nghiệm 3.1 Phân tích chuẩn hố liệu Dữ liệu sử dụng nghiên cứu tập ISIC 2017, gồm lớp Melanoma, Seborrheic Keratosis Nevus Tập liệu gồm 2000 ảnh cho tập huấn luyện (training set), 150 ảnh cho tập phát triển (development set) 600 ảnh cho tập kiểm thử (test set) Hình Một số mẫu liệu Cụ thể hơn, tập ISIC bị cân phân bố liệu tập con, nhãn Nevus áp đảo nhãn lại: Kết thí nghiệm so sánh trực tiếp với top top bảng xếp hạng thi ISIC 2017: Kết thí Top1 ISIC Top5 ISIC nghiệm 2017 2017 Melanoma AUC 0.848 0.874 0.836 Seborrheic Keratosis AUC 0.953 0.965 0.935 AUC trung bình 0.900 0.911 0.886 Lưu ý: đội thi ISIC 2017 phép sử dụng nguồn liệu khác Một số mẫu liệu kết mơ hình dự đốn: Tất liệu tiền xử lý cách đưa kích thước 224x224, sau chuẩn hố trung bình độ lệch chuẩn tập ImageNet 3.2 Cài đặt tham số hệ thống  Mơ hình: ImageNet pretrained EfficientNetB7  Hàm mát: Cross Entropy  Số epoch: 20  Hàm tối ưu: AdamW  Tốc độ học khởi điểm: 1e-3  Điều chỉnh tốc độ học: 1cycle policy  Tấn suất đánh giá tập phát triển: sau vòng lặp huấn luyện  Các cài đặt khác: batchsize 16, weight decay 1e-2 112 Confusion matrix tập kiểm thử: Dự đoán M NV SK M 60 41 16 Nhãn NV 33 380 30 SK 12 26 Tuyển tập Hội nghị Khoa học thường niên năm 2020 ISBN: 978-604-82-3869-8 KẾT LUẬN Trong phạm vi nghiên này, nghiên cứu sử dụng phương pháp tăng cường liệu kĩ thuật tăng tần số lấy mẫu để huấn luyện mơ hình EfficientNetB7 cho toán trẩn đoán ung thư da thi ISIC 2017, với tài ngun tính tốn hạn chế (1 session 12h Google Colaboratory) không sử dụng nguồn liệu thi kết cho khả quan Trong tương lai, tiếp tục cải tiến phương pháp huấn luyện, sử dụng kĩ thuậtn tiên tiến khác mơ hình mạng nơ-ron tích chập giải tốn vơ thiết thực [9] [10] [11] [12] [13] TÀI LIỆU THAM KHẢO [1] K He, X Zhang, S Ren and J Sun, "Deep Residual Learning for Image Recognition," CoRR, vol abs/1512.03385, 2015 [2] J Hu, L Shen and G Sun, "Squeeze-andExcitation Networks," CoRR, vol abs/1709.01507, 2017 [3] D P Kingma and J L Ba, "Adam: A method for stochastic optimization," in 3rd International Conference on Learning Representations, ICLR 2015 - Conference Track Proceedings, 2015 [4] A Krizhevsky, I Sutskever and G E Hinton, "ImageNet classification with deep convolutional neural networks," in Advances in Neural Information Processing Systems, 2012 [5] B Zoph and Q V Le, "Neural Architecture Search with Reinforcement Learning," CoRR, vol abs/1611.01578, 2016 [6] M D Zeiler, "ADADELTA: An Adaptive Learning Rate Method," CoRR, vol abs/1212.5701, 2012 [7] S Xie, R B Girshick, P Dollár, Z Tu and K He, "Aggregated Residual Transformations for Deep Neural Networks," CoRR, vol abs/1611.05431, 2016 [8] A C Wilson, R Roelofs, M Stern, N Srebro and B Recht, "The marginal value of adaptive gradient methods in machine [14] [15] [16] [17] [18] 113 learning," in Advances in Neural Information Processing Systems, 2017 wikipedia, "Rectifier (neural networks)," [Online] Available: https://en.wikipedia.org/wiki/Rectifier_(neu ral_networks) T H Vũ, Machine Learning bản, Nhà xuất Khoa học Kỹ thuật, 2018 M Tan, B Chen, R Pang, V Vasudevan and Q V Le, "MnasNet: Platform-Aware Neural Architecture Search for Mobile," CoRR, vol abs/1807.11626, 2018 M Tan and Q V Le, "EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks," CoRR, vol abs/1905.11946, 2019 C Szegedy, S Ioffe and V Vanhoucke, "Inception-v4, Inception-ResNet and the Impact of Residual Connections on Learning," CoRR, vol abs/1602.07261, 2016 L N Smith and N Topin, "SuperConvergence: Very Fast Training of Residual Networks Using Large Learning Rates," CoRR, vol abs/1708.07120, 2017 L N Smith, "No More Pesky Learning Rate Guessing Games," CoRR, vol abs/1506.01186, 2015 K Simonyan and A Zisserman, "Very deep convolutional networks for large-scale image recognition," in 3rd International Conference on Learning Representations, ICLR 2015 Conference Track Proceedings, 2015 M Sandler, A G Howard, M Zhu, A Zhmoginov and L.-C Chen, "Inverted Residuals and Linear Bottlenecks: Mobile Networks for Classification, Detection and Segmentation," CoRR, vol abs/1801.04381, 2018 NVIDIA, "What’s the Difference Between Artificial Intelligence, Machine Learning and Deep Learning?," [Online] Available: https://blogs.nvidia.com/blog/2016/07/29/w hats-difference-artificial-intelligencemachine-learning-deep-learning-ai/  ... EfficientNetB7 cho toán trẩn đoán ung thư da thi ISIC 2017, với tài ngun tính tốn hạn chế (1 session 12h Google Colaboratory) không sử dụng nguồn liệu thi kết cho khả quan Trong tương lai, tiếp tục cải tiến. .. Khoa học thư? ??ng niên năm 2019 ISBN: 978-604-82-3869-8 Để khắc phục việc cân liệu, sử dụng phương pháp lấy mẫu cho tần số xuất vòng lặp huấn luyện lớp KẾT QUẢ NGHIÊN CỨU 3.3 Phương pháp đánh giá Phương. .. liệu gồm 2000 ảnh cho tập huấn luyện (training set), 150 ảnh cho tập phát triển (development set) 600 ảnh cho tập kiểm thử (test set) Hình Một số mẫu liệu Cụ thể hơn, tập ISIC bị cân phân bố liệu