(Luận văn thạc sĩ) phân loại bệnh da người sử dụng mạng nơron tích chập

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH LUẬN VĂN THẠC SĨ HỒNG ĐÌNH PHƯƠNG PHÂN LOẠI BỆNH DA NGƯỜI SỬ DỤNG MẠNG NƠRON TÍCH CHẬP NGÀNH: KỸ THUẬT ĐIỆN TỬ - 8520203 S K C0 Tp Hồ Chí Minh, tháng 05/2020 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH LUẬN VĂN THẠC SỸ PHÂN LOẠI BỆNH DA NGƯỜI SỬ DỤNG MẠNG NƠRON TÍCH CHẬP NGÀNH: KỸ THUẬT ĐIỆN TỬ MÃ SỐ: 8520203 HỌ VÀ TÊN HỌC VIÊN: HỒNG ĐÌNH PHƯƠNG HỌ VÀ TÊN GIẢNG VIÊN HƯỚNG DẪN: PGS.TS NGUYỄN THANH HẢI Tp Hồ Chí Minh, tháng 05 năm 2020 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH LUẬN VĂN THẠC SỸ PHÂN LOẠI BỆNH DA NGƯỜI SỬ DỤNG MẠNG NƠRON TÍCH CHẬP NGÀNH: KỸ THUẬT ĐIỆN TỬ MÃ SỐ: 8520203 HỌ VÀ TÊN HỌC VIÊN: HỒNG ĐÌNH PHƯƠNG HỌ VÀ TÊN GIẢNG VIÊN HƯỚNG DẪN: PGS.TS NGUYỄN THANH HẢI Tp Hồ Chí Minh, tháng 05 năm 2020 i ii iii iv v vi LÝ LỊCH KHOA HỌC I LÝ LỊCH SƠ LƯỢC: Họ & tên: Hồng Đình Phương Giới tính: Nam Ngày, tháng, năm sinh: 27/11/1990 Nơi sinh: Bắc Ninh Quê quán: Bắc Ninh Dân tộc: Kinh Địa liên hệ: 730 Nguyễn Văn Q, Phường Đơng Hưng Thuận, Quận 12, Tp Hồ Chí Minh Điện thoại quan: Điện thoại nhà riêng: Fax: E-mail: phuonghdkt@gmail.com II QUÁ TRÌNH ĐÀO TẠO: Trung học chuyên nghiệp: Hệ đào tạo: Thời gian đào tạo từ 2005 đến 2008 Nơi học (trường, thành phố): Trường THPT Nguyễn Hữu Cảnh - Thành Phố Biên Hòa – Đồng Nai Ngành học: Đại học: Hệ đào tạo: Thời gian đào tạo từ 2008 đến 2012 Nơi học (trường, thành phố): Đại học Sư Phạm Kỹ Thuật Tp.HCM Ngành học: Kỹ thuật Điện – Điện Tử Tên đồ án, luận án môn thi tốt nghiệp: Ngày & nơi bảo vệ đồ án, luận án thi tốt nghiệp: Người hướng dẫn: III Q TRÌNH CƠNG TÁC CHUN MƠN KỂ TỪ KHI TỐT NGHIỆP ĐẠI HỌC: Thời gian Nơi công tác Công việc đảm nhiệm 2013 - 2015 Công ty Samsung Việt Nam Nhân viên Kỹ thuật 2015 – 2019 Giáo viên trường ĐH PCCC 2019 – Giáo viên Đội CS PCCC Công an Quận 12 Cán vii Bộ tuyến tính tinh chỉnh: Bộ tuyến tính tinh chỉnh (ReLu) sử dụng nhiều năm gần huấn luyện mạng nơ-ron ReLU đơn giản lọc giá trị < Nhìn vào cơng thức dễ dàng hiểu cách hoạt động Một số ưu điểm vượt trội so với Sigmoid Tanh: Tốc độ hội tụ nhanh hẳn ReLU có tốc độ hội tụ nhanh gấp lần Tanh (Krizhevsky et al.) Điều ReLU khơng bị bão hồ đầu Sigmoid Tanh Tính tốn nhanh Tanh Sigmoid sử dụng hàm exp công thức phức tạp ReLU nhiều tốn nhiều chi phí để tính tốn Tuy nhiên ReLU có nhược điểm: Với node có giá trị nhỏ 0, qua ReLU activation thành 0, tượng gọi “Dying ReLU” Nếu node bị chuyển thành khơng có ý nghĩa với bước linear activation lớp hệ số tương ứng từ node không cập nhật với gradient descent => Leaky ReLU đời Khi learning rate lớn, trọng số (weights) thay đổi theo cách làm tất neuron dừng việc cập nhật (1) f(x) = max (0,x) Mục đích lớp ReLu đưa ảnh mức ngưỡng, Để loại bỏ giá trị âm khơng cần thiết mà ảnh hưởng cho việc tính tốn lớp sau Lớp lấy mẫu lớn nhất: thực chức làm giảm chiều không gian đầu vào giảm độ phức tạp tính tốn mơ hình, ngồi lớp cịn giúp kiểm sốt tượng overffiting Thơng thường, lớp lấy mẫu lớn có nhiều hình thức khác tùy theo yêu cầu toán, nhiên lớp thường sử dụng nhằm giữ lại chi tiết quan trọng hay hiểu tốn giữ lại pixel có giá trị lớn (2) Yki j = max Xkp q Với (p,q) ∈ Rij Trong ngõ lớp lấy mẫu lớn tương ứng với đặc trưng ( feature map) ký hiệu ykij, xkpq biểu cho phần tử vị trí (p,q) vùng lấy giá trị lớn thuộc Rij Ý nghĩa lớp lấy mẫu lớn lấy giá trị lớn vùng đầu vào số lượng nơ-ron giảm nửa Trong mạng CNN có nhiều đồ đặc trưng đồ đặc trưng khác có lớp lấy mẫu tương ứng Lớp kết nối đầy đủ: Sau ảnh truyền qua nhiều lớp tích chập lớp lấy mẫu lớn model học tương đối đặc điểm ảnh tensor ngõ lớp cuối cùng, kích thước H*W*D, chuyển vector kích thước (H*W*D) Sau ta dùng fully connected layer để kết hợp đặc điểm ảnh để output model Cập nhật trọng số ngõ ra: (2,1) ∆𝑊𝑘,𝑗 (2) (1) (3) = 𝑛(𝑑𝑝,𝑘 − 𝑜𝑝,𝑘 )𝑆(𝑛𝑒𝑡𝑝,𝑘 𝑥𝑝,𝑗 Cập nhật trọng số ngõ vào nốt ẩn: (1,0) 𝑤𝑗,𝑖 (2) (2,1) (1) = 𝑛 ∑((𝑑𝑝,𝑘 − 𝑜𝑝,𝑘 )𝑆(𝑛𝑒𝑡𝑝,𝑘 𝑤𝑘,𝑗 )𝑆(𝑛𝑒𝑡𝑝,𝑗 )𝑥𝑝,𝑖 𝑘 Hàm mục tiêu (Loss funtion) hàm Mean Square Error (MSE): 55 (4) 𝐽 (𝑊, 𝑏, 𝑋, 𝑌) = 𝑁 𝐿 ∑𝑁 ̂𝑛 ||22 = ∑𝑁 𝑛=1 ||𝑦𝑛 − 𝑦 𝑛=1 ||𝑦𝑛 − 𝑎𝑛 ||2 𝑁 (5) Hàm Softmax: Là hàm kình điển học máy để phân loại đối tượng dựa vào vector đặc trưng tính tốn lớp trước Hàm Softmax tạo số lớp nơ-ron tương ứng với số bệnh đầu vào mà toán yêu cầu Chúng ta cần mơ hình xác suất cho với input x, thể xác suất để input rơi vào class i Vậy điều kiện cần phải dương tổng chúng Để thỏa mãn điều kiện này, cần nhìn vào giá trị zi dựa quan hệ zi để tính tốn giá trị Ngồi điều kiện lớn có tổng 1, thêm điều kiện tự nhiên nữa, là: giá trị zi=wiTx lớn xác suất liệu rơi vào class i cao Điều kiện cuối cùng, tổng đảm bảo nếu: 𝑎𝑖 = exp(𝑧𝑖 ) 𝐶 ∑𝑗=1 exp(𝑧𝑖 ) (6) Lúc này, ta giả sử rằng: (7) 𝑃(𝑦𝑘 = 𝑖|𝑥𝑘 ; 𝑊) = 𝑎𝑖 Trong đó, P(y=i|x;W) hiểu xác suất để điểm liệu x rơi vào class thứ i biết tham số mơ hình (ma trận trọng số) W 2.4 Thuật toán ma trận nhầm lẫn Sau huấn luyện mạng CNN, cần có phương pháp để đánh giá hiệu thực tế mạng huấn luyện Do đó, báo sử dụng thuật toán ma trận nhầm lẫn để xác định hiệu suất trình phân loại bệnh da Giả sử với tốn có 10 điểm liệu tập kiểm thử với nhãn thực mô tả y_true = [0, 0, 0, 0, 1, 1, 1, 2, 2, 2] Giả sử phân lớp cần đánh giá dự đoán nhãn cho điểm y_pred = [0,1, 0, 2, 1, 1, 0, 2, 1, 2] Bản chất ma trận nhầm lẫn thể có điểm liệu thực thuộc vào class, dự đoán rơi vào class Xem hình Hình Thuật tốn ma trận nhầm lẫn Trong với giá trị hàng thứ i, cột thứ j số lượng điểm lẽ thuộc vào class i lại dự đoán thuộc vào class j Tổng phần tử toàn ma trận số điểm tập kiểm thử Các phần tử đường chéo ma trận số điểm phân loại lớp liệu Từ suy accuracy tổng phần tử đường chéo chia cho tổng phần tử toàn ma trận KẾT QUẢ VÀ THẢO LUẬN Trong phần này, báo trình bày kết chạy code mơ trường hợp 03 bệnh, 04 bệnh 05 bệnh Một mạng CNN bị ảnh hưởng nhiều yếu tố ảnh 56 đầu vào, việc lựa chọn số lớp tích chập, kích thước kernel, lớp kết nối đầy đủ, đồ đặc trưng trường hợp, báo thay đổi thông số mạng CNN như: số lớp tích chập (03 lớp 04 lớp), kích thước kernel (kernel 3,3 kernel 5,5), giá trị đồ đặc trưng (32, 64, 128, 256) Sau có kết huấn luyện, sử dụng ma trận nhầm lẫn để đánh giá hiệu suất mạng CNN phân loại 05 loại bệnh da đánh số tương ứng: 1: Bệnh ung thư tế bào 2: Bệnh viêm màng sừng 3: Bệnh u da lành tính 4: Bệnh nốt ruồi hắc tố 5: Bệnh ung thư tế bào hắc tố 3.1 Mạng CNN nhận dạng bệnh da với 04 lớp tích chập Trường hợp 1: nhận dạng 03 bệnh với kernel (3,3) Hình Kết huấn luyện nhận dạng 03 bệnh da với kernel (3,3) Kết huấn luyện nhận dạng 03 bệnh với kernel (3,3) trường hợp đạt kết cao, nhiên dựa vào kết chưa thể xác định độ xác mơ hình CNN, cần phải kiểm tra thực tế ma trận nhầm lẫn Hình Kết đánh giá phân loại 03 bệnh với kernel (3,3) Kết đánh giá mơ hình CNN ma trận nhầm lẫn với bệnh đạt độ xác 98,4%, bệnh 100%, bệnh 97,2% Tuy nhiên sai số với bệnh 1,6% với bệnh 2,8% Trường hợp 2: nhận dạng 03 bệnh với kernel (5,5) 57 Hình Kết huấn luyện nhận dạng 03 bệnh da với kernel (5,5) Trong trường hợp 2, mạng CNN nhận dạng 03 bệnh nhiên có thay đổi giá trị kernel (5,5) Dễ dàng nhận thấy biểu đồ Test Acc trường hợp khơng cịn ổn định trường hợp 1, kết cuối đạt đến 98% Hình Kết đánh giá phân loại 03 bệnh với kernel (5,5) Kết đánh giá ma trận nhầm lẫn cho thấy trường hợp 2, bệnh đạt kết tuyệt đối kết kiểm tra với bệnh bệnh 97,3% 97,8% Trường hợp 3: nhận dạng 04 bệnh với kernel (3,3) Hình Kết huấn luyện nhận dạng 04 bệnh da với kernel (3,3) Khi tăng số lượng bệnh cần nhận dạng lên 04 bệnh kết huấn luyện mạng CNN khơng cịn đạt hiệu cao trường hợp trường hợp Biểu đồ Test Acc đạt hiệu 97% 58 Hình 10 Kết đánh giá phân loại 04 bệnh với kernel (3,3) Từ kết đánh giá ma trận nhầm lẫn, trường hợp bệnh với kernel (3,3) bệnh không đạt kết tuyệt đối trường hợp trường hợp Thay vào kết chia cho bệnh tương ứng bệnh 1: 96,2%, bệnh 2: 95,4%, bệnh 3: 96,4% bệnh 4: 95,8% Trường hợp 4: nhận dạng 04 bệnh với kernel (5,5) Hình 11 Kết huấn luyện nhận dạng 04 bệnh da với kernel (5,5) Kết huấn luyện mạng CNN với 04 bệnh da sử dụng kernel (5,5) cho thấy giá trị Test Acc giảm xuống 95% độ dao động Test Acc lớn nhiều so với trường hợp 3, có lúc giá trị Test Acc đạt 85% Hình 12 Kết đánh giá phân loại 04 bệnh với kernel (5,5) Trường hợp 5: nhận dạng 05 bệnh với kernel (3,3) 59 Hình 13 Kết huấn luyện nhận dạng 05 bệnh da với kernel (3,3) Khi mạng CNN phức tạp (số lượng đầu vào tăng 05 loại bệnh da) kết huấn luyện giảm Trong trường hợp giá trị Test Acc đạt 93% Hình 14 Kết đánh giá phân loại 05 bệnh với kernel (3,3) Từ kết kiểm tra thực tế ma trận nhầm lẫn, khả phân loại xác với bệnh 93,2%, bệnh 2: 92,9%, bệnh 3: 93,6%, bệnh 4: 92,4%, bệnh 5: 93,7% Trường hợp 6: nhận dạng 05 bệnh với kernel (5,5) Hình 15 Kết huấn luyện nhận dạng 05 bệnh da với kernel (5,5) Trong trường hợp nhận dạng 05 bệnh với kernel (5,5), giá trị Test Acc giảm xuống cịn 92% tăng Epoch giá trị Test Acc có xu hướng giảm Giá trị Test Acc giảm thấp xuống cịn 81% 60 Hình 16 Kết đánh giá phân loại 05 bệnh với kernel (5,5) 3.2 Mạng CNN nhận dạng bệnh da với 03 lớp tích chập Trường hợp 7: nhận dạng 03 bệnh với kernel (3,3) Hình 17 Kết huấn luyện nhận dạng 03 bệnh da với kernel (3,3) Mơ hình mạng CNN trường hợp đến trường hợp 12 sử dụng 03 lớp tích chập, nhiên trường hợp nhận dạng 03 bệnh với kernel (3,3) giá trị Test Acc đạt hiệu cao, gần tuyệt đối Hình 18 Kết đánh giá phân loại 03 bệnh với kernel (3,3) Trường hợp 8: nhận dạng 03 bệnh với kernel (5,5) 61 Hình 19 Kết huấn luyện nhận dạng 03 bệnh da với kernel (5,5) Hình 20 Kết đánh giá phân loại 03 bệnh với kernel (5,5) Trường hợp 9: nhận dạng 04 bệnh với kernel (3,3) Hình 21 Kết huấn luyện nhận dạng 04 bệnh da với kernel (3,3) Hiệu mô hình CNN sử dụng 03 lớp tích chập trường hợp giảm nhiều so với mơ hình CNN sử dụng 04 lớp tích chập trình bày Hiệu Test Acc 92% 62 Hình 22 Kết đánh giá phân loại 04 bệnh với kernel (3,3) Trường hợp 10: nhận dạng 04 bệnh với kernel (5,5) Hình 23 Kết huấn luyện nhận dạng 04 bệnh da với kernel (5,5) Hình 24 Kết đánh giá phân loại 04 bệnh với kernel (5,5) Trường hợp 11: nhận dạng 05 bệnh với kernel (3,3) 63 Hình 25 Kết huấn luyện nhận dạng 05 bệnh da với kernel (3,3) Hình 26 Kết đánh giá phân loại 05 bệnh với kernel (3,3) Trường hợp 12: nhận dạng 05 bệnh với kernel (5,5) Hình 27 Kết huấn luyện nhận dạng 05 bệnh da với kernel (5,5) Hình 28 Kết đánh giá phân loại 05 bệnh với kernel (5,5) 64 3.3 Nhận xét Bài báo sử dụng mạng CNN để phát phân loại 05 bệnh da người tập ảnh ISIC 2018 chia làm 12 trường hợp, thông qua kết chạy huấn luyện dễ dàng nhận thấy hiệu suất q trình huấn luyện phụ thuộc vào thơng số mạng CNN số lớp tích chập, kích thước kernel, tính đặc trưng, số bệnh đầu vào để phân loại Trong kết thu được, sử dụng 04 lớp tích chập có hiệu suất huấn luyện cao so với 03 lớp tích chập có thay đổi thơng số mạng cịn lại kích thước kernel, feature maps, số bệnh đầu vào phân loại Khi so sánh kết mạng CNN, mạng CNN sử dụng kernel (3,3) cho kết tốt mạng CNN sử dụng kernel (5,5), điều thể rõ kết huấn luyện mạng trường hợp 1, trường hợp 7,8 Giá trị Test Acc mạng CNN sử dụng kernel (3,3) cao hơn, ổn định mạng CNN sử dụng kernel (5,5) KẾT LUẬN Bài báo thực huấn luyện phân loại bệnh da người sử dụng mạng nơ-ron tích chập, mơ thuật tốn phần mềm Visual Studio Code Dữ liệu sử dụng luân văn với 1000 ảnh bệnh da thu thập từ tập ảnh ISIC 2018 với 05 loại bệnh ung thư tế bào, viêm màng sừng, u da lành tính, nốt ruồi hắc tố, ung thư tế bào hắc tố Ảnh bệnh da đầu vào tiền xử lý để giảm kích thước giúp ảnh có kích thước nhỏ gọn hơn, chuẩn hóa giá trị pixels từ đến để qua mạng CNN hoạt động hiệu quả, giúp phân loại bệnh xác đáp ứng yêu cầu thời gian thực Bài báo tiến hành huấn luyện phân loại bệnh trường hợp 03 bệnh, 04 bệnh, 05 bệnh với thay đổi thông số mạng CNN thay đổi số lớp tích chập, kích thước kernel, giá trị đặc trưng nhằm từ tìm thơng số lựa chọn tối ưu cho mạng CNN Trong trình huấn luyện, mạng CNN báo xây dựng đạt kết huấn luyện cao 97% Tuy nhiên số vấn đề cần cải thiện loại bệnh da đầu vào khoảng 200 ảnh, tổng số ảnh dùng nghiên cứu khoảng 1000 ảnh, số ảnh lấy từ tập ảnh ISIC 2018 lấy ảnh bệnh da từ nguồn internet ảnh chụp từ thiết bị camera đưa vào mạng CNN để phân loại chưa đạt hiệu cao Trong tương lai, cần xây dựng thu thập tập ảnh đầu vào phong phú hơn, không riêng tập ảnh ISIC 2018 mà nên xây dựng tập ảnh từ nguồn thu thập khác tập ảnh bệnh da thực tế bệnh viện Số lượng ảnh nhiều hiệu suất mạng CNN cải thiện 65 TÀI LIỆU THAM KHẢO [1] TOBIAS, L., A DUCOURNAU, F ROUSSEAU, G MERCIER and R FABLET, “Convolutional Neural Networks for object recognition on mobile devices: A case study” In: 23rd International Conference on Pattern Recognition (ICPR) Cancun: IEEE, 2016 [2] GUO, S., S CHEN and Y LI, “Face recognition based on convolutional neural network and support vector machine” In: IEEE International Conference on Information and Automation (ICIA) Ningbo: IEEE, 2016 [3] Patrik KAMENCAY, Miroslav BENCO, Tomas MIZDOS, Roman RADIL, “A New Method for Face Recognition Using Convolutional Neural Network”, Digital Image Processing And Computer Graphics, 2017 [4] M A Al-Masni, M A Al-antari, M.-T Choi, S.-M Han, and T.-S Kim, “Skin lesion segmentation in dermoscopy images via deep full resolution convolutional networks,” Computer methods and programs in biomedicine, vol 162, pp 221–231, 2018 [5] N Nida, A Irtaza, A Javed, M H Yousaf, and M T Mahmood, “Melanoma lesion detection and segmentation using deep region based convolutional neural network and fuzzy c-means clustering,” International journal of medical informatics, vol 124, pp 37–48, 2019 [6] S Guo and Z Yang, “Multi-channel-resnet: an integration framework towards skin lesion analysis,” Informatics in Medicine Unlocked, vol 12, pp 67–74, 2018 [7] N Ibtehaz and M S Rahman, “Multiresunet: Rethinking the u-net architecture for multimodal biomedical image segmentation,” arXiv preprint arXiv:1902.04049, 2019 [8] S Kitada and H Iyatomi, “Skin lesion classification with ensemble of squeeze-and-excitation networks and semi-supervised learning,” arXiv preprint arXiv:1809.02568, 2018 [9] Y Tokozume, Y Ushiku, and T Harada, “Between-class learning for image classification,” in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2018, pp 5486–5494 [10] N Gessert, T Sentker, F Madesta, R Schmitz, H Kniep, I Baltruschat, R Werner, and A Schlaefer, “Skin lesion diagnosis using ensembles, unscaled multi-crop evaluation and loss weighting,” arXiv preprint arXiv:1808.01694, 2018 [11] G Huang, Z Liu, L Van Der Maaten, and K Q Weinberger, “Densely connected convolutional networks,” in Proceedings of the IEEE conference on computer vision and pattern recognition, 2017, pp 4700–4708 [12] J Hu, L Shen, and G Sun, “Squeeze-and-excitation networks,” in Proceedings of the IEEE conference on computer vision and pattern recognition, 2018, pp 7132–7141 [13] S Xie, R Girshick, P Dollar, Z Tu, and K He, “Aggregated residual transformations for deep neural networks,” in Proceedings of the IEEE conference on computer vision and pattern recognition, 2017, pp 1492–1500 [14] M A A Milton, “Automated skin lesion classification using ensemble of deep neural networks in isic 2018: Skin lesion analysis towards melanoma detection challenge,” arXiv preprint arXiv:1901.10802, 2019 [15] B Zoph, V Vasudevan, J Shlens, and Q V Le, “Learning transferable architectures for scalable image recognition,” in Proceedings of the IEEE conference on computer vision and pattern recognition, 2018, pp 8697–8710 [16] C Szegedy, S Ioffe, V Vanhoucke, and A A Alemi, “Inception-v4, inception-resnet and the impact of residual connections on learning,” in Thirty-First AAAI Conference on Artificial Intelligence, 2017 66 Thơng tin liên hệ tác giả (người chịu trách nhiệm viết): Họ tên: Hồng Đình Phương Đơn vị: Công an Quận 12 – TP.HCM Điện thoại: 0985252728 Email: phuonghdkt@gmail.com 67 68 S K L 0 ... tích chập cho nhận dạng bệnh da Giới thiệu mơ hình tổng qt phân loại bệnh da người sử dụng mạng Nơron tích chập Trình bày cách thu thập mẫu ảnh bệnh da, phương pháp phân loại bệnh da người sử dụng. .. pháp phân loại bệnh da người luận văn đưa phương pháp phân loại bệnh sử dụng mạng nơron tích chập Dưới sơ đồ tổng quát trình xử lý để phân loại số loại bệnh da người Hình 3.1 Sơ đồ khối mạng tích. .. cho phân loại phát bệnh Trong mạng CNN lớp tích chập với kernel phân tích, lựa chọn để lấy thơng tin trích đặc trưng thực tích chập Luận văn trình bày việc sử dụng mạng CNN cho phân loại nhóm bệnh