Đồ án xác định ung thư da qua tập dữ liệu hình ảnh

ĐẠI HỌC QUỐC GIA TPHCM TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN KHOA CÔNG NGHỆ PHẦN MỀM ĐỒ ÁN XÁC ĐỊNH UNG THƯ DA QUA TẬP DỮ LIỆU HÌNH ẢNH Giảng viên hướng dẫn : Huỳnh Tuấn Anh Sinh viên thực : Lê Hoàng Thịnh Ho Chi Minh city, 25th December 2021 LỜI CẢM ƠN Trân trọng gửi lời cảm ơn đến thầy Huỳnh Tuấn Anh, giảng viên khoa công nghệ phần mềm tạo điều kiện hội giúp đỡ em trình phát triển hồn thiện đồ án mơn học nghiên cứu Trong thời gian qua, nhờ hướng dẫn từ thầy, em có kiến thức quan trọng định để hoàn thiện báo cáo cách hoàn chỉnh Tuy nhiên, trình tìm hiểu hoàn thiện đồ án, với thời gian, kiến thức kinh nghiệm cịn hạn chế nên khó tránh sai sót, em mong nhận ý kiến đóng góp từ thầy để tích lũy thêm học, kinh nghiệm để hoàn thành tốt với đồ án Em xin chân thành cảm ơn Lê Hoàng Thịnh Table of contents MỞ ĐẦU Lý chọn đề tài Mơ tả tốn Mục tiêu nghiên cứu Máy học ( Machine Learning) Học có giám sát ( Supervised Learning) Phân loại toán dựa phương thức học Học có giám sát (Supervised Learning) Học khơng giám sát (Unsupervised Learning) Học bán giám sát Học tăng cường (Reinforcement Learning) Phân loại toán dựa thuật toán Thuật toán hồi quy Thuật toán phân lớp Thuật toán mạng neural di truyền 10 Thuật tốn gom nhóm 10 Học sâu ( Deep Learning) 10 Giới thiệu học sâu 11 Các thành phần mạng học sâu 13 Hàm kích hoạt (activation function) 13 Hàm tối ưu hóa (optimizer) 13 Tóm tắt 14 Khi nên sử dụng phương pháp học sâu 14 Khi không nên sử dụng phương pháp học sâu 14 Mạng Neural Tích Chập (Convolutional Neural Network) Sơ lược 14 15 Tại lại sử dụng mạng neural tích chập thay cho mạng neural thơng thường15 Kích thước hình ảnh lớn 15 Sự thay đổi vật thể dựa theo yếu tố bên 15 Cách mạng neural tích chập giải vấn đề 15 Tầng tích chập (Convolutional Layer) 15 Phép tích chập 15 Tóm tắt 17 Đệm (Padding) Sải bước (Stride) 18 Đệm (Padding) 18 Sải bước (Stride) 18 Đa kênh đầu vào đa kênh đầu 19 Đa kênh đầu vào 19 Đa kênh đầu 20 Tầng tích chập 1x1 20 Tóm tắt 21 Tầng gộp (Pooling) 22 Gộp (pooling) 22 Gộp với đầu vào vào đa kênh 23 Tóm tắt 23 Softmax 23 Tổng quan 23 Hàm mát entropy chéo (Cross-entropy Loss) 24 Tổng kết Transfer learning fine tuning 24 24 Định nghĩa 25 Fine tuning 25 Bài tốn xác định ung thư da qua tập hình ảnh Các thư viện sử dụng 26 26 Open CV 26 Tensorflow 26 Mơ hình sử dụng 27 Các bước thực 29 Tải xuống tập liệu huấn luyện kiểm thử 29 Phân tích tập liệu 29 Tiền xử lý liệu 30 Tiến hành huấn luyện mơ hình Sử dụng mơ hình huấn luyện sẵn 31 31 Thay đổi kiểu liệu đầu vào lớp cuối mơ hình cho phù hợp với toán 31 Tăng cường liệu (Augmentation Data) 32 Tiến hành huấn luyện mơ hình qua vịng 33 Tiến hành gỡ đóng băng huấn luyện lại liệu 33 Kết toán 33 Kết luận hướng phát triển 34 Kết đạt 34 Hạn chế 34 Hướng phát triển 34 References 35 MỞ ĐẦU 1.1 Lý chọn đề tài Với phát triển mạnh mẽ thời đại khoa học công nghệ, bên cạnh ứng dụng tạo cho mục đích đời sống ngày, sức mạnh tính tốn máy tính cịn ứng dụng rộng rãi nhiều lĩnh vực nghiên cứu nhận dạng ảnh, dự báo thời tiết, chẩn đoán y khoa … Một thay đổi mang tính thời đại ứng dụng phương pháp pháp học máy phương pháp học sâu để áp dụng lĩnh vực thị giác máy tính Nhận thấy tầm quan trọng tính phổ biến phương pháp học tri thức thực tế, kèm với mong muốn hỗ trợ giúp đỡ chuyên gia y tế việc chẩn đoán bệnh, em định chọn đề tài nghiên cứu xác định ung thư da qua tập hình ảnh 1.2 Mơ tả tốn Bài tốn bắt đầu việc chuyên gia y tế chụp ảnh da bệnh nhân, dựa hình ảnh sắc tố da… để nhận dạng loại ung thư lành tính hay ác tính Vì lĩnh vực nghiên cứu liên quan đến y khoa nên yếu tố xác đưa lên hàng đầu trước yếu tố thời gian 1.3 Mục tiêu nghiên cứu Mục tiêu nghiên cứu đồ án khái quát Machine Learning, sau Deep Learning sử dụng mạng neural để huấn luyện mơ hình nhận diện ung thư da Máy học ( Machine Learning) Machine Learning tập AI (Artificial Intelligence – Trí tuệ nhân tạo) Nói đơn giản Machine Learning lĩnh vực nhỏ Khoa học máy tính, có khả tự học hỏi dựa liệu đưa vào mà khơng cần phải lập trình cụ thể Machine Learning làm cho máy tính có khả nhận thức người nghe, nhìn, hiểu ngơn ngữ, giải tốn, lập trình, … hỗ trợ người việc xử lý khối lượng lớn thông tin khổng lồ mà phải đối mặt ngày, hay gọi Big Data (dữ liệu lớn) Nhìn chung có nhiều phương thức học tri thức, ta tập trung vào ba phương thức chính: 2.1 Học có giám sát ( Supervised Learning) Học có giám sát (Supervised Learning) mơ hình học máy sử dụng thuật toán để dự đoán kết đầu (output) dựa liệu đầu vào Mơ hình huấn luyện để dự đốn có độ xác cao từ cặp liệu thu thập trước (features label) Trong đó: - Feature: Thường ký hiệu x Đây dạng tensor có nhiều chiều x = (x1,x2, ,xn) với 𝑥𝑖 gọi feature Label: Thường ký hiệu y Đây kết tập thuộc tính x tương ứng Đây cịn output tốn Một cách tốn học, học có giám sát chúng có tập hợp biến đầu vào 𝑋 = {𝑥1 , 𝑥2 , 𝑥𝑛 } tập hợp nhãn tương ứng 𝑌 = {𝑦1 , 𝑦2 , 𝑦𝑛 } Trong 𝑥𝑖 , 𝑦𝑖 vector Các cặp liệu (𝑥𝑖 , 𝑦𝑖 ) ta biết trước gọi liệu huấn luyện (training data) 𝑦𝑖 ≈ 𝑓(𝑥𝑖 ), ∀𝑖 = 1,2, 𝑁 Mục đích việc học khơng giám sát nói chung ta tìm hàm 𝑓 cho với giá trị 𝑥𝑖 ta tìm giá trị 𝑦𝑖 cho sai số so với thực tế nhỏ Ví dụ: nhận dạng chữ viết tay, ta có ảnh hàng nghìn ví dụ chữ số viết nhiều người khác Chúng ta đưa ảnh vào thuật tốn cho biết ảnh tương ứng với chữ số Sau thuật tốn tạo mơ hình, tức hàm số mà đầu vào ảnh đầu chữ số, nhận ảnh mà mơ hình chưa nhìn thấy Nhìn chung học có giám sát chia thành hai tốn khác dựa kết đầu vào chúng 2.2 Phân loại toán dựa phương thức học 2.2.1 Học có giám sát (Supervised Learning) ● Hồi quy (Regression) Nếu nhãn không chia thành nhóm mà giá trị thực cụ thể Ví dụ: nhà rộng Một toán gọi hồi quy nhãn liệu đầu vào khơng chia thành nhóm hữu hạn mà giá trị thực cụ thể Ví dụ: dự đốn giá nhà dựa vị trí diện tích toán hồi quy ● Phân loại (Classification) Một toán gọi classification nhãn liệu đầu vào chia thành số hữu hạn nhóm Ví dụ: Gmail xác định xem email có phải spam hay khơng; hãng tín dụng xác định xem khách hàng có khả tốn nợ hay khơng 2.2.2 Học khơng giám sát (Unsupervised Learning) Đối với học không giám sát, giá trị đầu hay nhãn mà có liệu đầu vào Thuật tốn học khơng giám sát dựa vào cấu trúc liệu để thực cơng việc đó, ví dụ phân nhóm (clustering) giảm số chiều liệu (dimension reduction) để thuận tiện việc lưu trữ tính tốn Ví dụ cho việc học khơng giám sát: tính phân loại theo chủ đề kiện Google tốn học khơng giám sát 2.2.3 Học bán giám sát Học bán giám sát mơ hình học kết hợp từ học có giám sát học không giám sát việc gán nhãn cho số liệu số liệu lại khơng gán nhãn số lượng liệu không gán nhãn thường lớn nhiều so với liệu gán nhãn Các liệu kết hợp với để tận dụng hiệu liệu có Thơng thường, điều làm tăng tính xác mơ hình xây dựng 2.2.4 Học tăng cường (Reinforcement Learning) Reinforcement learning toán giúp cho hệ thống tự động xác định hành vi dựa hoàn cảnh để đạt lợi ích cao (maximizing the performance) Hiện tại, Reinforcement learning chủ yếu áp dụng vào Lý Thuyết Trị Chơi (Game Theory), thuật tốn cần xác định nước để đạt điểm số cao Một ví dụ học tăng cường robot Alphago chiến thắng áp đảo kỳ thủ cờ vây hàng đầu giới 2.3 Phân loại toán dựa thuật tốn Một số nhóm thuật tốn tiêu biểu đề cập sau gom nhóm, ngồi cịn nhiều thuật tốn khác 2.3.1 ● ● ● 2.3.2 ● ● ● Thuật toán hồi quy Linear Regression Logistic Regression Stepwise Regression Thuật toán phân lớp Linear Classifier Support Vector Machine (SVM) Kernel SVM 2.3.3 Thuật toán mạng neural di truyền ● ● ● ● Perception Softmax Regression Multilayer Perceptron Back-propagation 2.3.4 Thuật toán gom nhóm ● ● K-mean clustering K-medians Suy cho cùng, phép tích chập dùng để trích xuất tương quan điểm ảnh lân cận nên lọc phải bao gồm mảng chiều có kích thước lớn phần tử Như vậy, phép tích chập x dường khơng có ý nghĩa việc trích xuất đặc trưng Tuy nhiên, chúng lại phép tốn phổ biến đơi sử dụng để thiết kế mạng sâu phức tạp Thực chất phép tích chập x có tác động vào chiều kênh đầu vào Lưu ý đầu vào đầu có chiều cao chiều rộng Mỗi phần tử đầu tổ hợp tuyến tính phần tử vị trí ảnh đầu vào Bạn xem tầng tích chập × tầng kết nối đầy đủ áp dụng lên vị trí điểm ảnh đơn lẻ để chuyển đổi 𝑐𝑖 giá trị đầu vào thành 𝑐𝑜 giá trị đầu tương ứng Bởi tầng tích chập nên trọng số chia sẻ vị trí điểm ảnh Do đó, tầng tích chập × cần tới 𝑐𝑜 × 𝑐𝑖 trọng số (cộng thêm hệ số điều chỉnh) Hình bên minh họa phép tương quan chéo sử dụng lọc tích chập × Phép tính tương quan chéo sử dụng lọc tích chập × với kênh đầu vào kênh đầu Các đầu vào đầu có chiều cao chiều rộng 4.5.4 ● ● ● Tóm tắt Ta sử dụng nhiều kênh để mở rộng các giá trị liệu đầu vào phạm vi cửa sổ cho kết Ví dụ phép gộp cực đại cho kết giá trị lớn liệu đầu vào phạm vi mà cửa sổ gộp qua Tầng tích chập × áp dụng lên điểm ảnh tương đương với tầng kết nối đầy đủ kênh Tầng tích chập × thường sử dụng để điều chỉnh số lượng kênh tầng mạng để kiểm sốt độ phức tạp mơ hình 4.6 Tầng gộp (Pooling) 4.6.1 Gộp (pooling) Có thể nhận thấy điểm ảnh gần có giá trị tương đương nên áp dụng lọc kết phép tích chập có tính chất tương tự, giá trị gần gần Điều dẫn đến việc dư thừa thông tin giá trị mang đến lợi ích việc học mơ hình, chí cịn làm cho mơ hình phải sử dụng nhiều tài nguyên Nếu ta quan tâm đến điểm liệu thưa thớt học biểu diễn tồn cục mà giữ nguyên toàn lợi đến từ tầng tích chập xử lý trung gian Vấn đề giải tầng gộp cách gộp phần tử lân cận lại với Có nhiều cách để gộp (pooling), phổ biến gộp cực đại (max pooling) dùng gộp trung bình (average pooling) Gộp cực đại với cửa sổ có kích thước × Các phần tô đậm thể phần tử đầu phần tử đầu vào dùng để tính tốn: 𝑚𝑎𝑥(0, 1, 3, 4) = Ta thấy phép gộp thực chất làm giảm kích thước đầu vào cách chia chiều dài chiều rộng cho chiều dài chiều rộng cửa sổ duyệt Tương tự, gộp trung bình ta thay giá trị đầu trung bình giá trị vị trí duyệt Để lý giải cho lý mà người ta thường chọn phép gộp cực đại điểm ảnh có giá trị lớn thường phản ánh rõ ràng đặc trưng cục ảnh Một điểm cuối phép gộp ta khơng có tham số mơ hình phép tốn ta định sẵn 4.6.2 Gộp với đầu vào vào đa kênh Khác với tầng tích chập, tầng gộp áp dụng phép gộp lên kênh riêng biệt thay cộng phần tử tương ứng kênh lại với tầng tích chập Do đó, số lượng kênh đầu giống với số lượng kênh đầu vào 4.6.3 Tóm tắt ● Tầng gộp khơng có tham số mơ hình ● Tầng gộp để giảm kích thước ảnh giảm thông tin dư thừa gây nhiễu ● Số lượng kênh đầu tầng gộp số lượng kênh đầu vào tầng gộp 4.7 Softmax Về chất, CNNs thuật tốn phân lớp Điều có nghĩa ta có ảnh Input, ta mong nhận lại kết phân vào lớp lớp định nghĩa sẵn mơ hình Ví dụ tốn phân lớp chó, mèo gà, ta có sẵn hình cần biết phân vào lớp lớp Ta cần thêm tầng liên kết đầy đủ tính xác suất ảnh rơi vào lớp bao nhiêu, từ kết luận thuộc lớp cách lấy lớp có xác suất cao Và hàm kích hoạt tầng liên kết đầy đủ lựa chọn hàm Softmax 4.7.1 Tổng quan Hàm Softmax biến giá trị thực tùy ý thành xác suất Với n số x1, x2 xn: 𝑠(𝑥𝑖 ) = 𝑒 𝑥𝑖 ∑𝑛𝑗=1 𝑒 𝑥𝑖 Hàm Softmax hữu dụng việc phân loại hình ảnh Giả dụ mạng nơ-ron ta có đầu bao gồm số thực, số biểu diễn cho hình ảnh chó số cịn lại cho mèo:[−1,2] Animal 𝒙 𝑒𝑥 Probability Dog -1 0.368 0.047 Cat 7.39 0.953 Điều có nghĩa có đến 95.3% hình hình mèo Với hàm Softmax ta có giải toán phân lớp xác suất thay câu trả lời True/False (thực chất hàm Softmax trường hợp tổng quát toán phân lớp nhị phân) 4.7.2 Hàm mát entropy chéo (Cross-entropy Loss) Mục đích thật sử dụng hàm Softmax để làm hàm kích hoạt tầng cuối khơng đơn giản để phân lớp có khả cao Bởi ta xét giá trị sau tính tốn lựa chọn lớp có giá trị cao Lý thật để ta đánh giá mức độ xác thuật tốn tính mức độ chắn dự đốn cross-entropy loss Hàm cross-entropy loss định nghĩa sau: 𝐿 = −𝑙𝑛(𝑝𝑐 ) Trong đó, c lớp thực tế pc xác suất dự đoán cho lớp c Như hàm mất khác mát nhỏ tốt Ví dụ: 𝑝𝑐 = 0.8, 𝐿 = −𝑙𝑛(0.8) = 0.223 Ta thấy xác suất cao độ sai lệch so với thực tế nhỏ 4.8 Tổng kết Trong chương ta tìm hiểu sơ lược mạng CNNs thành phần phép tốn hình thành nên Đây sở lý thuyết để ta tiến sâu vào nghiên cứu ứng dụng học sâu toán xử lý nhận diện ung thư da qua tập hình ảnh Transfer learning fine tuning 5.1 Định nghĩa Transfer Learning kỹ thuật mà mơ hình huấn luyện dựa tác vụ cụ thể, phần hay tồn mơ hình tái sử dụng dựa nhiệm vụ layer mơ hình Một mơ hình sử dụng phần hay tồn mơ hình huấn luyện (pretrained model) để học target task cụ thể tuỳ vào nhiệm vụ layer mà model thêm vào 5.2 Fine tuning Là phương pháp tinh chỉnh mơ hình để nâng cao độ xác mơ hình huấn luyện, bước tiến hành sau: - Lấy mô hình huấn luyện trước Ta tiến hành đóng băng ( freezing) lớp mơ hình huấn luyện Sau thêm vào nhiều layer vào cuối mơ hình Tiến hành xây dựng mơ hình train với liệu qua số vịng epochs Tiến hành gỡ đóng băng lớp trước mơ hình huấn luyện Xây dựng mơ hình tiến hành huấn luyện lần cuối Bài toán xác định ung thư da qua tập hình ảnh 6.1 Các thư viện sử dụng 6.1.1 Open CV OpenCV viết tắt cho Open Source Computer Vision Library OpenCV thư viện nguồn mở hàng đầu cho thị giác máy tình có thêm tính tăng tốc GPU cho hoạt động theo real-time Ở opencv sử dụng để đọc xử lý hình ảnh 6.1.2 Tensorflow Tensorflow thư viện mã nguồn mở cho máy học tiếng, phát triển nhà nghiên cứu từ Google Việc hỗ trợ mạnh mẽ phép tốn học để tính tốn machine learning deep learning giúp việc tiếp cận tốn trở nên đơn giản, nhanh chóng tiện lợi nhiều Các hàm dựng sẵn thư viện cho toán cho phép TensorFlow xây dựng nhiều neural network Nó cịn cho phép bạn tính tốn song song nhiều máy tính khác nhau, chí nhiều CPU, GPU máy hay tạo dataflow graph – đồ thị luồng liệu để dựng nên model Nếu bạn muốn chọn đường nghiệp lĩnh vực A.I này, nắm rõ điều TensorFlow thực quan trọng Trong đồ án, tensorflow thư viện để sử dụng phương pháp học sâu huấn luyện mơ hình, dự đốn liệu 6.2 Mơ hình sử dụng Việc sử dụng mơ hình khác cho độ xác khác rõ rệt Tuy nhiên tốn này, mơ hình Resnet50 kết hợp với bước tiền xử lý liệu đưa vào ứng dụng Sau đó, mơ hình phát triển tương lai, sử dụng mạng khác mang lại hiệu hiệu suất cao Efficient Net 6.3 Mạng ResNet50 6.3.1 Định nghĩa Mạng ResNet (R) mạng CNN thiết kế để làm việc với hàng trăm hàng nghìn lớp chập Một vấn đề xảy xây dựng mạng CNN với nhiều lớp chập xảy tượng Vanishing Gradient dẫn tới trình học tập không tốt 6.3.2 Vanishing Gradient Backpropagation Algorithm kỹ thuật thường sử dụng trình tranining Ý tưởng chung thuật toán từ output layer đến input layer tính tốn gradient cost function tương ứng cho parameter (weight) mạng Gradient Descent sau sử dụng để cập nhật parameter Tuy nhiên, thực tế Gradients thường có giá trị nhỏ dần xuống layer thấp Dẫn đến kết cập nhật thực Gradients Descent không làm thay đổi nhiều weights layer làm chúng hội tụ mạng không thu kết tốt Vì mạng resnet đời để giải vấn đề 6.3.3 Resnet ResNet sử dụng kết nối "tắt" đồng để xuyên qua hay nhiều lớp Một khối gọi Residual Block, hình sau: ResNet gần tương tự với mạng gồm có convolution, pooling, activation fullyconnected layer Ảnh bên hiển thị khối dư sử dụng mạng Xuất mũi tên cong xuất phát từ đầu kết thúc cuối khối dư Hay nói cách khác bổ sung Input X vào đầu layer 6.3.4 Resnet50 ResNet50 mạng neural thiết kế dựa ý tưởng ResNet, mạng có tổng cộng 50 layers bố trí sau: Sử dụng mạng resnet50 huấn luyện ImageNet tensorflow, ta tinh chỉnh để đạt kết phù hợp (Aston Zhang, Zack C Lipton, Mu Li, Alex J Smola, 2019) 6.4 Các bước thực 6.4.1 Tải xuống tập liệu huấn luyện kiểm thử Đối với liệu mẫu cho ung thư da, sử dụng liệu từ thi ISIC 2020 6.4.2 Phân tích tập liệu Dataset chia vào thư mục train (dữ liệu huấn luyện) ISIC_2020_Test_Input (dữ liệu thử nghiệm) Bên cạnh đó, tập training_groudTruth.csv đóng vai trị bảng cung cấp thơng tin phụ cho ảnh (metadata) Tập liệu huấn luyện có 33,126 hình ảnh tập liệu kiểm nghiệm có 10,982 ảnh File metadata dataset có 33,126 dòng, nhiều cột khác Tuy nhiên giới hạn đồ án này, ta quan tâm đến trường image_name ( tên hình ảnh) target (thể khối u lành tính hay ác tính) Tuy nhiên ta nhận thấy rằng, tập liệu cung cấp bị cân có đến 32542 ảnh biểu thị cho lành tính ( giá trị 0) 584 ảnh biểu thị cho ác tính (giá trị 1) Trong thực tế, thu thập lượng lớn liệu, ta hay gặp trường hợp dễ xảy cân liệu Ví dụ thu thập số người bị bệnh, địa điểm thu thấp bệnh viện, có đến 70% người có mặt bệnh viện bị bệnh, 30% số người không bị nhiễm bệnh Tuy nhiên thực tế ta thu thập liệu trường học, công sở… có khoảng 1-5% cho số người bị nhiễm bệnh cịn lại khơng nhiễm bệnh Đây ví dụ cho tính cân liệu thường xuyên gặp phải thực tế với mẫu dataset Vì để tránh việc cân liệu , tạm thời ta sử dụng phương pháp undersampling 6.4.3 Tiền xử lý liệu Bên cạnh việc giải tính cân liệu, Ta cần phải tiến hành gán nhãn cho liệu, chỉnh sửa lại kích thước ảnh để tối ưu thời gian phân chia tập liệu 6.4.4 Tiến hành huấn luyện mơ hình Sử dụng mơ hình huấn luyện sẵn Ở ta sử dụng mạng ResNet50 huấn luyện sẵn dựa ImageNet sau đóng băng lớp mơ hình Thay đổi kiểu liệu đầu vào lớp cuối mơ hình cho phù hợp với tốn - Ở ta thêm lớp cuối lớp Dense với hàm kích hoạt sigmoid Như nói hàm kích hoạt sử dụng toán phân lớp nhị phân - Đối với thuật toán tối ưu (optimizer), ta sử dụng thuật toán Stochastic Gradient Descent Đây thuật toán tối ưu nên sử dụng tốn số lượng liệu đầu vào lớn tương lai - Đối với hàm mát, binary_crossentropy sử dụng cho toán phân lớp nhị phân Tăng cường liệu (Augmentation Data) - Ta sử dụng Lớp ImageDataGenerator để tạo hình ảnh khác với yếu tố khác tránh trường hợp mơ hình bị overfitting Tiến hành huấn luyện mơ hình qua vịng Tiến hành gỡ đóng băng huấn luyện lại mơ hình Dự đốn đo độ xác mơ hình 6.5 Kết toán skin-diagnosis.ipynb - Colaboratory (google.com) Kết luận hướng phát triển 7.1 Kết đạt Trong trình phát triển thực đồ án 1, em nắm kiến thức máy học (machine learning), học sâu (deep learning), mạng neural tích chập thuật tốn xoay quanh back-propagation Một số mơ hình huấn luyện sẵn cách áp dụng chúng để tự tạo mơ hình riêng dựa tri thức có sẵn Bên cạnh đó, em cịn tìm hiểu thêm cách thức xử lý liệu cân phương pháp tăng cường liệu ảnh (Augmented Data) Từ kiến thức đó, em phối hợp hoàn thành nên báo cáo 7.2 Hạn chế - Việc sử dụng undersampling gây mát nhiều liệu huấn luyện dẫn đến việc lãng phí - Mơ hình Resnet50 mơ hình lâu đời nên chưa phải phương pháp tối ưu thời điểm - Bài toán chưa mở rộng dừng lại việc phân lớp nhị phân 7.3 Hướng phát triển - Trong đồ án tiếp theo, em tiến hành thử nghiệm tập liệu mơ hình khác đại tối ưu Efficient Net, Convolutional transformer - Mở rộng tính ứng dụng mơ hình - Nâng cao việc tiền xử lý liệu thay sử dụng undersampling để giải imbalanced data - Mở rộng toán từ classification thành toán Segmentation References Aston Zhang, Zack C Lipton, Mu Li, Alex J Smola, 2019 Dive Into Deep Learning [Trực tuyến] Available at: https://d2l.ai/ [Đã truy cập 28 July 2021] Tiep, V H., 2019 Machine Learning Co Ban [Trực tuyến] Available at: https://machinelearningcoban.com/ [Đã truy cập August 2021] Anon., 2019 Kaggle [Trực tuyến] Available at: https://www.kaggle.com/search?q=skin+cancer+in%3Anotebooks [Đã truy cập 28 August 2021] Google, 2016 Tensorflow [Trực tuyến] Available at: https://www.tensorflow.org/api_docs/python/tf [Đã truy cập 30 September 2021] Anon., 2019 Py Image Search [Trực tuyến] Available at: https://www.pyimagesearch.com/2020/04/27/fine-tuning-resnet-with-kerastensorflow-and-deep-learning/ [Đã truy cập 14 Octorber 2021] ... việc chẩn đoán bệnh, em định chọn đề tài nghiên cứu xác định ung thư da qua tập hình ảnh 1.2 Mơ tả toán Bài toán bắt đầu việc chuyên gia y tế chụp ảnh da bệnh nhân, dựa hình ảnh sắc tố da? ?? để nhận... dựng mơ hình train với liệu qua số vịng epochs Tiến hành gỡ đóng băng lớp trước mơ hình huấn luyện Xây dựng mơ hình tiến hành huấn luyện lần cuối Bài toán xác định ung thư da qua tập hình ảnh 6.1... 23 Tổng quan 23 Hàm mát entropy chéo (Cross-entropy Loss) 24 Tổng kết Transfer learning fine tuning 24 24 Định nghĩa 25 Fine tuning 25 Bài toán xác định ung thư da qua tập hình ảnh Các thư viện