Nghiên cứu ứng dụng kỹ thuật học sâu trong nhận dạng một số sâu bệnh trên cây lúa

BỘ GIÁO DỤC VÀ ĐÀO TẠO UBND TỈNH THANH HÓA TRƢỜNG ĐẠI HỌC HỒNG ĐỨC LƢU TÙNG DƢƠNG NGHIÊN CỨU ỨNG DỤNG KỸ THUẬT HỌC SÂU TRONG NHẬN DẠNG MỘT SỐ SÂU BỆNH TRÊN CÂY LÚA LUẬN VĂN THẠC SĨ CƠNG NGHỆ THƠNG TIN THANH HĨA - 2019 BỘ GIÁO DỤC VÀ ĐÀO TẠO UBND TỈNH THANH HÓA TRƢỜNG ĐẠI HỌC HỒNG ĐỨC LƢU TÙNG DƢƠNG NGHIÊN CỨU ỨNG DỤNG KỸ THUẬT HỌC SÂU TRONG NHẬN DẠNG MỘT SỐ SÂU BỆNH TRÊN CÂY LÚA LUẬN VĂN THẠC SĨ CÔNG NGHỆ THƠNG TIN Chun ngành: KHOA HỌC MÁY TÍNH Mã số: 8480101 Ngƣời hƣớng dẫn khoa học: TS Hoàng Văn Dũng THANH HÓA - 2019 Danh sách Hội đồng chấm luận văn Thạc sĩ khoa học (theo định số …/QĐ-ĐHHĐ ngày tháng năm 2019 Hiệu trưởng Trường Đại học Hồng Đức) Học hàm, học vị, Họ tên Cơ quan công tác Chức danh Hội đồng Chủ tịch Phản biện Phản biện Ủy viên Thư ký Xác nhận Ngƣời hƣớng dẫn Học viên chỉnh sửa theo ý kiến Hội đồng Thanh Hóa, ngày tháng năm 2019 (Ký ghi rõ họ tên) TS Hoàng Văn Dũng i LỜI CAM ĐOAN Những nội dung luận văn thực hướng dẫn trực tiếp thầy giáo hướng dẫn TS Hoàng Văn Dũng Các tài liệu tham khảo dùng luận văn trích dẫn rõ ràng tên tác giả, tên cơng trình, thời gian, địa điểm cơng bố Tôi xin cam đoan luận văn không trùng lặp với khóa luận, luận văn, luận án cơng trình nghiên cứu cơng bố Ngƣời cam đoan Lƣu Tùng Dƣơng ii LỜI CẢM ƠN Em xin chân thành cám ơn quý thầy, cô khoa Công nghệ thông tin & Truyền thông trang bị cho em kiến thức tảng giúp em hoàn thành tốt luận văn Cám ơn bạn lớp chia sẻ kinh nghiệm hỗ trợ lúc làm luận văn Đặc biệt em xin chân thành cảm ơn thầy hướng dẫn, T.S Hoàng Văn Dũng hỗ trợ em trình thực luận văn Mặc dù cố gắng hết khả tránh khỏi thiếu sót Rất mong nhận góp ý quý báu q thầy để em hồn chỉnh Ngƣời cảm ơn Lƣu Tùng Dƣơng iii MỤC LỤC MỞ ĐẦU 1 Lý chọn đề tài .1 Mục tiêu nghiên cứu Nhiệm vụ giới hạn đề tài 3.1 Nhiệm vụ đề tài 3.2 Giới hạn đề tài Phương pháp nghiên cứu Cấu trúc luận văn .3 CHƢƠNG I: TỔNG QUAN VỀ NHẬN DẠNG XỬ LÝ ẢNH VÀ HỌC MÁY .4 1.1 Một số kỹ thuật xử lý ảnh 1.1.1 Tổng quan xử lý ảnh .4 1.1.2 Một số dạng ảnh 1.1.3 Các thành phần hệ thống xử lý ảnh 1.1.4 Phương pháp phát biên ảnh .7 1.1.4.1 Một số khái niệm 1.1.4.2 Kỹ thuật phát biên Gradient .7 1.1.4.3 Kỹ thuật phát biên Canny 1.1.4.4 Phát biên gián tiếp 1.1.5 Phân vùng ảnh 10 1.1.5.1 Phân vùng theo ngưỡng biên độ .10 1.1.5.2 Phân vùng theo miền đồng .11 1.1.5.3 Phương pháp tách tứ phân 11 1.1.5.4 Phương pháp cục 11 1.1.5.5 Phương pháp tổng hợp 12 1.1.5.6 Phân vùng theo kết cấu bề mặt 12 1.2 Một số vấn đề học máy 13 1.2.1 Khái niệm học máy 13 1.2.2 Phân loại phương pháp học máy .13 iv 1.2.3 Ứng dụng học máy 14 1.3 Một số kỹ thuật nhận dạng mẫu .14 1.3.1 Tổng quan nhận dạng 14 1.3.2 Quá trình nhận thức người trình nhận dạng 15 1.3.3 Kỹ thuật trượt window nhận dạng 15 1.3.4 Huấn luyện mơ hình nhận dạng .19 1.3.5 Phương pháp nhận dạng đối tượng ảnh 20 1.4 Một số kỹ thuật học máy sử dụng nhận dạng .21 1.4.1 Máy vector hỗ trợ SVM 21 1.4.2 Mạng Nơron nhân tạo 23 1.4.3 Kỹ thuật học sâu 26 1.4.3.1 Tổng quan học sâu .26 1.4.3.2 Mạng Neural học sâu 27 CHƢƠNG II: KỸ THUẬT MẠNG TÍCH CHẬP TRONG DỰ ĐỐN BỆNH VỀ LÚA .29 2.1 MẠNG NEURAL TÍCH CHẬP 29 2.1.1 Khái niệm 29 2.1.2 Cấu trúc mạng CNN 29 2.1.3.2 Mạng ZFNet .33 2.1.3.3 Mạng GoogLeNet .34 2.1.3.4 Mạng neural tích chập 3D-CNN 36 2.2 GIẢI PHÁP DỰ ĐOÁN BỆNH LÚA BẰNG MẠNG TÍCH CHẬP 37 2.2.1 Mơ tả toán nhận dạng bệnh lúa 37 2.2.2 Giải pháp tổng quát 38 2.2.3 Định nghĩa kiến trúc mạng CNN .39 2.2.4 Các vấn đề dự đoán loại bệnh: .40 2.2.5 Tăng cường liệu cho mạng học sâu 41 CHƢƠNG III THỰC NGHIỆM, ĐÁNH GIÁ KẾT QUẢ .43 3.1 Dữ liệu dùng thực nghiệm 43 3.2 Xây dựng mạng học sâu 43 3.3 Kết thực nghiệm .46 v 3.4 Tiêu chí đánh giá 48 3.5 Kết đánh giá .50 3.6 Đánh giá hệ thống 54 3.7 Chương trình minh họa 55 CHƢƠNG IV KẾT LUẬN VÀ HƢỚNG PHÁT TRIỂN .57 4.1 Kết luận 57 4.2 Hướng phát triển .57 TÀI LIỆU THAM KHẢO 58 vi DANH SÁCH CÁC HÌNH Hình 1: Sơ đồ bước xử lý Hình 2: Cấu trúc điểm ảnh với lớp màu RGB Hình 3: Ảnh đa mức xám Hình 4: Sơ đồ tổng quát hệ thống xử lý ảnh Hình 5: Ví dụ pixel cần tính vector gradient .8 Hình 6: Phần ngưỡng Hình 7: Liên thơng .12 Hình 8: Trượt window .16 Hình 9: Nhận dạng phương pháp trượt window nhiều mức tỷ lệ 18 Hình 10: Gom cụm nhận dạng đối tượng: 19 Hình 11: Đường thẳng phân chia lớp khơng gian chiều 22 Hình 12: Margin SVM .22 Hình 13: Kiến trúc chung mạng nơron nhân tạo .24 Hình 14: (a) Mơ hình mạng neural cạn[27] (b) Mơ hình mạng neural sâu[37] 27 Hình 15: Biểu diễn đặc trưng đối tượng mạng học sâu [28] 28 Hình 1: Phép MaxPooling (2x2), stride=2 (nguồn internet) 30 Hình 2: Kiến trúc lớp mơ hình AlexNet 31 Hình 3: Kiến trúc lớp mơ hình FZNet 33 Hình 4: Một dạng cụ thể kiến trúc mạng GoogLeNet 35 Hình 5: Mạng neural học sâu đơn giản gồm inception 36 Hình 6: Ph p tích chập khối 3D-CNN) 37 Hình 7: Sơ đồ tổng quát giải pháp phân loại bệnh qua hình ảnh .38 Hình 1: Mơ hình kiến trúc mạng CNN 46 Hình 2: Trọng số lọc lớp tích chập Lớp bao gồm 32 lọc kích thước x 7, lọc kết nối với ba kênh đầu vào ảnh màu RGB 47 Hình 3: Đầu 32 tích chập lớp convolution 47 Hình 4: Giá trị chỉnh sửa tuyến tính sau lớp tích chập 48 Hình 5: Đầu 32 mẫu lớp Convolution thứ hai 48 Hình 6: Bệnh đạo ơn 50 Hình 7: Cháy bìa 50 vii Hình 8: Ngộ độc phèn 51 Hình 9: Sâu 51 Hình 10: Minh họa số mẫu bệnh chuẩn đoán 54 Hình 11: Minh họa số mẫu bệnh chuẩn đoán nhầm 54 47 Hình 2: Trọng số lọc lớp tích chập Lớp bao gồm 32 lọc kích thước x 7, lọc kết nối với ba kênh đầu vào ảnh màu RGB + Kết tích chập: Mẫu ảnh đưa vào mạng qua lọc tích chập, liệu thu cho thấy thành phần phân biệt rõ rệt với hình ảnh RGB ban đầu với nhiều kết đặc trưng khác nhau, tạo đa dạng đặc trưng biển báo Giá trị đầu tích chập có chứa giá trị âm, cần chuẩn hóa làm điều chỉnh tuyến tính Hình 3: Đầu 32 tích chập lớp convolution 48 Hình 4: Giá trị chỉnh sửa tuyến tính sau lớp tích chập Hình 5: Đầu 32 mẫu lớp Convolution thứ hai H nh 3.3 Một số kết lớp tích chập chỉnh sửa tuyến tính 3.4 Tiêu chí đánh giá Để đánh giá hiệu mơ hình phân loại, có nhiều thơng số đánh giá, tùy thuộc vào toán mục đích sử dụng mà có tiêu chí đánh giá khác Một cách khác để mô tả mối liên hệ độ nhạy đặc hiệu biểu đồ ROC (receiver operating characteristic) Biểu đồ ROC có trục tung (y-axis) tỉ lệ posotive- giá trị thật, trục hoành (x-axis) tỉ lệ posotive giả (tức nhận dạng positive nhầm) Cả hai giá trị tỷ lệ có giá trị dao động từ đến 100 giá trị từ đến tính theo giá trị xác suất 49 + Tiêu chí AUC (Area Under the Curve): Giá trị diện tích biểu đồ ROC tiêu chí liên quan đến xác suất mà nhận dạng lựa chọn ngẫu nhiên mẫu positive cao lựa chọn ngẫu nhiên Negative Nó thường dùng để so sánh độ nhạy lớn tests chẩn đốn cách so sánh diện tích đường cong (Area Under the Curve) Đánh giá có AUC lớn có giá trị cao để chẩn đốn Diện tích đường cong (AUC) tích phân của hàm y độ nhạy) theo x (1-độ hiệu quả) với x từ 0-1 Ví dụ hai đối tượng xét nghiệm phương pháp có AUC = 0.85, điều có nghĩa xác suất mà có bệnh có kết xét nghiệm với giá trị cao không mắc bệnh 85% + Tiêu chí AP Average Precision): Độ xác trung bình Average Precision = Tổng số mẫu xác / tổng số mẫu + Tiêu chí SEN Sensitivity): Đây tiêu chí đề cập đến khả kiểm tra để phát xác mẫu đánh giá bị bệnh Ví dụ thử nghiệm sử dụng để xác định bệnh, độ nhạy xét nghiệm tỷ lệ đối tượng thử nghiệm dương tính với bệnh mắc bệnh Về mặt tốn học, tiêu chí tính theo cơng thức sau: + Tiêu chí SPC Specificity): Tiêu chí SPC liên quan đến khả kiểm tra tính xác mẫu khơng bị bệnh thực mà khơng cần thêm điều kiện Ví dụ thử nghiệm để chẩn đốn bệnh Tính đặc hiệu đánh giá tỷ lệ mẫu không bị bệnh xác định không mắc bệnh, đánh giá negative với bệnh x t Về mặt tốn học, tiêu chí tính theo cơng thức sau: + Tiêu chí PPV Positive predictive value) dùng để xác suất trường hợp mẫu đánh giá mẫu positive xác thực positive PPV phụ thuộc vào số: tỉ lệ hành bệnh prevalence), độ nhạy độ đặc hiệu Công thức PPV sau: PPV  True positive True positive  False positive 50 3.5 Kết đánh giá Trong thực nghiệm này, sử dụng 60% mẫu loại cho huấn luyện 40% cho đánh giá kiểm tra Đối với tập liệu huấn luyện, để tạo cân phổ quát liệu, thực tăng cường liệu tối đa lên đến lần tạo cân loại bệnh sau độ chênh lệch không 1/3 theo cặp bệnh Bảng 1: Mô tả loại bệnh lúa Số TT Ký hiệu Tên sâu bệnh BDO Bệnh đạo ôn CBL Cháy bìa NDP Ngộ độc phèn SCL Sâu Hình 6: Bệnh đạo ơn Hình 7: Cháy bìa 51 Hình 8: Ngộ độc phèn Hình 9: Sâu Kết đánh giá thể bảng sau Trong đó, số lượng mẫu đường chéo ma trận Bảng 3.4 số mẫu nhận dạng Trong số mẫu phần tử cột i hàng mẫu bệnh thứ i bị chẩn đốn nhầm qua bệnh thứ j Ví dụ: mẫu cột BDO hàng SCL hình ảnh bệnh Bệnh đạo ơn bị chẩn đốn nhầm qua bệnh Sâu Tương tự Bảng 3.4, Bảng 3.5 thể độ xác chẩn đốn theo tỷ lệ phần trăm loại bệnh Độ xác trung bình chẩn đốn tồn liệu là: 95,96% Bảng 2: Số liệu tập liệu dùng để huấn luyện BDO CBL NDP SCL Dữ liệu gốc 153 429 625 166 Dữ liệu sau tăng cường cân 1377 1716 1876 1498 Bảng 3: Số liệu tập liệu dùng để đánh giá BDO CBL NDP SCL 102 286 417 111 52 Bảng 4: Kết số liệu đánh giá tập liệu tự thu thập BDO CBL NDP SCL BDO 97 21 CBL 277 NDP 396 SCL 4 109 Bảng 5: Độ xác tính theo loại bệnh riêng biệt BDO CBL NDP SCL BDO 95.10 0.07 5.04 CBL 96.85 1.80 NDP 0.98 1.05 94.96 SCL 3.93 1.40 98.20 Trong toán đoán nhận nhãn đa lớp (4 loại bệnh), để đánh giá tiêu chí SEN, SPC, PPV cần xác định số Positive, Negative, True Positive, True Negative sau: Positive số mẫu ảnh loại bệnh tương ứng x t; Negative tổng số mẫu không thuộc loại bệnh x t, nghĩa tổng số mẫu sở liệu trừ số Positive; True Positive số lượng mẫu nhận dạng bệnh tương ứng với bệnh x t; False Positive tổng số lượng mẫu nhận dạng nhầm không thuộc bệnh xét; True Negative số lượng mẫu khơng thuộc bệnh x t có kết chẩn đốn khơng thuộc bệnh x t Theo cách tính này, số SEN, SPC PPV chẩn đoán đạt theo loại bệnh sau 53 Bảng 6: Kết đánh giá theo tiêu chí chẩn đốn loại sâu bệnh Positve Negative True False True SEN Positive Positive Negative SPC PPV BDO 102 814 97 23 791 95.10 97.17 80.83 CBL 286 630 277 628 96.85 99.68 99.28 NDP 417 499 396 495 94.96 99.20 99.00 SCL 111 805 109 797 98.20 99.01 93.16 Căn vào bảng giá trị đánh giá theo tiêu chí mơ hình đề xuất tập liệu dùng để đánh giá cho thấy rằng: - Các mẫu hình ảnh loại bệnh SCL (Sâu lá) dễ xác định có độ xác cao tương ứng với độ nhạy SEN =98.20% - Các mẫu hình ảnh bệnh CBL (Cháy bìa lá) bị xác định nhầm, tức loại bệnh khác bị chẩn đốn qua loại bệnh này, với giá trị chuẩn đoán bệnh PPV=99.28% Nhìn chung hình ảnh bệnh CBL có độ nhạy chẩn đốn, độ xác cao mức độ chẩn đoán nhầm loại bệnh khác thành loại bệnh thấp - Trong loại bệnh BDO (Bệnh đạo ơn) có độ xác cao SPC=97.17%, nhiên mẫu ảnh loại bệnh khác dễ bị chẩn đoán nhầm qua loại bệnh với giá trị đốn nhận bệnh PPV=80.83% 54 Hình 10: Minh họa số mẫu bệnh chuẩn đoán Hình 11: Minh họa số mẫu bệnh chuẩn đoán nhầm 3.6 Đánh giá hệ thống Trong luận văn này, đề xuất sử dụng tăng cường liệu CNN sâu để cải thiện hiệu suất phân loại bệnh khám phá ảnh hưởng việc tăng cường hình ảnh, sử dụng 60% mẫu loại cho huấn luyện 40% cho đánh giá kiểm tra Đối với tập liệu huấn luyện, để tạo cân phổ quát liệu, thực tăng cường liệu tối đa lên đến lần tạo cân loại bệnh sau độ chênh lệch không 1/3 theo cặp bệnh Các kết thử nghiệm là: Trên liệu phân loại bệnh kết thử nghiệm đánh giá loại bệnh kết tốt, trung bình phân loại bệnh SEN=96,28%, SPC= 98,77%, PPV=93,07% Độ xác trung bình chẩn đốn tồn liệu 95,96% Đối với bệnh BDO (Bệnh đạo ơn) có độ xác cao SPC=97.17% mẫu ảnh loại bệnh khác dễ bị chẩn đoán nhầm qua loại bệnh với giá trị đoán nhận bệnh PPV=80.83% Chúng quan sát thấy nghiên cứu này, kết phân loại bệnh đạt hiệu suất cao; bên cạnh đó, kết hợp kiến trúc khác lớp Deep CNN thấp tăng cường liệu thách thức nhà nghiên cứu 55 3.7 Chƣơng tr nh minh họa Chương trình thực nghiệm nhận dạng sâu bệnh lúa: 56 57 CHƢƠNG IV KẾT LUẬN VÀ HƢỚNG PHÁT TRIỂN 4.1 Kết luận Trên sở nghiên cứu vấn đề toán nhận dạng sâu bênh sử dụng kỹ thuật xử lý ảnh trí tuệ nhân tạo đặc biệt mạng tích chập học sâu CNN Luận văn tập trung vào nghiên cứu đề xuất giải pháp nâng cao độ xác nhận dạng loại bệnh sở giả sử mẫu ảnh sâu bệnh trích xuất cơng cụ có Luận văn nghiên cứu kỹ thuật học sâu, kỹ thuật phân loại SVM để đề xuất xây dựng kiến trúc mạng học sâu, tổ chức huấn luyện mơ hình mạng sử dụng nhận dạng sâu bệnh Giải pháp thực nghiệm sở liệu thực tiễn trường, làm sở so sánh đánh giá với số giải pháp nghiên cứu khác Mạng học sâu cần lượng liệu lớn để huấn luyện mơ hình nhận dạng hiệu Tuy nhiên toán nhận dạng sâu bệnh, liệu huấn luyện cho loại sâu bệnh thường cân Do vậy, chúng tơi đề xuất giải pháp tăng cường hình ảnh liệu huấn luyện gốc để tạo mơ hình nhận dạng đủ mạnh, có độ xác cao Kết thực nghiệm sở liệu tự thu thập so sánh với số giải pháp khác cho thấy, giải pháp đề xuất có độ xác cao điều kiện hình ảnh có độ phân giải thấp, thiếu ánh sáng, hình ảnh bị mờ Đây bước đầu để phát triển, ứng dụng toán nhận dạng sâu bệnh Bên cạnh đó, q trình xây dựng chương trình, tơi tìm hiểu thư viện CNN sử dụng liệu đặc trưng để huấn luyện phân loại kiểm tra mẫu độc lập gốc độ nghiên cứu toán nhận dạng, phát sâu bệnh 4.2 Hƣớng phát triển Hoàn thành tốt yêu cầu mà ban đầu đề tài đề ra, tiền đề để phát triển toán nhận dạng sâu bệnh ứng dụng hồn chỉnh sau Có thể phát triển đề tài theo hướng tăng tốc độ tính tốn nhằm đáp ứng u cầu ứng dụng thời gian thực tế với phát triển ngày tăng loại bệnh nguy hiểm, nhiều loại bệnh chưa có thuốc đặc trị, chuẩn đốn phân loại bệnh để có cách phịng trừ bệnh phù hợp việc sử dụng thuốc bảo vệ thực vật lúa hợp lý, tối ưu 58 TÀI LIỆU THAM KHẢO [1] Alex Krizhevsky, Ilya Sutskever, Geoffrey E Hinton, "Imagenet classification with deep convolutional neural networks," in Advances in neural information processing systems, pp 1097-1105, 2012 [2] Yann LeCun et al., "Backpropagation applied to handwritten zip code recognition," (in A), vol 1, no 4, pp 541-551, 1989 [3] Yann LeCun, Yoshua Bengio, and Geoffrey %J nature Hinton, "Deep learning," (in A), vol 521, no 7553, p 436, 2015 [4] Chang Chih-Chung, Lin Chih-Jen, ―LIBSVM: a Library for Support Vector Machines‖, ACM Transactions on Intelligent Systems and Technology, vol 2(3), pp 1-27, 2011 [5] Christian Szegedy, Wei Liu, Yangqing Jia, Pierre Sermanet, Scott Reed, Dragomir Anguelov, Dumitru Erhan, Vincent Vanhoucke, Andrew Rabinovich, "Going deeper with convolutions," in, pp., 2015 [6] Rina Dechter, Learning while searching in constraint-satisfaction problems University of California, Computer Science Department, Cognitive Systems Laboratory, 1986 [7] Hee Seok Lee, Kang Kim, ―Simultaneous Traffic Sign Detection and Boundary Estimation Using Convolutional Neural Network‖, IEEE Transactions on Intelligent Transportation Systems, 2018 [8] Matthew D Zeiler, Rob Fergus, "Visualizing and understanding convolutional networks," in European conference on computer vision, pp 818-833, 2014 [9] Tri-Cong Pham, Chi-Mai Luong, Muriel Visani, Van-Dung Hoang Deep CNN and Data Augmentation for Skin Lesion Classification pp 573-582, 2018 [10] Corinna Cortes and Vladimir %J Machine learning Vapnik, "Support-vector networks," (in A), vol 20, no 3, pp 273-297, 1995 [11] Jason Weston and Chris Watkins, "Multi-class support vector machines," Citeseer1998 [12] Chih-Chung Chang, Chih-Jen %J ACM transactions on intelligent systems Lin, and technology, "LIBSVM: a library for support vector machines," (in A), vol 2, no 3, p 27, 2011 [13] Giáo trình nhận dạng xử lý ảnh, tác giả TS Hoàng Văn Dũng, nhà xuất khoa học kỹ thuật [14] Navneet Dalal, Bill Triggs, "Histograms of oriented gradients for human detection," in Computer Vision and Pattern Recognition, 2005 CVPR 2005 IEEE Computer Society Conference on, pp 886-893, 2005 [15] Olga Russakovsky, Jia Deng, Hao Su, Jonathan Krause, Sanjeev Satheesh, Sean Ma, Zhiheng Huang, Andrej Karpathy, Aditya Khosla, Michael Bernstein, ―Imagenet large scale visual recognition challenge‖, International Journal of Computer Vision, vol 115(3), pp 211-252, 2015 59 [16] Ross Girshick, Jeff Donahue, Trevor Darrell, Jitendra Malik, "Rich feature hierarchies for accurate object detection and semantic segmentation," in Proceedings of the IEEE conference on computer vision and pattern recognition, pp 580-587, 2014 [17] Van-Dung Hoang, My-Ha Le, Kang-Hyun Jo, ―Hybrid cascade boosting machine using variant scale blocks based HOG features for pedestrian detection‖, Neurocomputing, vol 135, pp 357-366, 2014 [18] Sebastian Houben, Johannes Stallkamp, Jan Salmen, Marc Schlipsing, Christian Igel, "Detection of traffic signs in real-world images: The German Traffic Sign Detection Benchmark," in Neural Networks (IJCNN), The 2013 International Joint Conference on, pp 1-8, 2013 [19] Christian Szegedy et al., "Going deeper with convolutions," in Proceedings of the IEEE conference on computer vision and pattern recognition, 2015, pp 1-9 [20] González-Díaz, I.: Incorporating the knowledge of dermatologists to convolutional neural networks for the diagnosis of skin lesions ArXiv e-prints: arXiv:1703.01976 [cs.CV] (2017) [21] Esteva, A., Kuprel, B., Novoa, R.A., Ko, J., Swetter, S.M., Blau, H.M., Thrun, S.: Dermatologist-level classification of skin cancer with deep neural networks Nature 542, 115–118 (2017) [22] Codella, N.C.F., Nguyen, Q.B., Pankanti, S., Gutman, D., Helba, B., Halpern, A., Smith, J R.: Deep learning ensembles for melanoma recognition in dermoscopy images IBM J Res Dev 61(4), (2017) [23] Menegola, A., Fornaciali, M., Pires, R., Bittencourt, F.V., Avila, S., Valle., E.: Knowledge transfer for melanoma screening with deep learning ArXiv e-prints arXiv:1703.07479 [cs CV] (2017) [24] Menegola, A., Tavares, J., Fornaciali, M., Li, L.T., Avila, S., Valle, E.: RECOD titans at [25] Barata, C., Celebi, M.E., Marques, J.S.: Improving dermoscopy image classification using color constancy IEEE J Biomed Health Inform 19, 1146– 1152 (2014) [26] Ercal, F., Chawla, A., Stoecker, W.V., Lee, H.C., Moss, R.H.: Neural network diagnosis of malignant melanoma from color images IEEE Trans Biomed Eng 41, 837–845 (1994) [27] Wong, S.C., Gatt, A., Stamatescu, V., McDonnell, M.D.: Understanding data augmentation for classification: when to warp? In: 2016 International Conference on Digital Image Computing: Techniques and Applications (DICTA), pp 1–6 (2016) [28] Matsunaga, K., Hamada, A., Minagawa, A., Koga, H.: Image classification of melanoma, nevus and seborrheic keratosis by deep neural network ensemble ArXiv e-prints arXiv: 1703.03108 [cs.CV] (2017) [29] Szegedy, C., Ioffe, S., Vanhoucke, V., Alemi, A.A.: Inception-v4, InceptionResNet and the impact of residual connections on learning In: Artificial Intelligence, pp 4278–4284 (2017) 60 [30] 13 Gutman, D., Codella, N.C.F., Celebi, E., Helba, B., Marchetti, M., Mishra, N., Halpern, A.: Skin lesion analysis toward melanoma detection In: A Challenge at the International Symposium on Biomedical Imaging (ISBI) 2016, Hosted by the International Skin Imaging Collaboration (ISIC) (2016) ArXiv eprints: arXiv:1605.01397 [cs.CV] [31] Codella, N.C.F., Nguyen, Q.B., Pankanti, S., Gutman, D., Helba, B., Halpern, A., Smith, J R.: Deep learning ensembles for melanoma recognition in dermoscopy images IBM J Res Dev 61(4), (2017) [32] ISIC 2017: Skin Lesion Analysis Towards Melanoma Detection http://challenge2017.isic- archive.com Accessed 15 Oct 2017 [33] Noel Codella, Junjie Cai, Mani Abedini, Rahil Garnavi, Alan Halpern, and John R Smith, "Deep Learning, Sparse Coding, and SVM for Melanoma Recognition in Dermoscopy Images," Machine Learning in Medical Imaging, vol 9352, pp 118-126, 2015 [34] Christian Szegedy, Sergey Ioffe, Vincent Vanhoucke, and Alexander A Alemi, "Inception-v4, Inception-ResNet and the Impact of Residual Connections on Learning," in Artificial Intelligence, 2017, vol 17, pp 4278-4284: AAAI Conference [35] Christian Szegedy, Vincent Vanhoucke, Sergey Ioffe, Jonathon Shlens, and Zbigniew Wojna, "Rethinking the Inception Architecture for Computer Vision," presented at the Computer Vision and Pattern Recognition (CVPR), 2016 [36] Kazuhisa Matsunaga, Akira Hamada, Akane Minagawa, and Hiroshi Koga, "Image Classification of Melanoma, Nevus and Seborrheic Keratosis by Deep Neural Network Ensemble," ArXiv e-prints doi: arXiv:1703.03108 [cs.CV] [37] Iván González-Díaz, "Incorporating the Knowledge of Dermatologists to Convolutional Neural Networks for the Diagnosis of Skin Lesions," ArXiv eprints doi: arXiv:1703.01976 [cs.CV] [38] Afonso Menegola, Michel Fornaciali, Ramon Pires, Sandra Avila, and Eduardo Valle, "Towards Automated Melanoma Screening: Exploring Transfer Learning Schemes," ArXiv e-prints doi: arXiv:1609.01228 [cs.CV] [39] Afonso Menegola, Michel Fornaciali, Ramon Pires, Flávia Vasques Bittencourt, Sandra Avila, and Eduardo Valle, "Knowledge Transfer for Melanoma Screening with Deep Learning," ArXiv e-prints doi: arXiv:1703.07479 [cs.CV] [40] Afonso Menegola, Julia Tavares, Michel Fornaciali, Lin Tzy Li, Sandra Avila, and Eduardo Valle, "RECOD Titans at ISIC Challenge 2017," ArXiv e-prints doi: arXiv:1703.04819 [cs.CV] [41] A Esteva, B Kuprel, R A Novoa, J Ko, S M Swetter, H M Blau, and S Thrun, "Dermatologist-level classification of skin cancer with deep neural networks," Nature, vol 542, no 7639, pp 115-118, Feb 02 2017 [42] N C F Codella, Q B Nguyen, S Pankanti, D Gutman, B Helba, A Halpern, and J R Smith, "Deep learning ensembles for melanoma recognition in dermoscopy images," IBM Journal of Research and Development, vol 61, p 4/5, 2017 61 [43] Catarina Barata, M Emre Celebi, and Jorge S Marques, "Improving Dermoscopy Image Classification Using Color Constancy," IEEE Journal of Biomedical and Health Informatics, vol 19, no 3, pp 1146 - 1152, 2014 [44] [Ercal F1, Chawla A, Stoecker WV, Lee HC, and Moss RH, "Neural Network Diagnosis of Malignant Melanoma From Color Images," IEEE Transactions on Biomedical Engineering, vol 41, no 9, pp 837 - 845, 1994 [45] Mạng nơ-ron Xem tại: https://vi.wikipedia.org/wiki/M%E1%BA%A1ng_n%C6%A1-ron [Ngày truy cập: 24/6/2018] [46] Michael Nielsen (2015) Neural Networks and Deep Learning Xem tại: http://neuralnetworksanddeeplearning.com/ [Ngày truy cập: 14/5/2018] [47] [38] So sánh phần mềm học sâu Xem tại: https://vi.wikipedia.org/wiki/So_s%C3%A1nh_c%C3%A1c_ph%E1%BA%A7 n_m%E1%BB%81m_h%E1%BB%8Dc_s%C3%A2u.[Ngày truy cập: 10/6/2019] [48] Convolutional neural network Xem tại: https://en.wikipedia.org/wiki/Convolutional_neural_network [Ngày truy cập: 24/6/2018] [49] Petar Veličković 2017) Deep learning for complete beginners: convolutional neural networks with keras Xem tại: https://cambridgespark.com/content/tutorials/convolutional-neuralnetworkswith-keras/index.html [Ngày truy cập: 14/7/2018] [50] HARSH SINGHAL (2017) Convolutional Neural Network with TensorFlow implementation Xem tại: https://medium.com/data-science-group-iitr/buildinga-convolutional-neuralnetwork-in-python-with-tensorflow-d251c3ca8117 [Ngày truy cập: 14/8/2018] [51] Convolutional Neural Networks (CNNs / ConvNets) Xem tại: http://cs231n.github.io/convolutional-networks/ [Ngày truy cập: 24/6/2018] [52] Siddharth Das (2017) CNN Architectures: LeNet, AlexNet, VGG, GoogLeNet, ResNet and more … Xem tại: https://medium.com/@sidereal/cnnsarchitectureslenet-alexnet-vgg-googlenet-resnet-and-more-666091488df5 [Ngày truy cập: 14/7/2018] [53] So sánh phần mềm học sâu Xem tại: https://vi.wikipedia.org/wiki/So_s%C3%A1nh_c%C3%A1c_ph%E1%BA%A7 n_m%E1%BB%81m_h%E1%BB%8Dc_s%C3%A2u [Ngày truy cập: 14/8/2018]