Hệ thống phân loại lỗi nan tre sử dụng phương pháp học sâu deep learning

TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI TRƯỜNG CƠ KHÍ LUẬN VĂN THẠC SĨ HỆ THỐNG PHÂN LOẠI LỖI NAN TRE SỬ DỤNG PHƯƠNG PHÁP HỌC SÂU – DEEP LEARNING TRỊNH HOÀNG HIẾU Hieu.TH202052M@sis.hust.edu.vn Ngành Kỹ thuật Cơ điện tử Giảng viên hướng dẫn: TS Hoàng Hồng Hải Chữ ký GVHD Khoa: Cơ điện tử HÀ NỘI, 5/2022 i CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập – Tự – Hạnh phúc BẢN XÁC NHẬN CHỈNH SỬA LUẬN VĂN THẠC SĨ Họ tên tác giả luận văn : TRỊNH HOÀNG HIẾU Đề tài luận văn: Hệ thống phân loại lỗi nan tre sử dụng phương pháp học sâu – deep learning Chuyên ngành: Kỹ thuật Cơ điện tử Mã số SV: 20202052M Tác giả, Người hướng dẫn khoa học Hội đồng chấm luận văn xác nhận tác giả sửa chữa, bổ sung luận văn theo biên họp Hội đồng ngày tháng năm 2022 với nội dung sau: - Chỉnh sửa, thống giải thích cụ thể thuật ngữ chuyên ngành Làm rõ phân tích kết Chỉnh sửa lại lỗi tả lỗi trình bày, bố cục Ngày Giáo viên hướng dẫn tháng năm 2022 Tác giả luận văn CHỦ TỊCH HỘI ĐỒNG ii TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI TRƯỜNG CƠ KHÍ KHOA CƠ ĐIỆN TỬ NHIỆM VỤ LUẬN VĂN Họ tên sinh viên: Trịnh Hồng Hiếu Lớp: Khóa: 2020B Chun ngành: Kỹ thuật Cơ điện tử MSHV: 20202052M Hệ: Thạc sĩ Tên đề tài Hệ thống phân loại lỗi nan tre sử dụng phương pháp học sâu – deep learning Nội dung thuyết minh Chương Phần mở đầu Chương Mạng nơ ron tích chập Chương Phương pháp Chương Kết luận Hà Nội, ngày tháng năm 2022 Giáo viên hướng dẫn TS Hoàng Hồng Hải iii LỜI CẢM ƠN Tác giả xin chân thành cảm ơn TS Hoàng Hồng Hải, người hướng dẫn giúp đỡ tận tình từ định hướng đề tài, tổ chức thực đến q trình viết hồn chỉnh luận văn Tác giả bày tỏ lịng biết ơn thầy, khoa Cơ điện tử - Trường Cơ khí Trường Đại Học Bách Khoa Hà Nội Xin cảm ơn Ban lãnh đạo Viện đào tạo Sau đại học, Trường Cơ khí, Trường Đại Học Bách Khoa Hà Nội tạo điều kiện thuận lợi để tác giả hoàn thành luận văn Cuối cùng, tác giả xin xin chân thành cảm ơn gia đình, bạn bè đồng nghiệp tạo điều kiện, quan tâm, giúp đỡ, động viên suốt q trình học tập hồn thành luận văn Do lực thân nhiều hạn chế nên luận văn khơng thể tránh khỏi sai sót, tác giả mong đóng góp ý kiến thầy, cô, nhà khoa học bạn đồng nghiệp Tác giả xin chân thành cảm ơn! Tác giả Trịnh Hồng Hiếu iv TĨM TẮT LUẬN VĂN Trong luận văn này, thành phần cấu thành nên mạng nơ ron tích chập, lớp, hàm kích hoạt, hàm tổn thất,… nêu giải thích Những mơ hình học sâu tiêu biểu lựa chọn cách kết hợp thành phần nêu hướng phát triển học sâu tương lai Ngoài ra, người viết đưa phần nghiên cứu bổ sung, ảnh hưởng kết nối tắt dài mạng nơ ron tích chập (CNN) nhiệm vụ phân loại hình ảnh (khuyết tật bề mặt) nghiên cứu thực nghiệm Các mô hình phổ biến tiêu chuẩn áp dụng kết nối bỏ qua ngắn bên khối (các lớp có kích thước) Trong đó, phiên dài kết nối áp dụng số mơ hình đề xuất, nhằm mục đích sử dụng lại thơng tin bị từ lớp gần với đầu vào Đối với số mơ hình, phép biến đổi theo chiều sâu sử dụng thay phép tích chập truyền thống để giảm số lượng tham số phép tốn dấu phẩy động giây (FLOPs) Các thí nghiệm so sánh mơ hình nâng cấp số mơ hình phổ biến thực liệu khác bao gồm liệu dải tre phiên rút gọn ImageNet Phiên sửa đổi mơ hình ResNet EfficientNet đạt độ xác cao so với mơ hình ban đầu v SUMMARY In this thesis, the influence of long skip connections on a convolutional neural network (CNN) on image classification tasks (surface defects) is studied and experimented The popular models only apply skip connection inside blocks (layers of the same size) We built the long version of the connection and applied it on some of the proposed models, for the purpose of reusing the lost information from the layers close to the input For some models, depth-wise separable convolution is used instead of traditional convolution to reduce both the number of parameters and floating point operations per second (FLOPs) Comparative experiments of the newly upgraded and several popular models were performed on different datasets including the bamboo strip dataset and a reduced version of ImageNet The modified version of ResNet and EfficientNet achiev higher validation accuracy compared to the original versions vi MỤC LỤC LỜI CẢM ƠN iv TÓM TẮT LUẬN VĂN v MỤC LỤC .vii DANH MỤC KÝ HIỆU VÀ CHỮ VIẾT TẮT ix DANH MỤC HÌNH VẼ x DANH MỤC BẢNG BIỂU xii CHƯƠNG PHẦN MỞ ĐẦU 1.1 Giới thiệu 1.2 Những cơng trình liên quan CHƯƠNG MẠNG NƠ RON TÍCH CHẬP 2.1 So sánh mạng nơ ron thơng thường mạng nơ ron tích chập 2.1.1 Mạng nơ ron thông thường 2.1.2 Mạng nơ ron tích chập 2.2 Lớp CNN 2.2.1 Lớp Tích chập 2.2.2 Lớp Gộp 11 2.2.3 Lớp Chuẩn hóa 11 2.2.4 Lớp kết nối toàn phần 12 2.2.5 Những lớp khác 13 2.3 Hàm kích hoạt 14 2.3.1 Các tính Hàm kích hoạt 14 2.3.2 Một số Hàm kích hoạt phổ biến 15 2.4 Hàm Mất mát 19 2.4.1 Hàm mát Hinge / SVM 19 2.4.2 Hàm mát Cross Entropy 20 2.5 Hàm tối ưu 20 vii 2.5.1 Gradient Descent 20 b) Mô men 22 c) Nesterov accelerated gradient 23 d) Adam 23 2.6 Những mơ hình CNN 24 2.6.1 VGG 24 2.6.2 ResNet 25 2.6.3 DenseNet 27 2.6.4 MobileNet 28 2.6.5 EfficientNet 32 2.6.6 Chuyển giao kiến thức 34 2.6.7 Mạng đối nghịch sinh liệu - Generative Adversarial Network (GAN) 35 CHƯƠNG PHƯƠNG PHÁP 37 3.1 Chuẩn bị liệu 37 3.1.1 Ghi lại hình ảnh nan tre 37 3.1.2 Tăng cường cân liệu 38 3.2 Áp dụng 44 3.2.1 Sử dụng mơ hình CNN phổ biến 44 3.2.2 Sử dụng kết nối tắt làm nâng cấp mơ hình CNN 48 3.3 XÂY DỰNG HỆ THỐNG 51 3.3.1 Tổng quan hệ thống 51 3.3.2 Nguyên lý hoạt động 52 CHƯƠNG KẾT LUẬN 54 4.1 Đánh giá kết 54 4.2 Kết luận 55 TÀI LIỆU THAM KHẢO 57 PHỤ LỤC 61 viii DANH MỤC KÝ HIỆU VÀ CHỮ VIẾT TẮT NN Neural Network - Mạng thần kinh CNN Convolutional Neural Network Mạng nơ ron tích chập CONV Convolution - Lớp tích chập BN Batch Normalization - Lớp chuẩn hóa liệu theo phần RL / ReLU Rectified Linear Unit - Lớp Lọc Tuyến tính POOL Pooling - Lớp Gộp FC Fully Connected - Kết nối toàn phần GAN Generative Adversarial Network Mạng đối nghịch GPU Graphic Processing Unit - Bộ xử lý hình ảnh FLOPS Floating operations per second - Số lượng phép tính giây ix DANH MỤC HÌNH VẼ Hình 1.1 Các bước xử lý nan tre công nghiệp Hình 2.1 So sánh mạng nơ ron thường (trái) mạng nơ ron tích chập (phải) Hình 2.2 Ví dụ phép tính CONV chiều thuận Hình 2.3 Hình dạng tích chập x Hình 2.4 Ví dụ lớp CONV nghịch Hình 2.5 Trường tiếp nhận tích chập dãn Hình 2.6 Chuẩn hóa phần [19] 12 Hình 2.7 Hàm kích hoạt sigmoid 15 Hình 2.8 Tanh activation function 16 Hình 2.9 ReLU activation function 17 Hình 2.10 Hàm kích hoạt ReLU Dị ReLU6 17 Hình 2.11 Hàm kích hoạt Swish 18 Hình 2.12 Hàm kích hoạt Swish cứng 19 Hình 2.13 So sánh GD GD với động lượng 22 Hình 2.14 Nesterov accelerated gradient 23 Hình 2.15 Cấu hình Mạng VGG 25 Hình 2.16 Residual learning [9] 26 Hình 2.17 Khối kết nối đơn giản (bên trái) khối nút cổ chai đề xuất (bên phải) [9] 26 Hình 2.18 Cấu trúc mạng ResNet [9] 27 Hình 2.19 Khối Dense DenseNet [26] 27 Hình 2.20 Cấu trúc MobileNet [14] 29 Hình 2.21 So sánh MobileNet V1 V2 [27] 30 Hình 2.22 Kiến trúc tổng quát MobileNetV2 [27] 30 Hình 2.23 So sánh mơ đun MobileNet V1 V2 [28] 31 Hình 2.24 MobileNetV3 Lớn (trái) Nhỏ (phải) 32 Hình 2.25 So sánh trực quan mơ hình có / không hệ số thay đổi 32 x CHƯƠNG : PHƯƠNG PHÁP để với kích thước khơng gian khối Phép cộng thực phương pháp hợp lớp Dưới hình giải thích khái niệm hợp hình khối Hình 3.12 Kết nối khối Hình 3.13 Cấu trúc mơ hình đề xuất Cùng kiến trúc từ khối lớp ResNet50 EfficientNetB3 áp dụng cho khối mơ hình Các hình Phụ lục B cho thấy việc thực nâng cấp lên mơ hình CNN Mạng đề xuất đào tạo với cấu hình tương tự từ phần 3.2.1, để làm rõ hiệu mơ hình so với mơ hình ban đầu Những mơ hình tạo đem thử nghiệm (với liệu tương tự phần 3.1.1) với mơ hình ban đầu để làm rõ ảnh hưởng mô đun cải tiến Hình 3.14 cho thấy độ 49 CHƯƠNG : PHƯƠNG PHÁP xác so sánh mơ hình (ResNet* EfficientNetB3* mơ hình với mơ đun cải tiến) trình đào tạo (i) (ii) Hình 3.14 So sánh độ xác xác thực (i) ResNet50 ResNet50* (ii) EfficientNetB3 EfficientNetB3* Bảng 3.4 So sánh Validation Loss FLOPs mơ hình khơng/có mơ đun nâng cấp Model name Validation Loss FLOPs ResNet50 0.18 2,36 × 107 ResNet50* 0.17 2,46 × 107 EfficientNetB3 0.271 1,078 × 107 EfficientNetB3* 0.126 1,090 × 107 * thể mơ hình với mơ đun cải tiến Từ Bảng , mơ hình hội tụ nhanh chút so với đối tác chúng Hơn nữa, chúng đạt giá trị mát nhỏ so với mơ hình ban đầu (tương ứng 0,017 50 CHƯƠNG : PHƯƠNG PHÁP 0,018) với gia tăng nhỏ FLOP (1-4%) Do đó, mơ hình với mô đun cải tiến đạt hiệu suất cao so với mơ hình phổ biến nêu (đối với tập liệu nan tre) 3.3 XÂY DỰNG HỆ THỐNG MÔ PHỎNG Chương đưa phương án xây dựng hệ thống hoàn chỉnh, áp dụng vào dây chuyền sản xuất Ở phạm vi đề tài này, mơ hình mơ hệ thống đưa 3.3.1 Tổng quan hệ thống Hình 3.15 Nguyên lý hoạt động hệ thống tự động phân loại chất lượng nan tre Nan tre qua hệ cấp phôi camera ghi lại hình ảnh xử lý máy tính Nan tre sau thay đổi phương di chuyển từ phương song song với nan sang phương vng góc hệ chia khoảng Máy tính gửi tín hiệu phân loại tới PLC điều khiển hệ phân loại, chia nan tre tới khoang theo chất lượng nan Ở hình vẽ 3D thể tổng quan hệ thống tự động phân loại chất lượng nan tre Hình 3.16 Hình vẽ 3D tổng quan hệ thống 51 CHƯƠNG : PHƯƠNG PHÁP 3.3.2 Nguyên lý hoạt động 3.3.2.1 Hệ cấp phơi hệ camera Hình 3.17 Hình chiếu 3D (trái) hình chiếu trước mặt hệ cấp phơi camera (phải) Đầu vào hệ cấp phôi camera gắn với đầu hệ thống cắt gọt nan tre Giống hình dáng thiết kế hệ cắt gọt nan tre, hệ cấp phôi gắn máng úp ngược chia khoảng cách nan tre, mục đích khơng cho nan tre dính vào nhau, thuận tiện cho việc phân biệt di chuyển nan Máng úp ngược chia thành khoảng, khoảng có chiều rộng 25 mm cách mm Ở máng cắt gọt lộ thiên phần có chiều dài 300 mm để lấy ảnh nan tre qua hệ thống camera Hệ thống camera phần 3.1.1, bao gồm camera vùng có tốc độ quét cao, phù hợp với tốc độ di chuyển nan tre, tránh hình ảnh bị mờ, khơng rõ nét; hệ chiếu sáng hình vng sử dụng đèn led, tránh bóng mờ xung quanh Mục tiêu hệ lấy hình ảnh nan tre tốc độ cao, rõ nét, thuận tiện cho việc xử lý phía sau máy tính 52 CHƯƠNG : PHƯƠNG PHÁP 3.3.2.2 Hệ chia khoảng cách hệ phân loại Hình 3.18 Hình chiếu 3D (trái) hình chiếu trước mặt (phải) hệ chia khoảng cách hệ phân loại Nan tre sau qua hệ cấp phôi hệ camera ghi hình tới hệ chia khoảng cách Hệ có nhiệm vụ chuyển trạng thái di chuyển nan tre từ di chuyển theo chiều dọc, song song với nan tre tới di chuyển theo phương vng góc (với phương nan tre, bề mặt nằm ngang) Mục đích thay đổi hướng di chuyển để dễ dàng phân loại nan tre lần lượt, cấu trúc nan tre dài, để thẳng lúc phân loại khó khăn Vì mơ đề xuất, chia nan tre vào ô băng tải có gờ, gờ băng tải không gán sát nhau, nên hệ chia khoảng cách nan tre rộng theo gờ băng tải Hệ chia khoảng gắn cảm biến tiệm cận, giúp hệ thống biết nan tre sẵn sang để chuyển xuống băng tải có gờ Motor bước sử dụng để quay góc lần khoảng cách gờ, để sau phiên làm việc, khoang sẵn sàng Tuy việc sử dụng động dẫn đến phức tạp hóa hệ thống dẫn tới việc sai số q trình làm việc Hệ phân loại nhận tín hiệu từ máy tính, gắn nan tre số ứng với khoang chứa cần gạt Nan tre sau rơi xuống từ băng tải có gờ điều hướng dựa vào cần gạt khoang 53 CHƯƠNG : KẾT LUẬN CHƯƠNG KẾT LUẬN 4.1 Đánh giá kết Từ kết Bảng 3.3 Bảng , EfficientNetB3 cung cấp hiệu suất tốt với khả xác thực thấp Tuy nhiên, hạn chế phương pháp dựa phân loại cần thiết liệu Một ứng dụng thực tế thông thường cần hàng nghìn hình ảnh để khái qt đặc điểm bên hình ảnh Hai phương pháp để tăng kích thước tập liệu giảm cân tập liệu áp dụng, tăng liệu mạng GAN Trong liệu tăng cường cách biến đổi ảnh có tác dụng tốt mơ hình, liệu từ GAN chưa đủ tốt Một số hình ảnh GAN tạo có độ phân giải thấp chứa nhiều nhiễu Do số lượng tính tốn cần thiết để tạo hình ảnh có độ phân giải cao GAN lớn, nên mạng GAN nhỏ “nơng” áp dụng Từ đó, hình ảnh có độ phân giải thấp tạo sau phóng to kỹ thuật nearest neighbor từ thị giác máy tính truyền thống, dẫn đến xuất điểm ảnh mờ hình vng hình ảnh cuối Gần đây, cải tiến CNN dựa kết nối bỏ qua đề xuất cho thấy tiềm tốt Các kết nối bỏ qua cấp khối giúp tăng cường tái sử dụng đặc tính khắp mơ hình, khuyến khích lớp tìm hiểu chi tiết nhỏ (đến từ lớp gần với đầu ra) chi tiết chung (đến từ lớp gần với đầu vào) Tổn thất tập validation mơ hình có cải tiến thấp so với mơ hình ban đầu, đổi lại việc gia tăng chút nỗ lực tính tốn Hơn nữa, mơ đun cải tiến dễ dàng thích ứng với nhiều mơ hình CNN Khó khăn phương pháp là, để thực kết nối bỏ qua lớp có kích thước khác nhau, kích thước khơng gian đồ đối tượng phải thay đổi Kích thước thay đổi tiêu tốn nhớ GPU lớn, nhớ hoạt động với kích thước nhỏ, kích thước khối bổ sung lớn Một hệ thống tự động phân loại chất lượng nan tre (mô phỏng) đề xuất Khi thực xây dựng sản phẩm thực tế, số vấn đề xuất hiện, miêu tả sau: 54 CHƯƠNG : KẾT LUẬN - Nan tre bị kẹt vào hệ cấp phôi Bề mặt máng úp ngược chưa sát với bề mặt băng tải, nan tre bị kẹt bề mặt (không khoảng định sẵn) Lý bề mặt máng băng tải chưa sát với nhau, hệ thống với nhiều loại nan tre thử nghiệm, loại dẹt bị tình trạng kẹt - Điều khiển băng tải có gờ động bước u cầu độ xác cao, khơng bước phân loại bị hỏng 4.2 Kết luận Trong dự án này, vấn đề phân loại lỗi nan tre cách sử dụng học sâu nghiên cứu giải cách sử dụng CNN làm nhiệm vụ phân loại Bộ liệu tre thu thập dựa camera hộp đen để giảm ảnh hưởng ánh sáng môi trường tiếng ồn Gia tăng liệu GAN áp dụng để tăng lên, tổng quát hóa tập liệu tránh cân Năm mơ hình phổ biến, VGG16, ResNet50, DenseNet121, MobileNetV2 EfficientNetB3 đào tạo dựa liệu khiếm khuyết tre cho kết tốt Trong mơ hình VGG16 khơng thể hội tụ, bốn mơ hình khác có kết tốt với độ xác thực thấp Tác động việc học chuyển tiếp, tập liệu khác với tập liệu ImageNet, nhấn mạnh, hiệu suất tổng thể mơ hình đào tạo trước tốt so với mơ hình đào tạo từ đầu Một sửa đổi cho CNN, sử dụng kết nối bỏ qua trình bày phần cuối cho thấy tiềm tốt Khác với kết nối lại bên khối lớp, phiên dài kết nối kết nối lớp cấp khối áp dụng Phương pháp cải thiện tính tái sử dụng thơng tin suốt lớp mơ hình, giúp lớp học đặc tính chi tiết khái quát Hiệu suất mơ hình với nâng cấp tốt so với ban đầu, đổi lại với gia tăng nhỏ FLOP Hơn nữa, mơ đun có khả thích ứng cao với nhiều kiến trúc áp dụng cách đơn giản Một hạn chế việc đào tạo mơ hình với thay đổi yêu cầu nhớ GPU lớn, kết hình dạng lớn đồ đặc tính kết nối bỏ qua dài Một hệ thống tự động phân loại chất lượng nan tre đề xuất phần 3.33.3, bao gồm hệ cấp phôi, hệ camera, hệ chia khoảng hệ phân loại 55 CHƯƠNG : KẾT LUẬN Trong tương lai, phương pháp phát phân loại khuyết tật khác, đặc biệt ảnh bề mặt tre nghiên cứu, chẳng hạn đồ mật độ hồi quy Tập liệu lớn với hình ảnh thực hình ảnh tổng hợp tạo, sử dụng nhiều kiểu tăng liệu hơn, mạng GAN mạng tích chập mạnh mẽ Đối với mô đun đề xuất, nhiều thí nghiệm thực để hiểu đầy đủ kiểm sốt việc truyền tải kiến thức bên kết nối tắt Hệ thống phân loại thực tế xây dựng cải tiến để hạn chế sai số trình làm việc 56 PHỤ LỤC TÀI LIỆU THAM KHẢO [1] Silvén, O.; Niskanen, M.; Kauppinen, H Wood inspection with non-supervised clustering Machine Vision and Applications 2003, 13, pp 275-285 [2] Qi, X.; Li, X.; Zhang, H Research of paper surface defects detection system based on blob algorithm.IEEE International Conference on Information and Automation (ICIA) 2013, Yinchuan, China, 26-28 August 2013 [3] Haindl, M.; Grim, J.; Mikeš, S Texture Defect Detection In Computer Analysis of Images and Patterns; Kropatsch, W.G., Kampel, M., Hanbury, A.,Eds.; Springer: Heidelberg,Berlin, Germany, 2007; Volume 4673, pp 987-994 [4] Xiansheng, Q.; Feng, H.; Qiong, L.; Xin, S Online defect inspection algorithm of bamboo strip based on computer vision IEEE International Conference on Industrial Technology2009,Gippsland, VIC, Australia, 10-13 February 2009 [5] Wang, X.; Liang, D.; Deng, W Surface grading of bamboo strips using multiscale color texture features in Eigenspace.Computers and Electronics in Agriculture2010,73, 91–98 [6] Prats-Montalban, J.M., Ferrer, A., 2007 Integration of colour and textural information in multivariate image analysis: defect detection and classification issues Journal of Chemometrics 21 (1–2), 10–23 [7] Alex Krizhevsky, Ilya Sutskever, and Geoffrey E Hinton 2012 ImageNet classification with deep convolutional neural networks In Proceedings of the 25th International Conference on Neural Information Processing Systems Volume (NIPS'12) Curran Associates Inc., Red Hook, NY, USA, 1097–1105 [8] Karen Simonyan and Andrew Zisserman Very Deep Convolutional Networks for Large-Scale Image Recognition arXiv:1409.1556 [cs.CV] (2014) [9] Kaiming He and Xiangyu Zhang and Shaoqing Ren and Jian Sun Deep Residual Learning for Image Recognition arXiv:1512.03385 [cs.CV] (2015) [10] Min Lin and Qiang Chen and Shuicheng Yan Network In Network arXiv:1312.4400 [cs.NE] (2014) [11] Christian Szegedy and Wei Liu and Yangqing Jia and Pierre Sermanet and Scott Reed and Dragomir Anguelov and Dumitru Erhan and Vincent Vanhoucke 57 PHỤ LỤC and Andrew Rabinovich Going Deeper with Convolutions arXiv:1409.4842 [cs.CV], (2014) [12] Liang-Chieh Chen and George Papandreou and Iasonas Kokkinos and Kevin Murphy and Alan L Yuille Semantic Image Segmentation with Deep Convolutional Nets and Fully Connected CRFs arXiv:1412.7062 [cs.CV], (2016) [13] Fisher Yu and Vladlen Koltun Multi-Scale Context Aggregation by Dilated Convolutions arXiv:1511.07122 [cs.CV], (2016) [14] Andrew G Howard, Menglong Zhu, Bo Chen, Dmitry Kalenichenko, Weijun Wang, Tobias Weyand, Marco Andreetto, Hartwig Adam MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications arXiv:1704.04861 [cs.CV], (2017) [15] Franỗois Chollet Xception: Deep Learning with Depthwise Separable Convolutions arXiv:1610.02357 [cs.CV], (2017) [16] Mingxing Tan and Quoc V Le EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks arXiv:1905.11946 [cs.LG], (2020) [17] Jost Tobias Springenberg and Alexey Dosovitskiy and Thomas Brox and Martin Riedmiller Striving for Simplicity: The All Convolutional Net arXiv:1412.6806 [cs.LG] (2015) [18] Jie Hu and Li Shen and Samuel Albanie and Gang Sun and Enhua Wu Squeeze-and-Excitation Networks arXiv:1709.01507 [cs.CV] (2019) [19] Ioffe, Sergey, and Christian Szegedy “Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift.” arXiv preprint arXiv:1502.03167 (2015) [20] Prajit Ramachandran and Barret Zoph and Quoc V Le Searching for Activation Functions arXiv:1710.05941 [cs.NE] (2017) [21] John Duchi, Elad Hazan, and Yoram Singer 2011 Adaptive Subgradient Methods for Online Learning and Stochastic Optimization J Mach Learn Res 12, null (2/1/2011), 2121–2159 [22] Diederik P Kingma and Jimmy Ba Adam: A Method for Stochastic Optimization arXiv:1412.6980 [cs.LG] (2017) 58 PHỤ LỤC [23] J Deng, W Dong, R Socher, L Li, Kai Li and Li Fei-Fei, "ImageNet: A large-scale hierarchical image database," 2009 IEEE Conference on Computer Vision and Pattern Recognition, 2009, pp 248-255, doi: 10.1109/CVPR.2009.5206848 [24] Matthew D Zeiler and Rob Fergus Visualizing and Understanding Convolutional Networks arXiv:1311.2901 [cs.CV] (2013) [25] Christian Szegedy and Wei Liu and Yangqing Jia and Pierre Sermanet and Scott Reed and Dragomir Anguelov and Dumitru Erhan and Vincent Vanhoucke and Andrew Rabinovich Going Deeper with Convolutions arXiv:1409.4842 [cs.CV] (2014) [26] Gao Huang and Zhuang Liu and Laurens van der Maaten and Kilian Q Weinberger Densely Connected Convolutional Networks arXiv:1608.06993 [cs.CV] (2018) [27] Mark Sandler and Andrew Howard and Menglong Zhu and Andrey Zhmoginov and Liang-Chieh Chen MobileNetV2: Inverted Residuals and Linear Bottlenecks arXiv:1801.04381 [cs.CV] (2019) [28] Andrew Howard and Mark Sandler and Grace Chu and Liang-Chieh Chen and Bo Chen and Mingxing Tan and Weijun Wang and Yukun Zhu and Ruoming Pang and Vijay Vasudevan and Quoc V Le and Hartwig Adam Searching for MobileNetV3 arXiv:1905.02244 [cs.CV] (2019) [29] Mingxing Tan and Bo Chen and Ruoming Pang and Vijay Vasudevan and Mark Sandler and Andrew Howard and Quoc V Le MnasNet: Platform-Aware Neural Architecture Search for Mobile arXiv:1807.11626 [cs.CV] (2019) [30] Tien-Ju Yang and Andrew Howard and Bo Chen and Xiao Zhang and Alec Go and Mark Sandler and Vivienne Sze and Hartwig Adam NetAdapt: PlatformAware Neural Network Adaptation for Mobile Applications arXiv:1804.03230 [cs.CV] (2018) [31] Ian J Goodfellow and Jean Pouget-Abadie and Mehdi Mirza and Bing Xu and David Warde-Farley and Sherjil Ozair and Aaron Courville and Yoshua Bengio Generative Adversarial Networks arXiv:1406.2661 [stat.ML] (2014) 59 PHỤ LỤC [32] Chollet, F & others, 2015 Keras Available at: https://github.com/fchollet/keras [33] Kanakasabapathy, M.K., Thirumalaraju, P., Kandula, H et al Adaptive adversarial neural networks for the analysis of lossy and domain-shifted datasets of medical images Nat Biomed Eng 5, 571–585 (2021) https://doi.org/10.1038/s41551-021-00733-w [34] Alec Radford and Luke Metz and Soumith Chintala Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks arXiv:1511.06434 [cs.LG] (2015) 60 PHỤ LỤC PHỤ LỤC # Mơ hình phân biệt discriminator = keras.Sequential( [ keras.Input(shape=(128, 128, 3)), layers.Conv2D(64, kernel_size=4, strides=2, padding="same"), layers.LeakyReLU(alpha=0.2), layers.Conv2D(128, kernel_size=4, strides=2, padding="same"), layers.LeakyReLU(alpha=0.2), layers.Conv2D(128, kernel_size=4, strides=2, padding="same"), layers.LeakyReLU(alpha=0.2), layers.Flatten(), layers.Dropout(0.2), layers.Dense(1, activation="sigmoid"), ], name="discriminator", ) # Mơ hình sinh liệu latent_dim = 128 generator = keras.Sequential( [ keras.Input(shape=(latent_dim,)), layers.Dense(16 * 16 * 128), layers.Reshape((16, 16, 128)), layers.Conv2DTranspose(128,kernel_size=4,strides=2, padding="same"), layers.LeakyReLU(alpha=0.2), layers.BatchNormalization(), 61 PHỤ LỤC layers.Conv2DTranspose(256,kernel_size=4,strides=2, padding="same"), layers.LeakyReLU(alpha=0.2), layers.BatchNormalization(), layers.Conv2DTranspose(512,kernel_size=4,strides=2, padding="same"), layers.LeakyReLU(alpha=0.2), layers.BatchNormalization(), layers.Conv2D(3,kernel_size=5,padding="same", activation="sigmoid"), ], name="generator", ) # Tăng liệu datagen_train = ImageDataGenerator(horizontal_flip=True, vertical_flip=True, rotation_range = 10, height_shift_range=0.3, width_shift_range=0.1, brightness_range=[0.85,1.15], rescale= 1./255) datagen_valid = ImageDataGenerator(rescale= 1./255) # Thực kết nối tắt lớp khác khối khác def add_block(_x1,_x2): size = int(K.int_shape(_x1)[1] / K.int_shape(_x2)[1]) _x2 = UpSampling2D(size=(size,size))(_x2) sc = Conv2D(K.int_shape(_x2)[-1], 1, strides=1,padding=’valid’)(_x1) output = Add()([_x2,sc]) return MaxPool2D(size, padding=’valid’)(output) 62 PHỤ LỤC # Áp dụng kết nối tắt dài vào mơ hình CNN x1 = block(x0, 64, 3, stride=1, name=’conv2’) x1 = add_block(x0,x1) x2 = block(x1, 128, 4, name=’conv3’) x2 = add_block(x0,x1) x2 = add_block(x1,x2) x3 = block(x2, 128, 4, name=’conv4’) x3 = add_block(x0,x3) x3 = add_block(x1,x3) x3 = add_block(x2,x3) x = block(x3, 512, 3, name=’conv5’) 63 ... 20202052M Hệ: Thạc sĩ Tên đề tài Hệ thống phân loại lỗi nan tre sử dụng phương pháp học sâu – deep learning Nội dung thuyết minh Chương Phần mở đầu Chương Mạng nơ ron tích chập Chương Phương pháp. .. phúc BẢN XÁC NHẬN CHỈNH SỬA LUẬN VĂN THẠC SĨ Họ tên tác giả luận văn : TRỊNH HOÀNG HIẾU Đề tài luận văn: Hệ thống phân loại lỗi nan tre sử dụng phương pháp học sâu – deep learning Chuyên ngành:... áp dụng vào phân loại màu sắc sản phẩm Phương pháp sử dụng học sâu chứng minh áp dụng để xử lý tốn thị giác máy tính phức tạp mà phương pháp đơn giải Mục tiêu đề tài xây dựng hệ thống tự động phân