Ứng dụng mạng nơ-ron tích chập trong công nghệ học sâu xây dựng mô hình phân loại rác thải tự động

Bài viết Ứng dụng mạng nơ-ron tích chập trong công nghệ học sâu xây dựng mô hình phân loại rác thải tự động trình bày việc ứng dụng mạng nơ-ron tích chập - một kỹ thuật hiệu quả trong công nghệ học sâu để giải quyết vấn đề thực tế của quản lý chất thải thông minh: phân loại rác thải tại nguồn nhằm hỗ trợ các nhiệm vụ tái chế tiếp theo. Mời các bạn cùng tham khảo!

ỨNG DỤNG MẠNG NƠ-RON TÍCH CHẬP TRONG CƠNG NGHỆ HỌC SÂU XÂY DỰNG MƠ HÌNH PHÂN LOẠI RÁC THẢI TỰ ĐỘNG Th.S Nguyễn Thanh Tuấn, Hà Minh Đức, Đinh Thị Hà Phương, Nguyễn Sơn Tùng, Khoa Toán Kinh Tế, Đại học Kinh Tế Quốc Dân Tóm tắt Việc quản lý chất thải môi trường đô thị trở thành vấn đề phức tạp lượng rác thải sinh hoạt không phân loại ngày gia tăng Sự phát triển vượt bậc kỹ thuật học sâu giúp thị giác máy tính đạt thành tựu định lĩnh vực Nhận dạng ảnh, có tốn nhận dạng phân loại rác thải Trong viết này, rác thải phân thành ba loại chính: rác thải tái chế (nhựa, giấy, thủy tinh-kim loại), rác thải hữu rác thải khơng tái chế Mơ hình nhóm nghiên cứu đạt độ dự đốn xác 87.50% tập liệu thử nghiệm Việc phân loại rác thải tự động giúp giảm thiểu số vấn đề phức tạp suất phân loại, hạn chế tình trạng chất thải tái chế trộn lẫn với chất thải không tái chế Mơ hình phân loại rác thải tự động giải pháp thân thiện với người dùng họ khơng phải lo lắng việc vứt rác vào khoang phân loại Nghiên cứu trình bày việc ứng dụng mạng nơ-ron tích chập - kỹ thuật hiệu công nghệ học sâu để giải vấn đề thực tế quản lý chất thải thông minh: phân loại rác thải nguồn nhằm hỗ trợ nhiệm vụ tái chế Từ khóa: phân loại rác thải, học sâu, mạng nơ-ron tích chập, học chuyển giao, ResNet Đặt vấn đề Theo báo cáo Ngân hàng Thế giới, năm có gần tỷ rác thải tồn cầu Lượng rác thải chiếm tỉ trọng lớn chủ yếu bắt nguồn từ thị dự đốn tăng 70% vào năm 2025 Với gia tăng số lượng ngành công nghiệp khu vực đô thị, việc xử lý chất thải tái chế, bao gồm giấy, nhựa, kim loại, thủy tinh, rác thải hữu rác thải vô thực trở thành vấn đề thiết toàn xã hội Theo báo cáo Viện Tồn cầu McKinsey (MGI), cơng bố ngày 12/09/2018 Diễn đàn Kinh tế Thế giới (WEF) Hà Nội, Việt Nam nằm số 18 kinh tế đánh giá "đạt hiệu vượt trội hơn" vịng 50 năm qua Song q trình tăng trưởng kinh tế cơng nghiệp hóa nhanh Việt Nam phần dẫn đến vấn đề thiết môi trường, gây nên tác động tiêu cực ngày gia tăng hệ sinh thái tài ngun thiên nhiên Đơ thị hóa, tăng trưởng kinh tế bùng nổ dân số đặt thách thức ngày lớn xử lý ô nhiễm quản lý chất thải Hiện nay, phương pháp để quản lý chất thải chơn lấp hố rác Phương pháp không đem lại hiệu cao, tốn tài nguyên, gây ô nhiễm môi trường tự nhiên, ảnh hưởng tiêu cực đến sức khỏe người dân sống gần bãi rác công nhân thu gom phế liệu Một cách quản lý chất thải khác đốt rác phương pháp gây nhiễm khơng khí nặng nề, ra, số chất độc hại từ chất thải phát tán vào khơng khí cịn gây ung thư Do cần phải phân tách 264 chất thải thành thành phần khác tái chế cách khác nhau, từ góp phần bảo vệ mơi trường sức khỏe người Hiện quy trình tái chế địi hỏi sở tái chế phải phân loại rác thải theo cách thủ cơng Do đó, việc phân loại rác thải thu hút nhiều nhà nghiên cứu ứng dụng thị giác máy tính để giải tốn Việc ứng dụng công nghệ học sâu lĩnh vực phân loại rác thải có tiềm làm nhà máy tái chế rác hoạt động hiệu Điều khơng đem đến tác động tích cực tới mơi trường mà cịn hiệu mặt kinh tế Gần đây, Salimi et al (2018) [1] phát triển robot thùng rác phát phân loại rác thành rác hữu không hữu Robot đến nơi công cộng để quét xử lý thùng rác tự động Trong đó, Y Chu et al (2018) [2] giới thiệu hệ thống mạng nơ-ron học sâu để tự động phân loại rác thải hộ gia đình khu vực thị Mơ hình sử dụng thuật tốn dựa mạng nơ-ron tích chập để trích xuất đặc trưng từ liệu phương pháp perceptron nhiều lớp (MLP) để hợp đặc trưng ảnh thông tin đặc trưng khác để phân loại chất thải vào hai nhóm tái chế chất thải khác M Yang G Thung phát hành tập liệu TrashNet (2016) [3], thường sử dụng để đánh giá mơ hình phân loại rác Tuy nhiên, mơ hình khơng hiệu trường hợp lớp chứa nhiều đối tượng Do đó, hiệu suất mơ hình tập liệu cần cải thiện Hơn nữa, phương pháp cần xác minh liệu liên quan khác, cụ thể nghiên cứu rác thải sinh hoạt, thu từ địa điểm cơng cộng hộ gia đình Việt Nam Nghiên cứu xây dựng Neu-bin, mô hình dựa mạng nơ-ron tích chập huấn luyện có tên ResNet-50 Những đóng góp nghiên cứu sau: (1) Nghiên cứu lần thu thập 2137 hình ảnh rác thải thuộc năm lớp khác để tạo liệu Viet-trash Với chất liệu mục đích nghiên cứu hướng tới giải pháp góp phần bảo vệ mơi trường hỗ trợ nguồn cung phù hợp cho nhà máy tái chế, liệu phân thành ba nhóm chính, đó:  Nhóm Rác thải tái chế: phạm vi nghiên cứu giới hạn rác thải sinh hoạt hộ gia đình khu vực cơng cộng thành phố Hà Nội nên nhóm tập trung chủ yếu vào ba loại rác gồm giấy, nhựa thủy tinh - kim loại Nhóm nghiên cứu định hợp thủy tinh kim loại thành nhóm mức độ phổ biến hai loại hộ gia đình khu vực tập trung đông người công viên, trường học, công sở, thấp nhiều so với hai loại cịn lại Bên cạnh đó, việc hợp hai loại rác thủy tinh kim loại thành nhóm cịn nhằm mục đích tiết kiệm khơng gian đơn giản hóa thiết kế khoang chứa rác mơ hình giai đoạn sau  Nhóm Rác thải hữu cơ: tập trung phần lớn vào thực phẩm thừa hạn sử dụng Ví dụ vỏ qt, hột nhãn, thịt bị thiu,…  Nhóm Rác thải không tái chế: gồm loại rác thải tái chế nhiều thời gian, công sức, tài nguyên để tái chế túi nilon, thủy tinh vỡ, tàn thuốc lá, (2) Nghiên cứu đề xuất mơ hình Neu-bin với độ xác cao 87.50% phương pháp khả quan hiệu so với phương pháp đại khác 265 Phần lại nghiên cứu tổ chức sau Phần trình bày số cơng trình nghiên cứu liên quan tiến hành phân loại chất thải Phần trình bày kiến trúc mơ hình học sâu kỹ thuật trọng tâm liên quan Phần thống kê chi tiết liệu thu thập để huấn luyện mơ hình trình bày kết nghiên cứu, bên cạnh tiến hành so sánh hiệu mơ hình so với mạng nơ-ron tích chập phổ biến khác Phần đưa kết luận trình bày số định hướng tương lai Cơng trình nghiên cứu liên quan Phân loại hình ảnh trở thành lĩnh vực nghiên cứu nhờ phát hành liệu lớn công khai, chẳng hạn ImageNet [4] Tốc độ gia tăng liệu liệu lớn có sẵn dẫn đến phát triển mạnh mẽ mơ hình mạng nơ-ron Gần đây, phương pháp tiếp cận thị giác máy tính bắt đầu sử dụng để khoanh vùng, nhận diện phân loại rác thải đường phố Điều cho phép thiết bị làm đường phố tìm thấy khu vực có nhiều chất thải tập trung vào việc làm khu vực Ngồi ra, phương pháp tiếp cận thị giác máy tính áp dụng cho robot làm nhằm xác định phát loại chất thải mà robot lau sàn Phương pháp áp dụng quy mô đô thị lớn hơn, hỗ trợ quan quản lý chất thải địa phương Trong báo này, nhóm nghiên cứu tập trung xây dựng mơ hình mạng nơ-ron phân loại hình ảnh, áp dụng cho toán phân loại rác thải thực tế Năm 2016, M Yang G Thung phát hành tập liệu TrashNet gồm lớp: thủy tinh, giấy, bìa cứng, nhựa, kim loại vật liệu khác Hiện nay, số nghiên cứu quốc tế liên quan đến vấn đề phân loại rác thải sử dụng liệu TrashNet nhằm đánh giá phương pháp tiếp cận đề xuất Thứ nhất, Aral et al (2018) [5] sử dụng mơ hình học chuyển giao (Transfer Learning) bắt nguồn từ số mơ hình mạng nơ-ron tích chập (Convolutional Neural Network - CNN) phổ biến phân loại hình ảnh bao gồm DenseNet121, DenseNet169, InceptionResnetV2, MobileNet Xception để phân loại rác thải liệu TrashNet Trong nghiên cứu này, nhóm tác giả sử dụng 70% tập liệu TrashNet để huấn luyện, 13% để xác thực 17% để kiểm tra Theo kết quả, mơ hình học chuyển giao DenseNet-121 cho thấy độ xác tốt với 95% Thứ hai, Bircanoglu et al (2018) [6] phát triển mơ hình mạng nơron tích chập có trọng lượng nhẹ RecycleNet cho tính phân loại thùng rác Mặc dù đạt độ xác 81% liệu TrashNet với 70% liệu cho việc huấn luyện, 13% để xác thực 17% để kiểm tra, RecycleNet giảm đáng kể độ phức tạp mơ hình cách giảm số lượng tham số từ bảy triệu tham số xuống cịn ba triệu tham số Do đó, RecycleNet mơ hình nhẹ, tương thích với số hệ thống hạn chế thiết bị phần cứng Gần nhất, V Ruiz et al (2019) [7] đánh giá việc 266 sử dụng số mơ hình mạng nơ-ron tích chập bao gồm VGG, Inception ResNet để áp dụng cho chế phân loại rác thải tự động Kết hoạt động tốt thu cách sử dụng kiến trúc dựa mạng ResNet với độ xác 88,66% Trong số mơ hình mạng nơ-ron tích chập ImageNet, VGG, ResNet DenseNet trên, nghiên cứu cho thấy ResNet mơ hình tốt cho việc học chuyển giao để phân loại rác thải Nghiên cứu phát triển mạng nơ-ron tích chập dựa mạng ResNet điều chỉnh tham số phù hợp với liệu thực tế phù hợp với mục đích phân loại rác thải dựa theo ý nghĩa mơi trường Kiến trúc mơ hình 3.1 Mạng Residual Network 50 (ResNet-50) Ý tưởng trọng tâm Residual Network lớp thêm vào nên có thành phần hàm số đồng Điều có nghĩa rằng, ta huấn luyện lớp thêm vào thành ánh xạ đồng ( ) = mơ hình hiệu mơ hình ban đầu Vì lớp thêm vào khớp liệu huấn luyện tốt hơn, dẫn đến sai số huấn luyện nhỏ Tốt nữa, hàm số đồng nên hàm đơn giản lớp thay hàm null ( ) = Để đảm bảo việc tăng thêm lớp gia tăng khả biểu diễn mạng, lớp hàm lớn phải chứa lớp nhỏ Mơ hình ResNet-50 biến thể mơ hình ResNet có 48 lớp tích chập với lớp gộp max lớp gộp trung bình ResNet-50 có 3.8×10 phép tốn dấu chấm động Trong mạng nơ-ron tích chập, lớp phức hợp (convolutional layer) chuyển đổi hình ảnh nhập cách sử dụng chuỗi lọc có kích thước 3×3, trích chọn đặc trưng cụ thể từ liệu đầu vào Mơ hình đề xuất nhóm xây dựng từ mơ hình ResNet-50 huấn luyện từ trước, dựa liệu ImageNet với kích thước 256×256 phân loại thành 1000 nhãn Hình Kiến trúc mạng ResNet-50 Nguồn: Mahmood et al., 2020 [9] 3.2 Học chuyển giao (Transfer Learning) Học chuyển giao lĩnh vực nghiên cứu học máy, tập trung vào việc lưu trữ kiến thức thu giải vấn đề áp dụng vào vấn đề khác có liên quan Lý thuyết học chuyển giao Lorien Pratt thực nghiệm sau viết lại dạng lý thuyết toán học vào năm 1998 [8] Transfer Learning thực hóa ý tưởng chuyển giao tri thức mơ 267 người với Cụ thể, mơ hình có khả tận dụng lại tri thức huấn luyện trước (pretrained-model) điều chỉnh, cải thiện theo tác vụ phân loại cụ thể mô hình Nhóm nghiên cứu tận dụng kiến thức từ mơ hình đào tạo cho nhiệm vụ phân loại hình ảnh chung liệu ImageNet Học chuyển giao cung cấp số lợi ích rõ rệt cho q trình huấn luyện mơ hình, chẳng hạn cải thiện hiệu suất bản, tiết kiệm chi phí huấn luyện, giúp mơ hình với lượng liệu nhỏ hoạt động hiệu hơn, tăng tốc độ phát triển mơ hình tổng thể so với việc xây dựng mơ hình từ đầu Điều đặc biệt quan trọng học sâu, mà việc đào tạo mơ hình tốn thời gian tài nguyên Khi nhiệm vụ khởi điểm (hay gọi nhiệm vụ nguồn) mục tiêu có phân phối (distribution) miền (domain) nhiệm vụ thực khác nhau, điều gọi học chuyển giao quy nạp (inductive transfer learning) Trong viết này, nhóm nghiên cứu tập trung vào phương pháp học chuyển giao quy nạp, mơ hình đào tạo nguồn phân phối đích, thực nhiệm vụ khác phân loại hình ảnh rác thải Nghiên cứu sử dụng kỹ thuật tinh chỉnh, hình thức học chuyển giao phổ biến Trong tinh chỉnh, trọng số vài lớp mạng (layers) cập nhật đào tạo lớp kết nối đầy đủ (fully connected layers) phần cuối mơ hình, cho nhiệm vụ phân loại (FC Classifier) Do đó, phương pháp tốn nhiều tài nguyên chút trình đào tạo số lớp trước Với phương pháp học chuyển giao, mạng nơ-ron học sâu phân lớp với lớp ban đầu lưu giữ đặc trưng hình ảnh, chẳng hạn cạnh, viền bao quanh lớp sau trích xuất nhiều chi tiết cụ thể hình ảnh vật thể Dựa sở đó, nhóm nghiên cứu đóng băng số khối cập nhật khối cuối mạng Cụ thể, chúng tơi đóng băng (freeze) bốn lớp đầu tiên, bên cạnh tinh chỉnh hai khối cuối cho phù hợp với nhiệm vụ phân loại hình ảnh rác thải Điều cho phép sử dụng kiến thức kiến trúc mạng tổng thể sử dụng trạng thái làm điểm khởi đầu cho bước đào tạo lại, từ đạt hiệu suất tốt thời gian ngắn Một vấn đề cập nhật mơ hình cách sử dụng tinh chỉnh tham số lớp chế độ khơng đóng băng phải cập nhật để giải vấn đề Khi có nhiệm vụ mới, thuật toán tạo mạng nơ-ron chia sẻ đặc trưng đại diện nhiệm vụ Tuy nhiên, cách tiếp cận không thực phù hợp hạn chế không gian độ phức tạp số lượng mạng tuyến tính với số lượng nhiệm vụ cần học Mỗi mạng nơ-ron bao gồm nhiều lớp (layers), sau huấn luyện lớp điều chỉnh để phát đặc trưng cụ thể liệu đầu vào Chẳng hạn, theo Hình 2, mạng nơ-ron tích chập có nhiệm vụ phân loại hình ảnh lớp phát đặc trưng tổng qt cạnh, góc, đường trịn, hay mảng màu sắc Khi sâu vào mạng, lớp bắt đầu nhận diện thứ cụ thể khn mặt, mắt, tồn vật thể Tóm lại, lớp đầu mạng nơron phát đặc tính tổng quát, lớp sâu nhận diện đặc trưng cụ thể 268 Hình 2: Q trình trích xuất đặc trưng từ liệu mơ hình Nguồn: M D Zeiler, R Fergus, 2013 [10] Khi thực học chuyển giao, nhóm nghiên cứu chúng tơi đóng băng (freeze) lớp mơ hình ResNet-50 Đây lớp có tác dụng phát đặc trưng tổng quan thường thấy tất mạng Sau đó, lớp sâu hồn thiện cách tinh chỉnh với liệu thu thập thêm lớp để phân loại danh mục (class) có liệu huấn luyện Khi có khác biệt đáng kể nguồn đích, tập liệu huấn luyện có đặc trưng cụ thể, chúng tơi phải giải phóng (unfreeze) tương đối lớp mơ hình pre-trained (mơ hình huấn luyện từ trước) Tiếp theo đó, chúng tơi thêm lớp phân loại tinh chỉnh lớp khơng bị đóng băng liệu Trong trường hợp có khác biệt đáng kể mơ hình huấn luyện nguồn đích, cần giải phóng đào tạo lại tồn mạng nơ-ron Q trình có tên “full model fine-tuning” hay “tinh chỉnh tồn mơ hình”, loại hình học chuyển giao cần đòi hỏi số lượng lớn liệu huấn luyện Mạng sở giai đoạn trước sử dụng giải nén tính cách đóng băng lớp mạng cập nhật trọng số lớp Khi hàm mát (loss function) bắt đầu ổn định mạng tiến đến mức độ xác cao với lớp nằm cùng, lớp lại mạng dần giải phóng (unfreeze) Cụ thể, trước hết nhóm nghiên cứu giải phóng lớp lớp chứa đặc trưng tổng quát cập nhật trọng số Tiếp theo, chúng tơi giải phóng lớp cấp thấp lặp lại cách sử dụng kiến thức cập nhật tỷ lệ, tinh chỉnh tất lớp với hội tụ cuối mạng Q trình xây dựng mơ hình Neu-bin phân loại rác gồm giai đoạn:  Giai đoạn 1: Do lớp mơ hình pre-trained huấn luyện liệu ImageNet, nhóm tiến hành đóng băng (freeze) lớp mơ hình ResNet-50 cập nhật trọng số (weight) lớp thêm vào Khi hàm mát (loss function) bắt đầu ổn định mạng đạt đến mức xác tương đối cao với lớp thêm vào, nhóm chuyển tiếp đến giai đoạn  Giai đoạn 2: Ở giai đoạn này, nhóm giải (unfreeze) số lớp cuối mơ hình pre-trained tiếp tục thực trình huấn luyện với lớp với lớp điều chỉnh thêm vào 269 3.3 Mơ hình Neu-bin Neu-bin hình thành thơng qua việc đóng băng lớp mạng ResNet-50 (Hình 3) với mục đích phát đặc trưng tổng quan ảnh Sau nhóm thêm vào lớp Average Pooling (lớp gộp trung bình) nhằm giảm bớt số lượng tham số hình ảnh giữ lại đặc trưng quan trọng Theo sau lớp Fully connected để kết nối toàn unit lớp trước với unit lớp lớp Dropout với nhiệm vụ hạn chế tượng khớp (overfitting) cho mơ hình Overfitting xảy mơ hình q phức tạp để mô liệu huấn luyện, việc chứa q nhiều tham số vơ tình trích xuất số biến thể lại (nhiễu) thể biến thể đại diện cho cấu trúc mơ hình Và cuối lớp output lớp Fully connected với số unit tương đương với nhãn Neu-bin với hàm kích hoạt Softmax – dùng cho phân loại vật thể thuộc nhiều lớp Quá trình huấn luyện thực Hình 3: Mơ hình Neu-bin tinh chỉnh từ ResNet-50 Nguồn: Nhóm tác giả xây dựng 270 3.4 Tăng cường liệu (Data Augmentation) Tăng cường liệu kỹ thuật phổ biến sử dụng để gia tăng lượng liệu huấn luyện dựa theo liệu có áp dụng số phép biến đổi hình ảnh phóng to, thu nhỏ, cắt ngẫu nhiên xoay để tạo tập hợp hình ảnh bổ sung Tính ngẫu nhiên q trình giúp mơ hình trang bị nhiều liệu đào tạo địa phương, tiết kiệm thời gian công sức thu sức thu thập liệu Cụ thể, sử dụng lớp ImageDataGenerator1 từ thư viện Keras thuộc ngôn ngữ lập trình Python Lớp ImageDataGenerator1 cung cấp số phép biến đổi tạo hình ảnh mới, chẳng hạn phóng to, xoay, cắt, lấp đầy điểm ảnh (pixel) khung bao quanh gần nhất,… Hình Dữ liệu sinh từ kỹ thuật tăng cường liệu Nguồn: Nhóm tác giả thực Phương pháp nghiên cứu 4.1 Bộ liệu nghiên cứu Bộ liệu nhóm gồm 4664 ảnh kết hợp từ liệu chọn lọc từ Trashnet Viet-trash Đầu tiên Trashnet, liệu mở bao gồm nhãn: Nhựa, Giấy, Kim Loại, Thủy tinh, Bìa Các chất thải khác Bảng 1: Thống kê liệu Trashnet Nguồn: Nhóm tác giả thực Số thứ tự Nhãn Số lượng ảnh Nhựa 482 Giấy 594 Kim loại 410 Thủy Tinh 501 Bìa 403 Các chất thải khác 137 Tổng cộng 2527 271 Bộ liệu gốc có dung lượng 3.5 GB với 2527 ảnh điều chỉnh kích thước xuống 512×384 với ba kênh màu RGB (Red, Green, Blue) Tất vật thể ảnh chụp trơn ánh sáng vừa đủ Thống kê liệu theo nhãn trình bày Bảng 1, số ví dụ nhãn liệu minh họa Hình Hình 5: Một số ví dụ liệu Trashnet Nguồn: Nhóm tác giả thực Ngồi ra, nhóm cịn tự thu thập thêm ảnh chất thải xây dựng liệu Viet-trash, đại diện cho hình ảnh rác thải thực tế Việt Nam Bảng 2: Thống kê liệu Viet-trash Nguồn: Nhóm tác giả thực Số thứ tự Nhãn Vật thể Số lượng ảnh Nhựa Chai nhựa, hộp nhựa, bút, vật dụng sinh hoạt nhựa, … 523 Giấy & Bìa Báo, bìa cứng, tờ rơi, vỏ hộp, phong thư, … 527 Kim loại & Thủy tinh Chai thủy tinh, lon nước, vật liệu xây dựng, chìa khóa, … 526 Chất thải hữu Hoa quả, rau củ, cây, loại hạt, … 311 Chất thải khác Khẩu trang, vỏ bánh kẹo, túi nilông, hộp xốp, giấy ăn, … 250 Tổng cộng 2137 272 Bộ liệu bao gồm ba nhãn chất thải Tái chế, chất thải Hữu chất thải Khác Trong chất thải Tái chế bao gồm ba nhãn Nhựa, Giấy-Bìa, Kim loại-Thủy tinh 2137 ảnh liệu Viet-trash chụp camera từ thiết bị điện thoại thông minh địa điểm công cộng hộ gia đình thành phố Hà Nội Thống kê liệu Viet-trash trình bày Bảng 2, hình ảnh minh họa liệu trình bày Hình Hình 6: Bộ liệu Viet-trash Nguồn: Nhóm tác giả thực Để thực q trình huấn luyện, nhóm chia liệu thử nghiệm bao gồm Trashnet Viet-trash với tỉ lệ 60% sử dụng để huấn luyện, 20% để xác thực 20% để kiểm tra 4.2 Công cụ nghiên cứu - CPU: Intel Core I7 - GPU: AMD Radeon Pro 5300M 4GB - Ngơn ngữ lập trình: Python 3.8 - Mơi trường lập trình: Google Colab - Các thư viện chính: OpenCV, Tensorflow, Keras, Sklearn, Numpy, Pandas, Matplotlib - Các thông số huấn luyện: + Tốc độ học tập: Giai đoạn 1: Thuật toán tối ưu RMSprop với tốc độ học α = 0.0001 Giai đoạn 2: Thuật toán tối ưu Adam với tốc độ học α = 0.00001 + Batch size : 32 + Epochs: 20 epochs giai đoạn Kết 5.1 Độ xác phân loại 273 Bảng 3: Độ xác kích thước mơ hình pre-trained Nguồn: Nhóm tác giả thực Mơ hình Độ xác (%) Số lượng tham số ResNet50 87.50 23,696,261 DenseNet121 86.50 7,103,429 MobileNetV2 83.40 2,340,293 VGG16 82.30 14,747,845 InceptionV3 82.50 21,934,245 Bảng cho thấy độ xác số lượng tham số tham gia vào q trình huấn luyện số mơ hình pre-trained đại phổ biến ResNet-50, DenseNet-121, MobileNet-V2, VGG-16 InceptionV3 sau thực huấn luyện liệu Viet-trash Trong trình huấn luyện, tất mơ hình điều chỉnh với tham số phù hợp để đưa kết tối ưu Có thể thấy, ResNet-50 cho tỉ lệ dự đốn xác cao với 87.50% tập liệu kiểm nghiệm, nhiều 1.00% so với mơ hình pre-trained có tỉ lệ xác cao thứ hai DenseNet-121 với 86.50%, nhiều 5.20% so với mô hình đưa tỉ lệ xác thấp VGG16 với 82.30% DenseNet-121 có tỷ lệ dự đốn xác thấp ResNet-50, nhiên so với ResNet50 kích thước DenseNet-121 lại nhỏ nhiều tổng tham số DenseNet-121 xấp xỉ 0.3 tổng tham số ResNet50 Tuy vậy, mục tiêu nhóm xây dựng mơ hình Neu-bin có độ xác cao dựa liệu thử nghiệm Chính thế, nhóm định sử dụng mơ hình pre-trained ResNet-50 q trình huấn luyện mơ hình Hình 7: Hàm mát tỉ lệ dự đốn xác trước tinh chỉnh Nguồn: Nhóm tác giả thực 274 Hình 8: Hàm mát tỉ lệ dự đốn xác sau tinh chỉnh Nguồn: Nhóm tác giả thực Hình biểu diễn hàm mát tỷ lệ dự đốn xác qua 20 epochs mà lớp thêm vào huấn luyện tất lớp lại đóng băng Có thể thấy độ sụt giảm hàm mát tập huấn luyện lẫn tập kiểm nghiệm lớn tương đồng Tình hình tương tư bên phía tỉ lệ dự đốn xác, tỉ lệ tăng sau epochs tập huấn luyện lớn không đáng kể so với tập kiểm nghiệm, nhiên tỉ lệ phân loại rác xác sau 20 epochs cịn thấp, trung bình khoảng 75% tập huấn luyện 72% tập kiểm nghiệm Sau giải phóng số lớp cuối mơ hình pre-trained tiếp tục thực huấn luyện, hàm mát tập liệu huấn luyện tập liệu kiểm nghiệm tiếp tục giảm với tốc độ chậm Trong đó, tỉ lệ dự đốn xác lại tăng mạnh tập huấn luyện lẫn tập kiểm nghiệm, từ trung bình 75% lên 92% tập huấn luyện 72% lên 84% tập kiểm nghiệm 5.2 Ma trận Confusion phân loại Hình 9: Ma trận Confusion mơ hình Neu-bin Nguồn: Nhóm tác giả thực Hình biểu diễn ma trận confusion mơ hình Neu-bin tập liệu thử nghiệm với trục ngang nhãn dự đốn mạng, cịn trục đứng nhãn thực vật thể mà mơ hình đưa dự đốn Các tỉ lệ dự đoán tập trung theo đường chéo từ góc trái xuống góc phải ma trận, kết mơ hình Nhãn có tỉ lệ dự đốn xác cao mơ hình chất thải Khác với 93.62% thấp 275 Chất thải hữu với kết 81.03% Trung bình, Neu-bin đạt tỉ lệ xác tương đối khả quan lên đến khoảng 87.50% Tuy nhiên, số nhãn bị dự đoán nhầm lẫn ma trận Chất thải bị dự đoán sai nhiều Kim loại-Thủy tinh mà nhãn thực Nhựa với tỉ lệ 12.37% Điều giải thích giống hình thức số vật cụ thể chai nhựa chai thủy tinh hay liệu chưa đủ lớn để mơ hình học đầy đủ đặc trưng cụ thể từ vật thể có hình thức giống này, dẫn đến sai lệch kết dự đoán mơ hình Kết luận Hệ thống thu gom xử lý rác thải thủ công Việt Nam tiềm ẩn rủi ro cho môi trường, gây ảnh hưởng tiêu cực đến sức khỏe người lao động lãng phí tài nguyên nguồn lực Do đó, việc phân loại rác thải sinh hoạt hộ gia đình trước xử lý khắc phục đáng kể rủi ro Nhóm nghiên cứu đề xuất mơ hình phân loại rác thải tự động Neu-bin tách thành phần chất thải khác công nghệ học sâu Hệ thống sử dụng để tự động phân loại chất thải, ngăn ngừa tình trạng rác thải trộn lẫn hỗ trợ giảm thiểu can thiệp người Từ kết quả, thử nghiệm với tập liệu Viet-trash, mơ hình đề xuất có độ xác 87.50% Nghiên cứu nhóm thực nhằm đề xuất giải pháp phân loại đơn giản, hiệu quả, thân thiện với người dùng phù hợp với quy trình xử lý chất thải Việt Nam Về phương hướng phát triển, tương lai, nhóm tiếp tục thu thập thêm liệu ảnh rác thải để tăng tính tổng quát cho liệu, thử nghiệm tinh chỉnh mơ hình để cải thiện độ xác với giảm thời gian tính tốn đưa vào áp dụng thực tế Tài liệu tham khảo [1] I B S Salimi Dewantara and I K Wibowo, “Visual-based trash detection and classification system for smart trash bin robot” in Proc ES-KCIC, 2018, pp 378–383 [2] Y Chu, C Huang, X Xie, B Tan, S Kamal, and X Xiong, “Multilayer hybrid deeplearning method for waste classification and recycling”, Comput Intell Neurosci., 2018 [3] M Yang and G Thung, “Classification of trash for recyclability status” Mach Learn, Stanford, CA, USA, Project Rep CS229, 2016 [4] Deng, J et al., 2009 “Imagenet: A large-scale hierarchical image database” In 2009 IEEE conference on computer vision and pattern recognition pp 248–255 [5] R A Aral, S R Keskin, M Kaya, and M Haciomeroglu, “Classification of trashnet dataset based on deep learning models” in Proc BigData, Dec 2018, pp 2058–2062 [6] C Bircanoglu, M Atay, F Beser, O Genc, and M A Kizrak, “RecycleNet: Intelligent waste sorting using deep neural networks” in Proc INISTA, 2018, pp 1–7 [7] V Ruiz, Á Sánchez, J F Vélez, and B Raducanu, “Automatic image-based waste classification” in Proc IWINAC, vol 2, 2019, pp 422 [8] S Thrun, L Pratt, “Learning to learn: Introduction and overview”, 1998 [9] Mahmood, Ospina, Bennamoun, M An, S Sohel et al., (2020) “Automatic Hierarchical Classification of Kelps Using Deep Residual Features”, Sensors, 20(2), 447 [10] M D Zeiler and R Fergus, “Visualizing and Understanding Convolutional Networks”, Cornell University, 2013 276 ... thùng rác tự động Trong đó, Y Chu et al (2018) [2] giới thiệu hệ thống mạng nơ-ron học sâu để tự động phân loại rác thải hộ gia đình khu vực thị Mơ hình sử dụng thuật tốn dựa mạng nơ-ron tích chập. .. việc phân loại rác thải thu hút nhiều nhà nghiên cứu ứng dụng thị giác máy tính để giải tốn Việc ứng dụng công nghệ học sâu lĩnh vực phân loại rác thải có tiềm làm nhà máy tái chế rác hoạt động. .. giá việc 266 sử dụng số mơ hình mạng nơ-ron tích chập bao gồm VGG, Inception ResNet để áp dụng cho chế phân loại rác thải tự động Kết hoạt động tốt thu cách sử dụng kiến trúc dựa mạng ResNet với