Ứng dụng mạng nơ ron tích chập trong công nghệ học sâu xây dựng mô hình phân loại rác thải tự động

264 ỨNG DỤNG MẠNG NƠ RON TÍCH CHẬP TRONG CÔNG NGHỆ HỌC SÂU XÂY DỰNG MÔ HÌNH PHÂN LOẠI RÁC THẢI TỰ ĐỘNG Th S Nguyễn Thanh Tuấn, Hà Minh Đức, Đinh Thị Hà Phương, Nguyễn Sơn Tùng, Khoa Toán Kinh Tế, Đại[.]

ỨNG DỤNG MẠNG NƠ-RON TÍCH CHẬP TRONG CƠNG NGHỆ HỌC SÂU XÂY DỰNG MƠ HÌNH PHÂN LOẠI RÁC THẢI TỰ ĐỘNG Th.S Nguyễn Thanh Tuấn, Hà Minh Đức, Đinh Thị Hà Phương, Nguyễn Sơn Tùng, Khoa Toán Kinh Tế, Đại học Kinh Tế Quốc Dân Tóm tắt Việc quản lý chất thải môi trường đô thị trở thành vấn đề phức tạp lượng rác thải sinh hoạt không phân loại ngày gia tăng Sự phát triển vượt bậc kỹ thuật học sâu giúp thị giác máy tính đạt thành tựu định lĩnh vực Nhận dạng ảnh, có tốn nhận dạng phân loại rác thải Trong viết này, rác thải phân thành ba loại chính: rác thải tái chế (nhựa, giấy, thủy tinh-kim loại), rác thải hữu rác thải khơng tái chế Mơ hình nhóm nghiên cứu đạt độ dự đốn xác 87.50% tập liệu thử nghiệm Việc phân loại rác thải tự động giúp giảm thiểu số vấn đề phức tạp suất phân loại, hạn chế tình trạng chất thải tái chế trộn lẫn với chất thải không tái chế Mơ hình phân loại rác thải tự động giải pháp thân thiện với người dùng họ khơng phải lo lắng việc vứt rác vào khoang phân loại Nghiên cứu trình bày việc ứng dụng mạng nơ-ron tích chập - kỹ thuật hiệu công nghệ học sâu để giải vấn đề thực tế quản lý chất thải thông minh: phân loại rác thải nguồn nhằm hỗ trợ nhiệm vụ tái chế Từ khóa: phân loại rác thải, học sâu, mạng nơ-ron tích chập, học chuyển giao, ResNet Đặt vấn đề Theo báo cáo Ngân hàng Thế giới, năm có gần tỷ rác thải tồn cầu Lượng rác thải chiếm tỉ trọng lớn chủ yếu bắt nguồn từ thị dự đốn tăng 70% vào năm 2025 Với gia tăng số lượng ngành công nghiệp khu vực đô thị, việc xử lý chất thải tái chế, bao gồm giấy, nhựa, kim loại, thủy tinh, rác thải hữu rác thải vô thực trở thành vấn đề thiết toàn xã hội Theo báo cáo Viện Tồn cầu McKinsey (MGI), cơng bố ngày 12/09/2018 Diễn đàn Kinh tế Thế giới (WEF) Hà Nội, Việt Nam nằm số 18 kinh tế đánh giá "đạt hiệu vượt trội hơn" vịng 50 năm qua Song q trình tăng trưởng kinh tế cơng nghiệp hóa nhanh Việt Nam phần dẫn đến vấn đề thiết môi trường, gây nên tác động tiêu cực ngày gia tăng hệ sinh thái tài ngun thiên nhiên Đơ thị hóa, tăng trưởng kinh tế bùng nổ dân số đặt thách thức ngày lớn xử lý ô nhiễm quản lý chất thải Hiện nay, phương pháp để quản lý chất thải chơn lấp hố rác Phương pháp không đem lại hiệu cao, tốn tài nguyên, gây ô nhiễm môi trường tự nhiên, ảnh hưởng tiêu cực đến sức khỏe người dân sống gần bãi rác công nhân thu gom phế liệu Một cách quản lý chất thải khác đốt rác phương pháp gây nhiễm khơng khí nặng nề, ra, số chất độc hại từ chất thải phát tán vào khơng khí cịn gây ung thư Do cần phải phân tách 264 chất thải thành thành phần khác tái chế cách khác nhau, từ góp phần bảo vệ mơi trường sức khỏe người Hiện quy trình tái chế địi hỏi sở tái chế phải phân loại rác thải theo cách thủ cơng Do đó, việc phân loại rác thải thu hút nhiều nhà nghiên cứu ứng dụng thị giác máy tính để giải tốn Việc ứng dụng công nghệ học sâu lĩnh vực phân loại rác thải có tiềm làm nhà máy tái chế rác hoạt động hiệu Điều khơng đem đến tác động tích cực tới mơi trường mà cịn hiệu mặt kinh tế Gần đây, Salimi et al (2018) [1] phát triển robot thùng rác phát phân loại rác thành rác hữu không hữu Robot đến nơi công cộng để quét xử lý thùng rác tự động Trong đó, Y Chu et al (2018) [2] giới thiệu hệ thống mạng nơ-ron học sâu để tự động phân loại rác thải hộ gia đình khu vực thị Mơ hình sử dụng thuật tốn dựa mạng nơ-ron tích chập để trích xuất đặc trưng từ liệu phương pháp perceptron nhiều lớp (MLP) để hợp đặc trưng ảnh thông tin đặc trưng khác để phân loại chất thải vào hai nhóm tái chế chất thải khác M Yang G Thung phát hành tập liệu TrashNet (2016) [3], thường sử dụng để đánh giá mơ hình phân loại rác Tuy nhiên, mơ hình khơng hiệu trường hợp lớp chứa nhiều đối tượng Do đó, hiệu suất mơ hình tập liệu cần cải thiện Hơn nữa, phương pháp cần xác minh liệu liên quan khác, cụ thể nghiên cứu rác thải sinh hoạt, thu từ địa điểm cơng cộng hộ gia đình Việt Nam Nghiên cứu xây dựng Neu-bin, mô hình dựa mạng nơ-ron tích chập huấn luyện có tên ResNet-50 Những đóng góp nghiên cứu sau: (1) Nghiên cứu lần thu thập 2137 hình ảnh rác thải thuộc năm lớp khác để tạo liệu Viet-trash Với chất liệu mục đích nghiên cứu hướng tới giải pháp góp phần bảo vệ mơi trường hỗ trợ nguồn cung phù hợp cho nhà máy tái chế, liệu phân thành ba nhóm chính, đó:  Nhóm Rác thải tái chế: phạm vi nghiên cứu giới hạn rác thải sinh hoạt hộ gia đình khu vực cơng cộng thành phố Hà Nội nên nhóm tập trung chủ yếu vào ba loại rác gồm giấy, nhựa thủy tinh - kim loại Nhóm nghiên cứu định hợp thủy tinh kim loại thành nhóm mức độ phổ biến hai loại hộ gia đình khu vực tập trung đông người công viên, trường học, công sở, thấp nhiều so với hai loại cịn lại Bên cạnh đó, việc hợp hai loại rác thủy tinh kim loại thành nhóm cịn nhằm mục đích tiết kiệm khơng gian đơn giản hóa thiết kế khoang chứa rác mơ hình giai đoạn sau  Nhóm Rác thải hữu cơ: tập trung phần lớn vào thực phẩm thừa hạn sử dụng Ví dụ vỏ qt, hột nhãn, thịt bị thiu,…  Nhóm Rác thải không tái chế: gồm loại rác thải tái chế nhiều thời gian, công sức, tài nguyên để tái chế túi nilon, thủy tinh vỡ, tàn thuốc lá, (2) Nghiên cứu đề xuất mơ hình Neu-bin với độ xác cao 87.50% phương pháp khả quan hiệu so với phương pháp đại khác 265 Phần lại nghiên cứu tổ chức sau Phần trình bày số cơng trình nghiên cứu liên quan tiến hành phân loại chất thải Phần trình bày kiến trúc mơ hình học sâu kỹ thuật trọng tâm liên quan Phần thống kê chi tiết liệu thu thập để huấn luyện mơ hình trình bày kết nghiên cứu, bên cạnh tiến hành so sánh hiệu mơ hình so với mạng nơ-ron tích chập phổ biến khác Phần đưa kết luận trình bày số định hướng tương lai Cơng trình nghiên cứu liên quan Phân loại hình ảnh trở thành lĩnh vực nghiên cứu nhờ phát hành liệu lớn công khai, chẳng hạn ImageNet [4] Tốc độ gia tăng liệu liệu lớn có sẵn dẫn đến phát triển mạnh mẽ mơ hình mạng nơ-ron Gần đây, phương pháp tiếp cận thị giác máy tính bắt đầu sử dụng để khoanh vùng, nhận diện phân loại rác thải đường phố Điều cho phép thiết bị làm đường phố tìm thấy khu vực có nhiều chất thải tập trung vào việc làm khu vực Ngồi ra, phương pháp tiếp cận thị giác máy tính áp dụng cho robot làm nhằm xác định phát loại chất thải mà robot lau sàn Phương pháp áp dụng quy mô đô thị lớn hơn, hỗ trợ quan quản lý chất thải địa phương Trong báo này, nhóm nghiên cứu tập trung xây dựng mơ hình mạng nơ-ron phân loại hình ảnh, áp dụng cho toán phân loại rác thải thực tế Năm 2016, M Yang G Thung phát hành tập liệu TrashNet gồm lớp: thủy tinh, giấy, bìa cứng, nhựa, kim loại vật liệu khác Hiện nay, số nghiên cứu quốc tế liên quan đến vấn đề phân loại rác thải sử dụng liệu TrashNet nhằm đánh giá phương pháp tiếp cận đề xuất Thứ nhất, Aral et al (2018) [5] sử dụng mơ hình học chuyển giao (Transfer Learning) bắt nguồn từ số mơ hình mạng nơ-ron tích chập (Convolutional Neural Network - CNN) phổ biến phân loại hình ảnh bao gồm DenseNet121, DenseNet169, InceptionResnetV2, MobileNet Xception để phân loại rác thải liệu TrashNet Trong nghiên cứu này, nhóm tác giả sử dụng 70% tập liệu TrashNet để huấn luyện, 13% để xác thực 17% để kiểm tra Theo kết quả, mơ hình học chuyển giao DenseNet-121 cho thấy độ xác tốt với 95% Thứ hai, Bircanoglu et al (2018) [6] phát triển mơ hình mạng nơron tích chập có trọng lượng nhẹ RecycleNet cho tính phân loại thùng rác Mặc dù đạt độ xác 81% liệu TrashNet với 70% liệu cho việc huấn luyện, 13% để xác thực 17% để kiểm tra, RecycleNet giảm đáng kể độ phức tạp mơ hình cách giảm số lượng tham số từ bảy triệu tham số xuống cịn ba triệu tham số Do đó, RecycleNet mơ hình nhẹ, tương thích với số hệ thống hạn chế thiết bị phần cứng Gần nhất, V Ruiz et al (2019) [7] đánh giá việc 266 sử dụng số mơ hình mạng nơ-ron tích chập bao gồm VGG, Inception ResNet để áp dụng cho chế phân loại rác thải tự động Kết hoạt động tốt thu cách sử dụng kiến trúc dựa mạng ResNet với độ xác 88,66% Trong số mơ hình mạng nơ-ron tích chập ImageNet, VGG, ResNet DenseNet trên, nghiên cứu cho thấy ResNet mơ hình tốt cho việc học chuyển giao để phân loại rác thải Nghiên cứu phát triển mạng nơ-ron tích chập dựa mạng ResNet điều chỉnh tham số phù hợp với liệu thực tế phù hợp với mục đích phân loại rác thải dựa theo ý nghĩa mơi trường Kiến trúc mơ hình 3.1 Mạng Residual Network 50 (ResNet-50) Ý tưởng trọng tâm Residual Network lớp thêm vào nên có thành phần hàm số đồng Điều có nghĩa rằng, ta huấn luyện lớp thêm vào thành ánh xạ đồng ( ) = mơ hình hiệu mơ hình ban đầu Vì lớp thêm vào khớp liệu huấn luyện tốt hơn, dẫn đến sai số huấn luyện nhỏ Tốt nữa, hàm số đồng nên hàm đơn giản lớp thay hàm null ( ) = Để đảm bảo việc tăng thêm lớp gia tăng khả biểu diễn mạng, lớp hàm lớn phải chứa lớp nhỏ Mơ hình ResNet-50 biến thể mơ hình ResNet có 48 lớp tích chập với lớp gộp max lớp gộp trung bình ResNet-50 có 3.8×10 phép tốn dấu chấm động Trong mạng nơ-ron tích chập, lớp phức hợp (convolutional layer) chuyển đổi hình ảnh nhập cách sử dụng chuỗi lọc có kích thước 3×3, trích chọn đặc trưng cụ thể từ liệu đầu vào Mơ hình đề xuất nhóm xây dựng từ mơ hình ResNet-50 huấn luyện từ trước, dựa liệu ImageNet với kích thước 256×256 phân loại thành 1000 nhãn Hình Kiến trúc mạng ResNet-50 Nguồn: Mahmood et al., 2020 [9] 3.2 Học chuyển giao (Transfer Learning) Học chuyển giao lĩnh vực nghiên cứu học máy, tập trung vào việc lưu trữ kiến thức thu giải vấn đề áp dụng vào vấn đề khác có liên quan Lý thuyết học chuyển giao Lorien Pratt thực nghiệm sau viết lại dạng lý thuyết toán học vào năm 1998 [8] Transfer Learning thực hóa ý tưởng chuyển giao tri thức mơ 267 người với Cụ thể, mơ hình có khả tận dụng lại tri thức huấn luyện trước (pretrained-model) điều chỉnh, cải thiện theo tác vụ phân loại cụ thể mô hình Nhóm nghiên cứu tận dụng kiến thức từ mơ hình đào tạo cho nhiệm vụ phân loại hình ảnh chung liệu ImageNet Học chuyển giao cung cấp số lợi ích rõ rệt cho q trình huấn luyện mơ hình, chẳng hạn cải thiện hiệu suất bản, tiết kiệm chi phí huấn luyện, giúp mơ hình với lượng liệu nhỏ hoạt động hiệu hơn, tăng tốc độ phát triển mơ hình tổng thể so với việc xây dựng mơ hình từ đầu Điều đặc biệt quan trọng học sâu, mà việc đào tạo mơ hình tốn thời gian tài nguyên Khi nhiệm vụ khởi điểm (hay gọi nhiệm vụ nguồn) mục tiêu có phân phối (distribution) miền (domain) nhiệm vụ thực khác nhau, điều gọi học chuyển giao quy nạp (inductive transfer learning) Trong viết này, nhóm nghiên cứu tập trung vào phương pháp học chuyển giao quy nạp, mơ hình đào tạo nguồn phân phối đích, thực nhiệm vụ khác phân loại hình ảnh rác thải Nghiên cứu sử dụng kỹ thuật tinh chỉnh, hình thức học chuyển giao phổ biến Trong tinh chỉnh, trọng số vài lớp mạng (layers) cập nhật đào tạo lớp kết nối đầy đủ (fully connected layers) phần cuối mơ hình, cho nhiệm vụ phân loại (FC Classifier) Do đó, phương pháp tốn nhiều tài nguyên chút trình đào tạo số lớp trước Với phương pháp học chuyển giao, mạng nơ-ron học sâu phân lớp với lớp ban đầu lưu giữ đặc trưng hình ảnh, chẳng hạn cạnh, viền bao quanh lớp sau trích xuất nhiều chi tiết cụ thể hình ảnh vật thể Dựa sở đó, nhóm nghiên cứu đóng băng số khối cập nhật khối cuối mạng Cụ thể, chúng tơi đóng băng (freeze) bốn lớp đầu tiên, bên cạnh tinh chỉnh hai khối cuối cho phù hợp với nhiệm vụ phân loại hình ảnh rác thải Điều cho phép sử dụng kiến thức kiến trúc mạng tổng thể sử dụng trạng thái làm điểm khởi đầu cho bước đào tạo lại, từ đạt hiệu suất tốt thời gian ngắn Một vấn đề cập nhật mơ hình cách sử dụng tinh chỉnh tham số lớp chế độ khơng đóng băng phải cập nhật để giải vấn đề Khi có nhiệm vụ mới, thuật toán tạo mạng nơ-ron chia sẻ đặc trưng đại diện nhiệm vụ Tuy nhiên, cách tiếp cận không thực phù hợp hạn chế không gian độ phức tạp số lượng mạng tuyến tính với số lượng nhiệm vụ cần học Mỗi mạng nơ-ron bao gồm nhiều lớp (layers), sau huấn luyện lớp điều chỉnh để phát đặc trưng cụ thể liệu đầu vào Chẳng hạn, theo Hình 2, mạng nơ-ron tích chập có nhiệm vụ phân loại hình ảnh lớp phát đặc trưng tổng qt cạnh, góc, đường trịn, hay mảng màu sắc Khi sâu vào mạng, lớp bắt đầu nhận diện thứ cụ thể khn mặt, mắt, tồn vật thể Tóm lại, lớp đầu mạng nơron phát đặc tính tổng quát, lớp sâu nhận diện đặc trưng cụ thể 268 Hình 2: Q trình trích xuất đặc trưng từ liệu mơ hình Nguồn: M D Zeiler, R Fergus, 2013 [10] Khi thực học chuyển giao, nhóm nghiên cứu chúng tơi đóng băng (freeze) lớp mơ hình ResNet-50 Đây lớp có tác dụng phát đặc trưng tổng quan thường thấy tất mạng Sau đó, lớp sâu hồn thiện cách tinh chỉnh với liệu thu thập thêm lớp để phân loại danh mục (class) có liệu huấn luyện Khi có khác biệt đáng kể nguồn đích, tập liệu huấn luyện có đặc trưng cụ thể, chúng tơi phải giải phóng (unfreeze) tương đối lớp mơ hình pre-trained (mơ hình huấn luyện từ trước) Tiếp theo đó, chúng tơi thêm lớp phân loại tinh chỉnh lớp khơng bị đóng băng liệu Trong trường hợp có khác biệt đáng kể mơ hình huấn luyện nguồn đích, cần giải phóng đào tạo lại tồn mạng nơ-ron Q trình có tên “full model fine-tuning” hay “tinh chỉnh tồn mơ hình”, loại hình học chuyển giao cần đòi hỏi số lượng lớn liệu huấn luyện Mạng sở giai đoạn trước sử dụng giải nén tính cách đóng băng lớp mạng cập nhật trọng số lớp Khi hàm mát (loss function) bắt đầu ổn định mạng tiến đến mức độ xác cao với lớp nằm cùng, lớp lại mạng dần giải phóng (unfreeze) Cụ thể, trước hết nhóm nghiên cứu giải phóng lớp lớp chứa đặc trưng tổng quát cập nhật trọng số Tiếp theo, chúng tơi giải phóng lớp cấp thấp lặp lại cách sử dụng kiến thức cập nhật tỷ lệ, tinh chỉnh tất lớp với hội tụ cuối mạng Q trình xây dựng mơ hình Neu-bin phân loại rác gồm giai đoạn:  Giai đoạn 1: Do lớp mơ hình pre-trained huấn luyện liệu ImageNet, nhóm tiến hành đóng băng (freeze) lớp mơ hình ResNet-50 cập nhật trọng số (weight) lớp thêm vào Khi hàm mát (loss function) bắt đầu ổn định mạng đạt đến mức xác tương đối cao với lớp thêm vào, nhóm chuyển tiếp đến giai đoạn  Giai đoạn 2: Ở giai đoạn này, nhóm giải (unfreeze) số lớp cuối mơ hình pre-trained tiếp tục thực trình huấn luyện với lớp với lớp điều chỉnh thêm vào 269 3.3 Mơ hình Neu-bin Neu-bin hình thành thơng qua việc đóng băng lớp mạng ResNet-50 (Hình 3) với mục đích phát đặc trưng tổng quan ảnh Sau nhóm thêm vào lớp Average Pooling (lớp gộp trung bình) nhằm giảm bớt số lượng tham số hình ảnh giữ lại đặc trưng quan trọng Theo sau lớp Fully connected để kết nối toàn unit lớp trước với unit lớp lớp Dropout với nhiệm vụ hạn chế tượng khớp (overfitting) cho mơ hình Overfitting xảy mơ hình q phức tạp để mô liệu huấn luyện, việc chứa q nhiều tham số vơ tình trích xuất số biến thể lại (nhiễu) thể biến thể đại diện cho cấu trúc mơ hình Và cuối lớp output lớp Fully connected với số unit tương đương với nhãn Neu-bin với hàm kích hoạt Softmax – dùng cho phân loại vật thể thuộc nhiều lớp Quá trình huấn luyện thực Hình 3: Mơ hình Neu-bin tinh chỉnh từ ResNet-50 Nguồn: Nhóm tác giả xây dựng 270 ... thùng rác tự động Trong đó, Y Chu et al (2018) [2] giới thiệu hệ thống mạng nơ- ron học sâu để tự động phân loại rác thải hộ gia đình khu vực thị Mơ hình sử dụng thuật tốn dựa mạng nơ- ron tích chập. .. việc phân loại rác thải thu hút nhiều nhà nghiên cứu ứng dụng thị giác máy tính để giải tốn Việc ứng dụng công nghệ học sâu lĩnh vực phân loại rác thải có tiềm làm nhà máy tái chế rác hoạt động. .. giá việc 266 sử dụng số mơ hình mạng nơ- ron tích chập bao gồm VGG, Inception ResNet để áp dụng cho chế phân loại rác thải tự động Kết hoạt động tốt thu cách sử dụng kiến trúc dựa mạng ResNet với