(Đồ án hcmute) ứng dụng học sâu trong phát triển hệ thống đào tạo thực hành hàn sử dụng trên điện thoại

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH ĐỒ ÁN TỐT NGHIỆP NGÀNH CNKT ĐIỀU KHIỂN VÀ TỰ ĐỘNG HÓA ỨNG DỤNG HỌC SÂU TRONG PHÁT TRIỂN HỆ THỐNG ĐÀO TẠO THỰC HÀNH HÀN SỬ DỤNG ĐIỆN THOẠI GVHD: TS TRẦN VŨ HOÀNG SVTH: DƯƠNG ANH KIỆT VÕ THÀNH NHÂN S K L0 Tp Hồ Chí Minh, 2022 TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT TP HỒ CHÍ MINH KHOA ĐÀO TẠO CHẤT LƯỢNG CAO ĐỒ ÁN TỐT NGHIỆP ỨNG DỤNG HỌC SÂU TRONG PHÁT TRIỂN HỆ THỐNG ĐÀO TẠO THỰC HÀNH HÀN SỬ DỤNG TRÊN ĐIỆN THOẠI SVTH: DƯƠNG ANH KIỆT MSSV: 17151096 SVTH: VÕ THÀNH NHÂN MSSV: 17145184 Ngành: Công nghệ kỹ thuật điều khiển tự động hóa GVHD: TS TRẦN VŨ HỒNG Tp Hồ Chí Minh, tháng 08 năm 2022 TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT TP HỒ CHÍ MINH KHOA ĐÀO TẠO CHẤT LƯỢNG CAO ĐỒ ÁN TỐT NGHIỆP ỨNG DỤNG HỌC SÂU TRONG PHÁT TRIỂN HỆ THỐNG ĐÀO TẠO THỰC HÀNH HÀN SỬ DỤNG TRÊN ĐIỆN THOẠI SVTH: DƯƠNG ANH KIỆT MSSV: 17151096 SVTH: VÕ THÀNH NHÂN MSSV: 17145184 Ngành: Công nghệ kỹ thuật điều khiển tự động hóa GVHD: TS TRẦN VŨ HỒNG Tp Hồ Chí Minh, tháng 08 năm 2022 Trường Đại Học Sư Phạm Kỹ Thuật Tp.HCM Cộng Hòa Xã Hội Chủ Nghĩa Việt Nam Khoa Đào Tạo Chất Lượng Cao Độc lập – Tự – Hạnh phúc -*** *** Tp Hồ Chí Minh, ngày tháng năm 2022 NHIỆM VỤ ĐỒ ÁN TỐT NGHIỆP Họ tên sinh viên: Dương Anh Kiệt MSSV: 17151096 Họ tên sinh viên: Võ Thành Nhân MSSV: 17145184 Nghành: CNKT Điều khiển Tự động hóa Lớp: 17151CL2A Giáo viên hướng dẫn: T.S Trần Vũ Hoàng Ngày giao đề tài: Ngày nộp đề tài: Tên đề tài: Ứng dụng học sâu hệ thống phát triển hệ thống hỗ trợ đào tạo thực hành hàn sử dụng điện thoại Các số liệu, tài liệu ban đầu - Các tài liệu biến thể khuyết tật bề mặt mối hàn - Các tài liệu kiến trúc Deep learning: Efficient Convolutional Neural Network for Mobile Vision Applications (MobilenetV2), Convolutional Block Attention Module (CBAM) Sản phẩm: Hệ thống đưa đánh giá biến thể khuyết tật bề mặt mối hàn Trưởng ngành Giáo viên hướng dẫn I CỘNG HOÀ XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập – Tự – Hạnh Phúc o0o -PHIẾU NHẬN XÉT CỦA GIÁO VIÊN HƯỚNG DẪN Họ tên sinh viên: Dương Anh Kiệt MSSV: 17151096 Họ tên sinh viên: Võ Thành Nhân MSSV: 17145184 Nghành: CNKT Điều khiển Tự động hóa Tên đề tài: Ứng dụng học sâu phát triển hệ thống hỗ trợ đào tạo thực hành hàn sử dụng điện thoại Họ tên Giáo viên hướng dẫn: TS Trần Vũ Hoàng NHẬN XÉT Về nội dung đề tài & khối lượng thực hiện: Ưu điểm: Khuyết điểm: Đề nghị cho bảo vệ hay không? Đánh giá loại: Điểm: Bằng chữ: ) Tp Hồ Chí Minh, ngày tháng năm 2022 GIẢNG VIÊN HƯỚNG DẪN (Ký & ghi rõ họ tên) CỘNG HOÀ XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập – Tự – Hạnh Phúc o0o -PHIẾU NHẬN XÉT CỦA GIÁO VIÊN PHẢN BIỆN Họ tên sinh viên: Dương Anh Kiệt MSSV: 17151096 Họ tên sinh viên: Võ Thành Nhân MSSV: 17145184 Nghành: CNKT Điều khiển Tự động hóa Tên đề tài: Ứng dụng học sâu phát triển hệ thống hỗ trợ đào tạo thực hành hàn sử dụng điện thoại Họ tên Giáo viên hướng dẫn: TS Trần Vũ Hoàng NHẬN XÉT Về nội dung đề tài & khối lượng thực hiện: Ưu điểm: Khuyết điểm: Đề nghị cho bảo vệ hay không? Đánh giá loại: Điểm: Bằng chữ: ) Tp Hồ Chí Minh, ngày tháng năm 2022 GIẢNG VIÊN PHẢN BIỆN (Ký & ghi rõ họ tên) LỜI CẢM ƠN Nhóm xin chân thành cảm ơn sâu sắc đến thầy Trần Vũ Hồng, người tận tình giúp đỡ, hướng dẫn nhóm nhiều suốt trình tìm hiểu nghiên cứu thực đồ án tốt nghiệp Bên cạnh nhóm xin gửi lời cảm ơn tới tập thể thầy cô thuộc khoa Đào tạo Chất lượng cao nói riêng thầy trường đại học Sư Phạm Kỹ Thuật Thành phố Hồ Chí Minh nói chung tận tình giảng dạy cung cấp cho tụi em kiến thức tảng cần thiết để phục vụ cho trình thực đồ án Một lần xin cảm ơn người bạn, người thân gia đình giúp đỡ động viên góp phần tạo thêm động lực cho nhóm hồn thành đồ án tốt nghiệp Vì thời gian có hạn, trình độ hiểu biết thân nhóm cịn nhiều hạn chế Cho nên đồ án nhóm khơng tránh khỏi sai sót, nhóm mong nhận đóng góp ý kiến tất thầy giáo bạn bè để đồ án tốt nghiệp nhóm hồn thiện Nhóm xin chân thành cảm ơn! TÓM TẮT Chúng ta sống thời đại 4.0, nơi trí tuệ nhân tạo xem cơng nghệ cốt lõi Trí tuệ nhân tạo dần thay người nhiều lĩnh vực giáo dục ngoại lệ Việc áp dụng trí tuệ nhân tạo giúp tối ưu hóa q trình giảng dạy ngày phổ biến nhiều hệ thống giáo dục quốc gia Bởi nên nhóm tiến hành nghiên cứu áp dụng trí tuệ nhân tạo hỗ trợ giáo dục thực đồ án tốt nghiệp Trong đồ án này, nhóm nhóm đề xuất hệ thống hỗ trợ đào tạo thực hành hàn áp dụng trí tuệ nhân tạo Hệ thống thiết kế dùng để phân loại mối hàn học viên dựa độ hồn chỉnh chúng Đặc biệt, nhóm định hướng thiết kế hệ thống gọn nhẹ đủ để chạy tảng điện thoại đảm bảo độ xác Việc làm tăng tính linh hoạt, dễ dàng thao tác, tạo ưu so với việc xây dựng hệ thống có camera cố định chạy máy tính có cấu hình cao, nhóm đề xuất cải tiến kiến trúc MobilenetV2 bằng cách tích hợp Convolutional Block Attention Module (CBAM) để làm mạng xương sống (backbone) cho hệ thống phân loại Kết thử nghiệm rằng hệ thống đề xuất đạt kết tốt với độ xác 80% chạy ổn định thiết bị điện thoại huấn luyện tập liệu nhỏ đầy thách thức MỤC LỤC CHƯƠNG 1: TỔNG QUAN .1 1.1 ĐẶT VẤN ĐỀ 1.2 MỤC TIÊU ĐỀ TÀI .2 1.3 GIỚI HẠN ĐỀ TÀI 1.4 BỐ CỤC QUYỂN BÁO CÁO CHƯƠNG 2: CƠ SỞ LÝ THUYẾT 2.1 BIẾN THỂ KHUYẾT TẬT TRÊN BỀ MẶT MỐI HÀN 2.1.1 Khái niệm phương pháp hàn hồ quang tay 2.1.2 Đặc điểm 2.1.3 Các lỗi hư hại mối hàn 2.2 FRAMEWORK TENSORFLOW .9 2.3 CÁC THUẬT TOÁN TỐI ƯU 11 2.3.1 Gradient Descent (GD) 11 2.3.2 Momentum 12 2.3.3 Root Mean Square Propagation (RMSprop) .13 2.3.4 Adam 13 2.4 EFFICIENT CONVOLUTIONAL NEURAL NETWORK FOR MOBILE VISION APPLICATIONS (MOBILENET) 14 2.5 MOBILENET V2 17 2.7 CONVOLUTIONAL BLOCK ATTENTION MODULE (CBAM) .21 2.7.1 Khái niệm 21 2.7.2 Chức khối 22 CHƯƠNG 3: THIẾT KẾ VÀ THI CÔNG HỆ THỐNG 24 3.1 YÊU CẦU CỦA HỆ THỐNG 24 3.2 ĐẶC TẢ HỆ THỐNG .25 3.2.1 Sơ đồ khối hệ thống: 25 3.2.2 Chức khối 25 3.3 Thiết kế hệ thống .25 3.3.1 Thiết kế thuật toán .25 3.3.1.1 MobilenetV2 .26 3.3.1.2 Convolutional block attention module (CBAM) 27 3.3.2 Thiết kế giao diện 29 CHƯƠNG 4: KẾT QUẢ THỰC NGHIỆM 34 4.1 MÔI TRƯỜNG THỰC NGHIỆM 34 4.2 Phương pháp đánh giá .37 4.3 Kết đạt 38 CHƯƠNG 5: KẾT LUẬN VÀ PHƯƠNG HƯỚNG PHÁT TRIỂN 43 5.1 KẾT LUẬN 43 5.2 PHƯƠNG HƯỚNG PHÁT TRIỂN .43 TÀI LIỆU THAM KHẢO 44 Hình 3.6 Chức chụp hình trực tiếp chọn ảnh từ sưu tập Như hình 3.6, người dùng dùng ảnh lưu sưu tập điện thoại, người dùng truyền tải hình ảnh từ thiết bị khác internet lấy xử lý dễ dàng để đưa vào hệ thống phân loại Ngoài ra, giao diện thiết kế để người dùng sử dụng trực tiếp camera thiết bị Android để chụp ảnh xử lý chỗ Đây cách đảm bảo hiệu làm việc, tiêu tốn thời gian 32 Hình 3.7 Chức xoay cắt ảnh Đặc biệt hơn, giao diện có chức chỉnh sửa hỗ trợ người dùng cắt xoay hình dù lấy ảnh từ sưu tập hay chụp trực tiếp từ camera biểu diễn hình 3.7 Chức nâng cao tính linh hoạt loại bỏ phần khơng mong muốn ảnh để hiển thị xác vị trí mối hàn Từ nâng cao chất lượng hình ảnh đầu vào giúp cho hệ thống nâng cao chất lượng đánh giá 33 CHƯƠNG 4: KẾT QUẢ THỰC NGHIỆM 4.1 MÔI TRƯỜNG THỰC NGHIỆM Trong đồ án này, mơ hình kiểm thử sau huấn luyện đánh giá tốc độ CPU I5-8250U mơ hình cuối hệ thống đánh giá hai phần cứng bao gồm CPU I5-8250U điện thoại OPPO-F9 kết biểu diễn cụ thể mục Thực tế khuyết tật mối hàn vơ đa dạng, để tổng qt mức độ chất lượng mối hàn nhóm thực khảo sát đề xuất bốn mức độ tương ứng với mức độ hư hại, khuyết tật thường gặp mối hàn Từ đưa đánh giá xác cụ thể thơng qua điểm số theo thang điểm 10 tùy thuộc vào mức độ hư hỏng Tất trình bày bảng 4.1, bảng 4.2, bảng 4.3 bảng 4.4 Thông qua bảng này, nhóm cịn đưa hình ảnh ví dụ cho loại sai hỏng Mô tả Loại sai hỏng Hình ảnh Điểm Khơng Đúng vị trí liên kết, biên dạng, khuyết tật không xuất không đáng kể 7,5 – 10 đ Văng tóe nhỏ Bảng 4.1 Chất lượng đường hàn thực tế - Mức A 34 Mơ tả Đúng vị trí liên kết sai biên dạng hình thành ¾ chiều dài đường hàn, xuất khuyết tật nhỏ Loại sai hỏng Hình ảnh Điểm Sai biên dạng (Bề rộng mối hàn lớn) – 7,5 đ Lẫn xỉ ít, Văng tóe kích thước lớn Bảng 4.2 Chất lượng đường hàn thực tế - Mức B Mô tả Đúng vị trí liên kết, hình thành ½ chiều dài đường hàn, xuất khuyết tật lớn (Lẫn xỉ nhiều, Văng tóe lớn, Cháy chân, …) Loại sai hỏng Hình ảnh Điểm Lẫn nhiều xỉ 2,5 – đ Chiều dài đường hàn nhỏ ½ Bảng 4.3 Chất lượng đường hàn thực tế - Mức C 35 Mô tả Chưa hình thành đường hàn hàn sai vị trí liên kết cháy thủng Loại sai hỏng Hình ảnh Điểm Cháy thủng – 2,5 đ Lệch đường hàn Bảng 4.4 Chất lượng đường hàn thực tế - Mức D Bộ liệu ban đầu có nêu cụ thể bảng 4.5 Tập liệu chia thành hai tập: tập huấn luyện với 70% liệu tập thử nghiệm 30% Trong trình huấn luyện, liệu huấn luyện chia nhỏ thêm hai phần bao gồm 80% cho huấn luyện 20% cho kiểm thử Như bảng 4.5 bị cân bằng mức độ cụ thể liệu đa phần tập trung vào mức B mức D có số lượng Ngồi liệu thu thập ban đầu khoảng 2000 liệu có khoảng 1500 liệu sử dụng cho trình huấn luyện Hình 4.1 Biểu đồ phân loại liệu huấn luyện liệu tăng cường 36 Thơng thường thuật tốn dùng để phân loại liệu yêu cầu số lượng liệu lớn, với việc liệu thu thập tương đối ảnh hưởng tới q trình huấn luyện mơ hình Chính thế, để giải vấn đề nhóm sử dụng số phương pháp tiền xử lý liệu nhằm tăng cường liệu cho trình huấn luyện xoay ảnh, lật ảnh,… nhằm giúp cân bằng số lượng mức độ để tạo kết tốt trình huấn luyện Kết so sánh liệu huấn luyện ban đầu sau tăng cường thể rõ hình 4.1 Dữ liệu Mức A Mức B Mức C Mức D Tổng số lượng liệu ban đầu 473 1319 169 73 Tập huấn luyện 377 1058 129 53 Tập huấn luyện tăng cường 1131 1058 1032 1054 Tập thử nghiệm 96 261 40 20 Bảng 4.5 Tập liệu chất lượng mối hàn 4.2 Phương pháp đánh giá Trong đồ án Accuracy FPS hai thông số sử dụng dùng để đánh giá hiệu suất mơ hình Độ xác (Accuracy) coi thước đo mơ hình phân loại cơng thức (4.1) cụ thể sau: Accuracy = 𝑵𝒖𝒎𝒃𝒆𝒓 𝒐𝒇 𝒄𝒐𝒓𝒓𝒆𝒄𝒕 𝒑𝒓𝒆𝒅𝒊𝒄𝒕𝒊𝒐𝒏𝒔 𝑻𝒐𝒕𝒂𝒍 𝒏𝒖𝒎𝒃𝒆𝒓 𝒐𝒇 𝒑𝒓𝒆𝒅𝒊𝒄𝒕𝒊𝒐𝒏 (4.1) Độ xác kết số lượng liệu dự đoán tổng số liệu dự đoán công thức (4.1) FPS tức Frame per second cho biết tốc độ mơ hình dựa số khung hình mà mơ hình xử lý giây Từ để đưa nhận định xác hiệu suất mơ hình 37 4.3 Kết đạt Bảng 4.6 kết đánh giá mô hình huấn luyện lại liệu thu thập kiểm thử dùng để sử dụng trích xuất đặc trưng phân loại hệ thống bao gồm: InceptionV3 [14], Nasnet [15], phiên khác MobilenetV3 [13] MobilenetV2[9] Model InceptionV3 NasnetMobile MobilenetV3Small MobilenetV3Large MobilenetV2 Test Accuracy 85% 73% Weight 86.13Kb 18.83Kb FPS 23 19 70% 4.3Kb 57 81% 12.5Kb 38 82% 9.35Kb 40 Bảng 4.6 Đánh giá mạng phân loại Như bảng 4.6 ta thấy mơ hình InceptionV3 [14] có độ xác cao cao MobilenetV2 [9] khoảng 3% Tuy nhiên trọng lượng InceptionV3 [14] 86.13Kb cao MobilenetV2 [9] xấp xỉ khoảng lần với trọng lượng MobilenetV2 [9] 9.35Kb điều ảnh hưởng tới tốc độ hệ thống triển khai lên thiết bị di động Chính MobilenetV2 [9] coi mơ hình tốt phù hợp để sử dụng làm mạng xương sống cho hệ thống Nhóm sử dụng CBAM [10] kết hợp MobilenetV2 [9] để tăng hiệu suất cho hệ thống kết ghi nhận Bảng 4.7 Model Test Accuracy FPS-1 FPS-2 Weight MobilenetV2 82% 40 10 9.35Kb MobilenetV2 + CBAM 85% 39 10 9.51Kb Bảng 4.7 Đánh giá chi tiết kiến trúc mạng Như bảng 4.7 với FPS-1 kết tốc độ đo CPU I5-8250U FPS-2 kết đo điện thoại OPPO-F9 Có thể thấy sau thêm CBAM [10] vào mơ hình MobilenetV2 [9] sở, độ xác tăng từ 82% lên 38 85% trọng lượng tăng khơng đáng kể không làm ảnh hưởng đến tốc độ mơ hình Hình 4.2 Kết hiển thị giao diện 39 Khi việc đánh giá sản phẩm hoàn thành, kết hiển thị hình 4.2 Tương ứng với classes số điểm mà sinh viên nhận cho sản phẩm hàn Bên cạnh đó, có phần nhận xét thích hợp, sinh viên dựa theo để cải thiện sản phẩm hàn cho lần thực hành Hình 4.3 Kết phân loại sử dụng tính Xoay (Rotate) cắt (Crop) ảnh đầu vào – theo thứ tự Nhờ tính cắt xoay hình ứng dụng, chất lượng đầu vào hình ảnh linh hoạt đảm bảo Theo hình 4.3, mối hàn, kết phân loại 40 xác chấm điểm hợp lý xoay (Rotate) với góc 90 độ Ứng dụng cho kết tương tự sử dụng tính Crop để giữ lại phần mối hàn Tuy nhiên tồn trường hợp bị phân loại sai liệu thu thập bị hạn chế dù tăng cường chưa thể bao quát góc độ chụp ảnh từ chức Take picture ghi nhận Hình 4.4 Hình 4.4 Mối hàn với kết tốt bị đánh giá sai 41 Đối với hình 4.5, Ứng dụng hiển thị mối hàn chạy thiết bị khác (Samsung Galaxy A02s Samsung Galaxy J7 Prime) Theo đó, điện thoại Galaxy A02s cho kết xác so với Galaxy J7 Prime Tùy thuộc vào độ phân giải camera điện thoại, cho ảnh đầu vào ứng dụng với chất lượng khác nhau, điều phần ảnh hưởng đến kết phân loại ứng dụng Hình 4.5 Kết phân loại điện thoại Samsung Galaxy A02s điện thoại Samsung Galaxy J7 Prime – theo thứ tự 42 CHƯƠNG 5: KẾT LUẬN VÀ PHƯƠNG HƯỚNG PHÁT TRIỂN 5.1 KẾT LUẬN Hệ thống áp dụng học sâu cho việc hỗ trợ đào tạo thực tập hàn sử dụng bằng điện thoại giúp giảng viên lẫn học viên tiết kiệm nhiều thời gian giải việc giảng viên tạm thời vắng mặt xưởng thực hành Thông qua kết đạt trên, thấy hệ thống nhóm nhóm đạt yêu cầu thiết kế đặt Hệ thống giải vấn đề liệu mà cịn đạt độ xác tốt, đảm bảo tính xác ổn định áp dụng vào công việc đánh giá mối hàn thực tập sinh Tuy nhiên, nghiên cứu nhóm cịn tồn nhiều hạn chế cần giải khắc phục bao gồm: - - Thứ vấn đề liệu Như đề cập đến biến thể khuyết tật mối hàn vô đa dạng nhiều chủng loại khác Trong liệu mà nhóm thu thập bao gồm khuyết tật nhất, thường gặp phải trình thực hàn hồ quang tay phân loại chúng thành mức độ hư hại khác Thứ hai khả linh động giao diện phần mềm nhóm cịn hạn chế chạy hệ điều hành Android mà chưa thể phát triển lên hệ điều hành khác giúp cho người dùng có trải nghiệm tốt 5.2 PHƯƠNG HƯỚNG PHÁT TRIỂN Để khắc phục hạn chế cịn tồn hệ thống nên nhóm đề xuất thêm số hướng phát triển: - - Cố gắng thu thập xây dựng liệu có đa dạng biến thể khuyết tật bề mặt mối hàn, đồng thời phân chia rõ ràng loại hư hại để hệ thống đánh giá cụ thể tình trạng hư hại có mối hàn từ đưa biện pháp khắc phục cụ thể Phát triển thêm giao diện hệ điều hành IOS, hệ điều hành khác để đa dạng cho trải nghiệm người dùng Nghiên cứu phát triển thuật toán hệ thống nâng cao hiệu suất mơ hình bên cạnh phân loại loại khuyết tật mối hàn thường gặp phải giúp cho việc đánh giá cụ thể giúp học viên hình dung cụ thể lỗi sai để khắc phục 43 TÀI LIỆU THAM KHẢO [1] Wenhui Hou (2018), “Automatic Detection of Welding Defects using Deep Neural Network [1],” 10th International Conference on Computer and Electrical Engineering [2] Haodong Zhang (2019), “Weld Defect Detection Based on Deep learning Method [2],” IEEE 15th International Conference on Automation Science and Engineering (CASE) [3] P -T -A Phung, N -T Tran, V -H Tran and T -N Huynh (2021), "Using Deep Learning in The Development of A Welding Practice Training Support System," 2021 International Conference on System Science and Engineering (ICSSE), 2021, pp 226-230, doi: 10.1109/ICSSE52999.2021.9538464 [4] Narasimha Prasanna HN (2017): “A beginner introduction to TensorFlow [4]”, towardsdatascience.com [5] Cuong Tran (2019),"Thuật Toán Tối Ưu Gradient Descent [4]", medium.com/@vicohub [6] Trần Trung Trực(2020),"Optimizer- Hiểu sâu thuật toán tối ưu ( GD,SGD,Adam, ) [5]",viblo.asia [7] prakharr0y (2020), "Intuition of Adam Optimizer [6] ", www.geeksforgeeks.org [8] Andrew G Howard, Menglong Zhu, Bo Chen, Dmitry Kalenichenko, Weijun Wang, Tobias Weyand, Marco Andreetto, Hartwig Adam (2017), “Mobilenets: Efficient Convolutional Neural Networks for Mobile Vision Applications”, arXiv preprint arXiv:1704.04861 [9] Mark Sandler, Andrew Howard, Menglong Zhu, Andrey Zhmoginov, LiangChieh Chen (2018), “MobilenetV2 [9]: Inverted Residuals and Linear Bottlenecks”, The IEEE Conference on Computer Vision and Pattern Recognition (CVPR) [10]Sanghyun Woo, Jongchan Park, Joon-Young Lee, In So Kweon (2018), "CBAM: Convolutional Block Attention Module [9]", arXiv preprint arXiv: 1807.06521 [11]Keras (2021), “Keras Applications”, https://keras.io/api/applications [12]Stanford Vision Lab, Stanford University, Princeton University (2020),"Imagenet", www.image-net.org [13]Andrew Howard, Mark Sandler, Grace Chu, Liang-Chieh Chen, Bo Chen, Mingxing Tan, Weijun Wang, Yukun Zhu, Ruoming Pang, Vijay Vasudevan, 44 Quoc V Le, Hartwig Adam [6] (2019),” Searching for MobilenetV3”, arXiv preprint arXiv: 1905.02244 [14] Barret Zoph, Vijay Vasudevan, Jonathon Shlens, Quoc V Le (2018), "Learning Transferable Architectures for Scalable Image Recognition", arXiv preprint arXiv:1707.07012v4 [15]Christian Szegedy, Vincent Vanhoucke, Sergey Ioffe, Jonathon Shlens, Zbigniew Wojna (2015), "Rethinking the Inception Architecture for Computer Vision", arXiv preprint arXiv: 1512.00567v3 [16]Kaiming He, Xiangyu Zhang, Shaoqing Ren, Jian Sun (2015), "Deep Residual Learning for Image Recognition", arXiv preprint arXiv:1512.03385v1 45