Bài viết Thiết kế, thi công máy ATM khẩu trang trình bày giải thuật điều khiển tự động cho máy ATM khẩu trang, có khả năng phát hiện, nhận diện khuôn mặt và chỉ phát khẩu trang cho mỗi người một lần mỗi ngày. Mời các bạn cùng tham khảo!
Tạp chí Khoa học Cơng nghệ Thực phẩm 22 (3) (2022) 202-212 THIẾT KẾ, THI CÔNG MÁY ATM KHẨU TRANG Trần Hoàn*, Trần Thị Như Hà Trường Đại học Công nghiệp Thực phẩm TP.HCM *Email: hoantran205@gmail.com Ngày gửi bài: 03/6/2022; Ngày chấp nhận đăng: 13/7/2022 TÓM TẮT Thế giới nói chung Việt Nam nói riêng phải đối mặt với nhiều khó khăn từ đại dịch Covid-19 xuất Các hoạt động từ thiện thể tinh thần "lá lành đùm rách" lan rộng nước dường chưa cần thiết lúc Một số phải kể đến máy ATM trang, đời bối cảnh thành phố Hồ Chí Minh vừa có quy định bắt buộc người dân đeo trang nơi công cộng Tuy nhiên, máy ATM trang đến hoạt động bán tự động cần có người điểu khiển cho máy nhả trang Bài báo trình bày giải thuật điều khiển tự động cho máy ATM trang, có khả phát hiện, nhận diện khuôn mặt phát trang cho người lần ngày Từ khóa: Xử lý ảnh, ATM, trang, nhận diện khuôn mặt MỞ ĐẦU Dịch bệnh Covid-19 diễn biến ngày phức tạp Mỗi cá nhân phải giữ khoảng cách giao tiếp đeo trang nơi công cộng làm nhu cầu sử dụng trang tăng cao gây khó khăn cho người lao động thu nhập thấp Từ đó, mơ hình ATM trang đời nhằm giúp đỡ người nghèo khó theo truyền thống nhường cơm sẻ áo tốt đẹp dân ta Tuy nhiên, mơ hình điểm hạn chế sử dụng nút nhấn mơ hình cần có người điều khiển từ xa Vì vậy, việc tạo máy ATM phát trang miễn phí mà khơng cần tác động người cần thiết Ngoài ra, máy ATM phải nhận diện phát trang cho người lấy hay chưa nhằm tránh tình trạng trục lợi lấy trang nhiều lần đem bán số đối tượng xấu Để làm điều này, máy ATM trang cần phát có người đứng trước máy nhận diện, lưu trữ khuôn mặt người ngày phát xem người lấy trang hay chưa Do đó, đặc trưng khn mặt cần phải lọc thông qua giải thuật tiền xử lý ảnh, mà quan trọng thuật tốn nhị phân ảnh Có nhiều phương pháp nhị phân ảnh giới thiệu [1-7] Ý tưởng giảm thiểu tổng phương sai lớp nhóm pixel phân loại tiền cảnh hậu cảnh nghiên cứu Otsu [1] Cách tiếp cận dẫn đến tối đa hóa phương sai lớp phân tách tốt hai lớp pixel, cuối biểu thị đen trắng Ưu điểm phương pháp có tốc độ xử lý nhanh Tuy nhiên, hoạt động hình ảnh chiếu sáng đồng Một cách tiếp cận tương tự, biểu đồ entropy sử dụng thay dùng phương sai, đề xuất Kapur et al [2] Trong đó, ý tưởng kết hợp phương pháp Otsu Kapur et al trình bày nhằm tối ưu ưu điểm phương pháp [3] Ngoài ra, phương pháp nhị phân ảnh thích nghi mở rộng đề xuất Moghaddam Cheriet mà thực số thao tác bổ sung ước tính đa quy mơ, tính tốn độ rộng đường trung bình độ cao đường thẳng [4] Các phương pháp nhị phân ảnh gần bao gồm CƠ ĐIỆN TỬ - KHCB - CNTT 202 Thiết kế, thi công máy ATM trang ý tưởng ngưỡng dựa khu vực kết hợp phương pháp Otsu thuật toán SVM (support vector machine), dựa SVM với tính cục cách tiếp cận dựa khu vực nhanh [5-7] Bài báo đề xuất giải thuật xử lý ảnh điều khiển cho máy ATM trang Với giải thuật này, máy ATM trang hoạt động tự động không cần can thiệp người; có khả phát có người đứng trước máy nhận diện, lưu trữ khuôn mặt người ngày phát xem người lấy trang hay chưa NỘI DUNG CHÍNH 2.1 Thiết kế khí Bản vẽ thiết kế khí mơ hình 3D máy ATM trang thể Hình Hình Mơ hình thiết kế dạng buồng khử khuẩn toàn thân, bên lắp đặt Raspberry Pi camera Pi V2 IMX219 để thu nhận ảnh người đứng buồng cấu khí để đẩy trang Hình Bản vẽ thiết kế khí máy ATM trang Hình Mơ hình 3D máy ATM trang 203 CƠ ĐIỆN TỬ - KHCB - CNTT Trần Hoàn, Trần Thị Như Hà 2.2 Giải thuật điều khiển Camera (Pi V2 IMX219) Khối xử lý (Raspberry Pi 4) Khối thực thi Hình Sơ đồ khối điều khiển máy ATM trang Bắt đầu Đăng nhập S Đ Giao diện Thời gian > thời gian bắt đầu S Đ < thời gian kết thúc S Reset database Đ Chương trình xử lý khuôn mặt Chưa lấy trang S Đ Nhả trang Cảnh báo Hình Lưu đồ giải thuật điều khiển máy ATM trang Sơ đồ khối điều khiển lưu đồ giải thuật điều khiển máy ATM trang thể Hình Hình Khi khởi chạy, hệ thống yêu cầu đăng nhập tài khoản quản trị Sau đó, hệ thống kiểm tra thời gian thực, đảm bảo hoạt động khung cài đặt sẵn từ 7h sáng đến 10h đêm Lúc này, hệ thống mở camera thu ảnh chạy chương trình xử lý ảnh để phát có người đứng trước máy hay không; nhận diện, lưu trữ khuôn mặt người ngày kiểm tra xem người chưa lấy trang điều khiển cấu khí nhả trang Ngược lại, người lấy trang hệ thống phát cảnh báo loa, chụp lại hình ảnh ghi nhận thời gian, gửi email quản lý CƠ ĐIỆN TỬ - KHCB - CNTT 204 Thiết kế, thi công máy ATM trang cài đặt sẵn Ngoài ra, vào cuối ngày hết máy ATM trang hoạt động chương trình tự động xóa tồn sở liệu ảnh khuôn mặt người lấy trang ngày 2.3 Giải thuật xử lý khn mặt Chương trình xử lý khn mặt Đọc frame ảnh S Đ Tiền xử lý ảnh Nhận diện khn mặt S Đ chưa có database S Đ got_mask = got_mask = Huấn luyện nhận diện khn mặt Kết thúc Hình Lưu đồ giải thuật xử lý khn mặt Hình trình bày lưu đồ giải thuật xử lý khuôn mặt Do máy ATM trang thiết kế kết hợp buồng khử khuẩn toàn thân nên người sử dụng bước vào buồng máy tháo trang để tăng độ xác nhận diện, lưu trữ khn mặt huấn luyện mà không lo vấn đề lây nhiễm virus Đầu tiên, hệ thống đọc frame ảnh từ camera thu được, sau áp dụng thuật tốn tiền xử lý ảnh phát khuôn mặt ảnh Quá trình thực liên tục có người đứng trước camera Lúc hệ thống phát khuôn mặt, cắt vùng ảnh nhỏ chứa khuôn mặt đem nhận diện sở liệu huấn luyện Nếu khuôn mặt nhận diện, tức có sở liệu huấn luyện người lấy trang ngày, biến got_mask đặt giá trị để hệ thống phát cảnh báo Ngược lại, người chưa lấy trang ngày khn mặt người khơng tìm thấy sở liệu huấn luyện Biến got_mask đặt giá trị để hệ thống điều khiển cấu khí nhả trang 2.3.1 Tiền xử lý ảnh Ảnh đầu vào chuyển từ ảnh màu RGB sang ảnh xám Tuy nhiên, ảnh kết thu thường khơng mịn cịn nhiễu số thành phần rõ nét Để làm mịn ảnh loại bỏ nhiễu này, lọc trung vị (median filter) đề xuất sử dụng 205 CƠ ĐIỆN TỬ - KHCB - CNTT Trần Hoàn, Trần Thị Như Hà Bảng So sánh phương pháp Niblack Otsu Tiêu chí Niblack Otsu Thời gian thực Chậm Nhanh Ảnh có độ sáng thay đổi Tốt Khơng tốt số vùng thơng tin Phụ thuộc kích thước đối tượng ảnh Có Khơng Phụ thuộc tham số Có Khơng Hình Kết nhị phân ảnh Bước chuyển ảnh từ ảnh xám sang ảnh nhị phân Phương pháp Niblack xác định ngưỡng cục dựa việc tính tốn giá trị trung bình độ lệch chuẩn cục bộ, làm rõ chi tiết ảnh tồn nhiễu Trong đó, phương pháp Otsu xác định ngưỡng toàn cục dựa vào histogram để phân chia điểm ảnh vào lớp tiền cảnh (đối tượng) cho khoảng cách điểm ảnh lớp nhỏ nên phương pháp khử ảnh tốt không làm rõ nét chi tiết Bảng thể kết so sánh phương pháp Do đó, phương thức kết hợp ưu điểm hai phương pháp đề xuất, áp dụng toán tử AND hai ảnh kết thu sau nhị phân hóa phương pháp Niblack Otsu Sau đó, phép hình thái học giãn nở lọc Gaussian áp dụng để lấy lại chi tiết bị loại bỏ đốm nhiễu nhỏ cịn sót ảnh nhị phân Kết so sánh giải thuật đề xuất với phương pháp Niblack Otsu thể Hình Giải thuật đề xuất cho ảnh kết tốt nhất, giữ đặc trưng ảnh đầu vào 2.3.2 Nhận diện khuôn mặt Phương pháp phát khuôn mặt đề xuất sử dụng đặc trưng Haar-like kết hợp Adaboost Giải thuật tạo khung cửa sổ có kích thước xác định chứa phần ảnh, khung cửa sổ “ảnh đầu vào” dùng để tính tốn Khi qt khung cửa sổ toàn ảnh ta nhận vô số “ảnh đầu vào”, với ảnh đầu vào chương trình xác nhận xem có phải mặt người hay khơng Trong q trình tìm kiếm khn mặt tìm nhiều khung hình chữ nhật chứa khn mặt có trường hợp nhận diện nhầm Hình Sau đó, khung gộp lại thành khung CƠ ĐIỆN TỬ - KHCB - CNTT 206 Thiết kế, thi công máy ATM trang chữ nhật bao quanh tồn khn mặt; đồng thời loại bỏ bớt kết sai khung chữ nhật không chồng lấn với khung cịn lại Hình Kết khung cửa sổ quét phát khuôn mặt Cuối cùng, vùng chữ nhật bao quanh khuôn mặt cắt để đem nhận diện sở liệu huấn luyện Nếu nhận diện khuôn mặt tức người lấy trang ngược lại Huấn luyện nhận diện khuôn mặt 2.3.3 Huấn luyện nhận diện danh tính khn mặt Đọc frame ảnh Hình trình bày lưu đồ giải thuật huấn luyện nhận diện khuôn mặt vào sở liệu Khi phát khuôn mặt mới, hệ thống dừng không nhận diện khuôn mặt mà save liên tục đủ 300 ảnh khuôn mặt với id số khn mặt có sở liệu cộng thêm Thuật toán huấn luyện nhận diện khuôn mặt đề xuất Local Binary Patterns Histograms (LBPH) tính đơn giản, hiệu tương đối cao thời gian thực thi nhanh Thuật tốn đáp ứng yêu cầu huấn luyện nhận diện khuôn mặt thời gian ngắn người bước vào, lấy trang bước khỏi buồng máy ATM trang Kết trình huấn luyện nhận diện khuôn mặt mới, chứa tất khn mặt nhận diện trước khn mặt vừa thêm vào KẾT QUẢ Đ Tiền xử lý ảnh Phát khuôn mặt S Đ Đếm số id khuôn mặt n database Save ảnh khuôn mặt với id = n+1 save 300 ảnh khuôn mặt 3.1 Thi cơng mơ hình S S Đ Máy ATM trang thi cơng thực tế Hình Máy hoạt động ổn định, không cần can thiệp người; có khả phát có người đứng trước máy nhận diện, lưu trữ khuôn mặt người ngày phát xem người lấy trang hay chưa để phát cảnh báo 207 Huấn luyện nhận diện LBPH Kết thúc Hình Lưu đồ giải thuật xử lý khn mặt CƠ ĐIỆN TỬ - KHCB - CNTT Trần Hoàn, Trần Thị Như Hà Hình Máy ATM trang 3.2 Giao diện chương trình điều khiển Giao diện đăng nhập tài khoản quản trị thể Hình 10 Nếu đăng nhập sai username password, chương trình thơng báo Hình 11 Ngược lại, đăng nhập thành công xuất thông báo Hình 12 Hình 10 Giao diện đăng nhập Hình 11 Thông báo đăng nhập sai tài khoản quản trị Hình 12 Thơng báo đăng nhập thành cơng Hình 13 trình bày giao diện chương trình sau đăng nhập tài khoản quản trị Click vào biểu tượng mặt người đeo trang để hiển thị ảnh thu từ camera CƠ ĐIỆN TỬ - KHCB - CNTT 208 Thiết kế, thi cơng máy ATM trang Hình 13 Giao diện chương trình 3.2 Giải thuật xử lý khn mặt Hình 14 trình bày kết hiển thị phát khuôn mặt không nhận diện sở liệu, tức người chưa lấy trang Hình 14 Kết hiển thị người chưa lấy trang Khi đó, chương trình save liên tục 300 ảnh chứa gương mặt người để huấn luyện nhận diện Hình 15 Kết huấn luyện nhận diện trainer Hình 16 Hình 15 Kết save ảnh chứa khuôn mặt để huấn luyện nhận diện 209 CƠ ĐIỆN TỬ - KHCB - CNTT Trần Hoàn, Trần Thị Như Hà Hình 16 Kết huấn luyện nhận diện chứa khn mặt thêm vào Hình 17 Kết cảnh báo nhận diện khuôn mặt huấn luyện Sau huấn luyện nhận diện khuôn mặt mới, người quay lại lần thứ hai ngày bị cảnh báo lấy trang Hình 17 Đồng thời, hệ thống phát cảnh báo loa, chụp lại hình ảnh ghi nhận thời gian, gửi email quản lý cài đặt sẵn CƠ ĐIỆN TỬ - KHCB - CNTT 210 Thiết kế, thi công máy ATM trang Bảng Thống kê kết thực nghiệm nhận diện khuôn mặt Khuôn mặt Số lượng ảnh Khi chưa huấn luyện (ảnh) Khi huấn luyện (ảnh) Độ xác 300 300 100% 300 300 100% 300 300 100% 300 300 100% 300 300 100% 300 300 100% 300 300 100% 300 300 100% 300 300 100% 10 300 300 100% 11 300 300 100% 12 300 300 100% 13 300 300 100% 14 300 300 100% 15 300 300 100% 16 300 300 100% 17 300 300 100% 18 300 300 100% 19 300 300 100% 20 300 300 100% Kết thực nghiệm giải thuật xử lý ảnh khuôn mặt trình bày Bảng Lần lượt chụp ảnh 20 người, người 300 ảnh làm liệu đầu vào Kết cho thấy giải thuật tiền xử lý ảnh thực tốt phát khuôn mặt, nhận diện khn mặt chưa huấn luyện xác 100% Với khn mặt giải thuật LBPH cho kết sau huấn luyện nhận dạng lại với độ xác 100% Đạt tỉ lệ cao toán đặt với máy ATM trang xác định người lấy trang hay chưa, tức khuôn mặt huấn luyện nhận diện chưa không yêu cầu định danh xác khn mặt số người lấy trang Trong đó, toán định danh khác, yêu cầu đặt phải xác định xác danh tính đối tượng nên kết thường khó đạt độ xác tuyệt đối, có sai sót nhầm lẫn định đối tượng sang đối tượng nhiều yếu tố giải thuật xử lý, nhiễu môi trường, v.v KẾT LUẬN Bài báo trình bày giải thuật điều khiển tự động cho máy ATM trang Nhờ vào giải thuật này, sản phẩm chứng minh có khả hoạt động tự động mà khơng cần can thiệp người; có khả phát hiện, nhận diện khuôn mặt phát trang cho người lần ngày Trong tương lai, tác giả dự định phát triển thêm máy 211 CƠ ĐIỆN TỬ - KHCB - CNTT Trần Hoàn, Trần Thị Như Hà khác ATM gạo, ATM đường… để phục vụ miễn phí cho người dân lao động nghèo khó, phát huy tinh thần tương thân tương dân tộc TÀI LIỆU THAM KHẢO Otsu N - A threshold selection method from gray-level histograms, IEEE Transactions on Systems, Man, and Cybernetics (1) (1979) 62-66 Kapur J., Sahoo P., Wong A - A new method for gray-level picture thresholding using the entropy of the histogram, Computer Vision Graphics and Image Processing 29 (3) (1985) 273-285 Lech P., Okarma K., Wojnar D - Binarization of document images using the modified local-global Otsu and Kapur algorithms, Przeglad Elektrotechniczny (2015) 71-74 Moghaddam R F., Cheriet M - AdOtsu: An adaptive and parameterless generalization of Otsu’s method for document image binarization, Pattern Recognit 45 (6) (2012) 2419-2431 Michalak H., Okarma K - Region based adaptive binarization for optical character recognition purposes, International Interdisciplinary PhD Workshop (2018) 361-366 Michalak H., Okarma K - Fast adaptive image binarization using the region based approach, Artificial Intelligence and Algorithms in Intelligent Systems (2019) 79-90 Xiong W., Xu J., Xiong Z., Wang J., Liu M - Degraded historical document image binarization using local features and support vector machine (SVM), Optik 164 (2018) 218-223 ABSTRACT DESIGN AND CONSTRUCTION OF THE FACE-MASK ATM Tran Hoan*, Tran Thi Nhu Ha Ho Chi Minh City University of Food Industry *Email: hoantran205@gmail.com The world in general and Vietnam in particular are facing many difficulties since the Covid-19 pandemic appeared Charity activities expressing the spirit of "good leaves protect torn leaves" are spreading across the country and seem to have never been more necessary than at this time One of them is the face mask ATM, which was born in the context that Ho Chi Minh City has just had a regulation that requires people to wear masks in public However, the current face mask ATMs are all semi-automatic and require an operator for the machine to release the mask This paper presents an automatic control algorithm for a face mask ATM, capable of detecting and recognizing faces and only distributing masks to each person once per day Keywords: Image processing, face mask, ATM, face recognition CƠ ĐIỆN TỬ - KHCB - CNTT 212 ... KHCB - CNTT 204 Thi? ??t kế, thi công máy ATM trang cài đặt sẵn Ngoài ra, vào cuối ngày hết máy ATM trang hoạt động chương trình tự động xóa tồn sở liệu ảnh khuôn mặt người lấy trang ngày 2.3 Giải... ngày phát xem người lấy trang hay chưa NỘI DUNG CHÍNH 2.1 Thi? ??t kế khí Bản vẽ thi? ??t kế khí mơ hình 3D máy ATM trang thể Hình Hình Mơ hình thi? ??t kế dạng buồng khử khuẩn toàn thân, bên lắp đặt Raspberry... Pi V2 IMX219 để thu nhận ảnh người đứng buồng cấu khí để đẩy trang Hình Bản vẽ thi? ??t kế khí máy ATM trang Hình Mơ hình 3D máy ATM trang 203 CƠ ĐIỆN TỬ - KHCB - CNTT Trần Hoàn, Trần Thị Như Hà