Với bài toán phát hiện vi phạm khoảng cách xã hội ta thực hiện đo khoảng cách dựa vào thuật toán phát hiện đối tượng theo các bước sau:
Bước 1: Dữ liệu đầu vào gồm ảnh hoặc video
Bước 2: Ứng dụng thuật toán yolo, sử dụng file mô hình yolo phát hiện đối tượng Bước 3: Sau khi xác định được vị trí có người, hệ thống sẽ trích xuất boundingbox của đối tượng và số điểm chính xác cho đối tượng
Bước 4: Nếu ngưỡng điểm cho đối tượng trên 0,6 thì hệ thống thực hiện đo khoảng cách giữa các tâm của boundingbox dựa vào khoảng cách Euclid, nếu ngưỡng điểm bằng hoặc dưới 0,6 kết thúc chương trình.
Bước 4: Nếu khoảng cách đo được giữa hai đối tượng lớn hơn ngưỡng cho phép là 2 mét thì hệ thống phát ra cảnh báo vi phạm khoảng cách an toàn, nếu khoảng cách đo được giữa hai đối tượng thấp hơn ngưỡng cho phép thì hệ thống kết thúc chương trình. Bước 5: Kết thúc chương trình.
Hình 3.5. Sơ đồ thuật toán đo khoảng cách dựa vào thuật toán phát hiện đối tượng Đối với bài toàn phát hiện khẩu trang, tương tự ta cũng thực hiện với các bước huấn luyện và phát hiện như sau:
Bước 2: Ứng dụng thuật toán yolo vào huấn luyện mô hình với file mô hình yolo phát hiện khẩu trang bao gồm 2 lớp: lớp 0 là phát hiện người đeo khẩu trang và lớp 1 là phát hiện người không đeo khẩu trang.
Bước 3: Hệ thống trích xuất ra đối tượng và điểm chấm độ chính xác cho đối tượng. Bước 4: Nếu điểm chấm đạt trên 0.8 và nhận diện đối tượng thuộc lớp 1 thì phát ra cảnh báo về việc không đeo khẩu trang, ngược lại thì kết thúc chương trình.
Hình 3.6. Sơ đồ thuật toán phát hiện đeo khẩu trang
CHƯƠNG 4: KẾT QUẢ THỰC NGHIỆM 4.1. Xây dựng phần cứng của hệ thống
Phần cứng của hệ thống phát hiện khoảng cách và khẩu trang gồm 3 thành phần là: Máy tính để xử lý, Màn hình để hiển thị kết quả và Webcam Logitech để chụp ảnh lấy dữ liệu.
Máy tính mini với thiết kế nhỏ gọn, ta sẽ gắn vào phía sau màn hình, Webcam Logitech được đặt ở phía trên của màn hình hiển thị. Như vậy hệ thống của chúng ta sẽ trở nên đơn giản, gọn gàng, dễ dàng và tiện lợi trong di chuyển và lắp đặt.
Quy trình thực hiện: Camera phát hiện đối tượng, thực hiện chụp ảnh lấy dữ liệu. Sau đó ảnh được chuyển đến máy tính xử lý, phát hiện và nhận dạng khuôn mặt. Kết quả kiểm tra được đưa ra màn hình hiển thị.
Hình 4.1. Sơ đồ khối phần cứng hệ thống
diện khẩu trang.
4.2.1. Các bước xây dựng hệ thống trên C#
Các bước thiết kế giao diện trên C# được thực hiện như sau: Bước 1: Vào Visual Studio và tạo Project mới như dưới đây.
Hình 4.2. Tạo project mới
Bước 2: Chọn Winform (application) để tạo ứng dụng cho chương trình
Hình 4.3. Chọn Windows Form App(.NET Framework) Bước 3: Đặt tên cho ứng dụng và vị trí lưu.
Hình 4.4. Khởi tạo thông tin app Bước 4: Vào giao diện thiết kế trên visual studio
Hình 4.5 Giao diện với 1-ToolBox, 2-Giao diện chính, 3-Thông tin quản lý giao diện Bước 5: Bắt đầu nạp code cho ứng dụng
Hình 4.6. Giao diện viết code cho ứng dụng Bước 6: Hoàn thiện giao diện cho hệ thống
Hình 4.7. Giao diện được thiết kế
4.2.2. Giao diện của hệ thống
Giao diện của hệ thống phát hiện vi phạm khoảng cách xã hội và phát hiện đối tượng không đeo khẩu trang bao gồm các phần chính sau đây:
- Phần hiển thị hình ảnh thu được từ camera và hiện thị kết quả phát hiện đối tượng vi phạm
- Phần điều khiển:
+ Chế độ chạy: Online, Offline
+ Phát hiện: Khoảng cách, Khẩu trang - -
+ Backend: GPU, CPU + Khởi động camera
- Phần bảng thông tin: Hiển thị thông tin cơ bản cần thiết
- Phần thông tin cá nhân: Tên, mã số sinh viên thực hiện khóa luận, giảng viên hướng dẫn
- Phần kết quả: hiển thị kết quả thu được sau phân tích
Hình 4.8. Giao diện của hệ thống Các bước thao tác trên giao diện hệ thống:
Bước 1: Chọn chế độ chạy của hệ thống
Bước 2: Chọn phát hiện đo khoảng cách hay khẩu trang Bước 3: Chọn chế độ backend là GPU
Bước 4: Khởi động camera
Bước 5: Quan sát kết quả phân tích hiển thị trên màn hình giao diện
4.3. Kết quả kiểm tra
Kết quả kiểm tra 100 lần phát hiện các đối tượng có đeo khẩu trang hay không. Bảng 4. 1 Kết quả kiểm tra phát hiện có đeo khẩu trang hay không 100 lần
Số lần kiểm tra
Phát hiện đúng Phát hiện sai Không phát hiện được
Độ chính xác
Kết quả kiểm tra 100 lần phát hiện các đối tượng có vi phạm khoảng cách an toàn hay không
Bảng 4. 2 Kết quả kiểm tra phát hiện các đối tượng có vi phạm khoảng cách an toàn không 100 lần
Số lần kiểm tra
Phát hiện đúng Phát hiện sai Không phát hiện được
Độ chính xác
100 75 8 17 75%
Do góc nhìn của camera đến từ một phía nên không thể phát hiện chính xác hết các trường hợp, nhiều trường nhợp bị nhầm lẫn do vấn đề góc nhìn của camera.
4.4. Kết quả đạt được
Thiết kế hoàn thiện hệ thống phát hiện vi phạm khoảng cách xã hội và không đeo khẩu trang đảm bảo các yêu cầu đề ra:
- Có thêm nhiều hiểu biết về các ứng dụng cũng như các phương pháp phát hiện khoảng cách xã hội và không đeo khẩu trang đã có trên thị trường, phương pháp lựa chọn thiết bị và tính toán, cài đặt hệ thống để có thể thu được hình ảnh với chất lượng tốt nhất, xác định khoảng cách chính xác nhất.
- Tạo ra sản phẩm có tính thiết thực và ứng dụng cao
- Hệ thống nhận diện tương đối chính xác các đối tượng không đeo khẩu trang và vi phạm khoảng cách an toàn
- Giao diện của hệ thống trực quan, dễ sử dụng - Có thêm nhiều kiến thức về xử lý ảnh, OpenCV
- Rèn luyện kỹ năng tìm kiếm thông tin, phân tích, tự nghiên cứu
- Có thêm kỹ năng trình bày, biểu đạt một bài báo cáo nghiên cứu khoa học
4.5. Hạn chế của đề tài
- Do hạn chế về góc nhìn của camera nên độ chính xác phát hiện khoảng cách chưa được cao
- Do điều kiện không cho phép nên sản phẩm chỉ dừng lại ở mô hình thực nghiệm.
CHƯƠNG 5. KẾT LUẬN VÀ ĐỊNH HƯỚNG ĐỀ TÀI
5.1. Kết luận và kiến nghị
5.1.1. Kết luận
Thiết kế hệ thống phát hiện vi phạm khoảng cách xã hội và nhận diện đối tượng có khẩu trang hay không là một đề tài khá thú vị và mang tính thực tiễn cao khi có thể ứng dụng vào thời điểm dịch bệnh cấp thiết như hiện nay. Với tình hình dịch bệnh nghiêm trọng và khó kiểm soát, chúng ta đều xác định rõ là sẽ phải sống chung với dịch bệnh trong thời gian dài tiếp theo, chính vì vậy những hệ thống có thể đảm bảo an toàn và kiểm soát từ xa như thế này là vô cùng cần thiết và hỗ trợ công tác phòng chống dịch, hạn chế nguy cơ lây nhiễm cao từ dịch bệnh do tiếp xúc.
Quá trình hoàn thiện đồ án tốt nghiệp này không chỉ giúp em hoàn thiện mục tiêu của đề tài là xây dựng được hệ thống phát hiện vi phạm khoảng cách xã hội và không đeo khẩu trang mà còn là quãng thời gian quan trọng giúp em hoàn thiện chính mình hơn về cả kiến thức chuyên môn và những kỹ năng cơ bản cần thiết, nâng cao hiểu biết và chỉnh chu, tỉ mỉ hơn trong công việc.
5.1.2. Kiến nghị
Để chất lượng của các đồ án tốt nghiệp ngày càng được nâng cao, mang tính thực tiễn lớn, em rất mong nhà trường có thể tạo điều kiện cho các sinh viên chúng em được thực tập, va chạm nhiều hơn nữa với môi trường thực tế, đặc biệt càng sớm càng tốt để chúng em có thể tiếp xúc và tìm hiểu sớm, nhằm định hướng công việc yêu thích, xác định rõ ràng mục tiêu và đi đúng hướng hơn nữa. Ngoài ra, em cũng rất mong nhà trường đẩy mạnh việc đầu tư các cơ sở vật chất, phòng lab, phòng thí nghiệm, thực hành, …tạo điều kiện tốt nhất cho chúng em được thực hiện nghiên cứu. Đồng thời phổ biến nhiều hơn nữa đến sinh viên các cuộc thi, các chương trình nghiên cứu để khơi dậy niềm đam mê và thúc đẩy sinh viên đến với nghiên cứu khoa học. Em tin rằng với những sự tác động mạnh mẽ như trên của nhà trường, các bạn sinh viên sẽ dễ dàng tiếp cận và chủ động hơn trong việc học tập, phát triển và định hướng nghề nghiệp tương lai, từ đó nâng cao chất lượng nghiên cứu hơn nữa.
5.2. Hướng phát triển đề tài
Với điều kiện kinh tế còn eo hẹp, kiến thức còn nhiều hạn chế và thời gian thực hiện đề tài gấp rút nên mô hình phát hiện vi phạm khoảng cách xã hội và nhận diện có khẩu trang hay không của em còn nhiều thiếu sót, đặc biệt về tính thẩm mĩ và khả năng tối ưu. Trong tương lai, em mong muốn sẽ tiếp tục cải thiện mô hình ngày một hoàn thiện hơn để có thể ứng dụng vào thực tế. Đặc biệt trong quá trình cải thiện hệ thống ngoài việc nâng cao độ chính xác, em còn mong muốn hệ thống có thể xử lý được linh hoạt và thông minh hơn. Từ đây có thể giải quyết bài toán đảm bảo an toàn sức khỏe và chống dịch cao hơn nữa.
Trong quá trình thực hiện đồ án em đã gặp không ít khó khăn trong việc cài đặt thiết bị, lên ý tưởng thực hiện… nhưng với sự nhiệt tình giúp đỡ sinh viên của thầy ThS Đặng Ngọc Khoa, em đã có thể hoàn thành đồ án tốt nghiệp này. Em xin gửi lời cảm ơn chân thành nhất đến thầy và các thầy cô trong ban hội đồng đã hướng dẫn và tạo điều kiện cho em hoàn thiện đồ án tốt nghiệp này một cách tốt nhất.
Em xin chân thành cảm ơn!
TÀI LIỆU THAM KHẢO
1. Giáo trình
[1] Trần Hoàn, Trích “LUẬN VĂN THẠC SĨ”, Trường Đại học Bách khoa TPHCM [2] PGS. TS. Đỗ Năng Toàn, TS. Phạm Việt Bình, Giáo trình môn học Xử lý ảnh, Trường Đại học Thái Nguyên.
[3] Nguyễn Thị Hoàng Lan, Xử lý ảnh, Trường Đại học Bách Khoa Hà Nội.
2. Trang web
[1] https://github.com/AlexeyAB/darknet/ (trang github của nền tảng darknet) [2] https://pjreddie.com/coq-tactics/ (trang chủ của nền tảng darknet)
[3] http://hano.cf/ (trang hướng dẫn cài đặt opencv + visual + tài liệu) [4] https://funvision.blogspot.com/ (Trang hướng dẫn xử lý ảnh) [5] https://docs.opencv.org/2.4/index.html
PHỤ LỤC
Chú thích từ khóa chuyên môn: Chương 1:
[1] Địa chỉ IP (Internet Protocol) có nghĩa là địa chỉ giao thức của internet, các thiết bị phần cứng trong mạng muốn kết nối và giao tiếp với nhau được đều phải có địa chỉ IP. [2] Pixel hay pel (viết tắt trong tiếng Anh của từ “picture element”) mang nghĩa tiếng Việt là điểm ảnh. Đây là điểm vật lý trong hình ảnh raster, bitmap hoặc một khối màu nhỏ. Trong mỗi pixel có từng thông số màu khác nhau, đây là đơn vị cơ bản nhỏ nhất để tạo nên 1 tấm ảnh kỹ thuật số.
Chương 2:
[1] Convolutional Neural Network (CNNhoặcConvNet) được tạm dịch là: Mạng nơ ron tích tụ. Đây được xem là một trong những mô hình của Deep Learning – tập hợp các thuật toán để có mô hình dữ liệu trừu tượng hóa ở mức cao bằng cách sử dụng nhiều lớp xử lý cấu trúc phức tạp. Hiểu đơn giản, CNN là một lớp của mạng nơ-ron sâu, được áp dụng phổ biến nhất để phân tích hình ảnh trực quan.
[2] Feature được dịch theo nghĩa tiếng Việt là đặc điểm. Khi sử dụng thuật toán
CNN so sánh hình ảnh theo từng mảnh, mỗi mảnh đó được gọi là Feature.Mỗi Feature được xem như một hình ảnh mini hay gọi là những mảng hai chiều nhỏ. Các Feature được khớp với những khía cạnh chung trong bức ảnh đó. Nghĩa là Feature sẽ tương ứng với khía cạnh nào đó của hình ảnh và chúng sẽ khớp lại với nhau.
Chương 3:
[1] BackEnd là những phần bên trong bao gồm: máy chủ, ứng dụng và cơ sở dữ liệu. [2] GPU (Graphics Processing Unit) là bộ xử lý những tác vụ liên quan đến đồ hoạ cho vi xử lý trung tâm CPU.
[3] CPU là chữ viết tắt của Central Processing Unit hay còn gọi là bộ xử lý trung tâm.