ỨNG DỤNG CÔNG NGHỆ xử lý ẢNH vào điểm DANH và KIỂM TRA TIÊM VACXIN

HỌC VIỆN NÔNG NGHIỆP VIỆT NAM KHOA CƠ ĐIỆN  ĐỒ ÁN TỐT NGHIỆP ĐỀ TÀI: ỨNG DỤNG CÔNG NGHỆ XỬ LÝ ẢNH VÀO ĐIỂM DANH VÀ KIỂM TRA TIÊM VACXIN Hà Nội, 2022 ***** HỌC VIỆN NƠNG NGHIỆP VIỆT NAM Bộ mơn Tự Động Hoá Đồ án tốt nghiệp Tự Động Hoá KHOA CƠ ĐIỆN  ĐỒ ÁN TỐT NGHIỆP ĐỀ TÀI: “ỨNG DỤNG CÔNG NGHỆ XỬ LÝ ẢNH VÀO ĐIỂM DANH VÀ KIỂM TRA TIÊM VACXIN” Người hướng dẫn : TS NGƠ TRÍ DƯƠNG Người thực : NGUYỄN HOÀI LINH Lớp : K61 – TĐH Mã sinh viên : 612292 Chuyên ngành : Tự Động Hố Hà Nội, 2022 LỜI CAM ĐOAN Để hồn thành đề tài em có tham khảo số tài liệu liên quan đến GVHD: ThS Đặng Thị Thuý Huyền 2 Bộ mơn Tự Động Hố Đồ án tốt nghiệp Tự Động Hoá ứng dụng xử lý ảnh đọc mã QR Em xin cam đoan đồ án em thực hiện, số liệu kết nghiên cứu đề tài trung thực Mọi giúp đỡ cho báo cáo cảm ơn thơng tin trích dẫn báo cáo ghi nguồn gốc rõ ràng Hà Nội, ngày 20 tháng 02 năm 2022 Sinh viên thực Nguyễn Hoài Linh GVHD: ThS Đặng Thị Thuý Huyền 3 Bộ mơn Tự Động Hố Đồ án tốt nghiệp Tự Động Hoá LỜI CẢM ƠN Em xin chân thành cảm ơn tới Ban giám đốc Học viện Nông nghiệp Việt Nam, Ban chủ nhiệm khoa Cơ - Điện tồn thể thầy, giáo tận tình dạy dỗ, giúp đỡ em thời suốt trình học tập trường Học viện Nơng nghiệp Việt Nam Xin cảm ơn thầy cô trực tiếp giảng dạy em thầy cô gián tiếp giúp đỡ em trình tìm kiếm tài liệu cho việc thực đồ án tốt nghiệp Đặc biệt em xin trân trọng cảm ơn thầy T.S Ngô Trí Dương - người tận tình hướng dẫn, cung cấp tài liệu truyền đạt nhiều ý kiến thiết thực suốt trình thực đồ án Những kinh nghiệm quý báu mà thầy truyền đạt hành trang vững giúp em tự tin nghề nghiệp sau Xin cảm ơn gia đình bạn bè ủng hộ, động viên, giúp đỡ em vượt qua khó khăn suốt thời gian vừa qua để em hồn thành nhiệm vụ học tập đồ án tốt nghiệp cách tốt Mặc dù có nhiều cố gắng với kiến thức hạn hẹp thời gian tiếp xúc với thực tế chưa nhiều, báo cáo đồ án em khơng thể tránh khỏi nhiều thiếu sót Em mong có ý kiến đóng góp chân thành thầy cô bạn kiến thức báo cáo hoàn thiện Em xin chân thành cảm ơn! Hà nội, ngày 20 tháng 02 năm 2022 Sinh viên Nguyễn Hoài Linh GVHD: ThS Đặng Thị Thuý Huyền 4 Bộ mơn Tự Động Hố Đồ án tốt nghiệp Tự Động Hoá GVHD: ThS Đặng Thị Thuý Huyền 5 Bộ mơn Tự Động Hố Đồ án tốt nghiệp Tự Động Hoá MỤC LỤC GVHD: ThS Đặng Thị Thuý Huyền 6 Bộ mơn Tự Động Hố Đồ án tốt nghiệp Tự Động Hố DANH MỤC HÌNH ẢNH GVHD: ThS Đặng Thị Th Huyền 7 Bộ mơn Tự Động Hố Đồ án tốt nghiệp Tự Động Hoá DANH MỤC BẢNG GVHD: ThS Đặng Thị Thuý Huyền 8 LỜI MỞ ĐẦU Đặt vấn đề Trong khoảng thời gian từ cuối năm 2019 đến nay, xuất Covid 19 không ảnh hưởng lớn đến sức khỏe kinh tế tồn giới mà chúng cịn tạo nên thay đổi mạnh mẽ lối sống, sinh hoạt tồn xã hội Tính đến thời điểm có 253 triệu ca nhiễm triệu ca tử vong toàn giới, riêng Việt Nam có triệu ca nhiễm gần 23 nghìn ca tử vong, số đáng sợ chưa có dấu hiệu dừng lại Các quốc gia, thành phố, phương tiện giao thơng cơng cộng, điểm du lịch, nhà hàng, đóng cửa khơng thời hạn, thành phố đóng cửa lâu giới với thời gian lên đến tháng Tất điều cho thấy diễn biến phức tạp tác động mạnh mẽ covid 19 đến lớn Thời gian qua, dần thích ứng có quãng thời gian dài sống chung chiến đấu với dịch bệnh thực biện pháp đảm bảo vệ sinh cách ly y tế, hạn chế tiếp xúc hoạt động công cộng không cần thiết, tiêm vắc – xin, Đồng thời hoạt động xã hội sau dừng hoạt động dần thích nghi với việc hoạt động trực tuyến học tập, hội họp, mua sắm, Với phát triển khoa học cơng nghệ, người ta cịn phát triển nhiều hệ thống tự động, thông minh hỗ trợ công tác phịng chống dịch đo thân nhiệt, kiểm sốt khoảng cách xã hội, người đeo trang, đặc biệt phải kể đến ứng dụng quản lý F0 hay người tiêm vắc – xin trước tình hình đẩy mạnh tiêm vắc – xin cho toàn dân Ở Việt Nam, hai ứng dụng sử dụng nhiều PC-Covid Sổ sức khỏe điện tử, hai ứng dụng có đầy đủ thơng tin cá nhân, tiêm vắc – xin, khai báo y tế có mã QR truy qt thơng tin nhanh chóng, tiện lợi Xã hội khơng thể giãn cách mà gần hầu hết người dân tiêm mũi vắc – xin hoạt động xã hội dần mở cửa trở lại có u cầu kiểm sốt thơng tin y tế người Cũng lý mà sinh viên nhà thời gian lâu em nghĩ tới trở lại trường học điều đáng mừng lo lắng mà bạn từ nhiều địa phương trở lại, dịch bệnh có nguy bùng phát cao Việc có hệ thống kiểm sốt thơng tin y tế hoạt động tự động, từ xa vơ cần thiết đảm bảo an tồn cho sinh viên Chính thế, điều thơi thúc em, kỹ sư tự động hóa tương lai mong muốn nghiên cứu thiết kế hệ thống điểm danh tự động em thực đề tài “Ứng dụng xử lý ảnh vào điểm danh kiểm tra tiêm vacxin” Mục đích nghiên cứu đề tài - Đăng ký thông tin điểm danh cách Đọc thông tin cá nhân với mã QR thơng tin tiêm chủng app PC-Covid với thuật tốn xử lý ảnh OCR Giới hạn đề tài - Giới hạn đề tài việc lưu trữ khoảng 50 – 100 người, thời gian điểm danh cho lần qua cửa – 10s - Thời gian đăng ký cho cá nhân từ – phút - Đối tượng: Sinh viên nhân viên tổ chức - Camera: Dùng để đọc thông tin bao gồm barcode, thông tin tiêm chủng ứng dụng Ứng dụng máy tính laptop: Xử lý ảnh lưu trữ thông tin điểm danh Thông tin sau thu tự động lưu vào excel để dễ dàng truy xuất Ý nghĩ khoa học Đề tài: “Ứng dụng xử lý ảnh vào điểm danh kiểm tra tiêm vacxin” nhằm phục vụ cho việc điểm danh từ xa kiểm tra thông tin tiêm vắc-xin học sinh, sinh viên trước việc trở lại trường học sau thời gian cách ly dịch bệnh kéo dài Là ứng dụng góp phần bảo vệ sức khỏe cộng đồng, đảm bao an toàn cho người dân trở lại hoạt động kinh tế - xã hội 14 15 TRAN 1998- 1636943840259688 THU HA 07-17 98 NGUYEN 1998- 1633045674025969 HOAI 36 04-08 NO 0967377426 NO 0373561289 NAM 16 VY 1998-11- 1633066684025969 NGOC 08 YES 0961374567 55 ANH 17 NGUYEN 1998- 1633879383225969 VAN 05-09 34 TRINH 1998- 1633032384444968 KIM CHI 09-02 65 YES 0968377833 ANH 18 19 NGUYEN 1998- 1633045894025965 THAI 67 DUONG 12-05 YES 0964677409 YES 0375756650 20 TRAN 1998- 1633694840259534 DINH 02-04 DOAN 1998- 1633967884025969 NGOC 04-04 00 NO 0960677256 TRONG 21 YES 0961977589 HAI 22 23 TRAN 1998-11- 1633875384325969 THI LAM 14 04 TRINH 1998- 1637880384675969 DINH 05-25 62 1998- 1633098484025969 YES 0375732228 YES 0963377413 DONG 24 DONG THI HAI 03-27 YES 0963978713 67 YEN 25 NGUYEN 1998- 1633088384084569 THI LAN 37 07-24 YES 0968337741 26 GIAP 1998- 1633080356025969 NGOC 08-22 30 YES 0375345245 MAI 27 NGUYEN 1998- 1633080454025969 THIEN 54 10-23 NO 0968837445 MINH 28 NGUYEN 1998-11- 1633086584025789 TIEN 12 YES 0963787415 34 PHONG 29 NGUYEN 1998- 1633086732025969 VAN 77 02-09 YES 0375561202 HAU 30 LE DINH 1998- 1633630384025789 NAM 24 05-06 YES 0374811005 Sau hồn thành q trình thử nghiệm, em có kết sau: - Thiết kế hoàn thiện hệ thống điểm danh mã QR đọc thông tin tiêm vắc-xin đảm bảo yêu cầu đề - Có thêm nhiều hiểu biết chi tiết mã QR, tình hình dịch bệnh, ảnh hưởng cách người ta khắc phục - Tạo sản phẩm có tính thiết thực ứng dụng cao - Hệ thống nhận diện tương đối xác thơng tin mã QR, xác nhận tiêm điểm danh - Giao diện hệ thống điểm danh kiểm tra thông tin tiêm trực quan, dễ sử dụng - Có thêm nhiều kiến thức xử lý ảnh, OpenCV - Rèn luyện kỹ tìm kiếm thơng tin, phân tích, tự nghiên cứu - Có thêm kỹ trình bày, biểu đạt báo cáo nghiên cứu khoa học Nhược điểm hệ thống: - Do điều kiện không cho phép nên sản phẩm dừng lại mơ hình thực nghiệm - Mơ hình có tính thẩm mĩ chưa cao Kết thúc chương 3, hoàn thiện hệ thống điểm danh đọc thông tin mã QR kiểm tra tiêm vacxin từ việc xây dựng chuẩn bị thiết bị phần cứng, lắp ráp đến thiết kế giao diện xử lý thơng tin Hệ thống cịn số nhược điểm đảm bảo tốt yêu cầu đề thực đồ án KẾT LUẬN VÀ KIẾN NGHỊ Kết luận Thiết kế hệ thống ứng dụng điểm danh đọc thông tin QR code kiểm tra tiêm vacxin đề tài thú vị mang tính thực tiễn cao ứng dụng vào thời điểm dịch bệnh cấp thiết nay, đặc biệt thời điểm dịch bệnh dần kiểm soát học sinh, sinh viên chuẩn bị trở lại trường học Mặc dù tình hình dịch bệnh cịn nghiêm trọng khó kiểm soát xuất biến thể chưa có dấu hiệu dừng lại xác định rõ phải sống chung với dịch bệnh thời gian dài tiếp theo, hệ thống đảm bảo an tồn kiểm sốt thơng tin y tế, tiêm chủng từ xa, chặt chẽ vô cần thiết hỗ trợ cơng tác phịng chống dịch, hạn chế nguy lây nhiễm cao từ dịch bệnh tiếp xúc Q trình hồn thiện đồ án tốt nghiệp khơng giúp em hồn thiện mục tiêu đề tài xây dựng hệ thống ứng dụng xử lý ảnh vào điểm danh kiểm tra tiêm vacxin mà quãng thời gian quan trọng giúp em hồn thiện kiến thức chun môn kỹ cần thiết, nâng cao hiểu biết chỉnh chu, tỉ mỉ công việc Kiến nghị Để chất lượng đồ án tốt nghiệp ngày nâng cao, mang tính thực tiễn lớn, em mong nhà trường tạo điều kiện cho sinh viên chúng em thực tập, va chạm nhiều với môi trường thực tế, đặc biệt sớm tốt để chúng em tiếp xúc tìm hiểu sớm, nhằm định hướng cơng việc u thích, xác định rõ ràng mục tiêu hướng Ngoài ra, em mong nhà trường đẩy mạnh việc đầu tư sở vật chất, phòng lab, phòng thí nghiệm, thực hành, …tạo điều kiện tốt cho chúng em thực nghiên cứu Đồng thời phổ biến nhiều đến sinh viên thi, chương trình nghiên cứu để khơi dậy niềm đam mê thúc đẩy sinh viên đến với nghiên cứu khoa học Em tin với tác động mạnh mẽ nhà trường, bạn sinh viên dễ dàng tiếp cận chủ động việc học tập, phát triển định hướng nghề nghiệp tương lai, từ nâng cao chất lượng nghiên cứu Với điều kiện kinh tế eo hẹp, kiến thức nhiều hạn chế thời gian thực đề tài gấp rút nên mơ hình ứng dụng xử lý ảnh vào điểm danh kiểm tra tiêm vacxin em cịn nhiều thiếu sót, chưa hoàn toàn tối ưu Trong tương lai, em mong muốn tiếp tục cải thiện mơ hình ngày hồn thiện để ứng dụng vào thực tế Đặc biệt q trình cải thiện hệ thống ngồi việc nâng cao độ xác, em cịn mong muốn hệ thống xử lý linh hoạt, thơng minh nhanh nhạy Từ giải tốn đảm bảo an tồn sức khỏe chống dịch cao Trong trình thực đồ án em gặp khơng khó khăn việc cài đặt thiết bị, lên ý tưởng thực hiện… với nhiệt tình giúp đỡ sinh viên thầy TS Ngơ Trí Dương, em hồn thành đồ án tốt nghiệp Em xin gửi lời cảm ơn chân thành đến thầy thầy cô ban hội đồng hướng dẫn tạo điều kiện cho em hoàn thiện đồ án tốt nghiệp cách tốt Em xin chân thành cảm ơn! TÀI LIỆU THAM KHẢO Giáo trình, sách tham khảo: [1] PGS TS Đỗ Năng Tồn, TS Phạm Việt Bình, Giáo trình mơn học Xử lý ảnh, Trường Đại học Thái Nguyên [2] Nguyễn Thị Hoàng Lan, Xử lý ảnh, Trường Đại học Bách Khoa Hà Nội [3] Pgs Ts Nguyễn Linh Giang, "Giáo trình xử lý ảnh", Trường Đại học Bách khoa Hà Nội [4] Phạm Công Ngô, “Lập trình C# từ đến nâng cao”, Nhà xuất giáo dục Trang web tham khảo: [1] http://hano.cf/ (trang hướng dẫn cài đặt opencv + visual + tài liệu) [2] https://funvision.blogspot.com/ (Trang hướng dẫn xử lý ảnh) [3] https://docs.opencv.org/2.4/index.html Hình ảnh tham khảo: [1] https://itvplus.net/webcam-logitech-c270-hd-1 PHỤ LỤC Code phần xử lý ảnh: using System; using System.Collections.Generic; using System.Linq; using System.Text; using System.Threading.Tasks; using OpenCvSharp.Extensions; using OpenCvSharp; using OpenCvSharp.XImgProc; using ZXing; using ZXing.QrCode; using System.Drawing; namespace DiemDanh_PCCovid.ImageProcessing { class IP { BarcodeReader m_qrReader; OpenCvSharp.Rect m_RectBarcode; OpenCvSharp.Rect m_RectROI; Scalar m_LowSeg, m_UpSeg; Mat m_mResult; List m_lBarcodeContent; RegisterStudent.StudentInfor studentInfor; public IP(Scalar lowSeg, Scalar upSeg) { m_qrReader = new BarcodeReader(); m_RectBarcode = new Rect(); m_RectROI = new Rect(); m_LowSeg = lowSeg; m_UpSeg = upSeg; m_mResult = new Mat(); m_lBarcodeContent = new List(); studentInfor = new RegisterStudent.StudentInfor(); } public bool BarcodeReader(ref Mat imageIn, ref RegisterStudent.StudentInfor infor , ref Mat imageROI) { try { Result results = m_qrReader.Decode(BitmapConverter.ToBitmap(imageIn)); if (results != null) { getStudentInfor(results.ToString(), ref infor); m_RectBarcode = GetBoundingBox(results.ResultPoints); m_RectROI = new Rect(m_RectBarcode.X-100, m_RectBarcode.Y -100, m_RectBarcode.Width+200, m_RectBarcode.Height+200); Cv2.Rectangle(imageIn, m_RectBarcode, Scalar.DarkRed,3); imageROI = new Mat(imageIn, m_RectROI).Clone(); imageROI = Segmentation(imageROI); infor.isVaccinated = CheckVaccinated(imageROI); } else { return false; } return true; } catch(Exception ex) { Console.ForegroundColor = ConsoleColor.Red; Console.WriteLine("Errors inside BarcodeReader(Mat imageIn, ref string result)."); Console.WriteLine("Details: " + ex); return false; } } private OpenCvSharp.Rect GetBoundingBox(ResultPoint[] result) { OpenCvSharp.Rect rect = new OpenCvSharp.Rect((int)result[0].X, (int)result[0].Y, 1, 1); var TLx = (int)result.Min(point => point.X)-25; int TLy = (int)result.Min(point => point.Y-25); int BRx = (int)result.Max(point => point.X+25); int BRy = (int)result.Max(point => point.Y+25); return rect = new Rect(TLx, TLy, BRx - TLx, BRy - TLy) ; } private Mat Segmentation(Mat imageIn) { Cv2.CvtColor(imageIn, imageIn, ColorConversionCodes.BGR2HSV); Cv2.InRange(imageIn, m_LowSeg, m_UpSeg, m_mResult); return m_mResult; } private bool CheckVaccinated(Mat bwImageIn) { var a = Cv2.CountNonZero(bwImageIn); if (Cv2.CountNonZero(bwImageIn) > 10000) return true; else return false; } private void RegisterStudent.StudentInfor infor) getStudentInfor(string barcodeResult, ref { string[] separateChars = { "|", "