nghiên cứu nhận diện và phát hiện đối tượng dựa trên nền tảng hệ thống iot camera

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƢỜNG ĐẠI HỌC QUY NHƠN NGÔ BẢO CHÂU NGHIÊN CỨU NHẬN DIỆN VÀ PHÁT HIỆN ĐỐI TƢỢNG DỰA TRÊN NỀN TẢNG HỆ THỐNG IOT CAMERA Chuyên ngành: Khoa học máy tính Mã số: 8480101 Ngƣời hƣớng dẫn: PGS.TS Nguyễn Tấn Khôi LỜI CAM ĐOAN Tôi xin cam đoan luận văn thạc sĩ Khoa học máy tính “NGHIÊN CỨU NHẬN DIỆN VÀ PHÁT HIỆN ĐỐI TƢỢNG DỰA TRÊN NỀN TẢNG HỆ THỐNG IOT CAMERA” cơng trình nghiên cứu riêng tơi với giúp đỡ tận tình giáo viên hƣớng dẫn PGS.TS Nguyễn Tấn Khơi.Trong tồn nội dung luận văn, điều đƣợc trình bày cá nhân tơi đƣợc tổng hợp từ nhiều nguồn tài liệu Tất nguồn tài liệu tham khảo có xuất xứ rõ ràng hợp pháp Tơi xin hồn tồn chịu trách nhiệm chịu hình thức kỷ luật theo quy định cho lời cam đoan Bình Định, ngày17 tháng 09 năm 2020 Ngƣời cam đoan Ngô Bảo Châu LỜI CẢM ƠN Trƣớc tiên xin gửi đến lời cảm ơn chân thành sâu sắc đến thầy PGS.TS Nguyễn Tấn Khôi – nhiệt tình hƣớng dẫn, bảo suốt thời gian bắt đầu thực hoàn thành luận văn Tơi xin cảm ơn thầy cô khoa CNTT – Trƣờng Đại học Quy Nhơn truyền đạt cho kiến thức chuyên sâu chun ngành để tơi có đƣợc tảng kiến thức giúp tơi hồn thành luận văn thạc sĩ Cuối cùng, xin cảm ơn đến ngƣời thân u gia đình tồn thể bạn bè, đồng nghiệp ngƣời hỗ trợ giúp đỡ, khuyến khích, động viên tơi thời gian học tập nghiên cứu Trƣờng Đại Học Quy Nhơn Xin chân thành cảm ơn! Ngô Bảo Châu MỤC LỤC LỜI CAM ĐOAN LỜI CẢM ƠN DANH MỤC BẢNG BIỂU DANH MỤC TỪ VIẾT TẮT PHẦN MỞ ĐẦU CHƢƠNG 1: TỔNG QUAN VỀ HỆ THỐNG IOT CAMERA VÀ BÀI TOÁN PHÁT HIỆN VÀ NHẬN DIỆN ĐỐI TƢỢNG 1.1 Tổng quan hệ thống IoT camera 1.1.1 Internet vạn vật 1.1.2 Hệ thống camera giám sát 1.2 Bài toán phát nhận diện đối tƣợng 1.2.1 Giới thiệu liệu video 1.2.2 Phát đối tƣợng ảnh 11 1.2.3 Nhận diện đối tƣợng ảnh 11 1.3 Quy trình phát nhận diện đối tƣợng hệ thống IoT camera 12 1.4 Tổng kết chƣơng 14 CHƢƠNG 2: PHÁT HIỆN VÀ NHẬN DIỆN ĐỐI TƢỢNG TRÊN HỆ THỐNG IOT CAMERA 15 2.1 Một số kỹ thuật tiền xử lý 15 2.1.1 Kỹ thuật phát chuyển động 15 2.1.2 Kỹ thuật tách màu 19 2.2 Phát đối tƣợng ảnh 23 2.3 Nhận diện đối tƣợng ảnh 30 2.4 Tổng kết chƣơng 34 nghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.camera CHƢƠNG 3: KẾT QUẢ NGHIÊN CỨU VÀ THẢO LUẬN 35 3.1 Giới thiệu toán 35 3.2 Phân tích tốn 36 3.3 Xây dựng chƣơng trình thử nghiệm 41 3.4 Đánh giá kết 44 3.5 Tổng kết chƣơng 45 KẾT LUẬN 46 TÀI LIỆU THAM KHẢO 47 QUYẾT ĐỊNH GIAO ĐỀ TÀI LUẬN VĂN THẠC SĨ (BẢN SAO) nghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.camera nghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.camera DANH MỤC HÌNH VẼ Hình 1.1 Tham luận PIACOM hội thảo Cách mạng Công nghiệp 4.0 ứng dụng IoT vào sản xuất thơng minh Hình 1.2 Một số ví dụ hệ thống camera giám sát Hình 1.3 Zeotrope Hình 1.4 Minh họa khung hình 10 Hình 1.5 Sơ đồ chung trình xử lý 13 Hình 2.1 Khung hình trừ cho khung hình thời điểm trƣớc 16 Hình 2.2 Các kết phân ngƣỡng ảnh độ lệch 17 Hình 2.3 Khung hình tổng hợp với n=10 ảnh mặt nạ kết 18 Hình 2.4 Khung hình tổng hợp với giá trị n khác ảnh mặt nạ kết 18 Hình 2.5 Hình ảnh ví dụ trận thi đấu bóng đá 19 Hình 2.6 Chọn vùng ảnh mẫu để phân tích màu 20 Hình 2.7 Histogram kênh Red vùng ảnh mẫu đƣợc chọn 20 Hình 2.8 Histogram kênh Green vùng ảnh mẫu đƣợc chọn 20 Hình 2.9 Histogram kênh Blue vùng ảnh mẫu đƣợc chọn 21 Hình 2.10 Chọn vùng ảnh mẫu khác để phân tích màu 21 Hình 2.11 Histogram kênh Red vùng ảnh mẫu đƣợc chọn 22 Hình 2.12 Histogram kênh Green vùng ảnh mẫu đƣợc chọn 22 Hình 2.13 Histogram kênh Blue vùng ảnh mẫu đƣợc chọn 22 Hình 2.14 Minh họa phƣơng pháp cửa sổ trƣợt 23 Hình 2.15 Ví dụ minh họa trƣợt cửa sổ với đối tƣợng quan tâm khuôn mặt ngƣời: vùng cửa sổ màu xanh đƣợc xác nhận đối tƣợng quan tâm đƣợc ghi nhận lại, vùng đỏ bỏ qua 24 nghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.camera nghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.camera Hình 2.16 Tƣơng quan vấn đề định vị đối tƣợng ảnh so với nhận diện phát đối tƣợngtrong ảnh 25 Hình 2.17 Minh họa trình xử lý OverFeat [9] 26 Hình 2.18 Minh họa trình phát đối tƣợng dựa định vị YOLO 26 Hình 2.19 Ảnh mẫu minh họa cho trình phân chia khơng gian YOLO 27 Hình 2.20 Kết đối tƣợng ảnh mẫu 27 Hình 2.21 Minh họa kết ƣớc lƣợng mong muốn với mắt lƣới 28 Hình 2.22 Minh họa độ đo IoU 29 Hình 2.23 Mơ hình ƣớc lƣợng hình bao khoanh màu xanh da trời dựa vào mắt lƣới khoanh màu vàng 30 Hình 2.24 Minh họa bƣớc nhận diện đối tƣợng mắt lƣới để tổng hợp vào kết phát đối tƣợng YOLO 31 Hình 2.25 Kết ƣớc lƣợng mắt lƣới: hình bao đối tƣợng ứng với lớp khác đƣợc khoanh màu khác 31 Hình 2.26 Kiến trúc mạng nơ ron tích chập YOLO 32 Hình 3.1 Pha khởi tạo liệu 36 Hình 3.2 Pha xử lý 38 Hình 3.3 Giao diện khởi động chƣơng trình 41 Hình 3.4 Nút chọn file video ổ cứng 42 Hình 3.5 Giao diện chọn file video ổ cứng 42 Hình 3.6 Nút Process để thực xử lý 43 Hình 3.7 Ảnh kết phát chuyển động 43 Hình 3.8 Ảnh kết phát ngƣời 44 nghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.camera nghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.camera DANH MỤC BẢNG BIỂU Bảng 3.1 Bảng thông số thử nghiệm số mơ hình YOLO tập liệu COCO 40 nghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.camera nghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.camera DANH MỤC TỪ VIẾT TẮT IoT Internet of Things YOLO You only look once IoU Intersection over Union nghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.camera nghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.camera PHẦN MỞ ĐẦU Lý chọn đề tài Nghiên cứu xử lý ảnh thị giác máy lĩnh vực nghiên cứu đƣợc nhiều quan tâm nhà khoa học nhƣ hãng công nghệ giới nhƣ nƣớc Có nhiều cách để phân chia hƣớng nghiên cứu này, số phân chia theo liệu đầu vào ảnh tĩnh liệu video Trong đó, liệu video thƣờng đƣợc gắn liền với loại thiết bị ghi hình nhƣ webcam loại camera ví dụ nhƣ loại gắn nhà, tơ, ngồi trời, điện thoại di động Thời gian gần đây, phát triển phổ biến nhanh chóng cơng nghệ phần cứng máy tính thiết bị liên quan tạo điều kiện thuận lợi cho phát triển hệ thống phần mềm yêu cầu khối lƣợng tính tốn cao Trong số đó, hệ thống mơ ngƣời, đặc biệt việc biểu diễn biểu cảm khuôn mặt ngƣời 3D lĩnh vực thực ảo vấn đề quan trọng với nhiều ứng dụng trở nên quen thuộc sống ngƣời, đơn giản kể đến phim giả tƣởng đẹp mắt nhƣ Avatar, Van Helsing… với quái vật, ngƣời sói có biểu cảm khn mặt tinh tế Trong ứng dụng nhƣ vậy, việc nắm bắt đƣợc cách xác nhanh chóng đặc trƣng thể biểu cảm khuôn mặt ngƣời trở thành công đoạn quan trọng, cần thiết hệ thống mô Hiện có số đơn vị nghiên cứu nƣớc có hƣớng nghiên cứu liên quan nhƣ Đại học Quốc Gia Hà Nội, Đại học Duy Tân, Đại học Lạc Hồng, Đại học Thái Nguyên… Đây hƣớng nghiên cứu đƣợc đầu tƣ, nghiên cứu phát triển Viện Công nghệ Thông tin – Viện Hàn lâm Khoa học Công nghệ Việt Nam năm gần Trong trình phát triển ngƣời, cách mạng cơng nghệ đóng vai trị quan trọng, chúng làm thay đổi ngày sống ngƣời, theo hƣớng đại Hiện nay, dân số ngày tăng nhu cầu tăng theo, dịch vụ tiện ích từ đƣợc hình thành phát triển theo Đặc biệt áp dụng nghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.camera nghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.camera 34 (2.3) Trong ám đối tƣợng có xuất mắt lƣới thứ i ám hình bao dự đốn thứ j ứng với lƣới thứ i kết đối tƣợng đƣợc xác định 2.4 Tổng kết chƣơng Chƣơng trình chi tiết lý thuyết số kỹ thuật phục vụ phát nhận diện đối tƣợng hệ thống IoT camera dựa theo quy trình trình bày chƣơng Cụ thể số kỹ thuật tiền xử lý nhƣ phát chuyển động tách màu nhằm mục tiêu xác định sơ khung hình có đối tƣợng hay khơng, tiếp đến nội dung phát đối tƣợng nhận diện đối tƣợngtheo quy trình cơng trình YOLO Nội dung chƣơng trình bày kết thực nghiệm toánphát nhận diện đối tƣợng hệ thống IoT camera với kết triển khai minh họa cho nội dung lý thuyết đƣợc trình bày chƣơng nghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.camera nghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.camera 35 CHƢƠNG 3: KẾT QUẢ NGHIÊN CỨU VÀ THẢO LUẬN 3.1 Giới thiệu toán Với mục tiêu thiết kế hệ thống phát nhận diện đối tƣợng hệ thống IoT camera để triển khai thử nghiệm kết lý thuyết đƣợc trình bày chƣơng 2, luận văn đặt toán loại đối tƣợng cụ thể ngƣời Theo đó, hệ thống nhận đầu vào luồng video Và với khung hình nhận đƣợc, hệ thống đƣa kết vùng hình bao tƣơng ứng với đối tƣợng ngƣời ảnh Trên mơ hình tổng quan, hệ thống phát nhận diện đối tƣợng hệ thống IoT camera nhận liệu luồng video từ camera qua môi trƣờng mạng để thực phân tích xử lý Tuy nhiên để tiện cho việc thử nghiệm, hệ thống cần xử lý với liệu luồng video từ file video ổ cứng Dữ liệu video đƣợc giả định quay khu vực khơng gian thật có ngƣời xuất Không xét đến trƣờng hợp liệu hình ảnh tổng hợp từ kỹ thuật đồ họa máy tính nhƣ hình ảnh ba chiều, hoạt hình hay liệu video có ngữ cảnh khơng phù hợp khác Với luồng video đƣợc xác lập, hệ thống tiến hành truy vấn để lấy đƣợc hình ảnh thời Từ hình ảnh thời, hệ thống tiến hành đánh giá khả có ngƣời bên khơng cách thực phát chuyển động Nếu nhƣ khơng có, bƣớc xử lý cho hình ảnh bị bỏ qua chuyển sang khung hình Nếu có chuyển động, hệ thống thực thao tác xử lý tiếp để phát nhận diện ngƣời khung hình Để tiện cho việc theo dõi trình xử lý, hệ thống cung cấp góc nhìn trung gian giai đoạn xử lý nhƣ hình ảnh mặt nạ chuyển động, hình bao đối tƣợng ứng với ngƣời đƣợc xác định ảnh nghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.camera nghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.camera 36 3.2 Phân tích tốn Hình 3.1 Pha khởi tạo liệu nghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.camera nghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.camera 37 Trên sở mơ tả tốn cần thực hiện, ta chia chƣơng trình thành pha riêng biệt pha khởi tạo liệu pha xử lý Pha khởi tạo liệu đƣợc thực lần trƣớc xử lý liệu từ camera IP video Phân tích pha khởi tạo liệu nhƣ sau:Ta có chức xử lý cần phải triển khai phát chuyển động, phát nhận dạng đối tƣợng khung hình camera Những chức đƣợc triển khai lựa chọn dựa kết lý thuyết đƣợc mô tả chƣơng Với chức phát chuyển động, chƣơng trình thực triển khai với kỹ thuật sử dụng trung bình Cịn chức phát nhận dạng đối tƣợng khung hình đƣợc thực dựa theo thuật tốn YOLO đƣợc mơ tả chƣơng cụ thể vùng ảnh ứng với đối tƣợng ngƣời mục tiêu thuật toán Các chức cần đến việc khởi tạo liệu thiết lập tham số Các bƣớc đƣợc thực lần khởi động chƣơng trình Ngồi ra, chƣơng trình cần chức cho phép thao tác với liệu camera IP qua mơi trƣờng mạng internet Khi chƣơng trình khởi tạo, hệ thống truy vấn đến địa nguồn liệu để kiểm tra tồn liệu đƣợc truyền vào Nếu liệu camera đọc đƣợc, chƣơng trình thực xử lý nghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.camera nghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.camera 38 Hình 3.2 Pha xử lý Trong pha xử lý, ta cần thu nhận đƣợc khung hình luồng video, luồng từ camera IP file video Nếu đọc đƣợc khung hình tại, ta thực thao tác xử lý Nếu không, ta kết thúc trình xử lý nghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.camera nghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.camera 39 Với chức phát chuyển động, chƣơng trình thực triển khai với kỹ thuật sử dụng trung bình Theo đó, khung hình đƣợc lựa chọn để tổng hợp hình Số lƣợng khung hình dùng để tổng hợp đƣợc chƣơng trình cấu hình trƣớc, đồng thời để tiện cho việc triển khai thử nghiệm, chƣơng trình có thêm tham số lựa chọn tỉ lệ lấy mẫu cho khung hình, tức sau khung hình thực lấy mẫu lần, tăng tính tùy biến cho việc thao tác phát chuyển động liệu camera Sau bƣớc phát chuyển động, ta đƣợc ảnh mặt nạ Việc đánh giá có chuyển động hay khơng đƣợc phân tích ảnh mặt nạ Đồng thời, chƣơng trình hiển thị ảnh mặt nạ lên để tiện cho việctheo dõi đánh giá Chức phát nhận dạng đối tƣợng khung hình đƣợc thực dựa theo thuật tốn YOLO đƣợc mô tả chƣơng cụ thể vùng ảnh ứng với đối tƣợng ngƣời mục tiêu thuật tốn Khi có danh sách hình bao kết quả, chƣơng trình thực vẽ hình bao lên khung hình để làm ảnh kết hiển thị lên Ta theo dõi đƣợc đối tƣợng ngƣời camera đƣợc chƣơng trình xử lý thơng qua hình bao đƣợc vẽ Để có cách nhìn trực quan kết hiệu mơ hình YOLO lựa chọn thử nghiệm, ta tham khảo số thông tin trang web https://pjreddie.com/darknet/yolo/ nghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.camera nghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.camera 40 Bảng 3.1 Bảng thông số thử nghiệm số mơ hình YOLO tập liệu COCO Model Train Test mAP FLOPS FPS SSD300 COCO trainval test-dev 41.2 - 46 SSD500 COCO trainval test-dev 46.5 - 19 YOLOv2 608x608 COCO trainval test-dev 48.1 62.94 Bn 40 Tiny YOLO COCO trainval test-dev 23.7 5.41 Bn 244 SSD321 COCO trainval test-dev 45.4 - 16 DSSD321 COCO trainval test-dev 46.1 - 12 R-FCN COCO trainval test-dev 51.9 - 12 SSD513 COCO trainval test-dev 50.4 - DSSD513 COCO trainval test-dev 53.3 - FPN FRCN COCO trainval test-dev 59.1 - Retinanet-50500 COCO trainval test-dev 50.9 - 14 Retinanet-101500 COCO trainval test-dev 53.1 - 11 Retinanet-101800 COCO trainval test-dev 57.5 - nghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.camera nghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.camera 41 YOLOv3-320 COCO trainval test-dev 51.5 38.97 Bn 45 YOLOv3-416 COCO trainval test-dev 55.3 65.86 Bn 35 YOLOv3-608 COCO trainval test-dev 57.9 140.69 Bn 20 YOLOv3-tiny COCO trainval test-dev 33.1 5.56 Bn 220 YOLOv3-spp COCO trainval test-dev 60.6 141.45 n 20 3.3 Xây dựng chƣơng trình thử nghiệm Dựa phân tích nội dung thực toán thử nghiệm, luận văn tiến hành xây dựng chƣơng trình thử nghiệm tảng Visual Studio 2015 với thƣ viện mã nguồn mở OpenCV darknet Giao diện khởi động chƣơng trình đƣợc thiết kế đơn giản với việc nhập input đƣờng video streaming url nút xử lý minh họa cho nội dung lý thuyết luận văn Hình 3.3 Giao diện khởi động chƣơng trình Trong giao diện khởi động chƣơng trình, ta đƣa đƣờng link phát video streaming camera IP vào nhập text Ngồi ra, ta có thêm nghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.camera nghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.camera 42 lựa chọn sử dụng file video ổ cứng Việc lựa chọn file đƣợc tiến hành đơn giản cách chọn nút bên cạnh text Hình 3.4 Nút chọn file video ổ cứng Hình 3.5 Giao diện chọn file video ổ cứng Sau chọn đƣợc đƣờng phát video streaming file video ổ cứng, ta ấn nút Process để tiến hành chạy nội dung thuật tốn thử nghiệm nghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.camera nghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.camera 43 Hình 3.6 Nút Process để thực xử lý Dựa theo luồng thực đƣợc mơ tả, sau đọc khung hình thời, chƣơng trình thực phát chuyển động khung hình Kết việc phát chuyển động ảnh nhị phân tƣơng ứng vùng màu trắng vùng chuyển động, cịn vùng màu đen vùng tĩnh Hình 3.7 Ảnh kết phát chuyển động nghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.camera nghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.camera 44 Sau xác định có chuyển động, bƣớc thực xử lý YOLO để thực xác định đối tƣợng ngƣời ảnh Kết hiển thị khung hình thời với hình bao màu xanh đƣợc vẽ vị trí xác định đƣợc đối tƣợng ngƣời Hình 3.8 Ảnh kết phát ngƣời 3.4 Đánh giá kết Trong chƣơng trình thử nghiệm, luận văn cài đặt minh chứng đƣợc nội dung lý thuyết trình bày chƣơng 2, kỹ thuật tiền xử lý phát chuyển động nhằm mục tiêu xác định sơ khung hình có đối tƣợng hay khơng, tiếp đến nội dung phát đối tƣợng nhận diện đối tƣợng theo quy trình cơng trình YOLO Chƣơng trình thử nghiệm video gồm liệu video tìm kiếm mạng liệu tự thu.Trongcác kết thu đƣợc, ta nhận thấy kết phát chuyển động đạt đƣợc kết tƣơng đối tốt nghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.camera nghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.camera 45 Tuy nhiên kỹ thuật phát chuyển động phụ thuộc nhiều vào biến đổi cảnh nhƣ ánh sáng, việc ngƣời di chuyển hay đứng yên… Về mặt cảm quan mắt ngƣời nhìn thử nghiệm, độ xác phát nhận dạng đối tƣợng ngƣời đạt khoảng 90%.Do đó, để thực tốt cần đến việc thiết lập tham số tùy hoàn cảnh camera thu đƣợc liệu Bên cạnh đó, việc thực phát ngƣời cho kết tốt nhiều trƣờng hợp có điều kiện đối tƣợng đứng riêng biệt, rõ ràng số trƣờng hợp xác định sót.Về mặt học máy, chất lƣợng phát nhận dạng đối tƣợng với YOLO đƣợc cải tiến đƣợc thực huấn luyện kỹ với nhiều liệu thời gian 3.5 Tổng kết chƣơng Chƣơng trình bày kết thực nghiệm toánphát nhận diện đối tƣợng hệ thống IoT camera với loại đối tƣợng cụ thể ngƣời Các kết triển khai minh họa cho nội dung lý thuyết đƣợc trình bày chƣơng với cài đặt cụ thể nghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.camera nghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.camera 46 KẾT LUẬN Phát nhận dạng đối tƣợng hệ thống IoT camera vấn đề có tính thời khả ứng dụng cao thực tế xã hội.Liên quan đến tốn có nhiều vấn đề cần nghiên cứu chuyên sâu xử lý ảnh lẫn học máy Luận văn hệ thống số vấn đề toán phát nhận dạng đối tƣợng hệ thống IoT camera, nghiên cứu lý thuyết nhƣ cài đặt thực tế Những vấn đề tóm tắt lại nhƣ sau:  Tổng quan khái niệm hệ thống IoT camera nhƣ đặc điểm liệu video toán phát đối tƣợng nhƣ nhận diện đối tƣợng Trên sở đó, luận văn đƣa sơ đồ xử lý chung cho quy trình phát nhận diện đối tƣợng hệ thống IoT camera  Lý thuyết số kỹ thuật phục vụ phát nhận diện đối tƣợng hệ thống IoT camera, cụ thể số kỹ thuật tiền xử lý nhƣ phát chuyển động tách màu nhằm mục tiêu xác định sơ khung hình có đối tƣợng hay khơng, tiếp đến nội dung phát đối tƣợng nhận diện đối tƣợng theo quy trình cơng trình YOLO  Xây dựng chƣơng trình thử nghiệm cho tốnphát nhận diện đối tƣợng hệ thống IoT camera với loại đối tƣợng cụ thể ngƣời Luận văn hoàn thành nhƣng để xây dựng đƣợc hệ thống phát nhận dạng đối tƣợng hệ thống IoT camera phù hợp với u cầu thực tế cịn nhiều vấn đề phải giải nhƣ vấn đề xử lý tăng tính xác với liệu video có độ phân giải thấp phù hợp với khả thu thập liệu thực tế, vấn đề cải thiện thuật toán để phù hợp với yêu cầu xử lý liệu thời gian thực… nghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.camera nghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.camera 47 TÀI LIỆU THAM KHẢO Dave, E "How the next evolution of the internet is changing everything." The Internet of Things (2011) https://select.advantech.com/water-wastewater-management-ana/ (truy cập lần cuối 10/8/2020) 3.https://www.ursalink.com/en/solution/smart-city/smart-wastewatermanagement/ (truy cập lần cuối 10/8/2020) 4.http://www.piacom.com.vn/nd/tin-hd/piacom-co-hoi-hop-tac-tai-industry40-conference.html(truy cập lần cuối 10/8/2020) 5.https://www.milestonesys.com/solutions/platform/video-managementsoftware/(truy cập lần cuối 26/8/2020) Redmon, J., Divvala, S., Girshick, R., & Farhadi, A (2016) You only look once: Unified, real-time object detection In Proceedings of the IEEE conference on computer vision and pattern recognition (pp 779-788) Viola, P., & Jones, M (2001, December) Rapid object detection using a boosted cascade of simple features In Proceedings of the 2001 IEEE computer society conference on computer vision and pattern recognition CVPR 2001 (Vol 1, pp I-I) IEEE D Erhan, C Szegedy, A Toshev, and D Anguelov Scalable object detection using deep neural networks In Computer Vision and Pattern Recognition (CVPR), 2014 IEEE Conference on, pages 2155–2162 IEEE, 2014 nghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.camera nghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.camera nghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.cameranghien.cuu.nhan.dien.va.phat.hien.doi.tuong.dua.tren.nen.tang.he.thong.iot.camera