Nghiên cứu ứng dụng thuật toán mạng nở ron tích chập nhận dạng các đối tượng di động

ĐẠI HỌC ĐÀ NẴNG TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT BÁO CÁO TỔNG KẾT ĐỀ TÀI KHOA HỌC VÀ CƠNG NGHỆ CẤP TRƯỜNG NGHIÊN CỨU ỨNG DỤNG THUẬT TỐN MẠNG NƠ RON TÍCH CHẬP NHẬN DẠNG CÁC ĐỐI TƯỢNG DI ĐỘNG Mã số: T2019-06-130 Chủ nhiệm đề tài: KS Nguyễn Văn Nam Đà Nẵng, 6/2020 ĐẠI HỌC ĐÀ NẴNG TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT BÁO CÁO TỔNG KẾT ĐỀ TÀI KHOA HỌC VÀ CÔNG NGHỆ CẤP TRƯỜNG NGHIÊN CỨU ỨNG DỤNG THUẬT TỐN MẠNG NƠ RON TÍCH CHẬP NHẬN DẠNG CÁC ĐỐI TƯỢNG DI ĐỘNG Mã số: T2019-06-130 Xác nhận quan chủ trì đề tài (ký, họ tên, đóng dấu) Chủ nhiệm đề tài (ký, họ tên) Nguyễn Văn Nam DANH SÁCH THÀNH VIÊN THAM GIA NGHIÊN CỨU ĐỀ TÀI STT Họ tên KS Nguyễn Văn Nam TS Nguyễn Đức Quận Đơn vị Khoa Điện – Điện tử Trường Đại học Sư phạm Kỹ thuật Khoa Điện – Điện tử Trường Đại học Sư phạm Kỹ thuật MỤC LỤC MỞ ĐẦU 1 Tính cấp thiết đề tài Mục tiêu đề tài 3 Đối tượng, phạm vi nghiên cứu 3.1 Đối tượng nghiên cứu 3.2 Phạm vi nghiên cứu 4 Cách tiếp cận, phương pháp nghiên cứu 4.1 Cách tiếp cận 4.2 Phương pháp nghiên cứu Nội dung nghiên cứu CHƯƠNG - MẠNG NƠ RON VÀ MẠNG NƠ RON TÍCH CHẬP 1.1 Mạng Nơ ron 1.2 Mạng Nơ ron tích chập (CNN) 1.2.1 Kiến trúc mạng Nơ ron tích chập 1.2.2 Rút trích đặc trưng 1.2.3 Phân loại 12 1.3 Mạng Nơ ron tích chập khu vực nhanh (Faster R-CNN) 13 1.3.1 Bài toán nhận dạng vật thể (Object Detection) 13 1.3.2 Mạng Nơ ron tích chập khu vực (R-CNN) 15 1.3.3 Mạng Nơ ron tích chập khu vực nhanh (Fast R-CNN) 17 1.3.4 Mạng Nơ ron tích chập khu vực nhanh 20 CHƯƠNG - TỔNG QUAN VỀ NHẬN DẠNG CÁC ĐỐI TƯỢNG 25 2.1 Khái niệm nhận dạng đối tượng 25 2.2 Các khó khăn việc nhận dạng đối tượng 26 2.2.1 Tư thế, góc chụp 26 2.2.2 Sự xuất thiếu số thành phần 26 2.2.3 Sự biến dạng đối tượng 27 2.2.4 Sự che khuất 27 2.2.5 Sự phức tạp hình 28 2.2.6 Môi trường ảnh 29 2.3 Các ứng dụng nhận dạng đối tượng 29 2.4 Tổng quan kiến trúc hệ thống nhận dạng đối tượng 30 2.4.1 Khâu xử lý ảnh đầu vào 31 2.4.2 Khâu trích lọc đặc trưng 32 2.4.3 Phát phân loại đối tượng 39 CHƯƠNG - ỨNG DỤNG MẠNG NƠ RON TÍCH CHẬP TRONG NHẬN DẠNG CÁC ĐỐI TƯỢNG DI ĐỘNG 42 3.1 Xây dựng môi trường thực nghiệm mơ hình Faster R_CNN 42 3.1.1 Cấu hình phần cứng cho mơi trường thực nghiệm mơ hình 42 3.1.2 Các phần mềm hỗ trợ phần mềm lập trình 42 3.1.3 Cài đặt file môi trường 45 3.1.4 Cài đặt thư viện hỗ trợ 46 3.2 Huấn luyện cho mơ hình học nhận dạng 47 3.2.1 Thu thập liệu 48 3.2.2 Thực gán nhã cho đối tượng 49 3.2.3 Xây dựng chương trình huấn luyện 50 3.2.4 Huấn luyện cho mơ hình 50 3.2.5 Dừng huấn luyện mơ hình 52 3.2.6 Kết sau huấn luyện 53 3.3 Xây dựng chương trình nhận dạng cho đối tượng 53 3.4 Thực nghiệm nhận dạng đối tượng 53 3.4.1 Thực nghiệm mơ hình Faster R-CNN với đối tượng tĩnh 54 3.4.2 Thực nghiệm mô hình với đối tượng di động 58 KẾT LUẬN 62 Thuận lợi đề tài 62 Hạn chế đề tài 62 Kết đạt 62 Hướng phát triển đề tài 62 TÀI LIỆU THAM KHẢO 64 DANH MỤC CÁC TỪ VIẾT TẮT CNN : Convolutional Neural Network R-CNN : Regional Convolutional Neural Network ROI : Region of Interest RPN : Region Proposal Network SVM : Support Vector Machine DANH MỤC CÁC BẢNG Bảng 3.1: Bảng tổng hợp đánh giá độ xác kết nhận dạng mơ hình 56 DANH MỤC CÁC HÌNH Hình 1.1: Cách thức perceptron hoạt động [11] Hình 1.2: Đồ thị hàm sigmoid [11] Hình 1.3: Cấu trúc mạng Nơ ron đề xuất dựa [11] Hình 1.4: Mạng Nơ ron thơng thường (trái) mạng Nơ ron tích chập (phải) Hình 1.5: Kiến trúc mạng CNN Hình 1.6: Lớp rút trích đặc trưng ảnh (Conv, Relu Pool) Lớp phân loại (FC softmax) Hình 1.7: Phép tích chập 10 Hình 1.8: Ảnh RGB ảnh xám 10 Hình 1.9: Phép gộp lấy giá trị lớn kích thước 2×2 11 Hình 1.10: Ví dụ cho tích chập với lọc, cột, bước nhảy, lề = 12 Hình 1.11: Nhận dạng hoa đồng tiền 14 Hình 1.12: Hình ảnh trước (a) sau thực thuật tốn tìm kiếm chọn lọc (b) 15 Hình 1.13: Các khu vực đặc trưng mạng Nơ ron tích chập 16 Hình 1.14: Khu vực quan tâm (ROI) 18 Hình 1.15: Vùng quan tâm (ROI pooling) 19 Hình 1.16: So sánh thời gian huấn luyện kiểm tra R-CNN Fast R-CNN 19 Hình 1.17: Mơ hình ROI pooling 20 Hình 1.18: Lấy vị trí 21 Hình 1.19: Vị trí cửa sổ trượt (sliding window) 21 Hình 1.20: Các khu vực RPN 22 Hình 1.21: Hệ số IoU 23 Hình 1.22: Mơ tả hệ số IoU 23 Hình 1.23: Thử thời gian R-CNN [10] 23 Hình 2.1: Minh họa thay đổi góc chụp 26 Hình 2.2: Minh họa thiếu thành phần 27 Hình 2.3: Minh họa biến dạng 27 Hình 2.4: Minh họa che khuất 28 Hình 2.5: Minh họa hình phức tạp 28 Hình 2.6: Minh họa độ sáng khác 29 Hình 2.7: Các bước hệ thống nhận dạng đối tượng 31 Hình 2.8: Hình ảnh đưa vào để máy tính nhận dạng 32 Hình 2.9: Cách xử lý máy tính với ảnh đưa vào để nhận dạng 32 Hình 2.10: Thực việc nhân chập giá trị pixel đầu vào với pixel tính năng: 33 Hình 2.11: Kết sau nhân chập lọc với biểu đồ đặc trưng 33 Hình 2.12: Giá trị đặc trưng thu sau nhân chập 34 Hình 2.13: Kêt sau nhân chập tính giá trị đặc trưng 34 Hình 2.14: Giá trị đặc trưng thu 34 Hình 2.15: Biểu đồ đặc trưng sau trích lọc 35 Hình 2.16: Giá trị đặc trưng thu sau cho qua hàm kích hoạt 35 Hình 2.17: Biểu đồ đặc trưng thu sau cho qua hàm kích hoạt 36 Hình 2.18: Kết đặc trưng thu với ảnh RGB đưa vào để nhận dạng 36 Hình 2.19: Thực phép gộp lấy giá trị lớn 37 Hình 2.20: Kết thu sau thực max pooling 37 Hình 2.21: Kích thước đầu 4x4 cho qua lớp ẩn 38 Hình 2.22: Kích thước đầu 2x2 cho qua hai lớp ẩn 38 Hình 2.23: Tạo véc tơ đặc trưng cho đối tượng 39 Hình 2.24: Giá trị véctơ đặc trưng xe tô xe máy 39 Hình 2.25: Giá trị đạt ảnh đưa vào với đối tượng ô tô 40 Hình 2.26: Giá trị đạt ảnh đưa vào với đối tượng xe máy 40 Hình 3.1: Bắt đầu cài đặt file mơi trường 45 Hình 3.2: Cài đặt file mơi trường thành cơng 45 Hình 3.3: Kích hoạt file mơi trường thực nghiệm 46 Hình 3.4: Cài đặt thư viện Tensorflow-gpu từ công cụ pip 46 Hình 3.5: Quá trình cài đặt thư viện Tensorflow-gpu kết thúc 47 Hình 3.6: Các bước thực hệ thống huấn luyện mơ hình học 48 Hình 3.7: Thu thập liệu hình ảnh hoa hồng hoa hướng dương 48 Hình 3.8: Thu thập liệu hình ảnh người xe ô tô 49 Hình 3.9: Gán nhãn cho hoa hồng hoa cẩm tú cầu 49 Hình 3.10: Gán nhãn cho xe gắn máy xe ô tô 49 Hình 3.11: File chương trình huấn luyện 50 Hình 3.12: Quá trình chuyển đến file môi trường Anaconda Prompt 50 Hình 3.13: Tạo đường dẫn đến sở liệu 51 Hình 3.14: a) Thực lệnh gọi chạy mơ hình thuật tốn Faster R-CNN; b) Mơ hình bắt đầu học nhận dạng đối tượng từ sở liệu 51 Hình 3.15: a) Q trình bắt đầu huấn luyện liệu mơ hình; b) Quá trình kết thúc huấn luyện liệu mơ hình 52 Hình 3.16: Biểu đồ mát theo thời gian mơ hình Faster R-CNN 52 Hình 3.17: Cơ sở liệu sau huấn luyện mơ hình học 53 Hình 3.18: Các file chương trình nhận dạng đối tượng 53 Hình 3.19: Hình ảnh hoa đưa vào mơ hình nhận dạng 55 Hình 3.20: Kết nhận dạng mơ hình 55 Hình 3.21: Kết nhận dạng đối tượng: a) người; b) xe ô tô, người; c) xe máy, người; d) xe đạp, người 57 Hình 3.22: Nguồn video hoa cẩm tú cầu di động 59 Hình 3.23: Kết nhận dạng hoa cẩm tú cầu mơ hình 59 Hình 3.24: Nguồn video người, xe di động 60 Hình 3.25: Kết nhận dạng người, xe di động mơ hình 61 - Tạo đường dẫn đến file chứa sở liệu cho mơ hình thuật tốn học nhận dạng Hình 3.13: Tạo đường dẫn đến sở liệu - Sau thực tạo đường dẫn đến sở liệu huấn luyện mơ hình, bước thực đoạn lệnh Anaconda Prompt gọi chạy chương trình mơ hình thuật tốn Q trình thực thể Hình 3.14 sau: (a) (b) Hình 3.14: a) Thực lệnh gọi chạy mơ hình thuật tốn Faster R-CNN; b) Mơ hình bắt đầu học nhận dạng đối tượng từ sở liệu 51 Các bước bước cuối trình huấn luyện thể Hình 3.15 sau: (b) (a) Hình 3.15: a) Quá trình bắt đầu huấn luyện liệu mơ hình; b) Q trình kết thúc huấn luyện liệu mơ hình 3.2.5 Dừng huấn luyện mơ hình Trong q trình huấn luyện việc dừng huấn luyện cho mơ hình tác giả dựa vào đồ thị tensorboard, biểu đồ mát theo thời gian trình huấn luyện Hình 3.16: Biểu đồ mát theo thời gian mơ hình Faster R-CNN Biểu đồ Hình 3.16 cho thấy từ bước 25000 trở độ mát huấn luyện dao động khoảng từ đến 0.06 Như vậy, huấn luyện đến bước 52 dừng huấn luyện cho mơ hình học Theo Hình 3.15b tác giả dừng huấn luyện mơ hình bước 45555 nhận kết 0.0214, độ mát huấn luyện Trung bình thời gian để huấn luyện bước 0.300 (giây/step) 3.2.6 Kết sau huấn luyện Sau kết thúc việc huấn luyện mơ hình tạo sở liệu sau: Thứ tạo hai file sở liệu test_labels.csv train_labels.csv chứa giá trị đặc trưng hình ảnh mơ hình học, đặc biệt giá trị x_min, y_min; x_max, y_max Thứ hai tạo hai file model.ckpt.index model.ckpt.meta chứa giá trị trích rút đặc trưng đối tượng huấn luyện để nhận dạng Các file sở liệu thể Hình 3.17 sau: Hình 3.17: Cơ sở liệu sau huấn luyện mơ hình học 3.3 Xây dựng chương trình nhận dạng cho đối tượng Sau huấn luyện tạo sở liệu, tác giả xây dựng chương trình nhận dạng đối tượng tĩnh di động với nguồn đầu vào nhận dạng từ hình ảnh, video từ camera online (webcam) Các file chương trình viết ngơn ngữ Python, file viết hồn thiện Hình 3.18 sau: Hình 3.18: Các file chương trình nhận dạng đối tượng 3.4 Thực nghiệm nhận dạng đối tượng - Thực nghiệm mơ hình Faster R-CNN với đối tượng tĩnh: Đối với đối tượng tĩnh tác giả tiến hành thực nghiệm với đối tượng đầu vào môi trường bình thường (ảnh mơi trường có ánh sáng tốt) nhiễu (ảnh bị che khuất 53 1/3; Ảnh bị che khuất 1/2; Ảnh môi trường thiếu ánh sáng) Qua tiến hành đánh giá độ xác mơ hình tương ứng với bốn trạng thái đầu vào - Thực nghiệm mơ hình Faster R-CNN với đối tượng di động: Đối với đối tượng di động tác giả thực nghiệm từ nguồn đầu vào video với đối tượng di dộng thực nghiệm với nguồn đầu vào từ webcam với đối tượng di động 3.4.1 Thực nghiệm mơ hình Faster R-CNN với đối tượng tĩnh 3.4.1.1 Thực nghiệm nhận dạng mười loài hoa Sau huấn luyện cho mơ hình học nhận dạng 10 lồi hoa, tiến hành cho mơ hình nhận dạng thực nghiệm với đối tượng trạng thái bình thường nhiễu với hình ảnh đối tượng đưa vào nhận dạng tác giả chụp từ thực tế chụp cắt từ video mạng từ kết thực nghiệm tác giả lập bảng xác định độ xác tổng thể mơ hình Hình ảnh đưa vào cho mơ hình nhận dạng tác giả chụp từ thực tế chụp cắt từ nguồn video google Số hình ảnh đưa vào nhận dạng lưu [19], kết nhận dạng qua mô hình tác giả chụp lưu lại [20] Kết thực nhận dạng thể Hình 3.19 Hình 3.20 sau: 54 Hình 3.19: Hình ảnh hoa đưa vào mơ hình nhận dạng Hình 3.20: Kết nhận dạng mơ hình 55 Hình ảnh đưa vào nhận dạng tác giả chụp từ thực tế, báo cáo tác giả lấy mẫu thử bốn mười lồi hoa Hình 3.19a-hoa cẩm tú cầu; 3.19b-hoa cúc; 3.19c-hoa đồng tiền; 3.19d-hoa hồng Kết nhận dạng mơ hình thể Hình 3.20 Với mẫu thử mơ hình cho kết nhận dạng đạt cao, Hình 3.20a hoa cẩm tú cầu với độ xác nhận dạng đạt 99%, Hình 3.20b hoa cúc với độ xác nhận dạng đạt 97%, Hình 3.20c hoa đồng tiền với độ xác nhận dạng đạt 80%, Hình 3.20d hoa hồng với độ xác nhận dạng đạt 98% Tương tự, ta tiến hành thực nghiệm cho mơ hình nhận dạng tất 10 loài hoa, kết thực nghiệm nhận dạng đánh giá độ xác mơ hình thể Bảng 3.1 sau: Bảng 3.1: Bảng tổng hợp kết nhận dạng đánh giá độ xác mơ hình Mơi trường TN Kết TN Mơi trường bình thường Mơi trường Mơi trường Môi trường thiếu ánh đối tượng đối tượng sáng bị che bị che khuất 1/3 khuất 1/2 Số ảnh nhận dạng 138 68 102 44 Số ảnh nhận dạng nhầm 7 10 Số ảnh không nhận dạng 34 21 55 139 109 130 109 99,28% 62,38% 78,46% 40,36% Tổng số ảnh đưa vào nhận dạng Độ xác nhận dạng Chú thích: TN - thực nghiệm Như vậy, sau huấn luyện cho mơ hình Faster R-CNN học nhận dạng với 10 loài hoa khác nhau, kết sau thực nghiệm cho thấy độ xác (ĐCX) nhận dạng tổng thể mơ hình giảm dần độ nhiễu đầu vào nhận dạng tăng lên ảnh bị che khuất 1/3 có độ xác nhận dạng 78,46% ảnh bị che khuất 1/2 độ xác nhận dạng 40,36%, số mẫu mà mơ hình khơng nhận dạng tăng tương ứng 21 mẫu 55 mẫu Đối với ảnh mơi trường thiếu ánh sáng độ xác nhận dạng 62,38% với 34 mẫu không nhận dạng Như vậy, với ảnh đưa vào nhận dạng không bị nhiễu (mơi trường có ánh sáng tốt) mơ hình cho kết 56 nhận dạng xác cao với độ xác 99,28% có mẫu không nhận dạng Với kết ứng dụng mơ hình để nhận dạng hệ động thực vật rừng phục vụ giảng dạy nghiên cứu, đặc biệt công tác kiểm kê, thống kê tài nguyên rừng Hiện nay, công tác điều tra kiểm kê tài nguyên rừng, việc nhận diện lồi thực vật, động vật, trùng,… chủ yếu người thực Đây công việc thật vất vả công việc điều tra thường thực diện tích lớn số lượng điều tra nhiều Hơn nữa, chuyên gia phụ trách lĩnh vực chuyên môn việc định danh lồi thực vật, động vật, trùng,… không nhiều, đơn vị quản lý tài nguyên rừng thiếu chuyên gia giỏi Do đó, cần hỗ trợ từ cơng nghệ đại trí tuệ nhân tạo việc nhận dạng, định danh loài động thực vật, việc làm mà lâu người đảm nhận Việc làm tương lai drone thực mang lại nhiều thuận lợi hiệu 3.4.1.2 Thực nghiệm nhận dạng người, xe ô tô, xe máy, xe đạp Tác giả tiếp tục thực nghiệm nhận dạng mô hình với đối tượng người, xe tô, xe máy, xe đạp Và kết thực nghiệm thể Hình 3.21 sau: Hình 3.21: Kết nhận dạng đối tượng: a) người; b) xe ô tô, người; c) xe máy, người; d) xe đạp, người 57 Từ kết Hình 3.21 ta thấy mơ hình nhận dạng hầu hết tất đối tượng người, xe ô tô, xe máy xe đạp Tỉ lệ nhận dạng mơ hình với độ xác cao, người có độ xác nhận dạng thấp 72%, cao đạt 99% Tương tự, xe ô tô đạt 83% 97%; xe máy 63% 93%; xe đạp 95% 96% tương ứng 3.4.2 Thực nghiệm mơ hình với đối tượng di động Với đối tượng tĩnh tác giả thực Mục 3.4.1 Sự khác biệt đối tượng tĩnh di động hiểu sau: - Đối tượng tĩnh (hay ảnh tĩnh) đối tượng luôn cố định vị trí theo thời gian (hay cố định nội dung ảnh) - Đối tượng di động đối tượng ln thay đổi vị trí theo thời gian (hay ảnh động kết hợp xâu chuỗi nhiều ảnh tĩnh thời gian ngắn) Như vậy, đối tượng di động mà tác giả đưa vào cho mơ hình thực nghiệm video có tốc độ chụp từ 25 đến 30 hình ảnh giây, hình ảnh ghép xâu chuỗi liên tục 3.4.2.1 Thực nghiệm loài hoa di động Đối tượng di động tác giả lấy từ nguồn video quay đối tượng loài hoa di động Nguồn video lấy từ mạng internet để đưa vào cho mơ hình nhận dạng, video quay Flycam người Để thực nghiệm tác giả tải đoạn video loài hoa cẩm tú cầu di động địa (https://www.youtube.com/watch?v=uYXfkVMZQCM), hình ảnh lồi hoa cẩm tú cầu video tác giả chụp lại thể Hình 3.22 Sau đưa vào mơ hình nhận dạng tác giả sử dụng phần mềm Bandicam quay video q trình nhận dạng đối tượng lồi hoa cẩm tú cầu di động, hình ảnh nhận dạng từ video tác giả chụp lại Hình 3.23 58 Hình 3.22: Nguồn video hoa cẩm tú cầu di động Hình 3.23: Kết nhận dạng hoa cẩm tú cầu mô hình Tại Hình 3.23 ta thấy, kết nhận loài hoa gán tên Hydrangeas (hoa cẩm tú cầu), hình ảnh có nhiều bơng hoa cẩm tú cầu mơ hình nhận 59 dạng tám hoa, hạn chế nghiên cứu số bơng hoa có khoảng chụp xa bị nhiễu mơ hình khơng nhận dạng 3.4.2.2 Thực nghiệm số đối tượng di động người, xe ô tô, xe máy Video đưa vào thực nghiệm tác giả tải từ nguồn Youtube địa (https://www.youtube.com/watch?v=hmtqseDQ1cM), hình ảnh đối tượng video thể Hình 3.24 Tương tự, sau đưa vào mơ hình nhận dạng tác giả sử dụng phần mềm Bandicam quay video trình nhận dạng đối tượng di động, hình ảnh nhận dạng từ video tác giả chụp lại Hình 3.25 Hình 3.24: Nguồn video người, xe di động 60 Hình 3.25: Kết nhận dạng người, xe di động mơ hình Tại Hình 3.25 cho thấy mơ hình Faster R-CNN nhận dạng đối tượng người (person), xe ô tô (car), xe mô tô (motorcycle) Tuy nhiên, có nhiều đối tượng chưa nhận dạng dó đối tượng nhỏ, đối tượng xa, đối tượng bị che khuất Đây khó khăn lớn nghiên cứu này, để mơ hình nhận dạng đối tượng cần phải xây dựng thêm tập sở liệu cho mơ hình học, ngồi cịn cần phải có cấu hình phần cứng tương xứng Như vậy, đối tượng di động mơ hình nhận dạng thông qua thực nghiệm Mục 3.4.2.1 Mục 3.4.2.2 Việc đánh giá độ xác nhận dạng đối tượng di động tác giả chưa thể thực có khó khăn trình tạo tình huấn thực nghiệm để kiểm tra độ xác nhận dạng mơ hình Phần tác giả triển khai thực nghiên cứu 61 KẾT LUẬN Thuận lợi đề tài Đây hướng nghiên cứu bước đầu tác giả thực nghiệm thành cơng cho mơ hình thuật tốn mạng Faster R-CNN nhận dạng cho đối tượng tĩnh di động Qua đưa đánh giá độ xác mơ hình với đối tượng tĩnh với đầu vào trạng thái bình thường nhiễu Hạn chế đề tài Môi trường thực nghiệm mô hình có cấu hình chưa đủ mạnh nên chưa thể thực liệu đầu vào có dung lượng lớn Chưa đưa đánh giá độ xác nhận dạng mơ hình với đối tượng di động Chưa đánh giá ảnh hưởng khoản cách chụp ảnh đến độ xác nhận dạng mơ hình Kết đạt Xây dựng hồn thiện mơ hình nhận dạng đối tượng tĩnh di động Thực nghiệm mơ hình Faster R-CNN nhận dạng đối tượng tĩnh di động Đánh giá độ xác nhận dạng mơ hình Faster R-CNN với trạng thái khác hình ảnh đưa vào nhận dạng: Ảnh mơi trường có ánh sáng tốt; ảnh bị che khuất 1/3; ảnh bị che khuất 1/2; ảnh môi trường thiếu ánh sáng Kết cho, độ xác đạt 99,28%, 78,46%, 40,36% 62,38% tương ứng với trạng thái Một báo đăng Hội thảo Khoa học Quốc gia “Ứng dụng cơng nghệ Cơng trình xanh” - lần thứ 5, năm 2019, Trường Đại học Sư phạm Kỹ thuật – Đại học Đà Nẵng tổ chức vào ngày 15 tháng 11 năm 2019 Một báo đăng Tạp chí Khoa học Cơng nghệ - Đại học Đà Nẵng Mã số tạp chí phát hành: VOL 17, NO 11, 2019 (24/12/2019), mã số báo: JSTUD2019-146 Hướng phát triển đề tài 62 Nghiên cứu chưa đánh giá ảnh hưởng khoảng cách chụp ảnh đến độ xác nhận dạng mơ hình, nghiên cứu sau cần đánh giá thêm trường hợp Nghiên cứu chưa thực nghiệm đánh giá đối tượng di động chế độ bình thường nhiễu, tác giả triển khai thực nghiên cứu Hiện nay, vấn đề cải tiến để nâng cao độ xác ảnh đầu vào bị nhiễu chưa có giải pháp hiệu chưa thấy có nghiên cứu xử lý vấn đề công bố Do vậy, nghiên cứu đưa giải pháp khắc phục độ xác nhận dạng mơi trường nhiễu 63 TÀI LIỆU THAM KHẢO [1] J Bouvrie, “Notes on Convolutional Neural Networks,” Massachusetts Inst Technol Cambridge, MA 02139, 2006 [2] S Tang, “Object Detection based on Convolutional Neural Network,” p 8, 2015 [3] T Liu, S Fang, Y Zhao, P Wang, and J Zhang, “Implementation of Training Convolutional Neural Networks,” arXiv:1506.01195v2, 2015 [4] R Girshick, J Donahue, T Darrell, and J Malik, “Rich feature hierarchies for accurate object detection and semantic segmentation,” Proc IEEE Comput Soc Conf Comput Vis Pattern Recognit., pp 580–587, 2014 [5] K Lenc and A Vedaldi, “R-CNN minus R,” pp 5.1-5.12, 2015 [6] J Liu, D Wang, Z Wei, L Lu, L Kim, and R Summers, “Colitis detection on computed tomography using regional convolutional neural networks,” 2016 IEEE 13th Int Symp Biomed Imaging, pp 863–866, 2016 [7] R Girshick, “Fast R-CNN,” Proc IEEE Int Conf Comput Vis., vol 2015 Inter, pp 1440–1448, 2015 [8] S Ren, K He, R Girshick, and J Sun, “Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks,” IEEE Trans Pattern Anal Mach Intell., vol 39, no 6, pp 1137–1149, 2017 [9] R Gavrilescu, C Fo, C Zet, and D Cotovanu, “Faster R-CNN : an Approach to Real-Time Object Detection,” 2018 Int Conf Expo Electr Power Eng., pp 165– 168, 2018 [10] F R.-C R-CNN, Fast R-CNN, “R-CNN Test-Time Speed,” [Online].Available: https://towardsdatascience.com/r-cnn-fast-r-cnn-faster-r-cnn-yolo-objectdetection-algorithms-36d53571365e [11] Internet, “‘Neural Networks and Deep learning,’” [Online].Available: http://neuralnetworksanddeeplearning.com/index.html, 2015 [Online] Available: http://neuralnetworksanddeeplearning.com/chap4.html [12] L OpenCV, “Selective Search for Object Detection (C++ / Python),” 2017 [Online] Available: https://www.learnopencv.com/selective-search-for-objectdetection-cpp-python/ [13] W Pages, “Phần mềm https://developer.nvidia.com/cuda-gpus CUDA,” [Online].Available: [14] W Pages, “Phần mềm Anaconda,” https://nttuan8.com/huong-dan-cai-dat-anaconda/ [Online].Available: [15] W Pages, “Phần mềm Python,” [Online].Available: https://quantrimang.com/cach-cai-dat-python-tren-windows-macos-linux140625 [16] W Pages, “Phần mềm Tensorflow,” [Online].Available: https://vn.appsgcp.com/huong-da%CC%83n-cai-da%CC%A3t-tensorflow-tren-window/ 64 65 ... 4.2 Phương pháp nghiên cứu Nội dung nghiên cứu CHƯƠNG - MẠNG NƠ RON VÀ MẠNG NƠ RON TÍCH CHẬP 1.1 Mạng Nơ ron 1.2 Mạng Nơ ron tích chập (CNN) ... Mạng Nơ ron mạng Nơ ron tích chập Chương 2: Tổng quan thuật tốn nhận dạng Chương 3: Ứng dụng mạng Nơ ron tích chập nhận dạng đối tượng di động Kết luận CHƯƠNG - MẠNG NƠ RON VÀ MẠNG NƠ RON TÍCH... nghiên cứu - Nghiên cứu kỹ thuật nhận dạng đối tượng từ hình ảnh - Nghiên cứu nhận dạng đối tượng tĩnh di động Cách tiếp cận, phương pháp nghiên cứu 4.1 Cách tiếp cận - Tìm hiểu nghiên cứu tài