Ứng dụng công nghệ nhận dạng hình ảnh để ước lượng số chim yến ra vào nhà yến

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC NHA TRANG LƯƠNG CƠNG BÌNH ỨNG DỤNG CƠNG NGHỆ NHẬN DẠNG HÌNH ẢNH ĐỂ ƯỚC LƯỢNG SỐ CHIM YẾN RA VÀO NHÀ YẾN LUẬN VĂN THẠC SĨ KHÁNH HÒA - 2020 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC NHA TRANG LƯƠNG CƠNG BÌNH ỨNG DỤNG CƠNG NGHỆ NHẬN DẠNG HÌNH ẢNH ĐỂ ƯỚC LƯỢNG SỐ CHIM YẾN RA VÀO NHÀ YẾN LUẬN VĂN THẠC SĨ Ngành: Công nghệ Thông tin Mã số: 8480201 Quyết định giao đề tài: 453/QĐ-ĐHNT ngày 04/5/2019 Quyết định thành lập HĐ: Ngày bảo vệ: 07/6/2020 Người hướng dẫn khoa học: TS ĐINH ĐỒNG LƯỠNG Chủ tịch Hội Đồng: TS NGUYỄN ĐỨC THUẦN Khoa sau đại học: KHÁNH HỊA - 2020 LỜI CAM ĐOAN Tơi xin cam đoan kết đề tài: “Ứng dụng cơng nghệ nhận dạng hình ảnh để ước lượng số chim yến vào nhà yến” cơng trình nghiên cứu cá nhân chưa cơng bố cơng trình khoa học khác thời điểm Khánh Hòa, ngày 20 tháng năm 2020 Tác giả luận văn Lương Công Bình i LỜI CẢM ƠN Sau hai năm học tập rèn luyện Trường Đại học Nha Trang, biết ơn kính trọng, tơi xin chân thành cảm ơn Ban Giám hiệu, Khoa Sau đại học, Khoa Công nghệ Thông tin thuộc Trường Đại học Nha Trang q Thầy/Cơ nhiệt tình giảng dạy tạo điều kiện thuận lợi giúp đỡ tơi q trình học tập làm luận văn Đặc biệt, xin bày tỏ lòng biết ơn lời cảm ơn sâu sắc tới TS Đinh Đồng Lưỡng, người tận tình hướng dẫn động viên tơi suốt q trình nghiên cứu hoàn thành luận văn Xin chân thành cảm ơn Ban lãnh đạo Công ty Yến sào Khánh Hịa; Ban Giám đốc Trung tâm Kỹ thuật Cơng nghệ ni chim yến Sanatech; Các đồng nghiệp Phịng Khoa học Cơng nghệ Cơng ty Yến sào Khánh Hịa giúp đỡ, tạo điều kiện thuận lợi để tơi hồn thành luận văn Mặc dù cố gắng, luận văn khơng tránh khỏi thiếu sót, hạn chế; Tơi kính mong Q thầy cơ, chun gia, người quan tâm đến đề tài, đồng nghiệp, gia đình bạn bè tiếp tục có ý kiến đóng góp để đề tài hồn thiện Cuối tơi xin gửi lời cảm ơn chân thành đến gia đình tất bạn bè giúp đỡ, động viên tơi suốt q trình học tập thực đề tài Tơi xin chân thành cảm ơn! Khánh Hịa, ngày 20 tháng năm 2020 Tác giả luận văn Lương Cơng Bình ii MỤC LỤC LỜI CAM ĐOAN .i LỜI CẢM ƠN ii MỤC LỤC iii DANH MỤC KÝ HIỆU v DANH MỤC CHỮ VIẾT TẮT vi MỞ ĐẦU Chương TỔNG QUAN VỀ ĐỀ TÀI 1.1 Nhận dạng đối tượng .4 1.2 Các nghiên cứu nhận dạng đếm đối tượng .5 1.3 Tổng quan camera quan sát 1.3.1 Khái niệm 1.3.2 Phân loại 1.3.3 Những yếu tố quan trọng 1.3.3.1 Tầm quan sát góc quan sát 1.3.3.2 Độ phân giải .7 1.3.3.3 Khả quan sát ban đêm Camera 1.4 Các công cụ hỗ trợ nhận dạng đối tượng 1.4.1 Thư viện ImageAI 1.4.2 Giới thiệu LabelImg 10 1.4.3 Giới thiệu Google Colab .10 1.4.4 TensorFlow 10 1.4.5 OpenCV 11 Chương CƠ SỞ KHOA HỌC VỀ CHIM YẾN VÀ NHÀ YẾN .12 2.1 Đặc điểm hình thái chim yến 12 2.1.1 Hình thái chim yến đảo 12 2.1.2 Hình thái chim yến nhà 12 2.2 Đặc điểm sinh thái học chim yến 13 2.2.1 Sinh thái học chim yến đảo 13 2.2.2 Sinh thái học chim yến nhà 15 2.3 Kỹ thuật xây dựng nhà yến 15 2.3.1 Chọn vị trí mơ hình nhà ni chim yến 15 2.3.2 Lắp đặt trang thiết bị nhà yến .17 2.3.2.1 Lắp đặt hệ thống giá tổ 17 iii 2.3.2.2 Lắp đặt thiết bị âm 18 2.3.2.3 Lắp đặt thiết bị phun sương tạo độ ẩm 19 2.3.3 Vận hành nhà yến 19 Chương PHÂN TÍCH BÀI TOÁN 20 3.1 Thu thập liệu 20 3.2 Xây dựng liệu 21 3.3 Huấn luyện mơ hình 24 3.3.1 Chuẩn bị huấn luyện mô hình 24 3.3.2 Sử dụng Google Colab để huấn luyện mơ hình 26 3.4 Nhận dạng chim yến 28 3.5 Ước lượng số chim yến .29 3.6 Ưu điểm phương pháp nghiên cứu: 29 Chương TRIỂN KHAI MƠ HÌNH ỨNG DỤNG ƯỚC LƯỢNG SỐ CHIM YẾN 30 4.1 Huấn luyện mơ hình phát chim yến 30 4.2 Kết nhận dạng chim yến 34 4.3 Đánh giá mơ hình nhận dạng .41 4.4 Kết ước lượng số lượng chim yến phòng .42 4.4.1 Xây dựng sở liệu 42 4.4.2 Cài đặt lấy hình ảnh từ camera nhà yến đếm số lượng chim .43 4.4.2.1 Kết nối camera OpenCV 43 4.4.2.2 Đếm số lượng chim yến 46 4.4.3 Xây dựng webservice để lấy liệu từ sở liệu 47 4.4.4 Xây dựng website vẽ biểu đồ ước lượng số lượng chim theo thời gian .52 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 54 Kết luận: .54 Hướng phát triển: .55 PHỤ LỤC 56 TÀI LIỆU THAM KHẢO .63 iv DANH MỤC KÝ HIỆU Lux : Đơn vị đo cường độ ánh sáng dB : Đơn vị đo cường độ âm R : Bán kính tổ yến h : Giờ v DANH MỤC CHỮ VIẾT TẮT Viết tắt Nghĩa tiếng Anh Nghĩa tiếng Việt AI Artificial Intelligence Trí tuệ nhân tạo TV Television Ti vi IP App Internet Protocol Giao thức mạng Application Ứng dụng CCD Charge Coupled Device Linh kiện tích điện kép CMOS Complementary Metal-Oxide Semiconductor Chất bán dẫn oxit kim loại bổ sung WAN Wide Area Network Mạng diện rộng LAN Local Area Network Mạng cục TVL Television Line Màn hình ngang HD High Definition Độ nét cao LED Light Emitting Diode Đi ốt phát quang YOLO You Only Look Once Thư viện nhận dạng đối tượng COCO Common Objects in Context Bộ liệu phát hiện, phân đoạn thích đối tượng quy mô lớn XML eXtensible Markup Language Ngôn ngữ đánh dấu mở rộng GPU Graphics Processing Unit Bộ xử lý chuyên dụng nhận nhiệm vụ tăng tốc Google Colab Google Colaboratory Dịch vụ đám mây miễn phí Google SSD Single Shot Detector Máy dò lần YOLO You only Look Once Bạn nhìn lần CY Chim Yến CPU Central Processing Unit CUDA Compute Unified Device Architecture Kiến trúc thiết bị tính tốn hợp VD BSD Bộ xử lý trung tâm Ví dụ Berkeley Software Distribution vi Phân phối Berkeley phần mềm OpenCV Open Computer Vision Thư viện mã nguồn mở hàng đầu cho xử lý thị giác máy tính JSON JavaScript Object Notation Kiểu liệu JavaScript mở R-CNN Regional Convolutional Neural Network Mạng lưới thần chuyển đổi khu vực kinh API Application Programming Interface Giao diện lập trình ứng dụng Cơ sở liệu CSDL HTML HyperText Markup Language Ngôn ngữ đánh dấu siêu văn CVG Scalable Vector Graphics Đồ họa vectơ mở rộng CY Chim yến RTSP Real Time Streaming Protocol Giao thức truyền tin thời gian thực VCR Video Cassette Recorder Máy ghi băng video HTTP Hypertext Transfer Protocol Giao thức truyền tải siêu văn MIME Multipurpose Internet Mail Extensions Tiện ích mở rộng thư Internet đa SMPTE Society of Motion Television Engineers ID Identification Nhận biết URL Uniform Resource Locator Định vị tài nguyên thống TPU Tensor Processing Unit Bộ xử lý dành cho trí tuệ nhân tạo ToT Internet of Things Internet vạn vật Picture vii and Hiệp hội kỹ sư điện ảnh truyền hình DANH MỤC HÌNH Hình 1.1 Các loại camera quan sát Hình 1.2 Kết phát đối tượng ImageAI [13] .8 Hình 1.3 Kết đối tượng phát [13] .9 Hình 1.4 Giao diện cách thích đối tượng LabelImg [14] 10 Hình 2.1 Đặc điểm hình thái chim yến đảo Aerodramus ficuphagus 12 Hình 2.2 Đặc điểm hình thái chim yến nhà nhìn phía trước 13 Hình 2.3 Chim yến nằm sát vách đá buổi tối .14 Hình 2.4 Mơ hình bên nhà yến 16 Hình 2.5 Mơ hình núi yến nhân tạo diện tích đáy 300 m2, cao 15 m 17 Hình 2.6 Hệ thống giá tổ nhà yến .17 Hình 2.7 Máy phát âm đa 18 Hình 2.8 Loa chuyên dụng bên nhà yến .18 Hình 2.9 Lắp đặt hệ thống phun sương bên nhà yến 19 Hình 3.1 Sơ đồ nhận dạng ước lượng chim yến 20 Hình 3.2 Vị trí hai camera lắp đặt nhà yến Vĩnh Phương 20 Hình 3.3 Ảnh bên nhà yến camera vào lúc 14h ngày 9/11/2019 21 Hình 3.4 Ảnh bên nhà yến camera vào lúc 19h ngày 9/11/2019 21 Hình 3.5 Ảnh bên nhà yến camera có vị trí lắp chưa phù hợp .21 Hình 3.6 Ảnh dùng để huấn luyện mơ hình 21 Hình 3.7 Kết định vị, gán nhãn cho chim yến ảnh sử dụng phần mềm LabelImg 22 Hình 3.8 Thơng tin GPU máy tính sử dụng để huấn luyện mơ hình .25 Hình 3.9 Các bước tạo notebook google colab 27 Hình 3.10 Phần cài đặt GPU .27 Hình 3.11 Giao diện làm việc Google Colab 28 Hình 4.1 Ảnh thu nhận từ camera quan sát đưa vào nhận dạng 35 Hình 4.2 Kết nhận dạng chim yến ảnh 35 Hình 4.3 Mơ hình liệu lưu thông tin nhà yến 42 Hình 4.4 Mơ hình hệ thống nhận dạng ước lượng số chim yến 43 Hình 4.5 Trang đăng nhập cấu hình Camera Hik Vision .45 Hình 4.6 Trang cấu hình giao thức RTSP 45 Hình 4.7 Ảnh thu từ camera nhà yến Vĩnh Phương, Nha Trang 46 viii primaryKey: true }, IDNhaYen:{type: Sequelize.INTEGER,}, ThoiGian:{type: Sequelize.DATE}, SLChim:{type: Sequelize.INTEGER}}, { timestamps: false, freezeTableName: true, tableName:'ThongKeChim' }) module.exports=ThongKeChim; (3) Tạo Controller: Controller đóng vai trị handler tiếp nhận yêu cầu thông qua router giải Bạn tạo file có tên ThongKeChimController.js thư mục Controller viết code bên dưới: const Sequelize= require('sequelize'); const express = require('express'); const router = express.Router(); const db = require(' /config/database'); const ThongKeChim = require(' /Model/ThongKeChim'); exports.list_all_thongke = function (req, res) { const DateFrom=req.query.from; const DateTo=req.query.to; const IDNY=req.query.id; var dfNgay=parseInt(DateFrom.substring(0, 2)) ; var dfThang=DateFrom.substring(2, 4); var dfNam=DateFrom.substring(4, 8); 50 var ngayfrom= new Date(dfNam+'/'+dfThang+'/'+dfNgay); var dtNgay=parseInt(DateTo.substring(0, 2))+1 ; var dtThang=DateTo.substring(2, 4); var dtNam=DateTo.substring(4, 8); var ngayto = new Date(dtNam+'/'+dtThang+'/'+dtNgay); ThongKeChim.findAll({where:{IDNhaYen:IDNY, ThoiGian:{[Sequelize.Op.between]:[ngayfrom,ngayto]}}}) then(ThongKeChim=>{ res.json(ThongKeChim);}) catch(err=>console.log(err));}; (4) Tạo Route: Định tuyết việc bạn định gắn URL (Bao gồm path method) đến controller method cụ thể (Handle function) Để định tuyến cho controller ThongKeChim, bạn tạo file ThongKeChimRoute.js thư mục Route gõ vào đoạn mã sau: module.exports = function (app) { var todoList = require(' /controller/ThongKeChimsController'); app.route('/ThongKeChim/:taskId') get(todoList.list_all_thongke); c) Khởi chạy ứng dụng: Tại thư mục gốc ứng dụng bạn chạy lệnh npm run dev thứ tốt bạn nhận câu thông báo sau: 51 Hình 4.11 Nội dung thơng báo khởi chạy ứng dụng thành công Dưới kết truy vấn liệu trả định dạng XML Hình 4.12 Kết truy vấn liệu trả định dạng XML 4.4.4 Xây dựng website vẽ biểu đồ ước lượng số lượng chim theo thời gian Để vẽ biểu đồ biến thiên số lượng chim yến ngày, chúng tơi sử dụng thư viện CanvasJS Hình 4.13 Biểu đồ biến thiên số lượng chim yến phòng nhà yến Vĩnh Phương, Nha Trang 52 Qua hình 4.13 ta thấy biến thiên số lượng chim yến phòng nhà yến theo thời gian thực Số lượng chim yến phòng nhà yến Vĩnh Phương, Nha Trang khoảng 300 Chim yến bắt đầu rời nhà kiếm ăn từ lúc 5h30 đến 6h, bắt đầu nhà từ 18h Trong khoảng thời gian từ 6h đến 18h có từ 10 đến 50 chim nhà, điều giải thích chim mẹ cho chim ăn chim nhà yến khác vào tham quan 53 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN Kết luận: Về mặt lý thuyết: Đề tài trình bày kiến kiến thức liên quan hệ thống nhận dạng đối tượng gồm camera quan sát, phân loại camera quan sát, yếu tố quan trọng camera quan sát, sở khoa học loại chim yến kiến trúc nhà yến Đề tài trình bày cơng cụ hỗ trợ nhận dạng đối tượng sử dụng phổ biến như: ImageAI thư viện mã nguồn mở xây dựng để trao quyền cho nhà phát triển xây dựng ứng dụng hệ thống với khả Deep Learning Computer Vision độc lập cách sử dụng dòng mã đơn giản vài dòng ImageAI cho phép người dùng tùy chỉnh để huấn luyện mơ hình để thực phát đối tượng LabelImg công cụ thích hình ảnh đồ họa Các thích lưu dạng tệp XML định dạng PASCAL VOC Google Colab dịch vụ đám mây miễn phí Google nhằm hỗ trợ cộng đồng nghiên cứu AI phát triển ứng dụng deep learning việc cung cấp GPU TPU miễn phí TensorFlow thư viện mã nguồn mở dành cho máy học nhiều loại hình tác vụ nhận thức OpenCV thư viện mã nguồn mở hàng đầu cho thị giác máy tính, xử lý ảnh máy học, tính tăng tốc GPU hoạt động thời gian thực Về mặt triển khai mơ hình ứng dụng: Chúng tơi xây dựng mơ hình nhận dạng ước lượng số chim yến vào nhà yến Đề tài trình bày cách tiếp cận học có giám sát thơng qua việc huấn luyện mơ hình dự đốn chim yến, nhận dạng chim yến bên nhà yến có độ xác cao, ước lượng số lượng nhà yến thông qua biểu diễn biểu đồ theo thời gian Kết sở hỗ trợ vào công tác quản lý vận hành nhà yến thông minh, giúp người vận hành nhà yến đưa định khai thác tổ yến hiệu Đồng thời kết công cụ hữu hiệu để khảo sát đánh giá tính hiệu việc sử dụng trang thiết bị dẫn dụ chim yến thông qua ước lượng số chim tham quan lại nhà yến Kết đề tài đăng báo cáo Hội thảo khoa học Công nghệ thông tin Truyền thông ICT2019 54 Hướng phát triển: Thực nghiên cứu ứng dụng cơng nghệ IoT nhận dạng hình ảnh để xây dựng hệ thống nhận dạng (chim yến, tổ yến), giám sát (nhiệt độ, độ ẩm, âm thanh) điều khiển thiết bị bên nhà nuôi chim yến qua mạng internet Nghiên cứu ứng dụng công nghệ nhận dạng chim yến để nghiên cứu tập tính chim yến nhằm nâng cao hiệu công tác dẫn dụ chim yến di đàn chim yến Nghiên cứu ứng dụng công nghệ nhận dạng phát đối tượng vào hang yến nhà yến trái phép, góp phần bảo vệ an toàn hang yến, nhà yến 55 PHỤ LỤC Báo cáo Hội thảo khoa học Công nghệ thông tin Truyền thông ICT2019 56 57 58 59 60 61 62 TÀI LIỆU THAM KHẢO Tài liệu tiếng việt: [1] Lê Hữu Hoàng cộng sự, (2015) Kỹ thuật nuôi chim yến - khoa học thực tiễn Nhà xuất Khoa học Kỹ thuật [2] Lê Hữu Hoàng cộng sự, (2016) Kỹ thuật xây dựng nhà yến Nhà xuất Khoa học Kỹ thuật [3] Nguyễn Văn Trọng, (2019) Thực trạng quản lý phát triển nuôi chim yến Kỷ yếu Hội thảo khoa học Phát triển bền vững nghề nuôi chim yến Việt Nam [4] Lương Cơng Bình cộng sự, (2018) Khai thác phát triển nguồn gen chim yến đảo (Aerodramus fuciphagus germani Oustalet, 1878) phục vụ phát triển bền vững nghề chim yến Việt Nam Báo cáo tổng kết nhiệm vụ quỹ gen cấp quốc gia [5] Nguyễn Minh Triết cộng sự, (2017) Tự động nhận dạng số loại sâu bệnh bưởi sử dụng cơng nghệ ảnh Tạp chí khoa học Trường Đại học Cần Thơ Công nghệ thông tin: 88-95 Tài liệu tiếng anh: [6] M Baygin, M Karakose, and A Sarimaden (2014), ‘An Image Processing based Object Counting Approach for Machine Vision Application’ International Conference on Advances and Innovations in Engineering (ICAIE) [7] J Ni, Z Khan, and S Wang, ‘Automatic detection and counting of circular shaped overlapped objects using circular hough transform and contour detection (2016)’, World Congress on Intelligent Control and Automation (WCICA), China, pp 2902-2906 [8] S Rahman, and R Islam, ‘Counting objects in an image by marker controlled watershed segmentation and thresholding (2013)’, IEEE 3rd International Advance Computing Conference (IACC), India, pp 1251-1256 [9] S Subramanian, and L V Bhadrinarayana, ‘A Memory Efficient Algorithm for Real Time Object Counting (2009)’, IEEE International Advance Computing Conference (IACC), India, pp 245248 63 [10] P S Khude, and S S Pawar, ‘Object detection, tracking and counting using enhanced BMA on static background videos (2013)’, IEEE International Conference on Computational Intelligence and Computing Research (ICCIC), India, 2013 Các trang web: [11] Nhận diện vật thể với 10 dòng code sử dụng ImageAI (2018), truy cập ngày tháng 11 năm 2019, từ < https://viblo.asia/p/computer-vision-object-detection-nhandien-vat-the-chi-voi-10-dong-code-su-dung-imageai-naQZRbdjZvx> [12] Tổng quan camera quan sát (2018), truy cập ngày tháng năm 2020, từ [13] ImageAI (2018), truy cập ngày tháng 11 năm 2019, từ tháng 11 năm 2019, từ [14] labelImg (2015), truy cập ngày [15] Google Colab (2018), truy cập ngày tháng 11 năm 2019, từ [16] TensorFlow (2017), truy cập ngày tháng 11 năm 2019, từ [17] ‘OpenCV’ (2016) Wikipedia, truy cập ngày tháng năm 2020, từ [18] Sử dụng Google Colab với Tesla K80 GPU miễn phí (2018), truy cập ngày tháng 11 năm 2019, từ [19] Phát khuôn mặt dựa đặc trưng lồi lõm (2013), truy cập ngày 15 tháng 12 năm 2019, từ [20] ‘Real Time Streaming Protocol’ (2019) Wikipedia, truy cập ngày tháng năm 2020, từ 64 ... nghiên cứu ứng dụng công nghệ nhận dạng hình ảnh để nhận dạng chim yến hỗ trợ ước lượng số chim nhà Mơ hình nhận dạng chim yến huấn luyện nhận dạng từ liệu ảnh thật thu từ camera quan sát nhà yến Chúng... nghiên cứu ? ?Ứng dụng công nghệ nhận dạng hình ảnh để ước lượng số chim yến vào nhà yến? ?? cần thiết, đặc biệt công nghệ nhận dạng để hỗ trợ định tự động bán tự động quản lý nhà ni chim yến việc làm... đưa vào nhận dạng 35 Hình 4.2 Kết nhận dạng chim yến ảnh 35 Hình 4.3 Mơ hình liệu lưu thông tin nhà yến 42 Hình 4.4 Mơ hình hệ thống nhận dạng ước lượng số chim yến 43 Hình