BÁO CÁO ĐỒ ÁN CHUYÊN NGÀNH 1 ĐỀ TÀI PHÁT TRIỂN ỨNG DỤNG BÉ YÊU ĐỘNG VẬT

TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG VIỆT – HÀN KHOA KHOA HỌC MÁY TÍNH - - BÁO CÁO ĐỒ ÁN CHUYÊN NGÀNH ĐỀ TÀI: PHÁT TRIỂN ỨNG DỤNG BÉ YÊU ĐỘNG VẬT Sinh viên thực : Nguyễn Duy Sỹ Nguyễn Thị Nguyệt Minh Lớp: 18IT5 + 18IT2 GVHD: TS Trần Văn Đại Đà Nẵng, tháng 12, năm 2021 TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG VIỆT – HÀN KHOA KHOA HỌC MÁY TÍNH - - BÁO CÁO ĐỒ ÁN CHUYÊN NGÀNH ĐỀ TÀI: PHÁT TRIỂN ỨNG DỤNG BÉ YÊU ĐỘNG VẬT Sinh viên thực : Nguyễn Duy Sỹ Nguyễn Thị Nguyệt Minh Lớp: 18IT5 + 18IT2 GVHD: TS Trần Văn Đại Đà Nẵng, tháng 12, năm 2021 NHẬN XÉT CỦA GIẢNG VIÊN HƯỚNG DẪN …………………………………………………………………………………… …………………………………………………………………………………… …………………………………………………………………………………… …………………………………………………………………………………… …………………………………………………………………………………… …………………………………………………………………………………… …………………………………………………………………………………… …………………………………………………………………………………… …………………………………………………………………………………… …………………………………………………………………………………… …………………………………………………………………………………… …………………………………………………………………………………… …………………………………………………………………………………… …………………………………………………………………………………… …………………………………………………………………………………… …………………………………………………………………………………… …………………………………………………………………………………… …………………………………………………………………………………… …………………………………………………………………………………… …………………………………………………………………………………… …………………………………………………………………………………… …………………………………………………………………………………… …………………………………………………………………………………… Chữ ký giảng viên hướng dẫn ……………………………… MỤC LỤC LỜI CẢM ƠN LỜI NÓI ĐẦU CHƯƠNG TỔNG QUAN VỀ ĐỀ TÀI .8 1.1 Giới thiệu đề tài 1.2 Lý chọn đề tài 1.3 Mục đích đề tài 1.4 Vấn đề cần giải 1.5 Đề xuất nội dung thực 1.6 Tổng quan xử lý ảnh .10 1.6.1 Xử lý ảnh gì? 10 1.6.2 Các trình xử lý ảnh 10 1.6.3 Những vấn đề hệ thống xử lý ảnh 12 1.7 Giới thiệu python 15 1.8 Giới thiệu thư viện 16 1.8.1 Tổ chức thư viện OpenCV 17 1.8.2 Hàm cho số chức cụ thể .18 1.9 Tìm hiểu Flutter 19 1.9.1 Ngơn ngữ DART gì? 19 1.9.2 Những thành phần Flutter 20 1.9.3 Những tính Flutter 20 1.9.4 Ưu nhược điểm Flutter 20 CHƯƠNG TÌM HIỂU VÀ PHÂN TÍCH THUẬT TỐN 22 2.1 Công nghệ nhận diện xử lí hình ảnh .22 2.1.1 Cơng nghệ nhận diện hình ảnh gì? 22 2.1.2 Mục đích việc sử dụng cơng nghệ hình ảnh 22 2.1.3 Các kỹ thuật xử lý hình ảnh kỹ thuật số phổ biến 23 2.2 Tổng quan Yolov5 24 2.2.1 Kiến trúc mạng YOLO 25 2.2.2 Nguyên lý hoạt động mạng YOLO 27 2.2.3 Output YOLO 27 2.2.4 Dự báo nhiều feature map 28 2.2.5 Anchor box 29 2.2.6 Hàm mát ( Loss Function) .31 2.2.7 Dự báo bounding box 33 2.2.8 Thuật toán sử dụng YOLOv5 35 2.3 Tìm hiểu Rest API 37 2.3.1 REST API gì? 37 2.3.2 Chức REST API gì? 38 2.3.3 Quy trình hoạt động REST API gì? 39 CHƯƠNG TRIỂN KHAI VÀ DEMO SẢN PHẨM 42 3.1 Cài đặt môi trường .42 3.1.1 Python Visual studio 42 CHƯƠNG ĐÁNH GIÁ KẾT QUẢ VÀ HƯỚNG PHÁT TRIỂN ĐỀ TÀI .43 4.1 Đánh giá kết đạt được: 43 4.2 Hướng phát triển đề tài: 44 4.3 Kết luận .44 TÀI LIỆU THAM KHẢO .45 MỤC LỤC HÌNH Ả Hình 1 Nhận diện hình ảnh Hình Quá trình xử lý ảnh Hình Các thành phần hệ thông xử lý ảnh Y Hình Những tác dụng việc sử dụng nhận dạng hình ảnh 18 Hình 2 Kiến trúc mạng YOLO 20 Hình Các layer mạng darknet-53 21 Hình Cách hoạt động mạng YOLO 22 Hình Cơng thức ngõ 22 Hình Kiến trúc output model YOLO 23 Hình Các feature maps mạng YOLOv3 24 Hình Xác định anchor box cho vật thể 25 Hình Khi vật thể người xe trùng mid point thuộc cell 26 Hình 10 Tính tốn Loss Function cho object: tam giác hình thoi 27 Hình 11 Công thức ước lượng bounding box từ anchor box 29 Hình 12 So sánh kích thước lưu trữ Model mẫu mã YOLOv5 31 Hình 13 So sánh độ trễ trung bình phiên YOLO(v3,v4,v5) 31 Hình 14 Cấu trúc nhận diện vật thể YOLOv5 .32 Hình 15 Rest API gì? .33 Hình 16 Cách thức hoạt động Rest AIP .34 Hình Cài đặt python 38 Hình Thiết kế giao diện ứng dụng 38 Hình Giao diện thông tin chi tiết 39 Hình 3 Giao diện thơng tin loài 39 Hình Giao diện trang hính 39 Hình Giao diện quét vật 39 LỜI CẢM ƠN Trên thực tế khơng có sự thành cơng mà không gắn liền với sự hỗ trợ, giúp đỡ dù hay nhiều, dù trực tiếp hay gián tiếp người khác Trong suốt quãng thời gian từ bắt đầu học tập tại giảng đường Trường Đại học Công nghệ thông tin Truyền thông Việt Hàn - Đại học Đà Nẵng, chúng đã nhận nhiều sự quan tâm, giúp đỡ thầy cô bạn Với lịng biết ơn sâu sắc nhất, nhóm chúng xin gửi lời cảm ơn chân thành tới tồn thể thầy giáo khoa Cơng nghệ thông tin truyền thông Đại học Việt Hàn, người đã dạy dỗ truyền đạt vốn kiến thức vơ q báu cho chúng tơi suốt quãng thời gian học tại Những tình cảm kiến thức mà thầy cô đã gửi trao cho chúng hành trang cho chúng để bước đoạn đường tương lai Nhóm chúng xin gửi lời cảm ơn sâu sắc tới Thầy Trần Văn Đại, người đã tận tình hỗ trợ dẫn dắt nhóm chúng tơi suốt q trình thực đồ án để có kết cách tốt Một lần nhóm chúng tơi xin chân thành cảm ơn! LỜI NĨI ĐẦU Trí tuệ nhân tạo (AI) xu hướng phát triển có nhiều tiềm lĩnh vực cơng nghệ thơng tin, nắm giữ vai trò chủ đạo dòng chảy công nghệ đại với nhiều ứng dụng lĩnh vực đời sống xã hội trợ lí ảo, nhà thông minh, xe tự lái, hệ thống nhận diện,… Nhận diện khuôn mặt một lĩnh vực nghiên cứu ngành thị giác máy tính, xem lĩnh vực nghiên cứu ngành sinh trắc học tương tự nhận dạng vân tay, hay nhận dạng mống mắt Nhận dạng hay nhận biết khả người loài vật, theo cách loài vật qua cảm nhận từ quan mắt, mũi, miệng, hành động nhìn nghe ngửi… cảm nhận đối tượng tiếp xúc với quen hay lạ Chính vậy, nói thể lồi vật hệ thống nhận dạng tối ưu Với sự phát triển khoa học công nghệ đặc biệt khoa học robot ngày mong ước tạo nhận dạng máy học có khả tương tự vượt trội hệ thống nhận dạng sinh học khát khao cháy bỏng nhà khoa học Một hệ thống nhân dạng đối tượng hệ thống nhận vào ảnh đoạn video (một chuỗi ảnh) Qua xử lý tính tốn hệ thống xác định vị trí đối tượng ảnh (nếu có) đối tượng số đối tượng hệ thống đã biết (qua trình học) đối tượng mới Yêu cầu đặt đối với hệ thống nhận dạng đối tượng độ xác cao, hệ thống địi hỏi phải có đặc trưng tốt Hệ thống phải chọn đặc trưng để biểu diễn tốt thông tin đối tượng cần nhận dạng Đồng thời đặc trưng phải tính tốn nhanh để khơng làm chậm q trình nhận dạng Thêm vào hệ thống phải có phương pháp học hiệu quả, có khả nhận biết mẫu mới không làm tốt mẫu đã học Đồ án môn học chúng gồm chương: Chương 1: Tổng quan đề tài Chương 2: Cơ sở lý thuyết Chương 3: Phân tích Chương 4: Đánh giá kết đạt hướng phát triển CHƯƠNG TỔNG QUAN VỀ ĐỀ TÀI 1.1 Giới thiệu đề tài Ngày nay, với tiến vượt bậc khoa học kỹ thuật nói chung, mơn khoa học xử lý ảnh đã thu thành tựu lớn lao chứng tỏ vai trị khơng thể thiếu với ứng dụng sâu rộng khoa học kỹ thuật đời sống xã hội Một phận khoa học xử lý ảnh lĩnh vực thị giác máy tính thu hút nhiều sự quan tâm nhà nghiên cứu xử lý ảnh với mục tiêu xây dựng nên giới hệ thống thị giác kỳ diệu người mơ hệ thống máy tính, đem lại khả cảm nhận thị giác cho hệ thống môi trường xung quanh Mơ ước hệ thống máy tính hoà nhập vào giới người với đầy đủ giác quan thị giác đóng vai trị quan trọng thực hoá với đóng góp nghiên cứu nhà khoa học phạm vi toàn giới 1.2 Lý chọn đề tài Trẻ em mầm non đất nước, đứa trẻ có quyền học tập vui chơi lành mạnh Nhưng để bé vừa chơi vừa học, vừa phát triển trí tuệ, cảm xúc thể chất ln mối bận tâm hàng đầu bậc phụ huynh Giai đoạn từ đến tuổi chương đời đứa trẻ lúc trưởng thành Đó giai đoạn bé nhìn giới với mắt đầy sự tị mị Trong đó, với nhịp sống ngày bận rộn, thời gian cha mẹ sát bên quan sát lại ít, độ phức tạp lượng kiến thức việc ni dạy trẻ lại tăng lên Trong vài năm trở lại đây, Object detection đề tài hot deep learning khả ứng dụng cao, liệu dễ chuẩn bị kết ứng dụng cực kì nhiều Các thuật tốn mới Object detection YOLO, SSD có tốc độ nhanh độ xác cao nên giúp cho Object Detection co thể thực tác vụ dường real time, chí nhanh so với người mà độ xác khơng giảm Các mơ hình trở nên nhẹ nên co thể hoạt động thiết bị IoT để tạo nên thiết bị thơng minh Với lý đó, nhóm đã suy nghĩ muốn xây dựng ứng dụng đa tảng kết hợp việc học chơi cho trẻ Nhằm thu hút trẻ tiếp cận thông tin cần thiết, giúp bé tìm hiểu thơng tin loài động vật cách hấp dẫn Đây nơi bé học kiến thức thông qua game sống động, vui tươi, câu truyện thú vị hay video độc đáo Chính vậy, nhóm đã chọn đề tài “ Xây dựng ứng dụng bé yêu động vât” để thực đồ án lần 1.3 Mục đích đề tài  Xây dựng phần mềm ứng dụng đa tảng nhận diện động vật  Tìm hiểu số thư viện opencv, phần mềm visual studio code, flutter  Tìm hiểu phương pháp nhận diện khn mặt( Face Detection)  Tìm hiểu phương pháp xử lý ảnh  Xây dựng số trò chơi động vật ứng dụng 1.4 Vấn đề cần giải Hệ thống nhận động vật ứng dụng máy tính tự động xác định nhận dạng người từ hình ảnh kỹ thuật số khung hình video từ nguồn video Một cách để thực điều so sánh đặc điểm khuôn mặt chọn trước từ hình ảnh sở liệu khuôn mặt Hệ thống thường sử dụng hệ thống an ninh so sánh với dạng sinh trắc học khác hệ thống nhận dạng vân tay hay trịng mắt Từ thu thập, phân tích tài liệu nhận dạng khn mặt, tìm hiểu phương pháp nhận dạng khuôn mặt, nghiên cứu công cụ xây dựng hệ thống 1.5 Đề xuất nội dung thực hiện Hình 1 Nhận diện hình ảnh Đối với đề tài Tìm hiểu, nghiên cứu thực xây dựng hệ thống nhận diện vật quen thuộc, giúp hỗ trợ trẻ em học hỏi tìm hiều thêm động vật Việc hệ thống nhận dạng xác việc quan trọng Đối với đề tài này, chúng em thực ... MÁY TÍNH - - BÁO CÁO ĐỒ ÁN CHUYÊN NGÀNH ĐỀ TÀI: PHÁT TRIỂN ỨNG DỤNG BÉ YÊU ĐỘNG VẬT Sinh viên thực : Nguyễn Duy Sỹ Nguyễn Thị Nguyệt Minh Lớp: 18 IT5 + 18 IT2 GVHD: TS Trần... QUAN VỀ ĐỀ TÀI .8 1. 1 Giới thiệu đề tài 1. 2 Lý chọn đề tài 1. 3 Mục đích đề tài 1. 4 Vấn đề cần giải 1. 5 Đề xuất nội dung thực 1. 6 Tổng... .10 1. 6 .1 Xử lý ảnh gì? 10 1. 6.2 Các trình xử lý ảnh 10 1. 6.3 Những vấn đề hệ thống xử lý ảnh 12 1. 7 Giới thiệu python 15 1. 8 Giới thiệu thư viện 16