Xây dựng ứng dụng iOS đếm vật thể mật độ cao trong hình ảnh dựa vào học máy và xử lý ảnh đồ án tốt nghiệp khoa đào tạo chất lượng cao ngành công nghệ thông tin

MỤC LỤC NHIỆM VỤ ĐỒ ÁN TỐT NGHIỆP i PHIẾU NHẬN XÉT CỦA GIÁO VIÊN HƯỚNG DẪN ii PHIẾU NHẬN XÉT CỦA GIÁO VIÊN PHẢN BIỆN iii LỜI CẢM ƠN iv TÓM TẮT v ABSTRACT vi MỤC LỤC vii DANH MỤC THUẬT NGỮ VÀ TỪ VIẾT TẮT xii DANH MỤC CÁC BẢNG BIỂU xiv DANH MỤC BIỂU ĐỒ VÀ HÌNH ẢNH xv Chương TỔNG QUAN 1.1 Mục tiêu 1.2 Nội dung 1.2.1 Tổng quan phương pháp đếm vật thể mật độ cao hình ảnh 1.2.2 Tổng quan SwiftUI framework 1.2.3 Tổng quan Flask, Gunicorn, SocketIO Flask-SocketIO Chương NỀN TẢNG LÝ THUYẾT VÀ CÔNG NGHỆ 2.1 Các phương pháp đếm vật thể 2.1.1 Phương pháp xử lý ảnh số thư viện OpenCV 2.1.2 Phương pháp kết hợp xử lý ảnh OpenCV DO-U-Net 2.1.3 Đếm sử dụng học máy neural networks 2.2 Server 2.2.1 Ngôn ngữ phát triển 2.2.2 Công cụ thực 2.2.3 Triển khai Server 10 vii 2.3 Client – iOS 11 2.3.1 Tính 11 2.3.2 Ngôn ngữ phát triển 11 2.3.3 Công nghệ sử dụng 12 2.3.4 Thư viện sử dụng 12 Chương 13 PHƯƠNG PHÁP ĐẾM VẬT THỂ TRONG HÌNH ẢNH 13 3.1 Xử lý ảnh số thư viện OpenCV 13 3.1.1 Giới thiệu OpenCV 13 3.1.2 Ứng dụng OpenCV 13 3.1.3 Cách sử dụng OpenCV để đếm vật thể 13 3.1.4 Kết 23 3.1.5 Đánh giá chi tiết 27 3.1.6 Kết luận 27 3.2 Phương pháp sử dụng Học máy Neural Networks 28 3.2.1 Keras RetinaNet 28 3.2.2 Precise Detection in Densely Packed Scenes – CVPR 2019 paper 30 3.2.3 Sử dụng phương pháp luận văn 34 Chương 38 MƠ HÌNH HỌC MÁY VÀ BỘ DỮ LIỆU 38 4.1 Bộ liệu thu thập, đánh nhãn đề tài 38 4.1.1 Dataset trứng 38 4.1.2 Dataset ống gỗ 38 4.1.3 Dataset thép hình trịn 39 4.1.4 Dataset đồng tiền 40 4.1.5 Dataset nắp chai 41 4.1.6 Dataset thùng giấy 42 4.1.7 Dataset ống thép hình chữ nhật 42 4.1.8 Dataset viên bi 43 4.1.9 Dataset hộp điện thoại 44 4.1.10 Dataset bàn phím 45 4.2 Model học máy huấn luyện đề tài 46 4.2.1 Trứng 46 4.2.2 Bi 49 4.2.3 Ống thép hình chữ nhật 52 4.2.4 Ống thép hình trịn 55 4.2.5 Thùng giấy 57 viii 4.2.6 Hộp điện thoại iPhone 60 4.2.7 Bàn phím 62 4.2.8 Khúc gỗ hình trịn 64 4.2.9 Đồng xu 67 4.2.10 Nắp chai 70 Chương 73 PYTHON SERVER 73 5.1 Flask, Gunicorn, Flask-SocketIO SocketIO 73 5.1.1 Giới thiệu 73 5.1.2 Cài đặt sử dụng 74 5.2 Tổng quan nguyên lý hoạt động 75 5.3 Các API 75 5.3.1 Đếm 75 5.3.2 Chuẩn bị 75 5.3.3 Upload 76 5.3.4 Thêm template 76 5.3.5 Xoá template 76 Chương 77 ỨNG DỤNG iOS 77 6.1 Công nghệ sử dụng - SwiftUI 77 6.1.1 Giới thiệu SwiftUI 77 6.1.2 Yêu cầu sử dụng 77 6.1.3 Cấu trúc SwiftUI 77 6.1.4 Ưu điểm SwiftUI 80 6.1.5 Nhược điểm SwiftUI 81 6.2 Đặc tả yêu cầu phần mềm 81 6.2.1 Mơ hình Usecase 81 6.2.2 Database Diagram 82 6.3 Tổng quan nguyên lý hoạt động 82 6.4 Các chức 82 6.4.1 Lựa chọn template cần đếm: 83 6.4.2 Lựa chọn hình ảnh đếm: 83 6.4.3 Lưu hiển thị lịch sử: 85 6.4.4 Đề xuất template mới: 86 6.4.5 Thêm, sửa, xoá template (Admin): 87 6.4.6 Đánh giá sau lần đếm 87 ix 6.5 Prototype 88 6.5.1 Screenflow 88 6.5.2 Danh sách hình 88 6.6 Đặc tả hình 90 6.6.1 SC01.Home Screen 90 6.6.2 SC02.Count Screen 93 6.6.3 SC03.Select Image Screen 95 6.6.4 SC04.Selected Image Screen 97 6.6.5 SC05.Change Image Screen 99 6.6.6 SC06.Count Result Screen 101 6.6.7 SC07.Share Result Screen 103 6.6.8 SC08.Tap Image Screen 105 6.6.9 SC09.Zoom Image Screen 107 6.6.10 SC10.Guest Tab Screen 109 6.6.11 SC11.Admin Tab Screen 111 6.6.12 SC12.User Tab Screen 113 6.6.13 SC13.Login Screen 115 6.6.14 SC14.Register Screen 117 6.6.15 SC15.Template List Screen 119 6.6.16 SC16.Remove Template Screen 121 6.6.17 SC17.Add Template Screen 123 6.6.18 SC18.Template Photo Added Screen 125 6.6.19 SC19.Propose Template Screen 127 6.6.20 SC20.Object Photo Added Screen 129 6.6.21 SC21.Count History Screen 131 6.6.22 SC22.Remove History Screen 132 6.7 Đặc tả sở liệu 134 Chương 136 KẾT QUẢ VÀ THỰC NGHIỆM 136 7.1 Kết 136 7.2 So sánh 164 7.2.1 So sánh với ứng dụng CountThings 164 7.2.2 So sánh với ứng dụng Mediscount 165 7.3 Thực nghiệm 166 7.4 Nhận xét phân tích 166 Chương 168 x TỔNG KẾT 168 8.1 Kết luận 168 8.2 Khó khăn 168 8.2.1 Khó khăn trình tìm hiểu phương pháp đếm 168 8.2.2 Khó khăn q trình xây dựng server triển khai server 168 8.2.3 Khó khăn trình chuẩn bị dataset 169 8.3 Hướng phát triển 169 8.3.1 Tăng độ xác 169 8.3.2 Giảm thời gian đếm 169 8.3.3 Cải tiến ứng dụng phía client 169 8.3.4 Cải tiến server 170 8.3.5 Thêm nhiều loại vật thể thiết thực 170 TÀI LIỆU THAM KHẢO 171 xi DANH MỤC THUẬT NGỮ VÀ TỪ VIẾT TẮT Từ viết tắt API: Application Programming Interface OpenCV: Open Source Computer Vision Library CVPR: Conference on Computer Vision and Pattern Recognition IoU: Intersection over Union WWDC: Apple Worldwide Developers Conference WSGI: Web Server Gatewate Interface SSL: Secure Sockets Layer IO: Input and Output OS: Operation System HTTP: Hypertext Transfer Protocol ILSVRC: ImageNet Large Scale Visual Recognition Challenge ResNet: Residual Network COCO: Common Objects in Context CNN: Convolutional Neural Network HSV: Hue Saturation Value XML: Extensible Markup Language CSV: Comma-Separated Values UI: User Interface UX: User Experience JSON: Javascript Object Notation SDK: Software Development Kit Thuật ngữ Framework: Bộ khung phát triển ứng dụng Cloud Service: Dịch vụ điện toán đám mây Source code: Mã nguồn Open Source: Mã nguồn mở Dataset: Tập liệu Model: Mơ hình Database: Cơ sở liệu Server: Máy chủ Client: Người dùng Admin: Người quản trị Function/Func: Hàm Application/App: Ứng dụng Mobile Application: Ứng dụng điện thoại Background Application: Ứng dụng chạy nền xii Foreground Application: Ứng dụng chạy Simulator: Thiết bị giả lập Device: Thiết bị Layer: Lớp Train: Học tập Predict: Dự đoán Convert Model: Chuyển đổi mơ hình Gradient Descent: Thuật toán lặp tối ưu Parameter: Tham số Output: Kết Cost Function: Hàm mát Training Set: Tập liệu huấn luyện Validation Set: Tập liệu xác thực Test Set: Tập kiểm tra Weight: Trọng số Epoch: Số lần thuật toán hoạt động mơ hình Kernel: Tham số mơ hình CNN sử dụng để tính toán chập Stride: Khoảng cách kernel quét Contour: Đường cong liên kết toàn các điểm liên tục nhận diện vật thể Template: Mẫu Confident: Độ tin cậy Bouding Box: Khung hình bao quanh vật thể Request: Yêu cầu Response: Phản hồi Lazy Loading: Kĩ thuật tải liệu cần thiết xiii DANH MỤC CÁC BẢNG BIỂU Bảng 6.1 Danh sách hình 90 Bảng 6.2 Chi tiết Home Screen 92 Bảng 6.3 Chi tiết Count Screen 94 Bảng 6.4 Chi tiết Select Image Screen 96 Bảng 6.5 Chi tiết Selected Image Screen 98 Bảng 6.6 Chi tiết Change Image Screen 100 Bảng 6.7 Chi tiết Count Result Screen 102 Bảng 6.8 Chi tiết Share Result Screen 104 Bảng 6.9 Chi tiết Tap Image Screen 106 Bảng 6.10 Chi tiết Zoom Image Screen 108 Bảng 6.11 Chi tiết Guest Tap Screen 110 Bảng 6.12 Chi tiết Admin Tab Screen 112 Bảng 6.13 Chi tiết User Tab Screen 114 Bảng 6.14 Chi tiết Login Screen 116 Bảng 6.15 Chi tiết Register Screen 118 Bảng 6.16 Chi tiết Template List Screen 120 Bảng 6.17 Chi tiết Remove Template Screen 122 Bảng 6.18 Chi tiết Add Template Screen 124 Bảng 6.19 Chi tiết Template Photo Add Screen 126 Bảng 6.20 Chi tiết Propose Template Screen 128 Bảng 6.21 Chi tiết Object Photo Added Screen 130 Bảng 6.22 Chi tiết Count History Screen 132 Bảng 6.23 Chi tiết Remove History Screen 134 Bảng 7.1 So sánh với CountThings 165 Bảng 7.2 So sánh với Mediscount 166 xiv DANH MỤC BIỂU ĐỒ VÀ HÌNH ẢNH Hình 2.1 Cấu trúc U-Net Hình 2.2 Minh hoạ DO-U-Net Hình 3.1 Ảnh đầu vào phương pháp OpenCV 14 Hình 3.2 Kết bước phương pháp OpenCV 15 Hình 3.3 Kết bước phương pháp OpenCV 15 Hình 3.4 Kết bước phương pháp OpenCV 16 Hình 3.5 Kết bước phương pháp OpenCV 17 Hình 3.6 Kết bước phương pháp OpenCV 18 Hình 3.7 Kết bước phương pháp OpenCV 19 Hình 3.8 Kết bước phương pháp OpenCV 20 Hình 3.9 Kết cách phương pháp OpenCV 21 Hình 3.10 Kết bước 8, cách phương pháp OpenCV 22 Hình 3.11 Kết bước 9, cách phương pháp OpenCV 22 Hình 3.12 Kết cách phương pháp OpenCV 23 Hình 3.13 Ví dụ kết thứ 24 Hình 3.14 Ví dụ kết thứ 25 Hình 3.15 Ví dụ kết thứ 25 Hình 3.16 Ví dụ kết thứ 26 Hình 3.17 Ví dụ kết sai thứ 26 Hình 3.18 Ví dụ kết sai thứ 27 Hình 3.19 Cấu trúc mạng Resnet 29 Hình 3.20 Minh hoạ SKU110K CVPR 32 Hình 3.21 Trực quan phương pháp sử dụng học máy 33 Hình 3.22 So sánh Dataset 34 Hình 3.23 Minh hoạ predict phương pháp học máy 36 Hình 3.24 Minh hoạ xử lý kết predict 36 Hình 4.1 Dataset trứng 38 Hình 4.2 Dataset gỗ 39 Hình 4.3 Dataset ống thép hình trịn 40 Hình 4.4 Dataset đồng xu 41 Hình 4.5 Dataset nắp chai 42 Hình 4.6 Dataset thùng giấy 42 Hình 4.7 Dataset ống thép hình chữ nhật 43 Hình 4.8 Dataset viên bi 44 Hình 4.9 Dataset hộp iPhone 45 xv Hình 4.10 Dataset bàn phím 46 Hình 4.11 Biểu đồ classification_loss model trứng 46 Hình 4.12 Biểu đồ loss model trứng 47 Hình 4.13 Biểu đồ regression_loss model trứng 47 Hình 4.14 Biểu đồ val_classification_loss model trứng 48 Hình 4.15 Biểu đồ val_regression_loss model trứng 48 Hình 4.16 Biểu đồ loss train IoU layer model trứng 49 Hình 4.17 Biểu đồ val_regression_loss train IoU layer model trứng 49 Hình 4.18 Biểu đồ classification_loss model viên bi 50 Hình 4.19 Biểu đồ loss model viên bi 50 Hình 4.20 Biểu đồ regression_loss model viên bi 51 Hình 4.21 Biểu đồ val_classification_loss model viên bi 51 Hình 4.22 Biểu đồ val_regression_loss model viên bi 52 Hình 4.23 Biểu đồ loss train IoU layer model viên bi 52 Hình 4.24 Biểu đồ classification_loss model ống thép hình chữ nhật 53 Hình 4.25 Biểu đồ loss model ống thép hình chữ nhật 53 Hình 4.26 Biểu đồ regression_loss model ống thép hình chữ nhật 54 Hình 4.27 Biểu đồ val_regression_loss model ống thép hình chữ nhật 54 Hình 4.28 Biểu đồ loss train IoU layer model ống thép hình chữ nhật 55 Hình 4.29 Biểu đồ classification_loss model ống thép hình trịn 55 Hình 4.30 Biểu đồ classification_loss model ống thép hình trịn 56 Hình 4.31 Biểu đồ regression_loss model ống thép hình trịn 56 Hình 4.32 Biểu đồ val_regression_loss model ống thép hình trịn 57 Hình 4.33 Biểu đồ loss train IoU layer model ống thép hình trịn 57 Hình 4.34 Biểu đồ classification loss model thùng giấy 58 Hình 4.35 Biểu đồ loss model thùng giấy 58 Hình 4.36 Biểu đồ Regression loss model thùng giấy 59 Hình 4.37 Biểu đồ Val_regression_loss model thùng giấy 59 Hình 4.38 Biểu đồ loss train IoU layer model thùng giấy 60 Hình 4.39 Biểu đồ classification_loss model hộp điện thoại iPhone 60 Hình 4.40 Biểu đồ loss model hộp điện thoại iPhone 61 Hình 4.41 Biểu đồ regression_loss model hộp điện thoại iPhone 61 Hình 4.42 Biểu đồ val_regression_loss model hộp điện thoại iPhone 62 Hình 4.43 Biểu đồ loss train IoU layer model hộp điện thoại iPhone 62 Hình 4.44 Biểu đồ classification_loss model bàn phím 63 Hình 4.45 Biểu đồ loss model bàn phím 63 Hình 4.46 Biểu đồ regression_loss model bàn phím 63 Hình 4.47 Biểu đồ val_regression_loss model bàn phím 64 Hình 4.48 Biểu đồ loss train IoU layer model bàn phím 64 Hình 4.49 Biểu đồ classification_loss model khúc gỗ hình trịn 65 xvi Chương 7: KẾT QUẢ VÀ THỰC NGHIỆM Hình 7.22 Kết ống thép hình chữ nhật 158 Chương 7: KẾT QUẢ VÀ THỰC NGHIỆM Hình 7.23 Kết ống thép tròn 159 Chương 7: KẾT QUẢ VÀ THỰC NGHIỆM Hình 7.24 Kết keyboard 160 Chương 7: KẾT QUẢ VÀ THỰC NGHIỆM Hình 7.25 Kết keyboard 161 Chương 7: KẾT QUẢ VÀ THỰC NGHIỆM Hình 7.26 Kết keyboard 162 Chương 7: KẾT QUẢ VÀ THỰC NGHIỆM Hình 7.27 Kết thùng giấy 163 Chương 7: KẾT QUẢ VÀ THỰC NGHIỆM 7.2 So sánh So sánh với ứng dụng đếm có mặt chợ ứng dụng 7.2.1 So sánh với ứng dụng CountThings Ứng dụng CountThings ứng dụng đếm vật thể đến từ công ty Dynamic Ventures, Inc Mỹ, phát hành năm 2011 với đội ngũ phát triển mạnh, ứng dụng ứng dụng đứng đầu lĩnh vực đếm vật thể mật độ cao Bảng chi tiết so sánh ứng dụng My Counter đề tài CountThings: Mục so sánh My Counter Cao CountThings Rất cao 75 giây 31 giây Tương đối Tương đối ít, đủ tính cần có 10 loại Chưa có giây giây Tương đối Nhiều, đầy đủ hầu hết các tính liên quan Hơn 500 loại Hoạt động tốt Độ xác Thời gian xử lý Thời gian đếm Giao điện Tính Số lượng template Chỉnh sửa kết 164 Chương 7: KẾT QUẢ VÀ THỰC NGHIỆM Xuất kết Giá thành Lưu hình ảnh, gửi hình ảnh Xuất file csv, lưu hình ảnh có banner Quá đắt $159.99 tháng Miễn phí $30.99 ngày gói pack $99.99 ngày gói pack $179 ngày gói 10 pack Bảng 7.1 So sánh với CountThings 7.2.2 So sánh với ứng dụng Mediscount Mediscount ứng dụng chợ ứng dụng dùng để đếm thuốc vật thể tương tự, thuộc công ty Medity Inc phát hành vào tháng 12 năm 2020 Ứng dụng có kết khá tốt chưa thực phổ biến, hầu hết sử dụng để đếm thuốc Bảng so sánh chi tiết ứng dụng My Counter Mediscount: Mục so sánh My Counter Mediscount Cao Cao Độ xác Thời gian xử lý Thời gian đếm 75 giây 31 giây giây giây 165 Chương 7: KẾT QUẢ VÀ THỰC NGHIỆM Giao điện Tương đối hợp lý Tương đối ít, cho phép Tương đối ít, đủ Tính chụp hình ảnh khơng đếm tính cần có ảnh có sẵn Số lượng template 10 loại Không xác định Chỉnh sửa kết Chưa có Khơng có Lưu hình ảnh, chia sẻ Lưu hình ảnh, chia sẻ hình Xuất kết hình ảnh ảnh Tương đối cao Giá thành Miễn phí $2.99 tháng $28.99 năm Bảng 7.2 So sánh với Mediscount 7.3 - 7.4 - - - Tương đối hợp lý Thực nghiệm Nhóm kiểm tra với nhiều hình ảnh thực tế tự chụp, kết đáng khả quan Nhóm kiểm tra với nhiều hình chụp từ cộng đồng, bạn bè đều cho kết tốt, tỉ lệ đưa kết sai thấp Thời gian đếm chưa thực nhanh, với hình khó người dùng đợi, cịn hình dễ đếm thủ cơng hệ thống tốn khoảng thời gian khá lâu, dẫn đến khó chịu người dùng thật Nhận xét phân tích Ứng dụng hoạt động tốt, trường hợp người dùng chọn sai template, ví dụ chọn đếm trứng lại đưa hình khoai tây vào ứng dụng nhận diện sai Tương tự trường hợp đếm trứng lẫn vào hình trứng củ khoai tây ngược lại gây sai kết Ứng dụng khuyến khích người dùng chọn template trước đếm, trường hợp người dùng cố tình thử thách lừa hệ thống khó kiểm soát chắn đưa kết sai Trong thực tế, trường hợp hi hữu khó xảy Và nhóm có giải pháp phát triển tính loại bỏ thêm thủ công cho kết Ứng dụng khuyến khích người dùng chụp đưa vào hình ảnh có các vật thể tách rời nhau, phải chụp diện khơng để khuất quá nhiều gây nhầm lẫn ảnh hưởng kết Kết luận: Ứng dụng đáp ứng nhu cầu người dùng việc đếm các vật thể mật độ dày đặc khó đếm thủ cơng Và quá 166 Chương 7: KẾT QUẢ VÀ THỰC NGHIỆM trình phát triển hồn thiện, chưa thể đưa sử dụng cách rộng rãi Người dùng phải chủ động giúp ứng dụng đạt kết cao, trường hợp cố tình lừa hệ thống khó để xử lý có phương án hợp lý 167 Chương 8: TỔNG KẾT Chương 8 TỔNG KẾT Kết luận Sau hoàn thành đề tài với kết vượt mong đợi nhóm, nhóm học hỏi thêm nhiều kiến thức từ nhiều lĩnh vực khác như: Làm server python, cách xử lý SSL Secure, sử dụng OpenCV, sử dụng nhiều model machine learning khác nhau, đọc hiểu áp dụng paper chuyên gia đầu ngành vào ứng dụng thực tế, khả tìm hiểu cơng nghệ để làm ứng dụng iOS từ đầu đến cuối, Nguồn kiến thức mà nhóm tìm hiểu từ đề tài thật quý giá Kết đề tài đáng hứa hẹn, sau đủ thời gian kiến thức phát triển mạnh mẽ đưa vào sử dụng đời sống, áp dụng nhiều lĩnh vực 8.2 Khó khăn Trong quá trình thực đề tài, nhóm gặp nhiều khó khăn, nhờ kiến thức học trường ĐH Sư Phạm Kỹ Thuật TpHCM, giúp đỡ cộng đồng với tư vấn nhiệt tình thầy Trần Nhật Quang, nhóm em vượt qua 8.2.1 Khó khăn q trình tìm hiểu phương pháp đếm - Có nhiều phương pháp đếm từ nhiều báo khoa học khác nhau, hầu hết ví dụ báo, đưa sử dụng hình ảnh khác lại đưa kết sai - Nhóm thử sử dụng nhiều phương pháp khác lĩnh vực xử lý ảnh số học máy để tìm phương pháp tối ưu phù hợp cho hầu hết các trường hợp - Những báo khoa học về học máy khó để sử dụng, mơi trường các packet khác với mơi trường nhóm thực để chạy chương trình, gây nhiều khó khăn lỗi 8.2.2 Khó khăn q trình xây dựng server triển khai server - Việc xây dựng server có khả xử lý mơ hình học máy thuật toán xử lý ảnh số khó khăn, địi hỏi nhóm phải tìm hiểu cơng nghệ Flask SocketIO python thời gian ngắn - Khi triển khai server, tìm lựa chọn hosting chất lượng gặp nhiều trở ngại, hosting có khả thực chương trình học máy cần tốn nhiều 8.1 168 Chương 8: TỔNG KẾT - 8.2.3 - 8.3 8.3.1 8.3.2 8.3.3 - tài nguyên yêu cầu phần cứng cao, nên nhóm phải thuê VM có cấu hình tương đối dùng làm hosting cho server Nhóm phải tìm cách để cải tiến thời gian cách tốt nên việc tìm kiếm phương pháp tối ưu gặp nhiều khó khăn Thời gian đầu lần đếm nhiều thời gian, thời gian đếm giảm cịn khá cao Khó khăn q trình chuẩn bị dataset Việc chuẩn bị dataset quá trình tốn nhiều thời gian, lần chuẩn bị cho dataset tốn khoảng 2-3 ngày liên tục cho loại vật thể Để đánh nhãn vật thể chuyên dụng, xuất khu công nghiệp, kho nhà máy khơng có sẵn hình ảnh mạng địi hỏi nhóm phải trực tiếp đến chụp ảnh để về đánh nhãn Để có model kết xác, nhóm đánh nhãn tỉ mỉ nhiều hình với bounding box Hướng phát triển Theo mục đích đề tài “Đếm vật thể mật độ cao thiết bị iOS” thiếu sót cịn tồn đọng ứng dụng Nhóm có mục tiêu cần phát triển là: Tăng độ xác, giảm thời gian đếm, cải tiến server, cải tiến ứng dụng phía client, thêm nhiều vật thể phù hợp Tăng độ xác Train thêm nhiều model cho nhiều vật thể hữu ích khác Đánh nhãn nhiều object để tăng xác Tăng epoch step per epoch lên để tăng độ xác Giảm thời gian đếm Nâng cấp server cao để xử lý nhanh Cố gắng tìm cách thay đổi việc predict, predict thiết bị client, tận dụng tối đa phần cứng client Server có nhiệm vụ lọc lại liệu xử lý Cải tiến ứng dụng phía client Tìm hiểu nhu cầu người dùng về ứng dụng đếm để phát triển thêm tính phù hợp Cho phép người dùng export kết nhiều dạng khác (CSV, lưu tự động vào album thư viện) Chạy function background dể giúp người giúp bớt tốn thời gian chờ đợi Thêm giao diện hướng dẫn sử dụng chi tiết cho người sử dụng Cho phép người dùng tự đánh nhãn thủ công cho vật thể tuỳ chọn, để server train tự động cho loại vật thể Cho phép người dùng chọn vùng hình ảnh cần đếm hình lớn 169 Chương 8: TỔNG KẾT 8.3.4 8.3.5 - Cho phép người dùng sửa đổi kết (thêm/sửa/xóa vị trí bị sai) Chỉnh sửa UI/UX phù hợp với người sử dụng Làm thêm nhiều client khác cho thiết bị android, web, windows application Cải tiến server Cho phép nhiều người dùng thực đếm lúc Tổ chức lại sở liệu, tổ chức lại các function logic hiệu Tăng lớp bảo mật cho server Thêm nhiều loại vật thể thiết thực Cần tìm hiểu nhu cầu người dùng về vật thể cần đếm để chuẩn bị dataset phù hợp Cần thu thập vật thể có tính ứng dụng cao sống, loại vật thể thiết thực cần đếm trí tuệ nhân tạo 170 TÀI LIỆU THAM KHẢO Tiếng Việt [1] Vimentor (2018) Chạy ứng dụng Flask với Gunicorn ubuntu Được truy lục từ https://vimentor.com/vi/lesson/6-chay-ung-dung-flask-voi-gunicorn-trenubuntu [2] TOMOSIA (2021) SwiftUI gì? Được truy lục từ https://blog.tomosia.com/swiftui-la-gi/ [3] NIITHanoi (2019) Flask gì? Bạn biết framework này? Được truy lục từ https://blog.tomosia.com/swiftui-la-gi/ [4] Keras RetinaNet (2021) Keras RetinaNet Được truy lục từ https://github.com/fizyr/keras-retinanet [5] Viblo Asia (2020) Giới thiệu mạng ResNet Được truy lục từ https://viblo.asia/p/gioi-thieu-mang-resnet-vyDZOa7R5wj [6] OpenCV Official Document (2021) Image Segmentation with Watershed Algorithm Được truy lục từ https://docs.opencv.org/master/d3/db4/tutorial_py_watershed.html [7] Praveen (2020) Color Detection using OpenCV Python Được truy lục từ https://medium.com/programming-fever/color-detection-using-opencv-python6eec8dcde8c7 [8] TopDev (2020) Heroku gì? Được truy lục từ https://topdev.vn/blog/herokula-gi/ [9] Amazon (2021) Amazon gì? Được truy lục từ https://aws.amazon.com/vi/about-aws/ [10] ITNAVI (2020) Google Cloud Là Gì? Những Dịch Vụ Mà Google Cloud Cung Cấp Được truy lục từ https://blog.itnavi.com.vn/google-cloud-la-gi-nhung-dichvu-ma-google-cloud-cung-cap/ [11] Wikipedia (2021) OpenCV Được truy lục từ https://en.wikipedia.org/wiki/OpenCV [12] TopDev (2021) Được truy lục từ https://topdev.vn/blog/opencv-la-gi-hoccomputer-vision-khong-kho/ Tiếng Anh [13] PapeWithCode (2019) Precise Detection in Densely Packed Scenes Được truy lục từ https://paperswithcode.com/paper/precise-detection-in-densely-packedscenes [14] PapeWithCode (2019) Precise Detection in Densely Packed Scenes Được truy lục từ https://paperswithcode.com/paper/precise-detection-in-densely-packedscenes [15] Wikipedia (2021) OpenCV Được truy lục từ https://en.wikipedia.org/wiki/OpenCV 171 [16] [17] [18] Praveen (2020) Color Detection using OpenCV Python Được truy lục từ https://medium.com/programming-fever/color-detection-using-opencv-python6eec8dcde8c7 OpenCV Official Document (2021) Image Segmentation with Watershed Algorithm Được truy lục từ https://docs.opencv.org/master/d3/db4/tutorial_py_watershed.html Keras RetinaNet (2021) Keras RetinaNet Được truy lục từ https://github.com/fizyr/keras-retinanet 172 ... thuật toán đếm số lượng vật thể hình ảnh học máy xử lý ảnh số - Xây dựng ứng dụng đếm vật thể mật độ cao qua hình ảnh sử dụng học máy xử lý ảnh số thiết bị iOS: o Xây dựng ứng dụng iOS SwiftUI... đối tốt, thời gian xử lý nhanh - Một số hình ảnh đếm đúng: 23 Chương 3: PHƯƠNG PHÁP ĐẾM VẬT THỂ TRONG HÌNH ẢNH Hình 3.13 Ví dụ kết thứ 24 Chương 3: PHƯƠNG PHÁP ĐẾM VẬT THỂ TRONG HÌNH ẢNH Hình. .. framework với chứng đếm số vật thể hình ảnh o Nghiên cứu cài đặt tính cần thiết ứng dụng đếm vật thể mật độ cao thông qua hình ảnh thiết bị di động o Hiển thị kết quả, giao diện tiện dụng với người