(Đồ án tốt nghiệp) Xây dựng ứng dụng iOS đếm vật thể mật độ cao trong hình ảnh dựa vào học máy và xử lý ảnh

(Đồ án tốt nghiệp) Xây dựng ứng dụng iOS đếm vật thể mật độ cao trong hình ảnh dựa vào học máy và xử lý ảnh(Đồ án tốt nghiệp) Xây dựng ứng dụng iOS đếm vật thể mật độ cao trong hình ảnh dựa vào học máy và xử lý ảnh(Đồ án tốt nghiệp) Xây dựng ứng dụng iOS đếm vật thể mật độ cao trong hình ảnh dựa vào học máy và xử lý ảnh(Đồ án tốt nghiệp) Xây dựng ứng dụng iOS đếm vật thể mật độ cao trong hình ảnh dựa vào học máy và xử lý ảnh(Đồ án tốt nghiệp) Xây dựng ứng dụng iOS đếm vật thể mật độ cao trong hình ảnh dựa vào học máy và xử lý ảnh(Đồ án tốt nghiệp) Xây dựng ứng dụng iOS đếm vật thể mật độ cao trong hình ảnh dựa vào học máy và xử lý ảnh(Đồ án tốt nghiệp) Xây dựng ứng dụng iOS đếm vật thể mật độ cao trong hình ảnh dựa vào học máy và xử lý ảnh(Đồ án tốt nghiệp) Xây dựng ứng dụng iOS đếm vật thể mật độ cao trong hình ảnh dựa vào học máy và xử lý ảnh(Đồ án tốt nghiệp) Xây dựng ứng dụng iOS đếm vật thể mật độ cao trong hình ảnh dựa vào học máy và xử lý ảnh(Đồ án tốt nghiệp) Xây dựng ứng dụng iOS đếm vật thể mật độ cao trong hình ảnh dựa vào học máy và xử lý ảnh(Đồ án tốt nghiệp) Xây dựng ứng dụng iOS đếm vật thể mật độ cao trong hình ảnh dựa vào học máy và xử lý ảnh(Đồ án tốt nghiệp) Xây dựng ứng dụng iOS đếm vật thể mật độ cao trong hình ảnh dựa vào học máy và xử lý ảnh(Đồ án tốt nghiệp) Xây dựng ứng dụng iOS đếm vật thể mật độ cao trong hình ảnh dựa vào học máy và xử lý ảnh(Đồ án tốt nghiệp) Xây dựng ứng dụng iOS đếm vật thể mật độ cao trong hình ảnh dựa vào học máy và xử lý ảnh(Đồ án tốt nghiệp) Xây dựng ứng dụng iOS đếm vật thể mật độ cao trong hình ảnh dựa vào học máy và xử lý ảnh(Đồ án tốt nghiệp) Xây dựng ứng dụng iOS đếm vật thể mật độ cao trong hình ảnh dựa vào học máy và xử lý ảnh(Đồ án tốt nghiệp) Xây dựng ứng dụng iOS đếm vật thể mật độ cao trong hình ảnh dựa vào học máy và xử lý ảnh(Đồ án tốt nghiệp) Xây dựng ứng dụng iOS đếm vật thể mật độ cao trong hình ảnh dựa vào học máy và xử lý ảnh(Đồ án tốt nghiệp) Xây dựng ứng dụng iOS đếm vật thể mật độ cao trong hình ảnh dựa vào học máy và xử lý ảnh

TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH KHOA ĐÀO TẠO CHẤT LƯỢNG CAO LUẬN VĂN TỐT NGHIỆP XÂY DỰNG ỨNG DỤNG iOS ĐẾM VẬT THỂ MẬT ĐỘ CAO TRONG HÌNH ẢNH DỰA VÀO HỌC MÁY VÀ XỬ LÝ ẢNH SVTH: HỒ SĨ TUẤN MSSV: 17119111 Khố: K17 Ngành: Cơng nghệ thơng tin GVHD: TS TRẦN NHẬT QUANG SVTH: LÂM GIA KHÁNH MSSV:17110160 Tp Hồ Chí Minh, ngày 16 tháng 07 năm 2021 LỜI CẢM ƠN Đầu tiên, nhóm chúng em xin gửi lời cảm ơn chân thành đến trường Đại học Sư Phạm Kỹ Thuật Tp Hồ Chí Minh khoa Đào tạo Chất Lượng Cao tạo điều kiện thuận lợi để nhóm thực Khoá luận tốt nghiệp cách tốt nhất, cảm ơn tất giảng viên ngành Công nghệ thơng tin trường ĐH SPKT kiến thức quý báu kinh nghiệm vô giá trị truyền đạt cho chúng em Đặc biệt, nhóm xin gửi lời cảm ơn sâu sắc đến giảng viên hướng dẫn - giảng viên ngành Công nghệ thông tin trường ĐH SPKT TPHCM – TS Trần Nhật Quang định hướng, giúp đỡ nhóm nhiều để hồn thành tốt Khoá luận Khoá luận tốt nghiệp môn chuyên ngành quan trọng giúp nhóm thực hoá kiến thức học trường thành sản phẩm thực tế, có khả ứng dụng cao, mơn học giúp nhóm trau dồi thêm kĩ chuyên môn khả tự nhận xét, đánh giá sản phẩm tác phong làm việc nhóm Trong quá trình thực Khoá Luận Tốt Nghiệp với đề tài “Xây dụng ứng dụng đếm vật thể mật độ cao sử dụng học máy xử lý ảnh số” nhờ giúp đỡ tận tình thầy Trần Nhật Quang mà nhóm khắc phục thiếu sót học hỏi thêm nhiều kiến thức thực tế nhiều lĩnh vực, nhờ giúp đỡ thầy Nguyễn Đăng Quang – trưởng ngành Công nghệ thông tin, khoa Đào tạo Chất lượng cao, trường ĐH SPKT TPHCM mà nhóm thơng tin hồn thành luận văn tiến độ phù hợp với yêu cầu trường đề Tuy nhiên, thời gian có hạn, kiến thức kinh nghiệm nhóm cịn hạn chế nên khơng thể tránh khỏi thiếu sót định Những ý kiến nhận xét góp ý quý báu quý thầy sở để nhóm học hỏi hồn thiện kiến thức Nhóm mong nhận nhận xét góp ý từ q thầy Cuối cùng, nhóm xin chân thành cảm ơn! Nhóm sinh viên thực Hồ Sĩ Tuấn Lâm Gia Khánh iv TÓM TẮT Trong đời sống xã hội đại, có nhiều cơng ty xí nghiệp sản xuất mặt hàng có với số lượng cao, việc đếm vật thể tương tự, lặp lại ngày gây hao tốn nhiều tài nguyên về thời gian, nhân công Mặt hạn chế bên cạnh độ xác, tin cậy cá nhân thực việc kiểm toán cho vật liệu Nắm bắt vấn đề hữu nhiều ngành cơng nghiệp, xây dựng nhóm đề giải pháp giúp loại bỏ lãng phí, gia tăng suất, tiết kiệm thời gian, nhân công tiền bạc việc ứng dụng kiến thức học cho vấn đề thực tế Việc ứng dụng để nhận dạng, đếm các vật thể mật độ cao hướng nhóm để áp dụng thực tế phương diện dễ sử dụng, đáp ứng trải nghiệm người dùng mang lại kết xác, xử lí nhanh chóng nhóm triển khai sang áp dụng cho ứng dụng điện thoại di động để người dùng tiếp cận dễ dàng Qua đó, đề tài “Xây dựng ứng dụng iOS đếm mật thể mật độ cao qua hình ảnh áp dụng xử lí ảnh học máy” nhóm chọn làm đề tài cho Khoá luận tốt nghiệp Trong quá trình thực hồn thành đồ án, nhóm gặp khơng khó khăn từ việc nhận diện vật thể, kết tính toán hạn chế về thiết bị, máy chủ, thời gian thực thi, số lượng người sử dụng đồng thời, nhờ vào cố gắng, kiên trì nhóm giúp đỡ tận tình thầy Trần Nhật Quang, ứng dụng đáp ứng mục tiêu mà nhóm đề ban đầu Về mặt hạn chế, ứng dụng hoạt động thiết bị iOS, hạn chế về mặt phần cứng server vấn đề mà nhóm hướng đến việc phát triển ứng dụng về sau v ABSTRACT In modern social life, there are many companies and enterprises that produce items with high quantity, counting similar objects, repeating every day consumes a lot of resources of time and labor Besides, the accuracy and reliability of the individual performing the report for the material Understanding this problem that is present in many industries, we have come up with solutions to help eliminate waste, increase productivity, save time, labor, and money by applying the best practices learned knowledge for practical problems The application for identification and counting of objects under high density is the first direction of the group, next, we set our application goal to ease of use, satisfying user experience and providing accurate results, quickly processing, group deployed to apply to mobile phone application for easier access by users Thereby, the topic "Building an iOS application for counting object at high density through images applying image processing and deep learning" was selected by my group as the topic for the graduation thesis During the implementation and completion of the project, my group encountered many difficulties from object recognition, calculation results to limitations in devices, servers, execution time, number of users At the same time, thanks to the group's efforts, perseverance and the dedicated help of Mr Tran Nhat Quang, the application has now met the goals that the group had initially set In terms of limitations, the application only works on iOS devices, the hardware limitation of the server is also an issue that group aims to develop the application later vi MỤC LỤC NHIỆM VỤ ĐỒ ÁN TỐT NGHIỆP i PHIẾU NHẬN XÉT CỦA GIÁO VIÊN HƯỚNG DẪN ii PHIẾU NHẬN XÉT CỦA GIÁO VIÊN PHẢN BIỆN iii LỜI CẢM ƠN iv TÓM TẮT v ABSTRACT vi MỤC LỤC vii DANH MỤC THUẬT NGỮ VÀ TỪ VIẾT TẮT xii DANH MỤC CÁC BẢNG BIỂU xiv DANH MỤC BIỂU ĐỒ VÀ HÌNH ẢNH xv Chương TỔNG QUAN 1.1 Mục tiêu 1.2 Nội dung 1.2.1 Tổng quan phương pháp đếm vật thể mật độ cao hình ảnh 1.2.2 Tổng quan SwiftUI framework 1.2.3 Tổng quan Flask, Gunicorn, SocketIO Flask-SocketIO Chương NỀN TẢNG LÝ THUYẾT VÀ CÔNG NGHỆ 2.1 Các phương pháp đếm vật thể 2.1.1 Phương pháp xử lý ảnh số thư viện OpenCV 2.1.2 Phương pháp kết hợp xử lý ảnh OpenCV DO-U-Net 2.1.3 Đếm sử dụng học máy neural networks 2.2 Server 2.2.1 Ngôn ngữ phát triển 2.2.2 Công cụ thực 2.2.3 Triển khai Server 10 vii 2.3 Client – iOS 11 2.3.1 Tính 11 2.3.2 Ngôn ngữ phát triển 11 2.3.3 Công nghệ sử dụng 12 2.3.4 Thư viện sử dụng 12 Chương 13 PHƯƠNG PHÁP ĐẾM VẬT THỂ TRONG HÌNH ẢNH 13 3.1 Xử lý ảnh số thư viện OpenCV 13 3.1.1 Giới thiệu OpenCV 13 3.1.2 Ứng dụng OpenCV 13 3.1.3 Cách sử dụng OpenCV để đếm vật thể 13 3.1.4 Kết 23 3.1.5 Đánh giá chi tiết 27 3.1.6 Kết luận 27 3.2 Phương pháp sử dụng Học máy Neural Networks 28 3.2.1 Keras RetinaNet 28 3.2.2 Precise Detection in Densely Packed Scenes – CVPR 2019 paper 30 3.2.3 Sử dụng phương pháp luận văn 34 Chương 38 MƠ HÌNH HỌC MÁY VÀ BỘ DỮ LIỆU 38 4.1 Bộ liệu thu thập, đánh nhãn đề tài 38 4.1.1 Dataset trứng 38 4.1.2 Dataset ống gỗ 38 4.1.3 Dataset thép hình trịn 39 4.1.4 Dataset đồng tiền 40 4.1.5 Dataset nắp chai 41 4.1.6 Dataset thùng giấy 42 4.1.7 Dataset ống thép hình chữ nhật 42 4.1.8 Dataset viên bi 43 4.1.9 Dataset hộp điện thoại 44 4.1.10 Dataset bàn phím 45 4.2 Model học máy huấn luyện đề tài 46 4.2.1 Trứng 46 4.2.2 Bi 49 4.2.3 Ống thép hình chữ nhật 52 4.2.4 Ống thép hình trịn 55 4.2.5 Thùng giấy 57 viii 4.2.6 Hộp điện thoại iPhone 60 4.2.7 Bàn phím 62 4.2.8 Khúc gỗ hình trịn 64 4.2.9 Đồng xu 67 4.2.10 Nắp chai 70 Chương 73 PYTHON SERVER 73 5.1 Flask, Gunicorn, Flask-SocketIO SocketIO 73 5.1.1 Giới thiệu 73 5.1.2 Cài đặt sử dụng 74 5.2 Tổng quan nguyên lý hoạt động 75 5.3 Các API 75 5.3.1 Đếm 75 5.3.2 Chuẩn bị 75 5.3.3 Upload 76 5.3.4 Thêm template 76 5.3.5 Xoá template 76 Chương 77 ỨNG DỤNG iOS 77 6.1 Công nghệ sử dụng - SwiftUI 77 6.1.1 Giới thiệu SwiftUI 77 6.1.2 Yêu cầu sử dụng 77 6.1.3 Cấu trúc SwiftUI 77 6.1.4 Ưu điểm SwiftUI 80 6.1.5 Nhược điểm SwiftUI 81 6.2 Đặc tả yêu cầu phần mềm 81 6.2.1 Mô hình Usecase 81 6.2.2 Database Diagram 82 6.3 Tổng quan nguyên lý hoạt động 82 6.4 Các chức 82 6.4.1 Lựa chọn template cần đếm: 83 6.4.2 Lựa chọn hình ảnh đếm: 83 6.4.3 Lưu hiển thị lịch sử: 85 6.4.4 Đề xuất template mới: 86 6.4.5 Thêm, sửa, xoá template (Admin): 87 6.4.6 Đánh giá sau lần đếm 87 ix 6.5 Prototype 88 6.5.1 Screenflow 88 6.5.2 Danh sách hình 88 6.6 Đặc tả hình 90 6.6.1 SC01.Home Screen 90 6.6.2 SC02.Count Screen 93 6.6.3 SC03.Select Image Screen 95 6.6.4 SC04.Selected Image Screen 97 6.6.5 SC05.Change Image Screen 99 6.6.6 SC06.Count Result Screen 101 6.6.7 SC07.Share Result Screen 103 6.6.8 SC08.Tap Image Screen 105 6.6.9 SC09.Zoom Image Screen 107 6.6.10 SC10.Guest Tab Screen 109 6.6.11 SC11.Admin Tab Screen 111 6.6.12 SC12.User Tab Screen 113 6.6.13 SC13.Login Screen 115 6.6.14 SC14.Register Screen 117 6.6.15 SC15.Template List Screen 119 6.6.16 SC16.Remove Template Screen 121 6.6.17 SC17.Add Template Screen 123 6.6.18 SC18.Template Photo Added Screen 125 6.6.19 SC19.Propose Template Screen 127 6.6.20 SC20.Object Photo Added Screen 129 6.6.21 SC21.Count History Screen 131 6.6.22 SC22.Remove History Screen 132 6.7 Đặc tả sở liệu 134 Chương 136 KẾT QUẢ VÀ THỰC NGHIỆM 136 7.1 Kết 136 7.2 So sánh 164 7.2.1 So sánh với ứng dụng CountThings 164 7.2.2 So sánh với ứng dụng Mediscount 165 7.3 Thực nghiệm 166 7.4 Nhận xét phân tích 166 Chương 168 x TỔNG KẾT 168 8.1 Kết luận 168 8.2 Khó khăn 168 8.2.1 Khó khăn trình tìm hiểu phương pháp đếm 168 8.2.2 Khó khăn q trình xây dựng server triển khai server 168 8.2.3 Khó khăn trình chuẩn bị dataset 169 8.3 Hướng phát triển 169 8.3.1 Tăng độ xác 169 8.3.2 Giảm thời gian đếm 169 8.3.3 Cải tiến ứng dụng phía client 169 8.3.4 Cải tiến server 170 8.3.5 Thêm nhiều loại vật thể thiết thực 170 TÀI LIỆU THAM KHẢO 171 xi DANH MỤC THUẬT NGỮ VÀ TỪ VIẾT TẮT Từ viết tắt API: Application Programming Interface OpenCV: Open Source Computer Vision Library CVPR: Conference on Computer Vision and Pattern Recognition IoU: Intersection over Union WWDC: Apple Worldwide Developers Conference WSGI: Web Server Gatewate Interface SSL: Secure Sockets Layer IO: Input and Output OS: Operation System HTTP: Hypertext Transfer Protocol ILSVRC: ImageNet Large Scale Visual Recognition Challenge ResNet: Residual Network COCO: Common Objects in Context CNN: Convolutional Neural Network HSV: Hue Saturation Value XML: Extensible Markup Language CSV: Comma-Separated Values UI: User Interface UX: User Experience JSON: Javascript Object Notation SDK: Software Development Kit Thuật ngữ Framework: Bộ khung phát triển ứng dụng Cloud Service: Dịch vụ điện toán đám mây Source code: Mã nguồn Open Source: Mã nguồn mở Dataset: Tập liệu Model: Mơ hình Database: Cơ sở liệu Server: Máy chủ Client: Người dùng Admin: Người quản trị Function/Func: Hàm Application/App: Ứng dụng Mobile Application: Ứng dụng điện thoại Background Application: Ứng dụng chạy nền xii Chương 7: KẾT QUẢ VÀ THỰC NGHIỆM Hình 7.23 Kết ống thép trịn 159 Chương 7: KẾT QUẢ VÀ THỰC NGHIỆM Hình 7.24 Kết keyboard 160 Chương 7: KẾT QUẢ VÀ THỰC NGHIỆM Hình 7.25 Kết keyboard 161 Chương 7: KẾT QUẢ VÀ THỰC NGHIỆM Hình 7.26 Kết keyboard 162 Chương 7: KẾT QUẢ VÀ THỰC NGHIỆM Hình 7.27 Kết thùng giấy 163 Chương 7: KẾT QUẢ VÀ THỰC NGHIỆM 7.2 So sánh So sánh với ứng dụng đếm có mặt chợ ứng dụng 7.2.1 So sánh với ứng dụng CountThings Ứng dụng CountThings ứng dụng đếm vật thể đến từ công ty Dynamic Ventures, Inc Mỹ, phát hành năm 2011 với đội ngũ phát triển mạnh, ứng dụng ứng dụng đứng đầu lĩnh vực đếm vật thể mật độ cao Bảng chi tiết so sánh ứng dụng My Counter đề tài CountThings: Mục so sánh My Counter Cao CountThings Rất cao 75 giây 31 giây Tương đối Tương đối ít, đủ tính cần có 10 loại Chưa có giây giây Tương đối Nhiều, đầy đủ hầu hết các tính liên quan Hơn 500 loại Hoạt động tốt Độ xác Thời gian xử lý Thời gian đếm Giao điện Tính Số lượng template Chỉnh sửa kết 164 Chương 7: KẾT QUẢ VÀ THỰC NGHIỆM Xuất kết Giá thành Lưu hình ảnh, gửi hình ảnh Xuất file csv, lưu hình ảnh có banner Quá đắt $159.99 tháng Miễn phí $30.99 ngày gói pack $99.99 ngày gói pack $179 ngày gói 10 pack Bảng 7.1 So sánh với CountThings 7.2.2 So sánh với ứng dụng Mediscount Mediscount ứng dụng chợ ứng dụng dùng để đếm thuốc vật thể tương tự, thuộc công ty Medity Inc phát hành vào tháng 12 năm 2020 Ứng dụng có kết khá tốt chưa thực phổ biến, hầu hết sử dụng để đếm thuốc Bảng so sánh chi tiết ứng dụng My Counter Mediscount: Mục so sánh My Counter Mediscount Cao Cao Độ xác Thời gian xử lý Thời gian đếm 75 giây 31 giây giây giây 165 Chương 7: KẾT QUẢ VÀ THỰC NGHIỆM Giao điện Tương đối hợp lý Tương đối ít, cho phép Tương đối ít, đủ Tính chụp hình ảnh khơng đếm tính cần có ảnh có sẵn Số lượng template 10 loại Không xác định Chỉnh sửa kết Chưa có Khơng có Lưu hình ảnh, chia sẻ Lưu hình ảnh, chia sẻ hình Xuất kết hình ảnh ảnh Tương đối cao Giá thành Miễn phí $2.99 tháng $28.99 năm Bảng 7.2 So sánh với Mediscount 7.3 - 7.4 - - - Tương đối hợp lý Thực nghiệm Nhóm kiểm tra với nhiều hình ảnh thực tế tự chụp, kết đáng khả quan Nhóm kiểm tra với nhiều hình chụp từ cộng đồng, bạn bè đều cho kết tốt, tỉ lệ đưa kết sai thấp Thời gian đếm chưa thực nhanh, với hình khó người dùng đợi, cịn hình dễ đếm thủ cơng hệ thống tốn khoảng thời gian khá lâu, dẫn đến khó chịu người dùng thật Nhận xét phân tích Ứng dụng hoạt động tốt, trường hợp người dùng chọn sai template, ví dụ chọn đếm trứng lại đưa hình khoai tây vào ứng dụng nhận diện sai Tương tự trường hợp đếm trứng lẫn vào hình trứng củ khoai tây ngược lại gây sai kết Ứng dụng khuyến khích người dùng chọn template trước đếm, trường hợp người dùng cố tình thử thách lừa hệ thống khó kiểm soát chắn đưa kết sai Trong thực tế, trường hợp hi hữu khó xảy Và nhóm có giải pháp phát triển tính loại bỏ thêm thủ cơng cho kết Ứng dụng khuyến khích người dùng chụp đưa vào hình ảnh có các vật thể tách rời nhau, phải chụp diện không để khuất quá nhiều gây nhầm lẫn ảnh hưởng kết Kết luận: Ứng dụng đáp ứng nhu cầu người dùng việc đếm các vật thể mật độ dày đặc khó đếm thủ cơng Và quá 166 Chương 7: KẾT QUẢ VÀ THỰC NGHIỆM trình phát triển hoàn thiện, chưa thể đưa sử dụng cách rộng rãi Người dùng phải chủ động giúp ứng dụng đạt kết cao, trường hợp cố tình lừa hệ thống khó để xử lý có phương án hợp lý 167 Chương 8: TỔNG KẾT Chương 8 TỔNG KẾT Kết luận Sau hoàn thành đề tài với kết vượt mong đợi nhóm, nhóm học hỏi thêm nhiều kiến thức từ nhiều lĩnh vực khác như: Làm server python, cách xử lý SSL Secure, sử dụng OpenCV, sử dụng nhiều model machine learning khác nhau, đọc hiểu áp dụng paper chuyên gia đầu ngành vào ứng dụng thực tế, khả tìm hiểu công nghệ để làm ứng dụng iOS từ đầu đến cuối, Nguồn kiến thức mà nhóm tìm hiểu từ đề tài thật quý giá Kết đề tài đáng hứa hẹn, sau đủ thời gian kiến thức phát triển mạnh mẽ đưa vào sử dụng đời sống, áp dụng nhiều lĩnh vực 8.2 Khó khăn Trong quá trình thực đề tài, nhóm gặp nhiều khó khăn, nhờ kiến thức học trường ĐH Sư Phạm Kỹ Thuật TpHCM, giúp đỡ cộng đồng với tư vấn nhiệt tình thầy Trần Nhật Quang, nhóm em vượt qua 8.2.1 Khó khăn trình tìm hiểu phương pháp đếm - Có nhiều phương pháp đếm từ nhiều báo khoa học khác nhau, hầu hết ví dụ báo, đưa sử dụng hình ảnh khác lại đưa kết sai - Nhóm thử sử dụng nhiều phương pháp khác lĩnh vực xử lý ảnh số học máy để tìm phương pháp tối ưu phù hợp cho hầu hết các trường hợp - Những báo khoa học về học máy khó để sử dụng, môi trường các packet khác với mơi trường nhóm thực để chạy chương trình, gây nhiều khó khăn lỗi 8.2.2 Khó khăn q trình xây dựng server triển khai server - Việc xây dựng server có khả xử lý mơ hình học máy thuật toán xử lý ảnh số khó khăn, địi hỏi nhóm phải tìm hiểu cơng nghệ Flask SocketIO python thời gian ngắn - Khi triển khai server, tìm lựa chọn hosting chất lượng gặp nhiều trở ngại, hosting có khả thực chương trình học máy cần tốn nhiều 8.1 168 Chương 8: TỔNG KẾT - 8.2.3 - 8.3 8.3.1 8.3.2 8.3.3 - tài nguyên yêu cầu phần cứng cao, nên nhóm phải thuê VM có cấu hình tương đối dùng làm hosting cho server Nhóm phải tìm cách để cải tiến thời gian cách tốt nên việc tìm kiếm phương pháp tối ưu gặp nhiều khó khăn Thời gian đầu lần đếm nhiều thời gian, thời gian đếm giảm khá cao Khó khăn q trình chuẩn bị dataset Việc chuẩn bị dataset quá trình tốn nhiều thời gian, lần chuẩn bị cho dataset tốn khoảng 2-3 ngày liên tục cho loại vật thể Để đánh nhãn vật thể chuyên dụng, xuất khu công nghiệp, kho nhà máy khơng có sẵn hình ảnh mạng địi hỏi nhóm phải trực tiếp đến chụp ảnh để về đánh nhãn Để có model kết xác, nhóm đánh nhãn tỉ mỉ nhiều hình với bounding box Hướng phát triển Theo mục đích đề tài “Đếm vật thể mật độ cao thiết bị iOS” thiếu sót cịn tồn đọng ứng dụng Nhóm có mục tiêu cần phát triển là: Tăng độ xác, giảm thời gian đếm, cải tiến server, cải tiến ứng dụng phía client, thêm nhiều vật thể phù hợp Tăng độ xác Train thêm nhiều model cho nhiều vật thể hữu ích khác Đánh nhãn nhiều object để tăng xác Tăng epoch step per epoch lên để tăng độ xác Giảm thời gian đếm Nâng cấp server cao để xử lý nhanh Cố gắng tìm cách thay đổi việc predict, predict thiết bị client, tận dụng tối đa phần cứng client Server có nhiệm vụ lọc lại liệu xử lý Cải tiến ứng dụng phía client Tìm hiểu nhu cầu người dùng về ứng dụng đếm để phát triển thêm tính phù hợp Cho phép người dùng export kết nhiều dạng khác (CSV, lưu tự động vào album thư viện) Chạy function background dể giúp người giúp bớt tốn thời gian chờ đợi Thêm giao diện hướng dẫn sử dụng chi tiết cho người sử dụng Cho phép người dùng tự đánh nhãn thủ công cho vật thể tuỳ chọn, để server train tự động cho loại vật thể Cho phép người dùng chọn vùng hình ảnh cần đếm hình lớn 169 Chương 8: TỔNG KẾT 8.3.4 8.3.5 - Cho phép người dùng sửa đổi kết (thêm/sửa/xóa vị trí bị sai) Chỉnh sửa UI/UX phù hợp với người sử dụng Làm thêm nhiều client khác cho thiết bị android, web, windows application Cải tiến server Cho phép nhiều người dùng thực đếm lúc Tổ chức lại sở liệu, tổ chức lại các function logic hiệu Tăng lớp bảo mật cho server Thêm nhiều loại vật thể thiết thực Cần tìm hiểu nhu cầu người dùng về vật thể cần đếm để chuẩn bị dataset phù hợp Cần thu thập vật thể có tính ứng dụng cao sống, loại vật thể thiết thực cần đếm trí tuệ nhân tạo 170 TÀI LIỆU THAM KHẢO Tiếng Việt [1] Vimentor (2018) Chạy ứng dụng Flask với Gunicorn ubuntu Được truy lục từ https://vimentor.com/vi/lesson/6-chay-ung-dung-flask-voi-gunicorn-trenubuntu [2] TOMOSIA (2021) SwiftUI gì? Được truy lục từ https://blog.tomosia.com/swiftui-la-gi/ [3] NIITHanoi (2019) Flask gì? Bạn biết framework này? Được truy lục từ https://blog.tomosia.com/swiftui-la-gi/ [4] Keras RetinaNet (2021) Keras RetinaNet Được truy lục từ https://github.com/fizyr/keras-retinanet [5] Viblo Asia (2020) Giới thiệu mạng ResNet Được truy lục từ https://viblo.asia/p/gioi-thieu-mang-resnet-vyDZOa7R5wj [6] OpenCV Official Document (2021) Image Segmentation with Watershed Algorithm Được truy lục từ https://docs.opencv.org/master/d3/db4/tutorial_py_watershed.html [7] Praveen (2020) Color Detection using OpenCV Python Được truy lục từ https://medium.com/programming-fever/color-detection-using-opencv-python6eec8dcde8c7 [8] TopDev (2020) Heroku gì? Được truy lục từ https://topdev.vn/blog/herokula-gi/ [9] Amazon (2021) Amazon gì? Được truy lục từ https://aws.amazon.com/vi/about-aws/ [10] ITNAVI (2020) Google Cloud Là Gì? Những Dịch Vụ Mà Google Cloud Cung Cấp Được truy lục từ https://blog.itnavi.com.vn/google-cloud-la-gi-nhung-dichvu-ma-google-cloud-cung-cap/ [11] Wikipedia (2021) OpenCV Được truy lục từ https://en.wikipedia.org/wiki/OpenCV [12] TopDev (2021) Được truy lục từ https://topdev.vn/blog/opencv-la-gi-hoccomputer-vision-khong-kho/ Tiếng Anh [13] PapeWithCode (2019) Precise Detection in Densely Packed Scenes Được truy lục từ https://paperswithcode.com/paper/precise-detection-in-densely-packedscenes [14] PapeWithCode (2019) Precise Detection in Densely Packed Scenes Được truy lục từ https://paperswithcode.com/paper/precise-detection-in-densely-packedscenes [15] Wikipedia (2021) OpenCV Được truy lục từ https://en.wikipedia.org/wiki/OpenCV 171 [16] [17] [18] Praveen (2020) Color Detection using OpenCV Python Được truy lục từ https://medium.com/programming-fever/color-detection-using-opencv-python6eec8dcde8c7 OpenCV Official Document (2021) Image Segmentation with Watershed Algorithm Được truy lục từ https://docs.opencv.org/master/d3/db4/tutorial_py_watershed.html Keras RetinaNet (2021) Keras RetinaNet Được truy lục từ https://github.com/fizyr/keras-retinanet 172 ... thuật toán đếm số lượng vật thể hình ảnh học máy xử lý ảnh số - Xây dựng ứng dụng đếm vật thể mật độ cao qua hình ảnh sử dụng học máy xử lý ảnh số thiết bị iOS: o Xây dựng ứng dụng iOS SwiftUI... di động để người dùng tiếp cận dễ dàng Qua đó, đề tài ? ?Xây dựng ứng dụng iOS đếm mật thể mật độ cao qua hình ảnh áp dụng xử lí ảnh học máy? ?? nhóm chọn làm đề tài cho Khoá luận tốt nghiệp Trong. .. đối tốt, thời gian xử lý nhanh - Một số hình ảnh đếm đúng: 23 Chương 3: PHƯƠNG PHÁP ĐẾM VẬT THỂ TRONG HÌNH ẢNH Hình 3.13 Ví dụ kết thứ 24 Chương 3: PHƯƠNG PHÁP ĐẾM VẬT THỂ TRONG HÌNH ẢNH Hình