Trí tuệ nhân tạo trong chuyển đổi số ứng dụng hỗ trợ thu thập chỉ số đường huyết của thai phụ

BỘ CÔNG THƯƠNG TRƯỜNG ĐẠI HỌC CÔNG NGHIỆP THÀNH PHỐ HỒ CHÍ MINH NGUYỄN PHẠM THANH TÂM TRÍ TUỆ NHÂN TẠO TRONG CHUYỂN ĐỔI SỐ: ỨNG DỤNG HỖ TRỢ THU THẬP CHỈ SỐ ĐƯỜNG HUYẾT CỦA THAI PHỤ Chuyên ngành: KHOA HỌC MÁY TÍNH Mã chuyên ngành: 60.48.01.01 LUẬN VĂN THẠC SĨ THÀNH PHỐ HỒ CHÍ MINH, NĂM 2020 Cơng trình hồn thành Trường Đại học Cơng nghiệp TP Hồ Chí Minh Người hướng dẫn khoa học: PGS.TS Huỳnh Trung Hiếu Người phản biện 1: TS Huỳnh Khả Tú Người phản biện 2: TS Lê Nhật Duy Luận văn thạc sĩ bảo vệ Hội đồng chấm bảo vệ Luận văn thạc sĩ Trường Đại học Công nghiệp thành phố Hồ Chí Minh ngày 30 tháng 05 năm 2020 Thành phần Hội đồng đánh giá luận văn thạc sĩ gồm: PGS.TS Huỳnh Tường Nguyên - Chủ tịch Hội đồng TS Huỳnh Khả Tú - Phản biện TS Lê Nhật Duy - Phản biện TS Đặng Thị Phúc - Ủy viên TS Phạm Thị Thuyết - Thư ký (Ghi rõ họ, tên, học hàm, học vị Hội đồng chấm bảo vệ luận văn thạc sĩ) CHỦ TỊCH HỘI ĐỒNG TRƯỞNG KHOA CÔNG NGHỆ THÔNG TIN HUỲNH TƯỜNG NGUYÊN HUỲNH TRUNG HIẾU BỘ CÔNG THƯƠNG TRƯỜNG ĐẠI HỌC CƠNG NGHIỆP THÀNH PHỐ HỒ CHÍ MINH CỘNG HỊA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập - Tự - Hạnh phúc NHIỆM VỤ LUẬN VĂN THẠC SĨ Họ tên học viên: Nguyễn Phạm Thanh Tâm MSHV: 17112881 Ngày, tháng, năm sinh: 28/02/1986 Nơi sinh: Đồng Tháp Chuyên ngành: Khoa học máy tính Mã chuyên ngành: 60480101 I TÊN ĐỀ TÀI: Trí tuệ nhân tạo chuyển đổi số: Ứng dụng hỗ trợ thu thập số đường huyết thai phụ NHIỆM VỤ VÀ NỘI DUNG: - Nghiên cứu giải pháp số hóa liệu (digitalization) - Tiền xử lý liệu dựa yêu cầu ứng dụng AI thực prototype giải pháp AI Ứng dụng xử lý thu thập liệu từ Phiếu theo dõi số đường huyết thai phụ - - Phân tích kết quả đưa hướng phát triển II NGÀY GIAO NHIỆM VỤ: 06/09/2019 III NGÀY HOÀN THÀNH NHIỆM VỤ: 06/03/2020 IV NGƯỜI HƯỚNG DẪN KHOA HỌC: PGS TS Huỳnh Trung Hiếu Tp Hồ Chí Minh, ngày … tháng 06 năm 2020 NGƯỜI HƯỚNG DẪN CHỦ NHIỆM BỘ MÔN ĐÀO TẠO TRƯỞNG KHOA CÔNG NGHỆ THÔNG TIN LỜI CẢM ƠN Để hoàn thành luận văn thạc sĩ này, tơi xin bày tỏ cảm kích đặc biệt tới cố vấn tơi, Phó giáo sư Tiến sĩ Huỳnh Trung Hiếu - Người định hướng, trực tiếp dẫn dắt cố vấn cho suốt thời gian thực đề tài nghiên cứu khoa học Tôi xin gửi lời cảm ơn đến thầy tất cả tấm lịng biết ơn Đề tài hỗ trợ một phần Sở Khoa học Cơng nghệ Thành phố Hồ Chí Minh theo Quyết định số 1131/QĐ-SKHCN Hợp đồng số 06/2018/HĐ-QKHCN Tôi xin gửi lời cảm ơn chân thành đến thầy Lê Nhật Duy – Phó khoa Cơng nghệ thơng tin hướng dẫn giúp đỡ biểu mẫu quy trình hồn thành đề tài luận văn từ bắt đầu đăng ký đề cương đến bảo vệ luận văn Tơi xin trân trọng cảm ơn Phịng quản lý Sau đại học giúp đở thủ tục cần thiết để hoàn thành luận văn Sau cùng, tơi xin tỏ lịng biết ơn đến Trung tâm Cơng nghệ thông tin Truyền thông Đồng Tháp – Cơ quan nới công tác, tạo điều kiện thời gian, cơng việc để tơi hồn thành luận văn thạc sĩ Xin chân thành cảm ơn tất cả người quý quan! i TÓM TẮT LUẬN VĂN THẠC SĨ Sự phát triển công nghệ số mang lại lợi ích đáng kể nhiều lĩnh vực khác đời sống xã hội Mợt cơng nghệ đóng vai trị quan trọng hoàn thiện chuyển đổi số OCR (Optical Character Recognition) Nó cho phép chuyển đổi hình ảnh, text dạng đánh máy viết tay, tài liệu scan vào dạng text mà máy tính đọc soạn thảo Trong lĩnh vực y tế, chuyên gia cần quản lý lượng lớn liệu bệnh nhân tăng liên tục Sẽ rất hữu ích thơng tin lưu trữ sở liệu Với công cụ xử lý OCR, trích x́t liệu từ cấu trúc lưu trữ vào sở liệu, từ giúp cho việc truy x́t, tìm kiếm, phân tích dễ dàng sau Trong luận văn này, kết hợp tiếp cận AI hỗ trợ việc trích x́t thơng tin, chuyển đổi liệu từ dạng phi cấu trúc sang dạng cấu trúc, lưu trữ vào sở liệu để phục vụ cho bước xử lý Mục tiêu nghiên cứu phát triển giải pháp tích hợp trí tuệ nhân tạo việc rút trích thơng tin từ form, nhằm tăng tính tự đợng đợ xác q trình chuyển đổi số Nâng cao hiệu quả q trình số hóa liệu thu thập lĩnh vực y tế Sản phẩm đề tài hoàn thành giúp chuyên gia thực dự án nghiên cứu có yêu cầu thu thập, phân tích theo dõi diễn tiến thay đổi số sức khỏe mợt cách nhanh chóng, tiết kiệm thời gian nhập liệu thủ cơng Ngồi việc triển khai thu thập liệu cho việc giám sát bệnh đái tháo đường thai kỳ, hệ thống hỗ trợ việc thu thập trực quan hóa liệu bệnh khác mợt số tốn khác Hỗ trợ việc tích hợp liệu từ nhiều nguồn khác ii LỜI CAM ĐOAN Tôi xin cam đoan cơng trình nghiên cứu bản thân Các kết quả nghiên cứu kết luận luận văn trung thực, không chép từ bất kỳ mợt nguồn bất kỳ hình thức Việc tham khảo nguồn tài liệu (nếu có) thực trích dẫn ghi nguồn tài liệu tham khảo quy định Học viên (Chữ ký) Nguyễn Phạm Thanh Tâm iii MỤC LỤC MỤC LỤC iv DANH MỤC HÌNH ẢNH vi DANH MỤC BẢNG BIỂU viii DANH MỤC TỪ VIẾT TẮT ix MỞ ĐẦU .1 Đặt vấn đề .1 Mục tiêu nghiên cứu Đối tượng phạm vi nghiên cứu .3 Cách tiếp cận phương pháp nghiên cứu .3 Ý nghĩa thực tiễn đề tài CHƯƠNG TỔNG QUAN VỀ LĨNH VỰC NGHIÊN CỨU CHƯƠNG CƠ SỞ LÝ THUYẾT 2.1 Tổng quan Tesseract-ocr: 2.1.1 Lịch sử: 2.1.2 Kiến trúc hoạt động: 11 2.1.3 Huấn luyện liệu Tesseract: .12 2.1.4 Quá trình huấn luyện ngôn ngữ font mới: 14 2.1.5 Tiến trình nhận dạng sử dụng Tesseract OCR: .17 2.2 Định vị ký tự CTPN (Connectionist Text Proposal Network): 19 2.2.1 Giới thiệu CTPN: 19 2.2.2 Kiến trúc CTPN: 20 2.2.3 So sánh kết quả với mơ hình khác: .21 2.3 Nhận dạng chữ viết tay OCR: .22 2.4 Thư viện OpenCV: .23 2.4.1 Giới thiệu thư viện OpenCV: 23 2.4.2 Phiên bản opencv opencv 2: 23 2.4.3 Hough Line Transform: .27 iv 2.5 Tập liệu chữ số viết tay MNIST: 31 2.6 Thư viện TensorFlow: 32 2.7 Giới thiệu cơng cụ lập trình mơi trường vận hành Ứng dụng hỗ trợ thu thập số đường huyệt thai phụ: 33 2.7.1 Anaconda Jupiter: 33 2.7.2 Visual studio Xamarin: 34 2.7.3 Môi trường cài đặt vận hành: 35 CHƯƠNG PHƯƠNG PHÁP NGHIÊN CỨU 36 3.1 Mơ hình kiến trúc hệ thống: .37 3.2 Phân tích thiết kế hệ thống thu thập số đường huyết thai phụ: 39 3.2.1 Sơ đồ Usecase: .41 3.2.2 Sơ đồ Hoạt động: 42 3.2.3 Sơ đồ Tuần tự: 44 3.2.4 Sơ đồ Class: .46 3.3 Lược đồ trình xử lý form nhập liệu ảnh phiếu theo dõi số đường huyết thông qua phần mềm di động: .47 CHƯƠNG THỰC NGHIỆM VÀ ĐÁNH GIÁ KẾT QUẢ .53 4.1 Thực nghiệm: 53 4.1.1 Tiền xử lý liệu: 53 4.1.2 Nhận dạng thông tin cá nhân bệnh nhân từ ảnh chụp: 54 4.1.3 Nhận dạng thông tin số đường huyết từ ảnh chụp: 60 4.1.4 Lưu trữ thông tin thu thập vào sở liệu trích x́t thơng tin: 62 4.2 Đánh giá kết quả: 63 KẾT LUẬN VÀ KIẾN NGHỊ 66 TÀI LIỆU THAM KHẢO 67 PHỤ LỤC 71 LÝ LỊCH TRÍCH NGANG CỦA HỌC VIÊN 73 v DANH MỤC HÌNH ẢNH Hình 2.1 Ví dụ một đường sở dạng cong .17 Hình 2.2 Ví dụ việc cắt ký tự bị dính .18 Hình 2.3 Quá trình nhận dạng từ 18 Hình 2.4 Kiến trúc Connectionist Text Proposal Network (CTPN) 20 Hình 2.5 Left: RPN proposals Right: Fine-scale text proposals .21 Hình 2.6 CTPN cho kết quả xác với hình ảnh bao gồm đa kích thước text đa ngơn ngữ 22 Hình 2.8 Kết quả Canny edge detection ảnh khác ngưỡng cao thấp set 150 100 27 Hình 2.9 Mợt điểm (x0, y0) mặt phẳng hình ảnh (bảng a) ngụ ý nhiều dòng đường thẳng tham số hóa mợt ρ θ khác (bảng b); đường điểm ngụ ý mặt phẳng (ρ, θ), ghép với tạo thành mợt đường cong có hình dạng đặc trưng (bảng c) 29 Hình 2.10 Phép biến đổi Hough tìm thấy nhiều dịng hình ảnh Có dịng mong muốn tìm thấy có dịng khơng mong muốn 29 Hình 2.11 Những hình ảnh mẫu từ tập liệu test MNIST .31 Hình 2.12 Giao diện Anaconda .33 Hình 2.13 Giao diện Jupiter Notebook 34 Hình 2.14 Cơng nghệ mobile Xamarin 35 Hình 3.1 Mơ hình kiến trúc hệ thống thu thập liệu đường huyết 37 Hình 3.2 Phần thông tin cá nhân bệnh nhân phiếu theo dõi .37 Hình 3.3 Bảng liệu viết tay số đường huyết bệnh nhân đo hàng ngày 38 Hình 3.4 Sơ đồ Usecase hệ thống thu thập liệu đường huyết .41 Hình 3.5 Sơ đồ hoạt đợng nhận dạng text đánh máy .42 Hình 3.6 Sơ đồ hoạt đợng nhận dạng chữ số viết tay 43 Hình 3.7 Sơ đồ trình tự gửi ảnh .44 Hình 3.8 Sơ đồ trình tự nhận dạng text chữ số viết tay số đường huyết 45 Hình 3.9 Sơ đồ lớp hệ thống tiếp nhận liệu đường huyết .46 Hình 3.10 Icon ứng dụng sau cài đặt điện thoại 48 Hình 3.11 Màn hình splashscreen ứng dụng .49 Hình 3.12 Giao diện chức lấy ảnh phiếu theo dõi .50 Hình 3.13 Load gửi ảnh phiếu theo dõi 51 Hình 3.14 Thơng báo hoàn thành việc gửi phiếu theo dõi 52 Hình 4.1 Lọc nhiễu làm mượt hình ảnh .53 vi