(Luận văn) phát hiện và nhận dạng hình dáng loại viên thuốc sử dụng deep learning

HỌC VIỆN CƠNG NGHỆ BƯU CHÍNH VIỄN THƠNG - NGUYỄN MẠNH HIẾU lu an NGUYỄN MẠNH HIẾU n va va an lu d oa nl w p ie gh t n HỆ THỐNG THÔNG TIN to PHÁT HIỆN VÀ NHẬN DẠNG HÌNH DÁNG LOẠI VIÊN THUỐC SỬ DỤNG DEEP LEARNING LUẬN VĂN THẠC SĨ KỸ THUẬT (Theo định hướng ứng dụng) ll u nf oi m z at nh z m co l gm @ 2020 – 2022 n va HÀ NỘI - NĂM 2022 an Lu HÀ NỘI – NĂM 2022 ac th si HỌC VIỆN CÔNG NGHỆ BƯU CHÍNH VIỄN THƠNG - lu NGUYỄN MẠNH HIẾU an n va to gh tn PHÁT HIỆN VÀ NHẬN DẠNG HÌNH DÁNG LOẠI VIÊN THUỐC SỬ p ie DỤNG DEEP LEARNING oa nl w d Chuyên ngành: HỆ THỐNG THÔNG TIN Mã số: 8.48.01.04 u nf va an lu ll LUẬN VĂN THẠC SĨ KỸ THUẬT (Theo định hướng ứng dụng) oi m z at nh NGƯỜI HƯỚNG DẪN KHOA HỌC : PGS TSKH HOÀNG ĐĂNG HẢI z m co l gm @ an Lu n va HÀ NỘI - NĂM 2022 ac th si LỜI CAM ĐOAN Tôi tên Nguyễn Mạnh Hiếu, cam đoan: Luận văn Thạc sĩ Kỹ thuật “Phát nhận dạng hình dáng loại viên thuốc sử dụng Deep Learning” công trình nghiên cứu tác giả hướng dẫn PGS TSKH Hoàng Đăng Hải Các kết nghiên cứu luận văn trung thực, không chép từ nguồn hình thức Các nguồn tài liệu tham khảo trích dẫn ghi nguồn quy định lu an Tác giả luận văn n va gh tn to p ie Nguyễn Mạnh Hiếu d oa nl w ll u nf va an lu oi m z at nh z m co l gm @ an Lu n va ac th si LỜI CẢM ƠN Với lịng biết ơn sâu sắc, tơi xin gửi lời cảm ơn chân thành tới người giúp đỡ q trình học tập, nghiên cứu khoa học Tơi xin chân thành cảm ơn: Đầu tiên xin cảm ơn thầy PGS TSKH Hồng Đăng Hải tận tình hướng dẫn truyền đạt kinh nghiệm quý báu giúp đỡ tác giả từ ngày bắt đầu hướng dẫn đến ngày bảo vệ lu Tiếp theo, tác giả cảm ơn thầy cô Trường Học viện Công nghệ Bưu an Viễn thơng tận tình dạy dỗ, truyền đạt kiến thức quý báu va n Tôi xin trân trọng cảm ơn đơn vị nơi công tác làm việc tạo điều to gh tn kiện thuận lợi cho tơi suốt q trình học cao học p ie Cuối cùng, tác giả cảm ơn gia đình, đồng nghiệp, bạn bè ln đồng hành, cổ d oa nl w vũ giúp đỡ tác giả hoàn thành luận văn ll u nf va an lu oi m z at nh z m co l gm @ an Lu n va ac th si i MỤC LỤC MỤC LỤC i DANH MỤC CÁC THUẬT NGỮ, CHỮ VIẾT TẮT iii DANH SÁCH BẢNG iv DANH MỤC HÌNH ẢNH v MỞ ĐẦU lu an n va Lý chọn đề tài Mục đích nhiệm vụ nghiên cứu Đối tượng phạm vi nghiên cứu Phương pháp nghiên cứu Kết đạt luận văn to Cấu trúc luận văn gh tn p ie CHƯƠNG 1: CƠ SỞ LÝ THUYẾT w 1.1 Bài toán phát nhận dạng loại viên thuốc oa nl 1.2 Tiền xử lý liệu d 1.3 Phân đoạn ảnh nhận dạng đối tượng lu va an 1.3.1 Phân đoạn hình ảnh u nf 1.3.2 Các cách tiếp cận phân đoạn hình ảnh 10 ll 1.4 Các kỹ thuật phân đoạn ảnh 11 m oi 1.4.1 Kỹ thuật phân đoạn theo ngưỡng 12 z at nh 1.4.2 Kỹ thuật phân đoạn theo vùng 12 z 1.4.3 Kỹ thuật phân đoạn theo cạnh 13 @ gm 1.4.4 Kỹ thuật phân đoạn theo phân cụm 13 m co l 1.4.5 Kỹ thuật phân đoạn dựa học sâu 14 1.5 Phân loại đối tượng 15 an Lu 1.6 Mạng nơ ron nhân tạo 16 n va 1.6.1 Khái quát 16 ac th si ii 1.6.2 Mơ hình R-CNN 18 1.6.3 Mơ hình Fast R-CNN 19 1.6.4 Mơ hình Faster R-CNN 20 1.6.5 Mạng Mask R-CNN 22 1.7 Một số nghiên cứu liên quan 25 1.8 Kết chương 29 CHƯƠNG 2: XÂY DỰNG HỆ THỐNG PHÁT HIỆN VÀ NHẬN DẠNG HÌNH DÁNG LOẠI VIÊN THUỐC 31 2.1 Mơ hình hệ thống 31 lu 2.2 Các tiêu chí đánh giá 31 an 2.3 Thu thập liệu 33 n va gh tn to 2.4 Một số thuật toán phân đoạn ảnh nhận dạng viên thuốc học máy truyền thống 34 2.4.1 Kỹ thuật xác định cạnh dựa lọc 35 ie p 2.4.2 Kỹ thuật xác định biến đổi Wastershed 36 oa nl w 2.5 Nhận dạng hình dáng loại viên thuốc phương pháp truyền thống 38 2.5.1 Phương pháp hình học 38 d va an lu 2.5.2 Phương pháp đối sánh mẫu 38 ll u nf 2.6 Giải pháp phát nhận dạng hình dáng loại viên thuốc mơ hình học sâu Mask R-CNN 39 m oi 2.6.1 Mơ hình hệ thống 40 z at nh 2.6.2 Tiền xử lý ảnh 40 2.6.3 Phát nhận dạng Mask R-CNN 41 z gm @ 2.6.4 Huấn luyện mơ hình nhận dạng hình dáng viên thuốc 43 2.6.5 Khởi tạo cấu hình mơ hình liệu ảnh thuốc 45 l m co 2.7 Kết chương 45 an Lu CHƯƠNG 3: KẾT QUẢ THỰC NGHIỆM VÀ HƯỚNG PHÁT TRIỂN 47 3.1 Môi trường thực nghiệm liệu 47 va n 3.2 Kết thực nghiệm 48 ac th si iii 3.2.1 Nhận dạng hình dáng viên thuốc phương pháp truyền thống 49 3.2.2 Thực nghiệm phát nhận dạng hình dáng viên thuốc mơ hình Mask R-CNN 51 3.2.3 Thời gian xử lý 58 3.3 Kết chương 58 KẾT LUẬN 60 TÀI LIỆU THAM KHẢO 62 lu an n va p ie gh tn to d oa nl w ll u nf va an lu oi m z at nh z m co l gm @ an Lu n va ac th si iv DANH MỤC CÁC THUẬT NGỮ, CHỮ VIẾT TẮT Viết tắt Tiếng Anh Tiếng Việt Region of Interest Vùng tập trung Convolutional Neural Network Mạng nơ-ron tích chập ML Machine Learning Học máy RPN Region Proposal Network Mạng đề xuất vùng FCN Fully connected network Mạng kết nối đầy đủ ANNs Artificial neural networks Mạng nơ-ron nhân tạo Machine Learning Học máy RoI CNN lu an n va tn to p ie gh ML d oa nl w ll u nf va an lu oi m z at nh z m co l gm @ an Lu n va ac th si v DANH SÁCH BẢNG Bảng 1.1 So sánh R-CNN, Fast R-CNN, Faster R-CNN Mask R-CNN 22 Bảng 1.2 So sánh hiệu mơ hình Few-shot learning 28 Bảng 2.1 So sánh liệu NIH CURE 34 Bảng 2.2 So sánh số kỹ thuật phân đoạn hình ảnh truyền thống 34 Bảng 3.1 Số lượng ảnh viên thuốc gán nhãn tập huấn luyện 47 Bảng 3.2 Số lượng ảnh viên thuốc gán nhãn tập kiểm tra 48 Bảng 3.3 Kết phân đoạn hình ảnh viên thuốc lọc 50 Bảng 3.4 Giá trị tham số huấn luyện mô hình Mask R-CNN 52 lu an Bảng 3.5 So sánh độ xác mơ hình với số nghiên cứu liên quan 54 n va p ie gh tn to d oa nl w ll u nf va an lu oi m z at nh z m co l gm @ an Lu n va ac th si vi DANH MỤC HÌNH ẢNH Hình 1.1 Thành phần tốn phát hiện, nhận dạng hình dáng viên thuốc lu an n va Hình 1.2 Các loại phân đoạn hình ảnh [19] 10 Hình 1.3 Một số phương pháp phân đoạn ảnh truyền thống [20] 12 Hình 1.4 Phân đoạn cạnh [21] 13 Hình 1.5 Ví dụ ứng dụng mạng R-CNN 19 Hình 1.6 Kiến trúc tổng quan mơ hình Fast R-CNN 20 Hình 1.7 Mơ hình luồng Faster R-CNN 21 Hình 1.8 Mơ hình luồng Mask R-CNN [7] 23 Hình 1.9 Mơ hình phương pháp kết hợp ResNet, DenseNet B-CNN/BCP 25 Hình 1.10 Bộ liệu 15 lớp, 490 hình ảnh thuốc Alphonso Woodbury 26 Hình 1.11 Mơ hình hệ thống thực nghiệm định danh viên thuốc Suwat 27 to 28 Hình 2.1 Mơ hình tổng quan hệ thống 31 ie gh tn Hình 1.12 Mơ hình hệ thống nhận diện viên thuốc đa luồng CNN Hình 2.2 Xác định cạnh dựa lọc p 35 37 Hình 2.4 Nhận dạng hình dáng phương pháp đếm số đỉnh 38 Hình 2.5 Hình mẫu để sử dụng nhận dạng viên thuốc đối sánh mẫu 38 d oa nl w Hình 2.3 Xác định viên thuốc biến đổi Watershed lu Hình 2.6 Nhận dạng hình dáng viên thuốc kỹ thuật đối sánh mẫu va an 39 40 u nf Hình 2.7 Mơ hình đề xuất ll Hình 2.8 Mạng RPN đề xuất ROI dự đoán lớp, hộp giới hạn viên thuốc 42 m Hình 2.9 Mask R-CNN dự đốn mặt nạ viên thuốc oi 43 z at nh 48 Hình 3.2 Kết phân đoạn liệu mẫu phương pháp truyền thống 49 z Hình 3.1 Một số mẫu liệu viên thuốc thích pixel @ 50 l gm Hình 3.3 Kết nhận dạng hình dáng loại viên thuốc OpenCV Hình 3.4 Kết độ xác theo tỉ lệ chồng lấp IoU mơ hình thực nghiệm với m co kiến trúc thơng số khác 53 an Lu Hình 3.5 Kết so sánh độ xác phương pháp đề xuất với phương pháp 54 n va truyền thống ac th si 50 lu an n va p ie gh tn to Hình 3.3 Kết nhận dạng hình dáng loại viên thuốc OpenCV Ngồi ra, luận văn thực nghiệm số ảnh thực tế người dùng cung cấp, ảnh có nhiều viên thuốc, có viên thuốc có chồng, lấp nl w phương pháp truyền thống hoạt động không hiệu từ bước phân đoạn viên d oa thuốc; khơng thể phát xác cạnh viên thuốc dẫn đến phân an lu loại hình dạng theo yều cầu tốn đặt ra, kết mô tả cụ thể Bảng 3.3 u nf va Bảng 3.3 Kết phân đoạn hình ảnh viên thuốc lọc Ảnh phân đoạn ll Ảnh xám hóa oi m Sử dụng OpenCV z at nh z m co l gm @ an Lu n va ac th si 51 Sử dụng thư viện PILLOW Sử dụng phương pháp Watershed lu an n va p ie gh tn to w 3.2.2 Thực nghiệm phát nhận dạng hình dáng viên thuốc mơ oa nl hình Mask R-CNN d 3.2.2.1 Gán nhãn liệu an lu Gán nhãn liệu viên thuốc đề cập đến công việc phân loại thủ công bán u nf va tự động chuyển đổi liệu cách sử dụng công cụ gán nhãn để xây dựng liệu khớp với u cầu mơ hình học sâu Để phát viên thuốc, hình ảnh ll oi m huấn luyện tọa độ vị trí viên thuốc tương ứng với hình ảnh bắt buộc phải z at nh xác định cách cụ thể, xác Mask R-CNN yêu cầu tọa độ đa giác thể hình dạng viên thuốc tọa độ vị trí chúng Để tạo tọa độ đa giác này, z cần sử dụng cơng cụ gán nhãn hình ảnh để hiển thị tọa độ đa giác tên lớp cho @ gm viên thuốc ảnh Chúng sử dụng công cụ tảng web online l Makesense.ai để gán nhãn pixel cho liệu huấn luyện đánh giá m co Đây cơng việc sử địi hỏi thời gian cơng sức đáng kể Kết gán nhãn an Lu thu tệp JSON lưu trữ thông tin lớp hình dạng, tọa độ, ví trí viên thuốc n va ac th si 52 mặt nạ chúng ('Capsule', 'Double_round', 'Heart', 'Modified_rectangle', 'Octagon', 'Oval', 'Pentagon', 'Round', 'Triangle') 3.2.2.2 Các giá trị tham số huấn luyện mơ hình Qua nghiên cứu, tham khảo số cơng trình liên quan [11], [15], để huấn luyện mơ hình theo phương pháp đề xuất, thực nghiệm huấn luyện mơ hình với giá trị tham số khởi tạo trình bày cụ thể Bảng 3.4, đó:  Sử dụng thuật tốn tối ưu tham số Stochastic Gradient Descent (SGD) thuật tốn tối ưu hóa theo họ gradient;  Tỉ lệ học khởi tạo ban đầu 0.001; lu  Kích thước liệu lần mơ hình học (batch size) khởi tạo an kích thước ảnh viên thuốc đầu vào lớn khơng thay đổi kích thước va n nhằm giữ đầy đủ thông tin ảnh (trong đó, ảnh lớn kích thước tn to 2448 x 2448 pixel) cấu hình phần cứng môi trường thực p ie gh nghiệm Google Colab pro bị hạn chế cấu hình GPU (40GB)  Qua thực nghiệm với số lần lặp khác nhau, để đảm bảo độ nl w xác mơ hình thời gian, hiệu suất xử lý, chọn tham oa số số lần lặp epochs 80 d  Hàm lỗi mơ hình Mask R-CNN kết hợp hai nhiệm vụ : lu va an mạng FCN để dự đoán hộp giới hạn viên thuốc ; hai nhiệm vụ u nf dự đoán mặt nạ viên thuốc ll Bảng 3.4 Giá trị tham số huấn luyện mơ hình Mask R-CNN oi m Optimizer learning_rate batch_size epoch Giá trị SGD z Tham số z at nh STT @ m co l gm 0.001 an Lu 80 n va ac th si 53 STT Tham số Giá trị rpn_class_loss = rpn_bbox_loss = loss_function mrcnn_class_loss = mrcnn_bbox_loss = mrcnn_mask_loss = 3.2.2.3 Độ xác dự đốn mơ hình Qua kết thực nghiệm liệu đánh giá, thu kết lu an độ xác dự đốn mặt nạ viên thuốc IoU score đạt 94,13%, độ xác phân n va lớp đạt 90.22% cao áp dụng phương pháp khác như: OpenCV, ORB + tn to BoW + KMeans, OpenCV + RandomForest; thể dạng đồ thị đồ gh thị Hình 3.4 Hình 3.5 Trong đó, để đánh giá kết quả, chương trình thực nghiệm p ie 02 kiến trúc Resnet50, Resnet101 với số lần lặp khác lần 80 lần d oa nl w ll u nf va an lu oi m z at nh z l gm @ m co Hình 3.4 Kết độ xác theo tỉ lệ chồng lấp IoU mơ hình thực nghiệm với kiến trúc thơng số khác an Lu n va ac th si 54 Precision (%) 100% 90.22% 80% 60% 43.22% 34.71% 40% 28.14% 20% 0% OpenCV ORB + BoW + Kmeans OpenCV + RandomForest Mask R-CNN lu an n va Hình 3.5 Kết so sánh độ xác phương pháp đề xuất với phương pháp truyền thống tn to Đặc biệt, luận văn so sánh kết độ xác dự đốn hình dạng loại viên gh thuốc theo tỉ lệ IoU mặt nạ viên thuốc với nghiên cứu liên quan Kết p ie cho thấy, phương pháp đề xuất có độ xác cao nhất, Bảng 3.5 thể kết so sánh nl w d oa Bảng 3.5 So sánh độ xác mơ hình với số nghiên cứu liên quan Phương pháp u nf Độ xác IoU (%) Phương pháp theo tài liệu số 27 [27] 90 Phương pháp theo tài liệu số 28 [28] 78 Phương pháp theo tài liệu số 15 [15] Phương pháp đề xuất va an lu STT ll oi m z at nh 94 z l gm @ 94.13 an Lu (1) Đề xuất vùng chứa viên thuốc m co * Kết dự đoán 01 mẫu ngẫu nhiên cụ thể sau: n va ac th si 55 lu Hình 3.6 Các anchor dương trước sàng lọc (chấm) sau sàng lọc (liền) an n va p ie gh tn to d oa nl w an lu ll u nf va Hình 3.7 Các anchor box tinh chỉnh sau loại bỏ hộp độ xác thấp m oi (2) Phân loại vùng đề xuất z at nh Sau thu vùng đề xuất, hệ thống tiến hành phân loại vùng z thu Chạy trình phân loại đứng đầu đề xuất để tạo đề xuất @ m co l gm lớp tiến hành thuật toán hồi quy hộp giới hạn an Lu n va ac th si 56 lu Hình 3.8 Hiển thị vùng đề xuất cuối an n va p ie gh tn to d oa nl w va an lu ll u nf Hình 3.9 Phân loại vùng đề xuất hình dạng viên thuốc m oi (3) Tạo mặt nạ viên thuốc dự đốn lớp hình dáng z at nh z Bước lấy vùng phát (tinh chỉnh hộp giới hạn định danh lớp) từ bước trước chạy tầng đầu Mask để tạo mặt nạ phân đoạn cho trường hợp m co l gm @ an Lu Hình 3.10 Tạo mặt nạ phân đoạn cho viên thuốc n va ac th si 57 Hình 3.11 Kết phát nhận dạng viên thuốc * Ngoài ra, liệu CURE liệu hình ảnh phức tạp, phần lớn ảnh người dùng chụp với thay đổi nền, ánh sáng mô hình chúng tơi lu an xây dựng huấn luyện tính tốn độ xác liệu Tuy nhiên n va ảnh ảnh có viên thuốc, mà điều kiện thực tế thường xuất tn to tình liệu hình ảnh chứa nhiều viên thuốc chồng, lấp Do đó, gh chúng tơi kiểm tra hiệu mơ hình số hình phức tạp hơn, mà có p ie nhiều viên thuốc xuất ảnh, thấy khả ứng dụng vào thực w tế mơ hình đề xuất oa nl Bên cạnh đó, khơng có liệu hình ảnh viên thuốc phức tạp làm chuẩn d hay cơng trình nghiên cứu tương tự kiểm thử tiêu chí nên chúng tơi chưa thể lu an kiểm tra số lượng lớn để đánh giá độ xác Hình 3.12 kết áp dụng mơ u nf va hình ảnh phức tạp; đó, phát nhận dạng tương đối xác ll nhiều ảnh viên thuốc có chồng, lấp nhau, có số viên thuốc phức tạp oi m hệ thống chưa thể nhận dạng z at nh z m co l gm @ an Lu n va Hình 3.12 Kết phát nhận dạng hình dáng viên thuốc ảnh thực tế Mask R-CNN ac th si 58 3.2.3 Thời gian xử lý Thời gian huấn luyện mơ hình Mask R-CNN sấp xỉ Thời gian trung bình để phát nhận dạng hình dáng loại viên thuốc ảnh khoảng 1.75 giây 3.3 Kết chương Từ kết thực nghiệm cho thấy, phương pháp phân đoạn dựa việc phát cạnh (phương pháp truyền thống) chưa đưa kết có độ xác cao, khó áp dụng cho thực tiễn ảnh viên thuốc có màu trắng lu màu trùng với màu nền, làm giảm độ tương phản đối tượng với Đồng thời, an viên thuốc có khả bị đổ bóng, chói sáng, chồng, lấp che nhau, cần va n có phương pháp tương tự watershed hiệu cao để phân đoạn Do đó, việc tn to ứng dụng mơ hình mạng nơ-ron nhân tạo Mask R-CNN để giải toán hết ie gh sức cần thiết, kết thực nghiệm cho thấy tính khả thi phương pháp đề xuất p giải tốn phát nhận dạng hình dáng loại viên thuốc Cụ thể: oa nl w 3.3.1 Ưu điểm Phương pháp nhận dạng hình dáng loại viên thuốc dựa mơ hình học sâu Mask d an lu R-CNN với liệu viên thuốc CURE thu kết tương đối cao, tỉ lệ dự đoán va mặt nạ viên thuốc IoU đạt 94,13%, cho thấy hướng phát triển khả quan áp dụng vào ll u nf toán nhận dạng viên thuốc ảnh thực tế người dùng cung cấp Một số ưu oi m điểm bật mà luận văn đóng góp sau: z at nh - Trên liệu này, phương pháp đề xuất thu kết thực nghiệm với độ xác đạt 94.13% cao phương pháp Suiyi Ling cộng năm 2020 [9] z thực nghiệm mơ hình đa luồng số phương pháp khác @ l gm - Đã thích mức độ pixel cho liệu hình ảnh viên thuốc với 1.700 viên thuốc, tiền đề lớn cho toán phân đoạn nhận dạng viên thuốc m co xác cao tương lai an Lu - Qua thực nghiệm cho thấy, phương pháp dựa hình học nhận dạng n va hình dáng viên thuốc chưa thực hiệu quả, chịu ảnh hưởng lớn từ kết tìm đường ac th si 59 bao quanh đối tượng, khó liệt kê hết xác hình, đặc biệt, khơng xác viên thuốc có hình đặc biệt trái tim, hoa… hay cạnh viền không làm nét, mịn; đồng thời, phương pháp nhận dạng hình dáng loại viên thuốc đối sánh mẫu chịu ảnh hưởng lớn từ việc phân đoạn ảnh lọc tiền xử lý truyền thống nên việc áp dụng cho toán thực tế đời sống hiệu 3.3.2 Một số hạn chế Bên cạnh kết đạt được, phương pháp đề xuất cịn tồn số khó khăn, hạn chế, như: - Mặc dù chương trình huấn luyện lớp hình dạng viên lu an thuốc phổ biến nay, nhiên, độ đa dạng hình dáng loại viên thuốc chưa n va cao (hiện có 09 lớp hình dáng, thiếu nhiều lớp viên thuốc hình dáng đặc biệt), áp tn to dụng vào thực tiễn cần bổ sung thêm nhiều liệu mẫu thích điểm ảnh gh - Một số lớp hình dạng loại viên thuốc có số lượng hình ảnh hạn chế, p ie hiệu mơ hình nhận dạng viên thuốc có hình dạng chưa cao nl w - Nền tảng áp dụng mơ hình Mask R-CNN cần cải tiến, ví dụ sử d ll u nf va an lu chương trình oa dụng thư viện Pytorch, Tensorflow để tăng hiệu năng, hiệu oi m z at nh z m co l gm @ an Lu n va ac th si 60 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN TIẾP Mặc dù nhiều phương pháp nhận dạng đối tượng nói chung đời, đạt hiệu quả, hiệu suất cao, nhận dạng viên thuốc trọng tâm nghiên cứu tính ứng dụng thiết yếu đời sống Nhận dạng hình dáng viên thuốc toán phát triển thành hệ thống ứng dụng cơng nghệ thơng tin chăm sóc sức khỏe thường ngày người Do đó, việc ứng dụng cơng nghệ nhận dạng hình dáng loại viên thuốc phục vụ sở y tế, người dùng thuốc viên phương pháp khả thi, góp phần phục vụ hiệu nhu cầu thực tế đời sống lu an Trong phạm vi nghiên cứu, luận văn trình bày tốn nhận dạng hình dáng n va loại viên thuốc; đó, tập trung vào số kỹ thuật nhằm giải toán, như: tn to phân đoạn viên thuốc phương pháp tìm đường biên truyền thống; phân đoạn gh nhận dạng hình dáng viên thuốc mơ hình học sâu Từ đề xuất xây dựng p ie chương trình thực nghiệm thơng qua phương pháp sử dụng mơ hình Mask R-CNN, w xây dựng mơ hình huấn luyện 1.700 hình ảnh viên thuốc thuộc 09 loại hình oa nl dáng khác nhau, từ thu độ xác nhận dạng đạt xấp xỉ 94,13% Việc d nghiên cứu, phát triển giải pháp nhận dạng hình dáng viên thuốc mơ hình học an lu sâu cách tự động để thay cho nhận dạng phương pháp truyền thống u nf va yêu cầu người dùng tự mô tả thụ động là mô ̣t hướng nghiên cứu mới, đáp ứng đươc̣ tình hình thực tế , nhu cầu nhiều nước, có Việt Nam, đặc biệt ll oi m kỷ nguyên khoa ho ̣c công nghê ̣ bùng nổ, việc trang bị thiết bị quay phim, z at nh ghi hình, chụp ảnh cá nhân ngày càng phổ biến và hiê ̣n đa ̣i Bám sát mục tiêu, nhiệm vụ, sử dụng đắn phương pháp nghiên cứu z khoa học, luận văn thu số thành công đạt mục tiêu, @ gm nhiệm vụ đặt Trong tương lai, để cải thiện hiệu suất hệ thống, luận văn định m co l hướng mở rộng nghiên cứu tăng cường liệu mẫu, giảm nhiễu; đồng thời, cầ n xem xét, nghiên cứu ứng dụng thành công của các phương pháp tiế n tiế n hiê ̣n dụng kỹ thuật để phát hiện, nhận dạng đối tượng an Lu đa ̣i bắ t nguồ n từ thi ̣ giác máy tính, khai thác dữ liê ̣u lớn và khoa ho ̣c máy tính, ứng n va ac th si 61 Hướng phát triển tiếp: Việc phát nhận dạng hình dáng loại viên thuốc tảng quan trọng cho lĩnh vực Tin Sinh học, đặc biệt vấn đề nghiên cứu phân loại viên thuốc Do đó, để cải tiến hiệu quả, tương lai nghiên cứu kỹ thuật học sâu hơn, nâng cấp, cải thiện thuật toán Mask R-CNN; đồng thời, nghiên cứu, phát triển việc phân loại viên thuốc dựa màu sắc, ký hiệu viên thuốc, giúp đưa việc nhận dạng viên thuốc trở thành hệ thống hoàn chỉnh hơn, khơng dừng lại tốn nhận dạng hình dáng loại viên thuốc Luận văn cơng trình nghiên cứu công phu, nghiêm túc, song vấn đề khó phức tạp, phạm vi nghiên cứu rộng, cộng thêm khó khăn khách quan, lu kiến thức hạn chế nên chắn nhiều khiếm khuyết Rất mong an nhận quan tâm, góp ý nhà khoa học, nhà hoạt động thực tiễn đồng va n nghiệp Cuối cùng, xin chân thành cảm ơn đơn vị liên quan, đồng chí, đồng tn to nghiệp, đặc biệt thầy hướng dẫn khoa học tận tình giúp đỡ để hoàn thành luận p ie gh văn này./ d oa nl w ll u nf va an lu oi m z at nh z m co l gm @ an Lu n va ac th si 62 TÀI LIỆU THAM KHẢO A Jacobson, “Medication errors statistics 2022,” SingleCare Team, 01/2022 [2] Tariq, Rayhan A.; Vashisht, Rishik; Sinha, Ankur; Scherbak, Yevgeniya, “Medication Dispensing Errors And Prevention,” NCBI, 01/2021 [3] Kapil G Zirpe, Bhavika Seta, Sharvari Gholap, “Incidence of Medication Error in Critical Care Unit of a Tertiary Care Hospital: Where Do We Stand?,” PMC, 2020 [4] Mandal, Manav, “Introduction to Convolutional Neural Networks (CNN),” Data Science Blogathon., 2021 [5] Girshick, Ross, “Fast r-cnn.,” volume 10.1109/ICCV.2015.169 , 2015 [6] Shaoqing Ren, Kaiming He, Ross Girshick, and Jian Sun, “Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks,” arXiv, 2016 lu [1] an n va R Girshick, “Mask R-CNN,” Facebook AI Research (FAIR), 2018 p ie gh tn to [7] Hyuk-Ju Kwon, Hwi-Gang Kim, Sung-Hak Lee, “Pill Detection Model for Medicine Inspection Based on Deep Learning,” chemosensors - MDPI, 2021 d oa nl w [8] Suiyi Ling et al, “Few-Shot Pill Recognition,” IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) , volume doi: 10.1109/CVPR42600.2020.00981, pp 9786-9795, 2020 [10] World Health Organization, Medication Errors, ISBN 978-92-4-151164-3, 2016 [11] A Woodbury, “Increasing Medication Safety with Deep Learning Image Recognition,” RxVision, 2020 [12] Wong, Y F et al., “Development of fine-grained pill identification algorithm using deep convolutional network,” J Biomed Inform 74, 2017 [13] S Tangwattananuwat, “The Identification of Pill Images Using Convolutional,” 2020 ll u nf va an lu [9] oi m z at nh z m co l gm @ an Lu n va ac th si 63 M.A.V Neto, J.W.M de Souza, P.P Reboucas Filho and W.D.O Antonio, “CoforDes: An invariant feature extractor for the drug pill identification,” IEEE 31st Int Symp on Computer-Based Medical Systems (CBMS), Karlstad, 2018 [15] N L o Medicine, “nlm.nih.gov,” 2016 [Trực tuyế n] Available: https://www.nlm.nih.gov/pubs/techbull/ma16/brief/ma16_pill_challenge.html [16] J.S Wang, A Ambikapathi, Y Han, S.L Chung, H.W Ting and C.F Chen, “Highlighted deep learning based identification of pharmaceutical blister packages,” IEEE 23rd Int Conf on Emerging Technologies and Factory Automation (ETFA), Turin, 2018 [17] Maier, Andreas & Syben, Christopher & Lasser, Tobias & Riess, Christian, “A Gentle Introduction to Image Segmentation for Machine Learning,” A gentle introduction to deep learning in medical image processing Zeitschrift für Medizinische Physik., volume 29, 10.1016/j.zemedi.2018.12.003 , 2021 [18] N Barla, “The Complete Guide to Panoptic Segmentation,” PerceptronAI, https://www.v7labs.com/blog/panoptic-segmentation-guide, 2022 lu [14] an n va ie gh tn to Arpan Kumar, Anamika Tiwari , “A Comparative Study of Otsu Thresholding and K-means Algorithm of Image Segmentation,” International Journal of Engineering and Technical Research (IJETR), volume 9, number 5, p 1, 2019 p [19] oa nl w H Bandyopadhyay, “An Introduction to Image Segmentation: Deep Learning vs Traditional,” V7, 2022 [21] Michielan, Lisa & Terfloth, Lothar & Gasteiger, Johann & Moro, Stefano, “Comparison of Multilabel and Single-Label Classification Applied to the Prediction of the Isoform Specificity of Cytochrome P450 Substrates.,” Journal of chemical information and modeling, volume 49 10.1021/ci900299a., pp 2588-605, 2009 [22] Gershenson, Carlos, “Artificial Neural Networks for Beginners,” 2003 [23] Radhamadhab Dalai, Kishore Kumar Senapati, “Comparison of Various RCNN techniques for Classification of Object from Image,” International Research Journal of Engineering and Technology (IRJET), volume 04, 2017 [24] N Usuyama, L Naoto, “ePillID Dataset: A Low-Shot Fine-Grained Benchmark for Pill Identification,” arXiv, 2020 d [20] ll u nf va an lu oi m z at nh z m co l gm @ an Lu n va ac th si 64 lu Chen, J Yu and Z., “Accurate system for automatic pill recognition using imprint information,” IET Image Process., volume 9, 2015 [26] S Prasad, “analytixlabs,” 2022 [Trực tuyế n] Available: https://www.analytixlabs.co.in/blog/what-is-image-segmentation/ [acess 2022] [27] K V, Lalitha & R, Amrutha & Michahial, Stafford , “Implementation of Watershed Segmentation,” IJARCCE, volume 5, number 10.17148/IJARCCE.2016.51243 , pp 196-199, 2016 [28] Olaf Ronneberger, Philipp Fischer, Thomas Brox, “U-Net: Convolutional Networks for Biomedical Image Segmentation,” MICCAI, 2015 [29] Sachin Mehta, Mohammad Rastegari, Linda Shapiro, and Hannaneh Hajishirzi, “Espnetv2: A light-weight, power efficient, and general purpose convolutional neural network,” Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, p pages 9190–9200, 2019 an [25] n va p ie gh tn to d oa nl w ll u nf va an lu oi m z at nh z m co l gm @ an Lu n va ac th si