Xây dựng ứng dụng đếm tế bào từ ảnh phôi dựa trên xác định biên tế bào cho điện thoại thông minh

BỘ CÔNG THƯƠNG TRƯỜNG ĐẠI HỌC CÔNG NGHIỆP THÀNH PHỐ HỒ CHÍ MINH TRẦN VĂN NINH XÂY DỰNG ỨNG DỤNG ĐẾM TẾ BÀO TỪ ẢNH PHÔI DỰA TRÊN XÁC ĐỊNH BIÊN TẾ BÀO CHO ĐIỆN THOẠI THÔNG MINH Chuyên ngành: KHOA HỌC MÁY TÍNH Mã chuyên ngành: 60480101 LUẬN VĂN THẠC SĨ THÀNH PHỐ HỒ CHÍ MINH, NĂM 2019 Cơng trình hồn thành Trường Đại học Cơng nghiệp Hồ Chí Minh Người hướng dẫn khoa học: PGS.TS Phạm Thế Bảo Người phản biện 1: TS Lê Thành Sách Người phản biện 2: Trần Anh Tuấn Luận văn thạc sĩ bảo vệ Hội đồng chấm bảo vệ Luận văn thạc sĩ Trường Đại học Công nghiệp thành phố Hồ Chí Minh ngày 12 tháng 04 năm 2019 Thành phần Hội đồng đánh giá luận văn thạc sĩ gồm: PGS.TS Huỳnh Trung Hiếu - Chủ tịch Hội đồng TS Lê Thành Sách - Phản biện TS Trần Anh Tuấn - Phản biện TS Phạm Văn Chung - Ủy viên TS Phạm Thị Thiết - Thư kí CHỦ TỊCH HỘI ĐỒNG TRƯỞNG KHOA CNTT BỘ CÔNG THƯƠNG TRƯỜNG ĐẠI HỌC CÔNG NGHIỆP THÀNH PHỐ HỒ CHÍ MINH CỘNG HỊA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập - Tự - Hạnh phúc NHIỆM VỤ LUẬN VĂN THẠC SĨ Họ tên học viên: Trần Văn Ninh MSHV:15118291 Ngày, tháng, năm sinh: 06-11-1989 Nơi sinh: Thái Bình Chuyên ngành: Khoa Học Máy Tính Mã chuyên ngành: 60480101 I TÊN ĐỀ TÀI: Xây dựng ứng dụng đếm tế bào từ ảnh phôi dựa xác định biên tế bào cho điện thoại thông minh NHIỆM VỤ VÀ NỘI DUNG: Nhiệm vụ nghiên cứu giải thuật xử lý ảnh để đếm tế bào điện thoại thông minh Nội dung nghiên cứu tập trung vào giải thuật xử lý ảnh tìm biên, để phân tách tế bào khỏi từ làm xây dựng lên giải thuật đếm phù hợp cho ứng dụng II NGÀY GIAO NHIỆM VỤ: Theo định số 3441/QĐ-DHCN 26/12/2017 III NGÀY HOÀN THÀNH NHIỆM VỤ: 26/6/2018 IV NGƯỜI HƯỚNG DẪN KHOA HỌC: PGS.TS Phạm Thế Bảo Tp Hồ Chí Minh, ngày … tháng … năm 20 … NGƯỜI HƯỚNG DẪN CHỦ NHIỆM BỘ MÔN ĐÀO TẠO TRƯỞNG KHOA LỜI CẢM ƠN Trước hết xin gửi lời cảm ơn chân thành tới tập thể thầy cô giáo Khoa Công nghệ Thông tin, Trường Đại học Cơng Nghiệp TP Hồ Chí Minh giúp đỡ tận tình chu tơi có mơi trường tốt học tập nghiên cứu Đặc biệt, xin bày tỏ lòng biết ơn sâu sắc tới thầy PGS.TS Phạm Thế Bảo, người trực tiếp hướng dẫn, bảo tơi tận tình suốt q trình nghiên cứu hồn thiện luận văn Mợt lần tơi xin gửi lời cảm ơn đến tất thầy giáo, bạn bè, gia đình quan giúp đỡ thời gian vừa qua i TÓM TẮT LUẬN VĂN THẠC SĨ Trong lĩnh vực sinh học số lượng tế bào sử dụng một số để đánh giá phát triển sinh vật, kết đếm thủ công tốn thời gian sai sót Bài viết tìm đề xuất một phương pháp để đếm tổng số tế bào hình ảnh qua kính hiển vi cách sử dụng phương pháp tìm biên Quá trình bao gồm tiền xử lý phân đoạn mợt hình ảnh sau cắt để có vùng chọn phù hợp Sau đó, phương pháp tìm biên áp dụng để phát đếm số lượng tế bào dựa kích thước Kết cho thấy từ mười sáu mẫu hình ảnh tế bào phần mềm đếm tế bào có đợ xác 87,31% ii ABSTRACT In the field of biology the number of cells is used as an indicator to assess the growth of organisms, resulting if manual counting takes time and errors This article has sought and proposed a method to count the total number of cells in the image through a microscope using the finding Contours method This process includes preprocessing and segmenting an image after cutting it to get the right selection After that, the finding Contour method was applied to detect and count the number of cells based on its size The results showed that from sixteen samples of cell images the accuracy of using Contours method was 87.31% iii LỜI CAM ĐOAN Tôi xin cam đoan nội dung luận văn “xây dựng ứng dụng đếm tế bào từ ảnh phôi dựa xác định biên tế bào cho điện thoại thông minh” thực hướng dẫn thầy PGS.TS Phạm Thế Bảo Những nội dung trình bày luận văn cá nhân tổng hợp từ nhiều nguồn tài liệu khác Tất tài liệu tham khảo có xuất xứ rõ ràng trích dẫn đầy đủ Tơi xin chịu hồn tồn trách nhiệm chịu hình thức kỷ luật theo quy định cho lời cam đoan Học viên Trần Văn Ninh iv MỤC LỤC MỤC LỤC v DANH MỤC HÌNH ẢNH viii DANH MỤC BẢNG BIỂU xi DANH MỤC TỪ VIẾT TẮT xii MỞ ĐẦU 1 Đặt vấn đề .1 Mục tiêu nghiên cứu Đối tượng phạm vi nghiên cứu Cách tiếp cận phương pháp nghiên cứu .2 Ý nghĩa thực tiễn đề tài CHƯƠNG TỔNG QUAN 1.1 Bài toán đếm tế bào .4 1.2 Khó khăn thách thức .5 1.2.1 Các vấn đề cần giải 1.2.2 Khó khăn thách thức 1.3 Các hướng tiếp cận 1.3.1 Phương pháp tạo mẫu đếm thủ công .8 1.3.2 Sử dụng thiết bị đếm 10 1.3.3 Phần mềm đếm máy tính 11 1.3.4 Phần mềm điện thoại thông minh .14 1.4 Hướng giải 15 CHƯƠNG CƠ SỞ LÝ THUYẾT 18 2.1 Thiết bị nghiên cứu .18 2.1.1 Kính hiển vi 18 2.1.2 Thiết bị di động 22 2.1.3 Ngơn ngữ lập trình 24 2.2 Giới thiệu ảnh số 26 2.2.1 Ảnh kĩ thuật số 26 2.2.2 Ảnh tế bào 28 2.3 Phân đoạn ảnh .28 v 2.3.1 Biến đổi ảnh xám .28 2.3.2 Biến đổi ảnh đen trắng .29 2.3.3 Biểu đồ phân bố tần số .30 2.3.4 Lọc thông số cao 31 2.3.5 Ngưỡng màu .33 2.4 Xử lý hình thái học 35 2.5 Phép biến đổi Hough Circle 36 2.5.1 Khái niệm 36 2.5.2 Ngun lý hoạt đợng thuật tốn .36 2.6 Tìm tế bào dựa vào biên 38 2.6.1 Khái niệm 38 2.6.2 Ngun lý hoạt đợng thuật tốn .38 CHƯƠNG XÂY DỰNG THUẬT GIẢI 41 3.1 Giới thiệu vấn đề cần xử lý 41 3.2 Tiền xử lý 42 3.3 Phân đoạn ảnh .44 3.3.1 Biến đổi ảnh xám .44 3.3.2 Biến đổi ảnh đen trắng .46 3.4 Xử lý hình thái học 47 3.5 Xác định ứng viên tế bào 50 3.5.1 Hướng tiếp cận Hough Circle Transform 50 3.5.2 Hướng tiếp cận dựa vào tìm biên .53 3.6 Loại ứng viên có diện tích nhỏ 55 3.7 Loại ứng viên có hình dạng tế bào 56 3.8 Tách đối tượng chồng lấp .57 3.9 Giải thuật đếm tế bào 58 3.10 Cấu trúc phần mềm 60 CHƯƠNG KẾT QUẢ & PHÁT TRIỂN 63 4.1 Môi trường thực nghiệm .63 4.2 Quy trình sử dụng phần mềm 66 4.3 Tập liệu 72 vi 4.4 Kết đánh giá .76 4.5 Hướng phát triển 79 KẾT LUẬN VÀ KIẾN NGHỊ 81 Kết luận 81 Kiến nghị .81 TÀI LIỆU THAM KHẢO 82 LÝ LỊCH TRÍCH NGANG CỦA HỌC VIÊN 84 vii Hình 4.8 Sự thay đổi ngưỡng làm thay đổi nhận diện Chọn ngưỡng cao thường 240-250 ngưỡng thấp để đối tượng ảnh một cách rõ Nếu thấy ảnh qua bước tiền xử lý tốt cơng việc cịn lại nhấn nút “COUNT” Sau kết bên khung hình thứ hai với đối tượng xác định có hiển thị số tế bào đếm 70 Hình 4.9 Kết sau lần nhấn đầu Kiểm tra kết khung ảnh tế bào đánh dấu ô đỏ đếm nhắc đếm tê bào mợt lần cịn vàng xác định cụm tế bào đếm từ trở lên, hình 33 ta nhận thấy cịn nhiều vàng đánh dấu tế bào đơn ta kéo ngưỡng cao làm đường biên đối tượng bị lan rộng gây sai lệch ta cần kéo lại cho kết bị nhận diện sai 71 Hình 4.10 Kết gần Sau có kết gần người dùng kiểm lại mắt thương ước lượng tế bào thiếu đếm thủ cơng phần Như hình kết bị thiếu 14 tế bào 4.3 Tập liệu Mẫu hình tế bào sinh viên ngành hóa sinh chụp hình điện thoại thơng minh thơng qua kính hiển vi Khoa Sinh trường Đại học Khoa học Tự nhiên cung cấp năm 2017, với mục đích nghiên cứu chúng tơi lọc 16 mẫu hình tế bào để áp dụng vào toán đếm tế bào Đặc điểm tập ảnh tế bào khơng thống có tế bào nằm đơn lẻ có hình dạng gần trịn bị biến dạng, có tế bào dính thành cụm, có tế bào đặc biệt nḥm để tế bào khác, khó khăn hình tế bào bị mờ nằm sát 72 Bảng 4.1 Tập liệu ảnh tế bào St t Tên hìn h TB Biểu đồ phân bố tần số Hình liệu Số lượn g tế bào 203 01 TB 264 02 TB 436 03 TB 45 04 73 TB 228 05 TB 71 06 TB 99 07 TB 183 08 TB 195 09 74 10 TB 250 11 11 TB 200 12 12 TB 26 13 13 TB 30 16 14 TB 26 17 75 15 TB 120 19 16 TB 147 20 4.4 Kết đánh giá Với mục đích ứng dụng đếm nhiều dạng tế bào nhiều trường hợp nên xét nhóm cụ thể là: nhóm mợt hình tế bào nhìn rõ có phân tách với rõ ràng, nhóm tế bào mờ nằm lẫn lợn với nhau, nhóm tế bào nḥm nằm lẫn lợn với đa tế bào từ đưa bảng kết thực nghiệm với 16 mẫu sau: Bảng 4.2 Phần trăm đếm nhóm mẫu Số lượng mẫu Tổng 4 16 Nhóm Tỷ lệ đếm (90.01 + 99.56 + 91.54 + 90.90 + 98,38 + 85,52 + 97.5 + 99.9)/8 = 94,17% (97,72 + 71.5 + 69,2 + 90,49)/4 = 82,22% (77,77 + 84,61 + 92,30 + 87,5)/4 = 85.54% 87,31 % 76 Tỉ lệ đếm mẫu 99.56 98.38 97.5 99.9 97.72 100 91.54 90.9 90.01 85.52 90 80 92.3 90.49 84.61 77.77 87.5 71.5 69.2 70 60 50 40 30 20 10 TB01 TB05 TB06 TB07 TB08 TB09 TB19 TB20 TB02 TB03 TB11 TB12 TB04 TB13 TB17 TB16 Hình 4.11 Tỉ lệ đếm mẫu ảnh tế bào Tỉ lệ đếm nhóm 99.56 91.54 90.01 99.9 98.38 97.5 90.9 85.52 TB01 TB05 TB06 TB07 TB08 TB09 TB19 TB20 Hình 4.12 Tỉ lệ đếm nhóm Đối với nhóm tế bào rõ hình, tế bào nằm đợc lập tế bào có phân tách, ảnh không bị nhoè dẫn đến kết cho tốt, khâu canh chỉnh ngưỡng người sử dụng canh chỉnh nhiều Kết đạt tốt 94,17% trung bình tổng, tiêu biểu có hình đếm 99%, hình 90% yếu tố ánh sáng tập trung một vùng ảnh có cường đợ sáng cao xung quanh dẫn đến tạo thành mảng không xác định lớn lam sai lệch kết 77 Tỉ lệ đếm nhóm 97.72 TB02 90.49 71.5 69.2 TB03 TB11 TB12 Hình 4.13 Tỉ lệ đếm nhóm Đối với nhóm tế bào q nhiều nằm chen khơng có đợ phân tách, khơng xác định thể tích một tế bào đơn chồng lấp dẫn đến không đưa kết tốt qua kiểm thử ta đạt mức 82% trung bình tổng Tỉ lệ đếm nhóm 92.3 87.5 84.61 77.77 TB04 TB13 TB17 TB16 Hình 4.14 Tỉ lệ đếm nhóm Đối với nhóm tế bào nhuộm để phân tách tế bào đặt biệt bên vi sinh họ cho tế bào ăn thuốc nhuộm làm màu tế bào lên đặc điểm tế bào nhỏ so với tết bào xung quanh, có đợ nhiễu tàn dư thuốc nḥm buồng đếm dẫn 78 đến đếm sót tế bào đếm nhầm cục thuốc nhuộm số lượng màu nên kết đạt nhóm 85% Tổng kết lại với 16 mẫu đạt đươc kết trung bình tổng 87% kết khả quan có mức đợ sai số chấp nhận đếm thêm tế bào bị thiếu sót Thời gian để thuật tốn xử lý điện thoai thông minh ngắn chưa tới một đơn vị giây để xử lý cho với thời gian xử lý ảnh để đưa hình thái học từ 70 đến 300 mili giây, thời gian đếm từ 50 đến 450 mili giây cho bước nhấn nút xử lý Ta có phần mềm tiện dụng, thao tác thoải mái điện thoại thông minh, tốc độ sử lý nhanh với máy thuộc phân khúc tầm trung phù hợp cho sinh viên 352 5275 127 171 7596 99 140 169 153 74 76 7495 227 239 276 225 150 75 168 142 206 229 90 139 64 218 83 135 69 48 90 138 201 96 105 165 77 88 107 179 286 292 361 461 629 THỜI GIAN THỰC THI PHẦN MỀM /MS TB01 TB02 TB03 TB04 TB05 TB06 TB07 TB08 TB09 TB11 TB12 TB13 TB16 TB17 TB19 TB20 Hình 4.15 Thời gian thực thi Đường cam thời gian thực thi tiền xử lý, đường xanh thời gian đếm, đường màu đen tổng thời gian xử lý 4.5 Hướng phát triển Phần mềm hướng tới đối tượng phục vụ sinh viên nghiên cứu với khả nhanh gọn Phần mềm cịn nhiều thiếu sót khả xử lý phân loại tế bào, chưa thể nhận 79 diện tự đợng tế bào dính theo cụm có biện pháp tách tế bào bị dính mợt cách xác biện pháp mang tính định lượng chia diện tích tế bào trung bình Chưa có tính xử lý giao diện máy ảnh điện thoại Mặc dù phần mềm nhiều thiếu sót phát triển thêm chúng tơi tập trung vào vấn đề sau: • Tự đợng khâu chọn ngưỡng nhị phân • Kiểm thử thuật tốn phân đoạn khác • Xử lý nhận diện tế bào nhóm tế bào nhiễu, dính cách xác định biên đối tượng dẫn đến nhóm tế bào dính phải cắt theo điểm co đối xứng tế bào nằm sát phân tách, nên khoảng hai biên biên tế bào có khoảng cách nhỏ biên nhân tế bào Hình 4.16 Hướng phát triển tìm cắt điểm nối tế bào nàm sát • Nhận dạng tế bào nhỏ, tế bào lớn loại tế bào Tiến tới tự động khâu đề xuất số lượng tối ưu 80 KẾT LUẬN VÀ KIẾN NGHỊ Kết luận Ứng dụng đếm tế bào điện thoại thông minh đạt kết tốt, với tập liệu hình ảnh tốt 94,7% với tập hình ảnh nhiễu cho kết chưa cao Với ứng dụng đáp ứng tốt nhu cầu học tập nghiên cứu bạn sinh viên Khoa Sinh trường đại học Kiến nghị Đối với tập liệu hình ảnh cần phải có mợt quy chuẩn hình ảnh rõ ràng nhóm tế bào cụ thể để phát triển giải thuật tính tốn đếm số lượng tế bào cho nhóm tế bào phù hợp xác Hiện ứng dụng đếm chung tất tế bào mà bạn sinh viên chụp chưa có phân nhóm cụ thể, để tạo tiền đề cho ứng dụng xử lý tốt cần phân nhóm cụ thể cần có đặc trưng cụ thể để phân tích Đối với thuật toán đếm tê bào cần phát triển thêm nhận diện tự đợng, cách nghiên cứu thuật tốn trí tuệ nhân tạo có để hỗ trợ thêm phần nhận diện đối tượng tránh bỏ sót đối tượng mà thuật tốn đếm có bỏ sót Áp dụng kiểm thử giải thuật sử lý ảnh khác 81 TÀI LIỆU THAM KHẢO [1] Nguyễn Như Hiền Giáo Trình Sinh Học Tế Bào Nhà xuất giáo dục, Hà Nội, 2006, tr 13-14 [2] H Alaa et al "Automated Red Blood Cell Counting," International Journal Of Computing Science Vol 1, no 2, pp 13-16, 2012 [3] A Caroline et al "NIH Image to ImageJ: 25 years of image analysis," Nature Methods Vol 9, no 7, pp 671-675, Jun 2012 [4] N Ho "Cellcounter." Internet: http://nghiaho.com/?page_id=1011, Jan 20, 2012 [5] S Allen Pro Smartphone Cross-Platform Development New York: Apress Media LLC, 2010, pp 4-6 [6] S Allen Pro Smartphone Cross-Platform Development New York: Apress Media LLC, 2010, pp 35-50 [7] Lê Hoàng Sử Phát triển ứng dụng di động Nhà xuất Đại học Quốc gia Tp Hồ Chí Minh, 2018, tr 1-9 [8] K Harpreet and S Neelofar "A Study for Applications of Histogram in Image Enhancement," The International Journal of Engineering and Science Vol 6, no 6, pp 59-63, Sep 2017 [9] X Zhou et al "A novel adaptive local thresholding approach for segmentation of HEp-2 cell images," International Conference on Signal and Image Processing Vol 2, no 9, pp 174-178, Aug 2016 [10] J Illingworth and J Kittler "The Adaptive Hough Transform," Transactions On Pattern Analysis And Machine Intelligence Vol 9, no 5, pp 690 - 698, Sept 1987 [11] T Peng "Detecting Circles in an Image." Internet: https://blogs.mathworks.com/pick/2008/05/23/detecting-circles-in-animage/#3, May 23, 2008 [12] S Mazalan et al "Automated Red Blood Cells Counting in Peripheral Blood Smear Image Using Circular Hough Transform," First International Conference on Artificial Intelligence, Modelling & Simulation Vol 4, no 7, pp 285-289, Dec 2013 82 [13] S Kothari et al "Automated Cell Counting And Cluster Segmentation Using Concavity Detection And Ellipse Fitting Techniques," IEEE International Symposium on Biomedical Imaging: From Nano to Macro Vol , no 3, pp 795-798, July 2009 83 LÝ LỊCH TRÍCH NGANG CỦA HỌC VIÊN I LÝ LỊCH SƠ LƯỢC: Họ tên: Trần Văn Ninh Giới tính: Nam Ngày, tháng, năm sinh: 06-11-1989 Nơi sinh: Thái Bình Email: tranvanninh611@gmail.com Điện thoại: 0933265089 II QUÁ TRÌNH ĐÀO TẠO: - 2015 - 2017: Học lớp CHKHMT 5B Trường Đại học Công nghiệp Thành phố hồ chí minh III Q TRÌNH CƠNG TÁC CHUN MƠN: Thời gian 2013-2019 Nơi công tác Công việc đảm nhiệm Trường Đại Học Cơng nghệ Đồng Nai • Quản trị server hạ tầng mạng đơn vị công tác • Quản lý phòng thực hành tin học • Vận hành phịng Studio • Giảng viên thỉnh giảng mơn Đồ họa & LT Mobile Tp HCM, ngày tháng Năm 20 Người khai 84 ... TÀI: Xây dựng ứng dụng đếm tế bào từ ảnh phôi dựa xác định biên tế bào cho điện thoại thông minh NHIỆM VỤ VÀ NỘI DUNG: Nhiệm vụ nghiên cứu giải thuật xử lý ảnh để đếm tế bào điện thoại thông minh. .. văn ? ?xây dựng ứng dụng đếm tế bào từ ảnh phôi dựa xác định biên tế bào cho điện thoại thông minh? ?? thực hướng dẫn thầy PGS.TS Phạm Thế Bảo Những nợi dung trình bày luận văn cá nhân tổng hợp từ. .. bạch cầu tất thực tảng ứng dụng máy tính Trên hai tảng điện thoại thơng minh có nhiều phần mềm phục vụ đếm tế bào phần mềm hỗ trợ đếm nhẩm tế bào Ở Việt Nam ứng dụng đếm tế bào thực máy tính, nhiên