Phân đoạn cấu trúc tế bào thần kinh bằng mạng thần kinh học sâu u net

BỘ CÔNG THƯƠNG TRƯỜNG ĐẠI HỌC CÔNG NGHIỆP THÀNH PHỐ HỒ CHÍ MINH TRẦN CHÂU THANH THIỆN PHÂN ĐOẠN CẤU TRÚC TẾ BÀO THẦN KINH BẰNG MẠNG THẦN KINH HỌC SÂU U-NET Chuyên ngành: KHOA HỌC MÁY TÍNH Mã chuyên ngành: 60.48.01.01 LUẬN VĂN THẠC SĨ THÀNH PHỐ HỒ CHÍ MINH, NĂM 2020 Cơng trình hồn thành Trường Đại học Cơng nghiệp TP Hồ Chí Minh Người hướng dẫn khoa học: PGS.TS Nguyễn Việt Linh (Ghi rõ họ, tên, học hàm, học vị chữ ký) Người phản biện 1: TS Huỳnh Khả Tú (Ghi rõ họ, tên, học hàm, học vị chữ ký) Người phản biện 2: TS Lê Thành Sách (Ghi rõ họ, tên, học hàm, học vị chữ ký) Luận văn thạc sĩ bảo vệ Hội đồng chấm bảo vệ Luận văn thạc sĩ Trường Đại học Công nghiệp thành phố Hồ Chí Minh ngày tháng năm Thành phần Hội đồng đánh giá luận văn thạc sĩ gồm: PGS.TS Huỳnh Trung Hiếu - Chủ tịch Hội đồng TS Huỳnh Khả Tú - Phản biện TS Lê Thành Sách - Phản biện TS Đăng Quang Vinh - Ủy viên TS Lê Nhật Duy - Thư ký (Ghi rõ họ, tên, học hàm, học vị Hội đồng chấm bảo vệ luận văn thạc sĩ) CHỦ TỊCH HỘI ĐỒNG TRƯỞNG KHOA CÔNG NGHỆ THÔNG TIN BỘ CÔNG THƯƠNG TRƯỜNG ĐẠI HỌC CÔNG NGHIỆP THÀNH PHỐ HỒ CHÍ MINH CỘNG HỊA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập - Tự - Hạnh phúc NHIỆM VỤ LUẬN VĂN THẠC SĨ Họ tên học viên: Trần Châu Thanh Thiện MSHV: 16002401 Ngày, tháng, năm sinh: 04/01/1983 Nơi sinh: TP.HCM Chuyên ngành: Khoa học Máy tính Mã chuyên ngành: 60480101 I TÊN ĐỀ TÀI: Phân đoạn cấu trúc tế bào thần kinh mạng thần kinh học sâu U-Net II NHIỆM VỤ VÀ NỘI DUNG: - Nghiên cứu phương pháp Phân đoạn ảnh y sinh 2D - Nghiên cứu, thực mơ hình mạng học sâu U-Net cho phân đoạn ảnh y sinh 2D - Nghiên cứu cải tiến mơ hình mạng học sâu U-Net - Phân tích kết quả đưa hướng phát triển III NGÀY GIAO NHIỆM VỤ: 28/11/2019 theo Quyết định số 2054/QĐ-ĐHCN ngày 28/11/2019 IV NGÀY HOÀN THÀNH NHIỆM VỤ: 28/5/2020 V NGƯỜI HƯỚNG DẪN KHOA HỌC: PGS.TS Nguyễn Việt Linh Tp Hồ Chí Minh, ngày …… tháng……năm 2020 NGƯỜI HƯỚNG DẪN CHỦ NHIỆM BỘ MÔN ĐÀO TẠO TRƯỞNG KHOA CƠNG NGHỆ THƠNG TIN LỜI CẢM ƠN Để hồn thành luận văn này, nỗ lực cá nhân, nhận giúp đỡ hướng dẫn tận tình PGS.TS Nguyễn Việt Linh – người hướng dẫn Nhờ định hướng đắn từ đầu thầy nên việc nghiên cứu luận văn diễn thuận lợi Tôi xin gửi lời cảm ơn chân thành đến thầy Kính chúc thầy gia đình ln mạnh khoẻ thành cơng! Tơi xin chân thành cảm ơn TS Lê Nhật Duy – Phó Trưởng khoa Cơng nghệ Thơng tin hướng dẫn giúp đỡ tơi q trình học tập quy trình, biểu mẫu để hồn thành luận văn này, từ bắt đầu đăng ký đề cương đến bảo vệ luận văn Và cuối cùng, xin gửi lời cảm ơn đến quý thầy cô Lãnh đạo giảng viên khoa Công nghệ Thông tin hướng dẫn giúp đỡ tơi q trình học tập tạo tảng tri thức để tơi hồn thành luận văn i TĨM TẮT LUẬN VĂN THẠC SĨ Mạng thần kinh Học sâu U-Net (mạng U-Net) một mạng thần kinh Học sâu thiết kế riêng cho phân tích hình ảnh y sinh Mạng U-Net bản xây dựng nhằm giải hai vấn đề cụ thể lĩnh vực phân đoạn ảnh y sinh: Vấn đề thứ nhất việc thiếu bộ liệu đào tạo lớn lĩnh vực Mục tiêu kiến trúc tạo kết quả phân đoạn tốt với số lượng liệu đào tạo tương đối Các mạng thần kinh Học sâu truyền thống có mợt số lượng lớn tham số để tìm hiểu, thường địi hỏi bợ liệu đào tạo phải lớn Trong trường hợp phân đoạn hình ảnh y sinh, mơ hình cần tối đa hóa thơng tin học từ ví dụ Vấn đề thứ hai mà mạng U-Net khắc phục nắm bắt xác bối cảnh khoanh vùng đối tượng kích thước, đợ phân giải ảnh khác Luận văn trước hết tìm hiểu phương pháp Phân đoạn ảnh, nhất phân đoạn ảnh y sinh 2D Tiếp đến tập trung nghiên cứu thực mơ hình mạng U-Net với toán phân đoạn cấu trúc tế bào thần kinh, qua rút cách thức hoạt động, cách tinh chỉnh tham số mạng U-Net Sau luận văn đưa một kiến trúc mạng kiến trúc mạng W-Net mợt mạng cải tiến kiến trúc mạng U-Net Kiến trúc mạng W-Net cho kết quả phân đoạn rất tốt sau trình đào tạo, so với kiến trúc mạng U-Net ban đầu Đây tảng cho việc thực tiếp nghiên cứu phân đoạn ảnh y sinh tương lai ii LỜI CAM ĐOAN Tôi xin cam đoan cơng trình nghiên cứu bản thân Các kết quả nghiên cứu kết luận luận văn trung thực, không chép từ bất kỳ một nguồn bất kỳ hình thức Việc tham khảo nguồn tài liệu (nếu có) thực trích dẫn ghi nguồn tài liệu tham khảo quy định Học viên Trần Châu Thanh Thiện iii MỤC LỤC LỜI CảM ƠN i TÓM TẮT LUẬN VĂN THẠC SĨ ii LỜI CAM ĐOAN iii MỤC LỤC iv DANH MỤC HÌNH ẢNH vi DANH MỤC BẢNG BIỂU viii DANH MỤC TỪ VIẾT TẮT ix MỞ ĐẦU 1 Tính cấp thiết luận văn .1 Mục tiêu luận văn .2 Cấu trúc luận văn CHƯƠNG TỔNG QUAN VỀ PHÂN ĐOẠN ẢNH Y SINH 2D 1.1 Khái niệm phân đoạn ảnh: 1.1.1 Phân đoạn ngữ nghĩa (Semantic Segmentation): 1.1.2 Phân đoạn cá thể (Instance Segmentation): 1.1.3 Sự kết hợp loại phân đoạn (Panoptic Segmentation): 1.2 Lịch sử phát triển phân đoạn ảnh: 1.2.1 Phương pháp dựa khu vực (Region-based Methods): 1.2.2 Phương pháp phân loại (Classification methods): 10 1.2.3 Phương pháp phân cụm (Clustering methods): 13 1.2.4 Phương pháp lai (Hybrid Methods): 18 1.2.5 Phương pháp sử dụng Các mơ hình đường viền hoạt đợng (Active Contour Models): 19 1.3 Phân đoạn ảnh y sinh 2D: 25 1.4 Lịch sử nghiên cứu phân đoạn ảnh y sinh 2D: 26 CHƯƠNG MẠNG THẦN KINH HỌC SÂU VÀ MẠNG THẦN KINH HỌC SÂU U-NET 28 2.1 Khái niệm mạng thần kinh học sâu : 28 2.2 Lịch sử phát triển mạng thần kinh học sâu: 30 2.3 Các lĩnh vực ứng dụng mạng thần kinh học sâu : 34 2.4 Kiến trúc mạng thần kinh học sâu U-Net : 37 2.5 Các thành phần kiến trúc mạng thần kinh học sâu U-Net : 39 2.5.1 Encoder 39 iv 2.5.2 Decoder 42 2.5.3 Bridge 50 2.6 Các nghiên cứu kiến trúc mạng U-Net: 50 CHƯƠNG ỨNG DỤNG MẠNG THẦN KINH HỌC SÂU U-NET PHÂN ĐOẠN CẤU TRÚC TẾ BÀO THẦN KINH .53 3.1 Hiện thực mơ hình: 53 3.1.1 Mơ hình kiến trúc mạng U-Net: 53 3.1.2 Hiện thực mợt số mơ hình cải tiến kiến trúc mạng U-Net: 56 3.2 Bộ liệu đào tạo sử dụng: 57 3.3 Đào tạo kiểm thử mơ hình: 59 3.3.1 Đào tạo: 59 3.3.2 Kiểm thử mơ hình: 60 3.4 Hàm mát mát (Loss Function) 61 3.4.1 Định nghĩa: 61 3.4.2 So sánh kết quả hàm mất mát mơ hình sau đào tạo: 62 3.5 Đề x́t mơ hình kiến trúc mạng W-Net: 64 3.6 Phương pháp đánh giá mơ hình (Evaluation Metrics) 71 3.7 Thực nghiệm so sánh kết quả: 72 KẾT LUẬN VÀ KIẾN NGHỊ 75 TÀI LIỆU THAM KHẢO 76 LÝ LỊCH TRÍCH NGANG CỦA HỌC VIÊN 80 v DANH MỤC HÌNH ẢNH Hình 1.1 Kết quả đầu thuật tốn Phân đoạn ảnh Hình 1.2 Kết quả Phân đoạn ngữ nghĩa (Semantic Segmentation) Hình 1.3 Sự khác Object Detection, Semantic Segmentation Instance Segmentation Hình 1.4 Phân đoạn cá thể (Instance Segmentation) Hình 1.5 Phân đoạn Panoptic Segmentation Hình 1.6 Minh hoạ kỹ thuật Phân ngưỡng, bên trái ảnh cần phân đoạn, bên phải biểu đồ Histogram ảnh cần phân đoạn Hình 1.7 [5] minh họa Phân đoạn ảnh chất xám 10 Hình 1.8 Minh hoạ kỹ thuật phân loại K-nearest neighbors 11 Hình 1.9 Minh hoạ kỹ thuật phân loại K-means 15 Hình 1.10 Quy trình thuật tốn lai [6] đề x́t 19 Hình 1.11 Phân đoạn ảnh CT não cách sử dụng đường viền hoạt 20 đợng Hình 1.12 Đường cong đóng mở 20 Hình 1.13 Mơ tả cách thức hoạt động đường viền hoạt động 25 Hình 2.1 Mối quan hệ học sâu, học máy trí tuệ nhân tạo 28 Hình 2.2 Mức độ trừu tượng tăng dần qua tầng học học sâu 29 Hình 2.3 Hình ảnh mạng Học sâu tạo 30 Hình 2.4 Lịch sử phát triển mạng thần kinh học sâu 31 Hình 2.5 Kiến trúc mạng Perceptron đơn giản [15] 31 Hình 2.6 Kết quả ILSVRC qua năm 34 Hình 2.7 Kiến trúc mạng U-Net [13] 38 Hình 2.8 Minh họa hoạt đợng tích chập 40 Hình 2.9 Minh hoạt đợng gợp 41 Hình 2.10 Minh họa bước thực phép tích chập thơng thường 43 Hình 2.11 Minh họa bước thực phép tích chập chuyển vị 44 Hình 2.12 Minh họa hoạt đợng tích chập 44 vi Hình 2.13 Kernels 3x3 45 Hình 2.14 Minh họa việc xếp lại kernels 3x3 thành ma trận 4x16 với 45 phần đệm số Hình 2.15 Cách xếp lại kernels 3x3 thành ma trận 4x16 với phần 46 đệm số Hình 2.16 Định dạng ma trận đầu vào 4x4 thành một vectơ cột 16x1 46 Hình 2.17 Thực phép nhân ma trận tích chập 4x16 với ma trận đầu 47 vào 16x1 Hình 2.18 Kết quả đầu sau định dạng lại ma trận từ 4x1 thành 2x2 47 Hình 2.19 Phép nhân ma trận tích chập 4x16 với ma trận đầu vào 16x1 49 Hình 2.20 Kết quả đầu sau định dạng lại ma trận từ 16x1 thành 4x4 49 Hình 3.1 Kiến trúc mạng U-Net 55 Hình 3.2 Kiến trúc mạng ResNeXt-Unet 56 Hình 3.3 Kiến trúc mạng Dense-Unet 56 Hình 3.4 Kiến trúc mạng Res-Unet 57 Hình 3.5 Bợ hình ảnh đào tạo 58 Hình 3.6 Bợ mặt nạ (mask) đào tạo 59 Hình 3.7 Kết quả phân đoạn mơ hình sau đào tạo 10.000 Step 63 Hình 3.8 Kiến trúc khối Residual [31] 65 Hình 3.9 (a): kiến trúc khối Residual cải tiến; (b) thực khối 65 Residual cải tiến Hình 3.10 Kiến trúc nhánh V thứ nhất 65 Hình 3.11 Kiến trúc mạng W-Net 69 Hình 3.12 (a) kiến trúc khối Residual vii (b) kiến trúc khối Unet 70 Bảng 3.4 Mô tả chi tiết kiến trúc nhánh V thứ nhất Unit level Conv layer Filter Stride Input 256 x 256 x Level Level Ecoder Level Level Bridge Level Level Level Decoder Level Level Output Output size Conv x / 32 256 x 256 x 32 Conv x / 32 256 x 256 x 32 Conv 3 x / 64 128 x 128 x 64 Conv x / 64 128 x 128 x 64 Conv x / 128 64 x 64 x 128 Conv x / 128 64 x 64 x 128 Conv x / 256 32 x 32 x 256 Conv x / 256 32 x 32 x 256 Conv x / 512 16 x 16 x 512 Conv 10 x / 512 16 x 16 x 512 UpConv 2x2 Conv 11 x / 512 32 x 32 x 512 Conv 12 x / 512 32 x 32 x 512 UpConv 2x2 Conv 13 x / 256 64 x 64 x 256 Conv 14 x / 256 64 x 64 x 256 UpConv 2x2 Conv 15 x / 128 128 x 128 x 128 Conv 16 x / 128 128 x 128 x 128 UpConv 2x2 Conv 17 x / 64 256 x 256 x 64 Conv 18 x / 64 256 x 256 x 64 Conv 19 1x1 256 x 256 x 66 32 x 32 x 512 64 x 64 x 512 128 x 128 x 256 256 x 256 x 128 Nhánh V thứ hai, một mạng U-Net tinh chỉnh lại đào tạo trước với bộ liệu đào tạo nhánh V thứ nhất Nhiệm vụ nhánh V thứ hai thực trình Post-Processing cho nhánh V thứ nhất, giúp ổn định hình ảnh cho nhánh V thứ nhất Mơ hình kiến trúc mạng W-Net cụ thể sau: Bảng 3.5 Mô tả chi tiết kiến trúc mạng W-Net Unit level Conv layer Filter Stride Input1 256 x 256 x Level Level Ecoder Level Level Bridge Level Level V1 Level Decoder Level Level Output1 Output size Conv x / 32 256 x 256 x 32 Conv x / 32 256 x 256 x 32 Conv Conv Conv x / 64 x / 64 x / 128 2 128 x 128 x 64 128 x 128 x 64 64 x 64 x 128 Conv x / 128 64 x 64 x 128 Conv x / 256 32 x 32 x 256 Conv x / 256 32 x 32 x 256 Conv x / 512 16 x 16 x 512 Conv 10 x / 512 16 x 16 x 512 UpConv 2x2 Conv 11 x / 512 32 x 32 x 512 Conv 12 x / 512 32 x 32 x 512 UpConv 2x2 Conv 13 x / 256 64 x 64 x 256 Conv 14 x / 256 64 x 64 x 256 UpConv 2x2 Conv 15 x / 128 128 x 128 x 128 Conv 16 x / 128 128 x 128 x 128 UpConv 2x2 Conv 17 x / 64 256 x 256 x 64 Conv 18 x / 64 256 x 256 x 64 Conv 19 1x1 256 x 256 x 67 32 x 32 x 512 64 x 64 x 512 128 x 128 x 256 256 x 256 x 128 Input2 Output1 Level 10 Level 11 Ecoder Level 12 Level 13 V2 Bridge Level 14 Level 15 Level 16 Decoder Level 17 Level 18 Output2 Conv x / 64 256 x 256 x 64 Conv x / 64 256 x 256 x 64 MaxPool x2 128 x 128 x 64 Conv 3 x / 128 128 x 128 x 128 Conv x / 128 128 x 128 x 128 MaxPool 2x2 64 x 64 x 128 Conv x / 128 64 x 64 x 128 Conv x / 128 64 x 64 x 128 MaxPool 2x2 64 x 64 x 128 Conv x / 256 32 x 32 x 256 Conv x / 256 32 x 32 x 256 MaxPooling x 2 64 x 64 x 128 Conv x / 512 16 x 16 x 512 Conv 10 x / 512 16 x 16 x 512 UpConv x / 512 32 x 32 x 512 Conv 11 x / 512 32 x 32 x 512 Conv 12 x / 512 32 x 32 x 512 UpConv x / 256 64 x 64 x 256 Conv 13 x / 256 64 x 64 x 256 Conv 14 x / 256 64 x 64 x 256 UpConv 3 x / 128 128 x 128 x 128 Conv 15 x / 128 128 x 128 x 128 Conv 16 x / 128 128 x 128 x 128 UpConv x / 64 256 x 256 x 64 Conv 17 x / 64 256 x 256 x 64 Conv 18 x / 64 256 x 256 x 64 Conv 20 1x1 256 x 256 x 68 Hình 3.11 Kiến trúc mạng W-Net 69 (a) (b) Hình 3.12 (a) Kiến trúc khối Residual 70 (b) Kiến trúc khối Unet 3.6 Phương pháp đánh giá mơ hình (Evaluation Metrics) Mục tiêu thách thức ISBI 2012 tìm bản đồ ranh giới xác tế bào Trước đây, một biện pháp đơn giản để đánh giá kết quả phân đoạn lỗi Pixel (Pixel Error) Phương pháp phân loại một pixel nhất định phát xác mợt pixel biên Phương pháp khơng có khả phát lỗi hợp nhất, đề cập [30] Nếu một pixel bị thiếu một đường viền, xảy một lỗi pixel nhỏ, gây lỗi hợp nhất Do đó, mợt số điểm giới thiệu đánh giá thử thách ISBI 2012 Người ta biến đổi mợt bản đồ ranh giới thành mợt phân đoạn cách tìm 𝑅𝑎𝑛𝑑 thành phần kết nối Đầu tiên, điểm phân chia rand (𝑉𝑠𝑝𝑙𝑖𝑡 ) xác định theo Phương trình (3-4) 𝑆 phân đoạn dự đoán 𝑇 phân đoạn mặt nạ 𝑃𝑖𝑗 định nghĩa xác suất một pixel chọn ngẫu nhiên một phần phân đoạn 𝑖 𝑆 phân đoạn 𝑗 𝑇 𝑡𝑗 = ∑𝑗 𝑃𝑖𝑗 xác suất một pixel chọn ngẫu nhiên thuộc phân đoạn j T Tử số phương trình (3-4), xác suất, hai pixel chọn ngẫu nhiên thuộc một phân khúc cả 𝑆 𝑇 Mẫu số xác suất hai pixel thuộc mợt phân đoạn 𝑇 Tồn bợ phương trình xem xác suất hai pixel chọn ngẫu nhiên thuộc một phân đoạn 𝑆, với điều kiện chúng thuộc một phân đoạn 𝑇 Điểm số phân chia rand cao, tương ứng với lỗi phân tách [30] 𝑅𝑎𝑛𝑑 𝑉𝑠𝑝𝑙𝑖𝑡 = ∑𝑖𝑗 𝑃𝑖𝑗2 (3-4) ∑𝑘 𝑡𝑘2 𝑅𝑎𝑛𝑑 Điểm hợp nhất rand (𝑉𝑚𝑒𝑟𝑔𝑒 ) xác định Phương trình (3-5) 𝑆𝑖 = ∑𝑖 𝑃𝑖𝑗 xác suất pixel chọn ngẫu nhiên tḥc phân đoạn 𝑖 𝑆 Phương trình (3-5) mơ tả xác śt hai pixel chọn ngẫu nhiên thuộc một phân đoạn 𝑇, với điều kiện chúng thuộc một phân đoạn 𝑆 Ít lỗi hợp nhất làm tăng điểm hợp nhất [30] 𝑅𝑎𝑛𝑑 𝑉𝑚𝑒𝑟𝑔𝑒 = ∑𝑖𝑗 𝑃𝑖𝑗2 ∑𝑘 𝑠𝑘2 71 (3-5) Với mợt trọng số hài hồ, cả hai điểm số nêu nối với nhau, để đảm bảo ghi nhận đầy đủ cả lỗi phân tách lỗi hợp nhất Nếu ∝ = 0,5, lỗi phân tách hợp nhất tính [30] Hệ thống xếp hạng thức cho c̣c thi định nghĩa theo Phương trình (3-6) Ranh giới ô thường mô tả khác người thuật tốn Do đó, pixel viền bản đồ ranh giới mặt nạ loại trừ tính tốn điểm số 𝑉∝𝑅𝑎𝑛𝑑 ∑𝑖𝑗 𝑃𝑖𝑗2 = ∝ ∑𝑘 𝑠𝑘2 + (1−∝) ∑𝑘 𝑡𝑘2 (3-6) Một công cụ để đánh giá tập huấn luyện công bố trang web thử thách ISBI 2012 Công cụ đánh giá một tập mặt nạ nhất định bản đồ phân đoạn đề xuất Bản đồ phân đoạn nhị phân đề xuất phải nằm ngưỡng 0,1 điểm số tốt nhất ghi nhận Một phương thức đánh giá khác áp dụng cho thử thách ISBI 2012 chấm điểm lý thuyết thơng tin (V Info ) Đây mợt hệ thống tính điểm thay bổ sung vào sau cuộc thi Việc xếp hạng thử thách phụ thuộc vào giá trị ghi điểm V Rand Các giá trị ghi điểm V Info dùng để so sánh Cả hai phương pháp giải thích chi tiết ấn phẩm cuộc thi, giới thiệu [30] 3.7 Thực nghiệm so sánh kết quả: Việc so sánh kết quả mơ hình W-Net U-Net dừng lại việc so sánh tỉ lệ chi phí đào tạo (số step dùng để đào tạo mợt mơ hình)/ hiệu xuất phân đoạn (tính điểm V Rand đo cơng cụ trình bày mục 3.6) Vì giới hạn mặt phần cứng đào tạo nên luận văn chưa thể thực đào tạo mô hình để đạt bợ tham số lý tưởng nhất có thể, nên việc so sánh kết quả phân đoạn tốt nhất hai mơ hình chưa thực Luận văn thực so sánh hiệu mơ hình U-Net (train 200.000 step) với mơ hình W-Net gồm: mơ hình W-Net (Res-Unet (train 10.000 step + UNet (train 10.000 step) mơ hình W-Net (Res-Unet (train 10.000 step + U-Net (train 200.000 step) 72 Bảng 3.6 Ghi nhận kết so sánh 1, mơ hình U-Net mơ hình W-Net Qua kết quả sánh từ Bảng 3.4, ta nhận thấy, với mợt chi phí đào tạo mơ hình thấp 20.000 step mơ hình W-Net cho hiệu suất phân đoạn tương đương có phần nhỉnh mợt chút so với mơ hình mạng U-Net đào tạo với chi phí 200.000 step Kết quả cho thấy mơ hình W-Net, đạt tỉ lệ chi phí đào tạo/ hiệu xuất phân đoạn tốt so với mơ hình U-Net Bảng 3.7 Ghi nhận kết so sánh 2, mơ hình U-Net mơ hình W-Net Qua kết quả so sánh từ Bảng 3.5, ta nhận thấy, so dánh mơ hình W-Net mơ hình U-Net với mức chi phí đào tạo tương đương (W-Net 210.000 step U-Net 200.000 step), hiệu suất phân đoạn có chênh lệch nhiều Kết quả cho thấy mơ hình W-Net có hiệu śt phân đoạn tốt so với mơ hình UNet với mức chi phí đào tạo tương đương 73 Bảng 3.8 Bảng ghi nhận số liệu đánh giá kết quả điểm V Rand V Info Thử thách ISBI 2012 (tính đến thời điểm 21/8/2020, tạm xếp top 100) Kết phân đoạn mơ hình W-Net Thử thác ISBI 2012 ghi nhận Bên cạnh việc tự đo kết quả mơ hình đào tạo với tập liệu đào tạo 256x256, tác giả thực đào tạo mơ hình WNet tập liệu 512x512 Thứ thách ISBI 2012 cung cấp Sau đào tạo, tác giả tiếp tục thực việc phân đoạn tập liệu kiểm thử Thứ thách ISBI 2012 gửi kết quả lên Thứ thách ISBI 2012 74 KẾT LUẬN VÀ KIẾN NGHỊ Luận văn tập trung nghiên cứu thực mơ hình mạng U-Net mợt số mơ hình mạng cải tiến từ U-Net với toán phân đoạn cấu trúc tế bào thần kinh, qua rút cách thức hoạt đợng, cách tinh chỉnh tham số, điểm mạnh, điểm yếu kiến trúc mạng U-Net Kiến trúc mạng W-Net luận văn đề xuất, qua kết quả thực nghiệm, đạt tỉ lệ chi phí/ hiệu xuất tốt so với mơ hình U-Net Bên cạnh đó, so sánh hiệu śt phân đoạn mơ hình với mức chi phí đào tạo hiệu śt phân đoạn mơ hình W-Net có phần tốt so với mơ hình U-Net nhiều Việc rất có ý nghĩa việc đào tạo mơ hình với điều kiện phần cứng hạn chế Bên cạnh kết quả đáng khích lệ ban đầu, luận văn cịn điểm hạn chế như: - Do hạn chế phần cứng đào tạo nên chưa thực việc so sánh kết quả phân đoạn tốt nhất mạng W-Net mạng U-Net - Mạng W-Net đề xuất chạy một tập liệu thử thách ISBI 2012, chưa thực nhiều tập liệu khác chưa so sánh với kết quả nghiên cứu tương tự Kiến nghị hướng phát triển: - Khắc phục vấn đề hạn chế phần cứng tiếp tục đào tạo mạng W-Net để gửi kết quả lên ISBI 2012 đạt kết quả cao - Đa dạng hoá tập liệu đào tạo để so sánh với kết quả cơng trình nghiên cứu tương tự 75 TÀI LIỆU THAM KHẢO [1] A Norouzi et al “Medical image segmentation methods, algorithms, and applications,” IETE Technical Review Pp 199-213, 2014 [2] M Kass et al “Snakes: Active contour models,” International Journal of Computer Vision Pp 321-331, 1988 [3] G Dougherty Image segmentation Digital Image Processing for Medical Applications Cambridge University Press, 2009, pp 311-321 [4] N Otsu “A Threshold selection method from Gray-Level Histograms,” IEEE transactions on systems, man, and Cybernetics Vol SMC-9, no 1, pp 62-66, 1979 [5] T Leung and J Malik “Contour continuity in region based image segmentation,” In European Conference on Computer Vision Pp 544–559, 1998 [6] A Nyma et al “A Hybrid Technique for Medical Image Segmentation,” Hindawi Publishing Corporation, Journal of Biomedicine and Biotechnology Vol 2012, article ID 830252, pp 7, 2012 [7] P Aggarwal et al “Role of segmentation in medical imaging: A comparative study,” International Journal of Computer Applications (0975-8887) Vol 29, no 1, 2011 [8] Z Ma et al “A review of algo- rithms for medical image segmentation and their applications to the female pelvic cavity,” Computer Methods in Biomechanics and Biomedical Engineering Pp 235–246, 2010 [9] F Korn et al “Fast nearest neighbor search in medical image databases,” In Proceedings of the 22nd VLDB Conference Pp 215–226, 1996 [10] J Long et al “Fully convolutional networks for semantic segmentation,” In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition Pp 3431–3440, 2015 76 [11] V Badrinarayanan et al “Segnet: A deep convolutional encoder-decoder architecture for image segmentation.” ArXiv preprint [Online] ArXiv:1511.00561v3, 2016 Available: https://arxiv.org/abs/1511.00561v3 [12] F Yu and V Koltun “Multi-scale context aggregation by dilated convolutions.” ArXiv preprint [Online] ArXiv: 1511.07122, 2015 Available: https://arxiv.org/abs/1511.07122 [13] O Ronneberger et al “U-Net: Convolutional Networks for Biomedical Image Segmentation.” ArXiv preprint [Online] ArXiv: 1505.04597, 2015 Available: https://arxiv.org/abs/1505.04597 [14] S McCulloch and W Pitts “A logical calculus of the ideas immanent in nervous activity,” The bulletin of mathematical biophysics Vol 5, pp 115–133, 1943 [15] F Rosenblatt “The perceptron: a probabilistic model for information storage and organization in the brain,” Psychological Review Vol 65, no 6, 1958 [16] M Minsky and S Papert Perceptrons: an introduction to computational geometry Expanded Edition, 1969 [17] D E Rumelhart and G E Hinton “Learning representations by backpropagating errors,” Nature Vol 323, pp 533–536, 1986 [18] C Cortes and V Vapnik “Support-vector networks,” Machine Learning Vol 20, pp 273–297, 1995 [19] Ozgun Cicek et al “3D U-Net: Learning Dense Volumetric Segmentation from Sparse Annotation.” ArXiv preprint [Online] ArXiv:1606.06650v1, 2016 Available: https://arxiv.org/abs/1606.06650v1 [20] H Dong et al “Automatic Brain Tumor Detection and Segmentation Using UNet Based Fully Convolutional Networks.” ArXiv preprint [Online] ArXiv:1606.06650v1, 2017 Available: https://arxiv.org/abs/1606.06650v1 [21] S Guan et al “Fully Dense UNet for 2D Sparse Photoacoustic Tomography Artifact Removal.” ArXiv preprint [Online] ArXiv:1808.10848, 2018 Available: https://arxiv.org/abs/1808.10848 77 [22] G Huang et al “Densely Connected Convolutional Networks.” ArXiv preprint [Online] ArXiv:1608.06993, 2018 Available: https://arxiv.org/abs/160806993 [23] Z Zhou et al “UNet++: A Nested U-Net Architecture for Medical Image Segmentation.” ArXiv preprint [Online] ArXiv:1807.10165v1, 2018 Available: https://arxiv.org/abs/1807.10165v1 [24] O Oktay et al “Attention U-Net: Learning Where to Look for the Pancreas.” ArXiv preprint [Online] ArXiv:1804.03999v3, 2018 Available: https://arxiv.org/abs/1804.03999v3 [25] V Iglovikov et al “TernausNet: U-Net with VGG11 Encoder Pre-Trained on ImageNet for Image Segmentation.” ArXiv preprint [Online] ArXiv: 1801.05746v1, 2018 Available: https://arxiv.org/abs/1801.05746v1 [26] Z Gu et al “CE-Net: Context Encoder Network for 2D Medical Image Segmentation.” ArXiv preprint [Online] ArXiv:1903.02740v1, 2019 Available: https://arxiv.org/abs/1903.02740v1 [27] N Ibtehaz et al “MultiResUNet : Rethinking the U-Net architecture for multimodal biomedical image segmentation,” Neural Networks Vol 121, pp 74-87, 2020 [28] X Chen et al “Residual Attention U-Net for Automated Multi-Class Segmentation of COVID-19 Chest CT Images.” ArXiv preprint [Online] ArXiv:2004.05645v1, 2020 Available: https://arxiv.org/abs/2004.05645v1 [29] F I Diakogiannis et al “ResUNet-a: a deep learning framework for semantic segmentation of remotely sensed data.” ArXiv preprint [Online] ArXiv:1904.00592v3, 2020 Available: https://arxiv.org/abs/1904.00592v3 [30] I Arganda-Carrera et al “Crowdsourcing the creation of image segmentation algorithms for connectomics,” Frontiers Neuroanatomy Vol 9, pp 142, 2015 [31] K He et al “Deep Residual Learning for Image Recognition.” ArXiv preprint [Online] ArXiv:1512.03385v1, https://arxiv.org/abs/1512.03385v1 78 2015 Available: [32] D P Kingma and J L Ba “Adam: A Method for Stochastic Optimization.” ArXiv preprint [Online] ArXiv:1412.6980v9, https://arxiv.org/abs/1412.6980v9 79 2017 Available: LÝ LỊCH TRÍCH NGANG CỦA HỌC VIÊN I LÝ LỊCH SƠ LƯỢC: Họ tên: Trần Châu Thanh Thiện Giới tính: Nam Ngày, tháng, năm sinh: 04/01/1983 Nơi sinh: TP.HCM Email: thanhthien.tcb@gmail.com Điện thoại: 0933.968.967 II QUÁ TRÌNH ĐÀO TẠO: Từ năm 2001 đến 2004: học cao đẳng Công nghệ Thông tin trường đại học Công nghệ thành phố Hồ Chí Minh Từ năm 2012 đến 2016: học liên thơng đại học trường đại học Tôn Đức Thắng Từ năm 2016 đến 2020: học cao học trường đại học Cơng nghiệp thành phố Hồ Chí Minh III Q TRÌNH CƠNG TÁC CHUN MƠN: Thời gian Nơi cơng tác Cơng việc đảm nhiệm 2005-2006 Cơng ty truyền hình cáp Sài Gòn Tourist Chuyên viên vận hành hệ thống - Phòng Vận hành 2007-2008 Đại học Quốc Gia TP.HCM Chuyên viên phân tích liệu - Ban Đại học Sau Đại học 2009-đến Học viện Cán bộ TP.HCM Tổ trưởng Tổ Công nghệ Thông tin Tp HCM, ngày tháng năm 2020 Người khai Trần Châu Thanh Thiện 80 ... TÀI: Phân đoạn câ? ?u trúc tế bào thần kinh mạng thần kinh học s? ?u U- Net II NHIỆM VỤ VÀ NỘI DUNG: - Nghiên c? ?u phương pháp Phân đoạn ảnh y sinh 2D - Nghiên c? ?u, thực mơ hình mạng học s? ?u U- Net. .. mạng thần kinh học s? ?u : 28 2.2 Lịch sử phát triển mạng thần kinh học s? ?u: 30 2.3 Các lĩnh vực ứng dụng mạng thần kinh học s? ?u : 34 2.4 Kiến trúc mạng thần kinh học s? ?u U- Net : ... kinh học s? ?u u- net Chương 3: Ứng dụng mạng thần kinh học s? ?u u- net phân đoạn câ? ?u trúc tế bào thần kinh CHƯƠNG 1.1 TỔNG QUAN VỀ PHÂN ĐOẠN ẢNH Y SINH 2D Khái niệm phân đoạn ảnh: Phân đoạn ảnh (Image