Tăng cường dữ liệu để cải thiện hiệu suất mô hình phân lớp trong trường hợp một số lớp có rất ít mẫu là một thử thách trong các bài toán phân loại ảnh, đặc biệt là trong lĩnh vực y khoa đối với một số bệnh lý hiếm gặp hoặc đột biến. Sử dụng Generative Adversarial Networks (GANs) để tăng cường dữ liệu trong trường hợp này thường không đạt hiệu suất cao ở những lớp thiểu số.
Kỷ yếu Hội nghị KHCN Quốc gia lần thứ XIII Nghiên cứu ứng dụng Công nghệ thông tin (FAIR), Nha Trang, ngày 8-9/10/2020 DOI: 10.15625/vap.2020.00212 TĂNG CƯỜNG DỮ LIỆU ẢNH CHO BỘ DỮ LIỆU X-QUANG PHỔI SỬ DỤNG MẠNG SINH ĐỐI NGHỊCH Trần Hoàng Phát1, Phạm Mạnh Cường1, Trần Đình Tồn2, Hồng Tùng3, Lê Minh Hưng1 Trường Đại học Công nghệ thông tin - Đại học Quốc gia TP.HCM Trường Đại học Công nghiệp Thực phẩm TP.HCM Trung tâm CNTT, Trường Đại học Nguyễn Tất Thành 16520918@gm.uit.edu.vn, 16520156@gm.uit.edu.vn, toantd@hufi.edu.vn, htung@ntt.edu.vn, hunglm@uit.edu.vn TÓM TẮT: Tăng cường liệu để cải thiện hiệu suất mô hình phân lớp trường hợp số lớp có mẫu thử thách toán phân loại ảnh, đặc biệt lĩnh vực y khoa số bệnh lý gặp đột biến Sử dụng Generative Adversarial Networks (GANs) để tăng cường liệu trường hợp thường không đạt hiệu suất cao lớp thiểu số Xem xét toán phân loại ảnh X-quang lồng ngực, chúng tơi xây dựng mơ hình feature based X-ray GAN (FXGAN) để tổng hợp liệu ảnh X-quang với hướng tiếp cận học từ phân phối đặc trưng Mơ hình học cách sử dụng đặc trưng cung cấp để tạo ảnh mang đặc trưng tương tự Trong đó, đặc trưng trích xuất từ mơ hình độ đo huấn luyện trích xuất đặc trưng phân biệt lớp Khi mô hình độ đo khái qt lớp khơng quan sát, mơ hình nghiên cứu tạo liệu cho lớp mà khơng cần thực tinh chỉnh Tiến hành thực nghiệm FX-GAN liệu ảnh X-quang lồng ngực đánh giá khả tăng cường liệu cho lớp thiểu số nằm tập quan sát dựa vào vài mẫu liệu có sẵn, đồng thời cải thiện hiệu suất mơ hình phân loại bệnh lý qua ảnh X-quang lồng ngực Từ khóa: One-shot image generation, Generative adversarial network, Chest X-ray classification, Data augmentation I GIỚI THIỆU Phân loại ảnh X-quang lồng ngực để phát bệnh lý toán quan trọng lĩnh vực y khoa Trong số lượng bác sĩ X-quang lĩnh vực thường hạn chế Một hệ thống chẩn đốn tích hợp máy tính với khả đưa dự đoán vài giây giảm đáng kể khối lượng cơng việc bác sĩ Xquang Hướng tiếp cận phổ biến sử dụng mơ hình học sâu đạt nhiều kết đáng kể Hầu hết mơ hình học sâu địi hỏi phải có liệu đủ lớn để mơ hình đạt khái qt Trong thực tế, liệu ảnh y khoa nói chung thường có xu hướng bị cân khan dẫn đến việc mơ hình quan tâm lớp có nhiều mẫu liệu để tối ưu hàm mục tiêu, dẫn đến hiệu suất dự đoán mẫu thuộc lớp thiểu số (ít mẫu hơn) Hình Mô tả trực quan t-SNE hàm ánh xạ từ phân phối đặc trưng sang phân phối liệu Bên trái phân phối đặc trưng trích xuất từ ảnh điều kiện thơng qua mơ hình độ đo F Bên phải phân phối liệu (đại diện đặc trưng trích xuất từ ảnh tạo generator thơng qua F) Tăng cường liệu [10] phương pháp sử dụng rộng rãi để giải toán dạng Tuy nhiên, ảnh tạo từ phép biến đổi có đa dạng cịn nhiều hạn chế Các nhà nghiên cứu sử dụng mô hình Generative Adversarial Networks (GANs) để tăng cường liệu nhằm cải thiện hiệu suất toán phân lớp, [11] Trong đó, mơ hình Balancing GAN (BAGAN) [11] cho thấy khả vượt trội để cải thiện hiệu suất mơ hình phân lớp liệu bị cân thông qua việc huấn luyện lúc lớp đa số thiểu số với kết hợp mơ hình GAN autoencoder Tuy nhiên, số lớp có vài mẫu liệu, BAGAN gặp khó khăn để sinh liệu cho lớp không đủ liệu để huấn luyện Khi đó, hướng tiếp cận sinh ảnh one-shot lựa chọn hiệu Ví dụ điển hình mơ hình state-of-the-art DAGAN, mơ hình sử dụng kiến trúc encoderdecoder kết hợp với véctơ ngẫu nhiên để học phép biến đổi lên ảnh điều kiện cách tự động, sau tạo ảnh 550 TĂNG CƯỜNG DỮ LIỆU ẢNH CHO BỘ DỮ LIỆU X-QUANG PHỔI SỬ DỤNG MẠNG SINH ĐỐI NGHỊCH với biến đổi so với ảnh ban đầu Tuy nhiên, đa dạng ảnh tạo DAGAN cách thêm véctơ ngẫu nhiên hạn chế Từ vấn đề phân loại ảnh X-quang lồng ngực xem xét, nghiên cứu đề xuất mơ hình Feature based Xray GAN (FX-GAN), mơ hình sử dụng đặc trưng đại diện trích xuất từ ảnh điều kiện để sinh ảnh mang đặc trưng tương tự, mơ hình mơ tả trực quan Hình Trong đó, đặc trưng đại diện véctơ trích xuất thơng qua mơ hình độ đo (một mạng nơron sâu) huấn luyện trước so với GAN Nghiên cứu chọn mô hình độ đo có khả khái qt liệu lớp khơng quan sát Do đó, mơ hình đề xuất tạo liệu dựa ảnh điều kiện lấy từ lớp Nghiên cứu đánh giá hiệu suất FX-GAN tốn phân loại bệnh lý thơng qua ảnh X-quang lồng ngực điều kiện liệu bị cân hạn chế (chỉ có vài mẫu lớp) Cụ thể, tiến hành huấn luyện FX-GAN lớp quan sát sau mơ hình sử dụng để tạo liệu tăng cường cho lớp thiểu số khơng quan sát Qua đó, chứng tỏ khả sinh ảnh giống ảnh thật đa dạng dựa vào ảnh điều kiện đồng thời cải thiện hiệu suất mơ hình phân loại bệnh lý qua ảnh X-quang lồng ngực liệu Chest X-ray14 [17] Trong báo có đóng góp gồm: 1) Xây dựng mơ hình FX-GAN tổng hợp ảnh X-quang lồng ngực dựa ảnh điều kiện cho lớp không quan sát 2) Tạo liệu giả với chất lượng cao biến thể đa dạng để tăng cường liệu X-quang lồng ngực 3) Chứng minh khả tăng cường liệu từ mơ hình đề xuất cho liệu X-quang lồng ngực thông qua toán phân loại ảnh X-quang lồng ngực 4) Đánh giá hiệu suất mơ hình đề xuất so với BAGAN [11] DAGAN liệu Chest X-ray14 [17] II CÁC NGHIÊN CỨU LIÊN QUAN Mơ hình mạng sinh đối nghịch (Generative Adversarial Network - GAN) [6] mô hình sinh với hướng tiếp cận huấn luyện đối nghịch hai thành phần gồm generator discriminator Trong đó, generator tối ưu hàm mục tiêu thông qua phản hồi từ mơ hình khác - discriminator Các mơ hình GANs tiêu chuẩn học hàm ánh xạ từ véctơ ngẫu nhiên sang ảnh thông qua phân phối liệu mà học Trong nghiên cứu này, xây dựng mơ hình để học phân phối liệu từ phân phối đặc trưng thay phân phối trước, việc giúp generator dễ dàng tạo liệu nhờ thông tin cung cấp so với véctơ ngẫu nhiên Sinh ảnh one-shot (one-shot image generation) toán năm gần Cụ thể, mơ hình sau huấn luyện tập lớp quan sát khái quát sinh liệu dựa ảnh điều kiện từ lớp khơng quan sát Mơ hình FX-GAN nghiên cứu sử dụng đặc trưng phân biệt lớp để tạo liệu mang đặc trưng tương tự Trong đó, đặc trưng trích xuất từ trích xuất đặc trưng huấn luyện trước theo phương thức học độ đo cho khái quát liệu thuộc lớp khơng quan sát Từ đó, sinh liệu cho lớp không quan sát thông qua đặc trưng trích xuất Hướng tiếp cận tương tự openGAN [4] nghiên cứu cung cấp thông tin cho generator từ input với véctơ ngẫu nhiên thay sử dụng feature normalization openGAN Tăng cường liệu [10] sử dụng phép biến đổi lên ảnh xoay, lật, dịch chuyển,… để tạo ảnh biến thể khác Việc áp dụng phép biến đổi lên ảnh tạo liệu với đa dạng hạn chế Trong phương pháp tăng cường liệu tổng hợp (image synthesis) sử dụng mơ hình sinh đối nghịch chứng tỏ hiệu suất vượt trội so với phương pháp tăng cường liệu truyền thống Trong số có phương pháp áp dụng lên liệu thuộc lớp không quan sát [2], [4], [9] Hơn nữa, phương pháp đánh giá liệu có nhiều lớp, điều đủ để trích xuất đặc trưng đạt tính khái qt Nghiên cứu tiến hành đánh giá mơ hình FX-GAN tập liệu X-quang lồng ngực điều kiện bị cân đồng thời số lượng lớp đáng kể, cụ thể liệu chest X-ray14 với 15 loại nhãn [17] III PHƯƠNG PHÁP Trong toán phân loại bệnh lý qua ảnh X-quang lồng ngực, liệu hình ảnh thường chia sẻ chung cấu trúc tổng quát hình dạng khác chi tiết nhỏ đặc điểm bệnh lý chẵng hạn đóm lạ phổi Nếu mơ hình học cách tạo ảnh này, tận dụng khả để tạo ảnh cho lớp khơng quan sát có hình dạng Dựa vào điều đó, chúng tơi đề xuất mơ hình Feature based X-ray GAN (FX-GAN) với hướng tiếp cận học từ đặc trưng phân biệt đại diện Trong trình huấn luyện, FX-GAN học cách tạo ảnh X-quang đồng thời tìm cách nhúng đặc trưng vào ảnh tổng hợp cho hợp lý buộc ảnh tạo phải mang đặc trưng mong muốn Từ đó, trích xuất đặc trưng ảnh điều kiện, generator tạo ảnh mang đặc trưng tương tự, FX-GAN sinh ảnh cho ảnh thuộc lớp nằm huấn luyện cung cấp đặc trưng cần thiết Nghiên cứu này, xây dựng mơ hình để đạt mục tiêu sau đây: Ảnh tổng hợp phải thuộc lớp cụ thể thông tin đặc trưng tương tự với ảnh điều kiện Trần Hoàng Phát, Phạm Mạnh Cường, Trần Đình Tồn, Hồng Tùng, Lê Minh Hưng 551 Ảnh tổng hợp có tính đa dạng biến thể Mơ hình có khả sinh dựa ảnh điều kiện thuộc lớp khơng quan sát A Mơ hình Feature based X-ray GAN Mơ hình nghiên cứu đề xuất bao gồm ba thành phần chính: trích xuất đặc trưng F, generator G discriminator D Cụ thể, đặc trưng f trích xuất từ ảnh điều kiện x thông qua F nối với véctơ ngẫu nhiên z lấy từ phân phối chuẩn ( ) cung cấp cho G để tạo ảnh ̃ mang đặc trưng ̃ khớp với đặc trưng f, với ̃ trích xuất từ ̃ thơng qua F Chi tiết mơ tả qua phương trình sau: (1) ( ) ( ̃ ̃ (2) ) (3) ( ̃) đó, F mạng nơron huấn luyện trước mơ hình sinh để học hàm độ đo có khả trích xuất đặc trưng phân biệt lớp đồng thời khái quát liệu thuộc lớp không quan sát Do vậy, FXGAN sinh liệu cho lớp khơng quan sát dựa đặc trưng trích xuất từ F Gọi tập lớp quan sát không quan sát với ∅ Ở giai đoạn huấn luyện, FX-GAN mạng F huấn luyện tập liệu thuộc Sau generator học khả sinh ảnh dựa đặc trưng cung cấp Nó chuyển giao khả qua giai đoạn sinh ảnh, sử dụng generator để sinh ảnh ̃ việc cung cấp đặc trưng ̃ , với ̃ trích xuất từ ảnh điều kiện x’ lấy từ tập liệu thuộc thông qua trích xuất đặc trưng F Để F trích xuất thơng tin phân biệt lớp đồng thời khái quát lớp không quan sát Nghiên cứu sử dụng mơ hình phân lớp với kết hợp lỗi phân loại entropy lỗi trung tâm (center loss) để huấn luyện tập liệu thuộc lớp Cụ thể, F cho véctơ n chiều đại diện cho ảnh đầu vào Trong mini-batch, tính giá trị center cách lấy trung bình đặc trưng cho lớp thuộc Sau đó, tiến hành kéo đặc trưng đại diện thuộc lớp gần center nhằm giảm thiểu phân tán đặc trưng lớp Mơ hình huấn luyện với kết hợp hai hàm mục tiêu: ∑ ∑ ∑‖ ‖ (4) đó, đại diện cho center lớp thứ y ảnh thứ i trọng số center loss Sau huấn luyện, tầng cuối mơ hình phân lớp (tầng softmax) loại bỏ để lấy trích xuất đặc trưng F Chi tiết mơ hình mơ tả Hình Hình Mơ tả mơ hình phân lớp huấn luyện để lấy trích xuất đặc trưng F với kết hợp hàm mục tiêu softmax center loss Trong mơ hình trên, pre-trained VGG16 [15] sử dụng làm trích xuất đặc trưng 552 TĂNG CƯỜNG DỮ LIỆU ẢNH CHO BỘ DỮ LIỆU X-QUANG PHỔI SỬ DỤNG MẠNG SINH ĐỐI NGHỊCH Để ảnh tạo ̃ mang đặc trưng riêng biệt tương tự với ảnh điều kiện x, lỗi khoảng cách l2 thường sử dụng để tính độ tương đồng hai đặc trưng đại diện cho ̃ x không gian đặc trưng Tuy nhiên, liệu fine-grained, lỗi l2 đảm bảo ảnh tạo mang đặc trưng đại diện thuộc lớp mong muốn, đơi nằm gần điểm liệu thuộc lớp khác không gian đặc trưng mà ta khơng kiểm sốt Để khắc phục hạn chế đó, nghiên cứu sử dụng hàm triplet loss [8] nhằm kéo ảnh tạo ̃ gần với ảnh x cách xa ảnh thuộc lớp khác Cụ thể, với hàm mục tiêu sau: ( (̃ ) (̃ ) ) (5) đó, f đặc trưng trích xuất từ ảnh điều kiện x, ̃ đặc trưng trích xuất từ ảnh giả ̃ tạo generator G, đại diện cho đặc trưng ảnh thuộc lớp khác so với x d(.) hàm tính khoảng cách hai véctơ Qua hàm triplet loss [8] buộc generator phải tạo ảnh cho mang đặc trưng khớp với đặc trưng ảnh điều kiện đồng thời cách xa đặc trưng ảnh không lớp Nhằm hỗ trợ generator tạo liệu xác với lớp mong muốn ngồi điều kiện từ hàm triplet loss [8], nghiên cứu cho discriminator D làm nhiệm vụ phân biệt K + lớp bao gồm K lớp thuộc lớp đại diện cho ảnh giả ̃ đến từ generator, sử dụng hàm lỗi phân loại entropy để phân loại lớp Cụ thể, discriminator huấn luyện để tối ưu hàm mục tiêu: ( ) (6) Khi huấn luyện generator với mong muốn ảnh tạo ̃ phải thuộc lớp với ảnh điều kiện x việc tối ưu hàm mục tiêu: ( ̃) (7) Tổng quát, trình huấn luyện đối nghịch, generator discriminator tối ưu hàm mục tiêu riêng biệt Cụ thể, generator G tối ưu lúc hai hàm mục tiêu: (8) với λ giá trị trọng số triplet loss Trong discriminator D tối ưu hàm phân lớp entropy đồng thời thuộc lớp cụ thể, chi tiết mô hình mơ tả Hình để phân biệt liệu giả liệu thật Hình Sơ đồ mô tả cấu trúc tổng quát mô hình FX-GAN Trong trình huấn luyện, hàm triplet loss [8] buộc generator tạo ảnh mang đặc trưng khớp với ảnh điều kiện lỗi đối nghịch buộc generator tạo ảnh với lớp mong muốn giống ảnh thật từ liệu B Huấn luyện Trước huấn luyện FX-GAN, nghiên cứu tiến hành huấn luyện trích xuất đặc trưng F Cụ thể, mạng VGG16 [15] huấn luyện liệu ImageNet [3] sử dụng để tinh chỉnh cho liệu X-quang với tầng ban đầu loại bỏ Sau đó, đặc trưng trích xuất từ tầng cuối đưa vào tầng fully-connected Trần Hồng Phát, Phạm Mạnh Cường, Trần Đình Tồn, Hoàng Tùng, Lê Minh Hưng 553 với n nơron đại diện cho véctơ đặc trưng n chiều nối với tầng với số lớp cụ thể liệu để tính phân phối xác suất Sau q trình huấn luyện, loại bỏ tầng cuối để lấy trích xuất đặc trưng F, cấu trúc mơ hình mơ tả Hình Sau sử dụng F để trích xuất đặc trưng cung cấp cho generator G Trong trình huấn luyện FX-GAN, trọng số học F đóng băng Generator học cách tạo liệu mang đặc trưng phân biệt tương tự ảnh điều kiện đồng thời cách xa đặc trưng ảnh thuộc lớp khác không gian đặc trưng cách tối ưu hàm triplet loss Để ảnh tạo thuộc lớp mong muốn giống với ảnh thật, ta tối ưu hàm mục tiêu đối nghịch nhận từ discriminator Discriminator làm nhiệm vụ phân loại ảnh giả ảnh thật đồng thời thuộc lớp cụ thể cách tối ưu hàm phân loại entropy IV THỰC NGHIỆM Nghiên cứu tiến hành đánh giá hiệu suất mơ hình FX-GAN so với mơ hình sinh đối nghịch khác cách so sánh ảnh sinh hiệu suất toán phân loại ảnh X-quang lồng ngực A Dữ liệu Mô hình FX-GAN đánh giá liệu NIH Chest X-ray14 [17], liệu bao gồm 112,120 hình ảnh X-quang mặt trước lồng ngực lấy từ 30,805 bệnh nhân Bộ liệu bao gồm 14 loại bệnh lý khác nhau, số ảnh có nhiều nhãn (multi-labels) Bộ liệu bị cân lớp nặng Cụ thể, lớp chiếm lượng ảnh nhiều no-findings với xấp xỉ 50 %, lớp mang bệnh 24 % ảnh gán nhãn Infiltration có 0,28 % ảnh gán nhãn Hernia Trong nghiên cứu này, đánh giá mơ hình tốn phân loại lớp Do đó, tiến hành loại bỏ tất ảnh mang multi-labels Đồng thời, nghiên cứu sử dụng 35 % tổng số liệu (sau loại bỏ multi-labels) để huấn luyện đánh giá điều kiện liệu hạn chế Ngoài ra, để giảm chi phí tính tốn phù hợp tài nguyên nhớ, nghiên cứu giữ lại 5.000 ảnh nhãn no-findings đồng thời tất ảnh giảm kích cỡ 128x128 liệu cịn lại 15,830 ảnh Hình Phân phối liệu tập huấn luyện FX-GAN 12 lớp với nhiều liệu sử dụng để huấn luyện, lớp thiểu số dùng để kiểm tra với số lượng liệu giảm ảnh lớp Nhằm đánh giá hiệu suất phân lớp cho tất 15 nhãn (14 bệnh lý 01 nhãn no-findings), nghiên cứu chia liệu thành ba tập liệu gồm: huấn luyện, thẩm định kiểm tra với số lượng tương ứng 9.972, 1.583 4.275 Sau để đánh giá hiệu suất nhiệm vụ sinh ảnh one-shot, nghiên cứu tiếp tục chia tập huấn luyện thành hai tập Cụ thể, 12 lớp với số lượng liệu nhiều lớp quan sát (resp., 9.730 ảnh), 03 lớp số lượng liệu lớp khơng quan sát (resp., 15 ảnh) với ảnh giữ lại lớp B Thực nghiệm Huấn luyện mơ hình FX-GAN tập quan sát Đầu tiên, nghiên cứu sử dụng pre-trained VGG16 [15] để huấn luyện trích xuất đặc trưng với kết hợp hàm lỗi phân lớp entropy hàm center loss Số chiều n véctơ đặc trưng chọn 128 (Hình 2) Trọng số center loss λ chọn 0,1 Để mơ hình khái qt hóa tốt lớp, nghiên cứu sử dụng phương pháp tăng cường liệu tiêu chuẩn bao gồm lật ngang (xác suất 50 %), xoay ngẫu nhiên 15 độ thay đổi độ ] để tăng cường cho lớp thiểu số Mơ hình huấn luyện với thuật tốn sáng ngẫu nhiên khoảng [ tối ưu hóa Adam vòng 30 epochs với tỉ lệ học Sau đó, nghiên cứu tiến hành đóng băng trọng số trích xuất đặc trưng huấn luyện mơ hình FXGAN với tỉ lệ học generator discriminator tương ứng 0,0001 0,0003 dựa Two time-scale update rule 554 TĂNG CƯỜNG DỮ LIỆU ẢNH CHO BỘ DỮ LIỆU X-QUANG PHỔI SỬ DỤNG MẠNG SINH ĐỐI NGHỊCH Thuật tốn tối ưu hóa Adam sử dụng với huấn luyện 200 epochs với batch-size 64 , trọng số hàm triplet loss 0,7 Mơ hình Huấn luyện mơ hình phân lớp Để đánh giá hiệu liệu tổng hợp từ mơ hình FX-GAN tốn phân loại ảnh X-quang ngực, nghiên cứu tiến hành so sánh hiệu suất dựa điểm AUC mơ hình phân lớp sau cân lại liệu với liệu tạo từ mơ hình FX-GAN, DAGAN BAGAN [11] Trong đó, mơ hình FX-GAN DAGAN huấn luyện tập liệu quan sát, BAGAN huấn luyện tập liệu bao gồm tập quan sát tập khơng quan sát (Hình 4) Tất huấn luyện mạng tiêu chuẩn VGG16 [15] với tỉ lệ học vòng 20 epochs để hạn chế khớp C Kết thực nghiệm Kết sinh ảnh Kết sinh ảnh tập lớp dùng để huấn luyện trình bày Hình Qua mơ hình FX-GAN tạo ảnh giống ảnh thật có biến đổi đa dạng dựa vào thông tin từ ảnh điều kiện Để đánh giá trực quan kết sinh ảnh tập khơng quan sát cho tốn sinh ảnh one-shot, nghiên cứu tiến hành so sánh kết từ mơ hình đề xuất với mơ hình state-of-the-art DAGAN mơ tả Hình Quan sát trực quan cho thấy, mơ hình FX-GAN sinh liệu đa dạng so với mơ hình DAGAN mơ hình nghiên cứu đề xuất sử dụng thông tin riêng biệt lớp ảnh để tạo liệu cách ngẫu nhiên giữ đặc trưng bệnh lý thay sử dụng đặc trưng cấu trúc ảnh nhận từ encoder DAGAN Hình Ảnh tạo mơ hình đề xuất từ lớp thuộc lớp quan sát Bên trái hàng ảnh điều kiện 06 ảnh bênh phải ảnh sinh tương ứng Hình Mơ tả liệu tạo DAGAN mơ hình đề xuất lớp khơng quan sát, ảnh điều kiện nằm bên trái Kết phân loại Trong phần chứng minh hiệu liệu tạo mơ hình FX-GAN tốn phân loại ảnh X-quang lồng ngực, tiến hành so sánh hiệu suất so với mơ hình DAGAN BAGAN [11] tập kiểm tra mô tả phần liệu Để cân lại liệu huấn luyện mơ hình phân lớp, nghiên cứu tiến hành cân lại liệu tập quan sát tập không quan sát sử dụng ảnh tạo mơ hình FX-GAN, DAGAN BAGAN [11] Cụ thể mơ hình FX-GAN DAGAN, nghiên cứu sử dụng toàn ảnh thuộc tập quan sát tập không quan sát để tạo thêm liệu Đối với BAGAN, tạo liệu dựa phân phối liệu tất 15 lớp học để cân lại liệu Kết đánh giá tính điểm AUC lớp trình bày Bảng Trần Hồng Phát, Phạm Mạnh Cường, Trần Đình Toàn, Hoàng Tùng, Lê Minh Hưng 555 Bảng Kết so sánh hiệu suất mơ hình phân lớp liệu X-quang tính điểm AUC ba phương pháp, lớp Edema, Pneumonia, Hernia (in nghiên) lớp thiểu số với mẫu lớp Label No Finding Infiltration Atelectasis Effusion Nodule Pneumothorax Mass Consolidation Pleural Thickening Cardiomegaly Emphysema Fibrosis Edema Pneumonia Hernia Average DAGAN 0,674 0,686 0,750 0,798 0,684 0,723 0,742 0,649 0,673 0,892 0,716 0,618 0,624 0,497 0,665 0,693 FX-GAN (Ours) 0,698 0,717 0,753 0,809 0,751 0,748 0,747 0,666 0,694 0,873 0,725 0,660 0,644 0,470 0,700 0,710 BAGAN [11] 0,682 0,705 0,757 0,796 0,724 0,693 0,730 0,664 0,678 0,884 0,706 0,607 0,579 0,412 0,681 0,686 V KẾT LUẬN Nghiên cứu đề xuất mơ hình feature based X-ray GAN cách sử dụng đặc trưng phân biệt trích xuất từ trích xuất độ đo để thực ánh xạ dựa ảnh điều kiện Mơ hình sinh nhiều ảnh với biến thể đa dạng mang đặc trưng tương tự với ảnh điều kiện Ngồi ra, mơ hình FX-GAN sinh ảnh cho tập liệu thuộc lớp không quan sát Các thực nghiệm tiến hành cho thấy khả tổng hợp liệu ảnh X-quang lồng ngực đa dạng giống ảnh thật, đồng thời cải thiện hiệu suất cho toán phân loại ảnh Xquang lồng ngực từ mơ hình đề xuất so với mơ hình khác Công việc tương lai tiếp tục nghiên cứu cải tiến mơ hình có mơ hình đề xuất nhằm tăng hiệu suất phân loại bệnh lý dựa ảnh X-quang lồng ngực tốt VI LỜI CẢM ƠN Bài báo hoàn thành hỗ trợ đề tài VAST-1.03/19-20 Viện Hàn lâm Khoa học Công nghệ Việt Nam TÀI LIỆU THAM KHẢO [1] Antoniou, Antreas, Amos Storkey, Harrison Edwards, "Data augmentation generative adversarial networks", arXiv preprint arXiv:1711.04340, 2017 [2] Clouâtre, Louis, Marc Demers, "FIGR: Few-shot image generation with reptile", arXiv preprint arXiv:1901.02199, 2019 [3] Deng, Jia, "Imagenet: A large-scale hierarchical image database", 2009 IEEE conference on computer vision and pattern recognition IEEE, 2009 [4] Ditria, L., Meyer, B.J., & Drummond, T (2020) “OpenGAN: Open Set Generative Adversarial Networks” ArXiv, abs/2003.08074 [5] Frid-Adar, Maayan, "GAN-based synthetic medical image augmentation for increased CNN performance in liver lesion classification", Neurocomputing 321: 321-331, 2018 [6] Goodfellow, Ian, "Generative adversarial nets", Advances in neural information processing systems, 2014 [7] Heusel, Martin, "Gans trained by a two time-scale update rule converge to a local nash equilibrium", Advances in neural information processing systems, 2017 [8] Hoffer, Elad, Nir Ailon, "Deep metric learning using triplet network", International Workshop on Similarity-Based Pattern Recognition Springer, Cham, 2015 [9] Hong, Yan, "Matchinggan: Matching-Based Few-Shot Image Generation", 2020 IEEE International Conference on Multimedia and Expo (ICME) IEEE, 2020 [10] Krizhevsky, Alex, Ilya Sutskever, Geoffrey E Hinton, "Imagenet classification with deep convolutional neural networks", Advances in neural information processing systems, 2012 [11] Mariani, Giovanni, "Bagan: Data augmentation with balancing gan", arXiv preprint arXiv:1803.09655, 2018 556 TĂNG CƯỜNG DỮ LIỆU ẢNH CHO BỘ DỮ LIỆU X-QUANG PHỔI SỬ DỤNG MẠNG SINH ĐỐI NGHỊCH [12] Rajpurkar, Pranav, "Chexnet: Radiologist-level pneumonia detection on chest x-rays with deep learning", arXiv preprint arXiv:1711.05225, 2017 [13] Rezende, Danilo Jimenez, "One-shot generalization in deep generative models." arXiv preprint arXiv:1603.05106, 2016 [14] Salehinejad, Hojjat, "Generalization of deep neural networks for chest pathology classification in x-rays using generative adversarial networks", 2018 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP) IEEE, 2018 [15] Simonyan, Karen, Andrew Zisserman, "Very deep convolutional networks for large-scale image recognition", arXiv preprint arXiv:1409.1556, 2014 [16] Wang, H., Y Xia, "Chestnet: A deep neural network for classification of thoracic diseases on chest radiography arXiv 2018", arXiv preprint arXiv:1807.03058 [17] Wang, Xiaosong, "Chestx-ray8: Hospital-scale chest x-ray database and benchmarks on weakly-supervised classification and localization of common thorax diseases", Proceedings of the IEEE conference on computer vision and pattern recognition, 2017 [18] Wen, Yandong, "A discriminative feature learning approach for deep face recognition", European conference on computer vision Springer, Cham, 2016 IMAGING DATA AUGMENTATION FOR THORACIC X-RAY DATASETS USING GENERATIVE ADVERSARIAL NETWORKS Tran Hoang Phat, Pham Manh Cuong, Tran Dinh Toan, Hoang Tung, Le Minh Hung ABSTRACT: Data augmentation to improve classification model performance in the case of some classes with very few samples is a challenge in image classification problems, especially in the medical field for some rare conditions or mutated Using Generative Adversarial Networks (GANs) to augment data in this scenario often fails to perform well in the minority layers Considering the thoracic X-ray image classification problem, we built a feature-based X-ray GAN (FX-GAN) model to synthesize Xray image data with a learning approach from feature distribution Models learn to use features provided to create new images with similar features In which, a feature extracted from a trained metric model can extract distinguishing features between classes When the measure model generalizes the unobserved classes, our model can generate data for those classes without doing fine tuning Experiment with FX-GAN on chest X-ray datasets and assessed data augmentation for minority classes outside the observation set based on a few available data samples, and improved performance of clinical classification model using chest X-ray images ... with balancing gan", arXiv preprint arXiv:1803.09655, 2018 556 TĂNG CƯỜNG DỮ LIỆU ẢNH CHO BỘ DỮ LIỆU X- QUANG PHỔI SỬ DỤNG MẠNG SINH ĐỐI NGHỊCH [12] Rajpurkar, Pranav, "Chexnet: Radiologist-level...550 TĂNG CƯỜNG DỮ LIỆU ẢNH CHO BỘ DỮ LIỆU X- QUANG PHỔI SỬ DỤNG MẠNG SINH ĐỐI NGHỊCH với biến đổi so với ảnh ban đầu Tuy nhiên, đa dạng ảnh tạo DAGAN cách thêm véctơ... trích xuất đặc trưng F với kết hợp hàm mục tiêu softmax center loss Trong mơ hình trên, pre-trained VGG16 [15] sử dụng làm trích xuất đặc trưng 552 TĂNG CƯỜNG DỮ LIỆU ẢNH CHO BỘ DỮ LIỆU X- QUANG PHỔI