1. Trang chủ
  2. » Kỹ Thuật - Công Nghệ

Tô màu cho ảnh xám dùng mạng nơ-ron tích chập

5 5 0

Đang tải... (xem toàn văn)

THÔNG TIN TÀI LIỆU

Thông tin cơ bản

Định dạng
Số trang 5
Dung lượng 906,82 KB

Nội dung

Bài viết Tô màu cho ảnh xám dùng mạng nơ-ron tích chập xây dựng và đánh giá các mô hình tô màu khác nhau trên nhiều tập dữ liệu, dựa trên các tiêu chí về chất lượng ảnh. Kết quả thực nghiệm thể hiện sự hiệu quả của mô hình mạng residual trong bài toán tô màu. Đồng thời, bài viết còn cho thấy việc lựa chọn tập dữ liệu huấn luyện phù hợp sẽ góp phần xây dựng một mô hình tô màu hiệu quả.

ISSN 1859-1531 - TẠP CHÍ KHOA HỌC VÀ CƠNG NGHỆ - ĐẠI HỌC ĐÀ NẴNG, VOL 18, NO 7, 2020 79 TƠ MÀU CHO ẢNH XÁM DÙNG MẠNG NƠ-RON TÍCH CHẬP DEEP CONVOLUTIONAL NEURAL NETWORK BASED COLORIZATION Đồng Quốc Tranh, Hồ Phước Tiến, Trần Thị Minh Hạnh Trường Đại học Bách khoa – Đại học Đà Nẵng; hptien@dut.udn.vn Tóm tắt - Tơ màu cho ảnh xám có ý nghĩa quan trọng việc phục hồi ảnh cũ làm cho ảnh sinh động Gần với thành công mạng nơ-ron nhiều lớp lĩnh vực thị giác máy tính, mạng nơ-ron tích chập nhiều lớp mang lại kết tích cực tốn tô màu Tuy nhiên, nghiên cứu trước thường tập trung vào tập liệu quan tâm đến tác động liệu khác đến kết thu Bài báo xây dựng đánh giá mô hình tơ màu khác nhiều tập liệu, dựa tiêu chí chất lượng ảnh Kết thực nghiệm thể hiệu mô hình mạng residual tốn tơ màu Đồng thời, báo cho thấy việc lựa chọn tập liệu huấn luyện phù hợp góp phần xây dựng mơ hình tơ màu hiệu Abstract - Colorization is of great importance in restoring old gray pictures and making them more vivid Thanks to the recent success of deep neural networks in various problems of computer vision, deep convolutional neural network has also been proposed for colorization and has brought about promising results Yet previous works usually focus on some dataset and not consider the influence of training data This paper builds and evaluates many colorization models on various datasets according to criteria of image quality The experimental results show interesting performance of residual networks in colorization Moreover, an appropriate choice of training data may help to build an effective colorization model Từ khóa - Tơ màu; học sâu; mạng residual; chất lượng ảnh Key words - Colorization; convolutional neural network; residual network; image quality Giới thiệu tốn tơ màu Tơ màu cho ảnh xám có ý nghĩa quan trọng việc phục hồi màu sắc cho phim, ảnh xưa, giúp tăng cường chất lượng hình ảnh, tăng độ sinh động Tơ màu tốn khơng với nhà mỹ thuật, lại toán lĩnh vực khoa học kĩ thuật Một phương pháp tô màu xem thợ sơn, giúp ảnh xám có màu sắc phù hợp tự nhiên Trước đây, việc tơ màu cho vùng R ảnh xám thường thực cách tìm sở liệu vùng S tương tự với R; màu sắc vùng S dùng để tô cho vùng R ảnh xám Phương pháp rõ ràng, nhiên chất lượng thường không mong đợi hai yếu tố Thứ nhất, cần phải có phương pháp phân vùng hiệu quả, nhiên lại vấn đề chưa giải tốt Thứ hai, việc chọn miền tương tự với miền cho dễ dàng, khó để định lượng tương tự hay tương đồng, đồng thời có nhiều màu phù hợp với vùng cho trước Gần đây, sau nhiều thành cơng bật lĩnh vực nhận dạng hình ảnh, tiếng nói, hay xử lý ngơn ngữ [1, 2], phương pháp học sâu (Deep Learning) mang đến cách tiếp cận cho tốn tơ màu ảnh xám Cụ thể, sau huấn luyện, mơ hình mạng nơ-ron nhiều lớp sinh ảnh màu từ ảnh xám đầu vào Tức là, so sánh với phương pháp cũ tất bước phân vùng, chọn màu thực cách tự động mạng nơ-ron Nhìn chung, với phương pháp học sâu, mơ hình giải tốn tơ màu cho ảnh xám mạng nơ-ron tích chập CNN (Convolutional Neural Network), với lớp nối tiếp tích chập, kích hoạt phi tuyến, chuẩn hóa, kết hợp với việc lấy mẫu xuống (sub-sampling) lấy mẫu lên (up-sampling) để đảm bảo ảnh đầu kích thước với ảnh đầu vào Ở [3], để tăng chất lượng việc tô màu, tác giả kết hợp tốn tơ màu - sử dụng mạng CNN - với toán phân loại ảnh, dù mục đích tơ màu Việc phân loại ảnh, thực đồng thời, giúp mô hình lấy thơng tin tồn cục ảnh đầu vào, từ giúp việc tơ màu xác Ở [4], việc tô màu thực pixel, thông qua việc xử lý vùng nhỏ xung quanh pixel (patch-based) Một vấn đề quan trọng cách tiếp cận sử dụng phương pháp học sâu lựa chọn hàm tổn hao Nghiên cứu [3] sử dụng tiêu chí MSE (mean square error) kết hợp với hàm tổn hao việc phân loại, ví dụ hàm crossentropy Các tác giả [5] lại cho rằng, MSE không phản ánh phân bố màu pixel, đề xuất dùng hàm tổn hao khác biệt histogram màu Trong đó, báo [4] dùng MSE histogram Một biến thể khác phương pháp kết hợp chúng với dẫn (hint) cung cấp từ bên ngồi, ta có mơ hình tương tác với người dùng Bài báo [6] sử dụng dẫn từ người dùng, màu sắc vị trí, để q trình huấn luyện trở nên thuận lợi màu sắc thu tự nhiên Các mơ hình học sâu nhận đầu vào ảnh xám đưa hai lớp ứng với hai thành phần màu (thường a b hệ màu Lab); hai lớp kết hợp với ảnh xám ban đầu để tạo ảnh màu hồn chỉnh (Hình 1) Nhìn chung, mơ hình cho kết tương đối tốt, phần lớn huấn luyện với sở liệu, chưa đánh giá mức độ ảnh hưởng đặc trưng liệu đến kết tô màu Bài báo xây dựng so sánh nhiều cấu trúc mạng CNN khác tốn tơ màu Quá trình đánh giá thực với nhiều sở liệu khác để phân tích ảnh hưởng liệu phổ biến đến kết thu Từ đó, cách thức để cải thiện chất lượng mơ hình tơ màu, giúp màu sắc ảnh thu trở nên chân thực Phương pháp tô màu cho ảnh xám sử dụng CNN 2.1 Mơ hình Mơ hình CNN cho tốn tô màu thể Đồng Quốc Tranh, Hồ Phước Tiến, Trần Thị Minh Hạnh 80 cách tổng quát Hình Mơ hình gồm hai khối chính, từ trái sang phải, Convolutional Layers (màu xanh nhạt) Deconvolutional Layers (màu vàng nhạt), tương ứng với hai trình Encoder Decoder Khối Encoder cho phép biểu diễn đặc trưng ảnh xám đầu vào; khối Decoder kết hợp đặc trưng để tìm màu thích hợp Chú ý, khối Encoder làm cho kích thước ảnh giảm dần, khối Decoder làm tăng kích thước phục hồi kích thước ảnh ban đầu Mục tiêu tìm hai kênh màu sắc Cr1 Cr2 (chrominace channels) ứng với ảnh xám đầu vào Có nhiều cách biểu diễn màu sắc, thông qua hệ màu khác HSV, YCbCr, Luv, Lab Trong đó, hai kênh màu H S, Cb Cr, u v, a b Các hệ màu nhiều tương tự nhau, chuyển đổi qua lại, với hệ RGB Bài báo sử dụng hệ màu Lab, giống nghiên cứu trước Cụ thể, đầu vào ảnh xám, thể cường độ sáng L; đầu hai kênh màu a b Hai kênh màu kết hợp với cường độ sáng L để tạo thành ảnh màu hồn chỉnh tốn nhận dạng hình ảnh, đặc biệt có khả trích xuất thuộc tính ảnh Chính điều khiến cho mạng VGG sử dụng nhiều tốn khác nhau, ngồi vấn đề nhận dạng Trong Hình 2, khối Convolutional Layers khối trích xuất mơ hình VGG16 cơng bố [7], bao gồm lớp tích chập liên tiếp nhau, dùng hàm kích hoạt ReLU, khơng sử dụng chuẩn hóa Kích thước đầu giảm 25 lần so với kích thước đầu vào Với đầu vào có kích thước 224×224, đầu khối có kích thước 7×7 bao gồm 512 kênh, tức có dạng (7,7,512) Khối Deconvolutional Layers gồm lớp tích chập lấy mẫu lên (upsampling) để trả kích thước ban đầu 224×224, với hai kênh a b, có dạng (224,224,2) 2.3 Mơ hình kết hợp ResNet18 ResNet (residual network) đề xuất để cải thiện chất lượng tốn nhận dạng hình ảnh [8] ResNet18 có cấu trúc gồm nhiều basic residual block (Hình 3), block thể phép biến đổi thơng qua phương trình sau: (1) H(x) = F(x) + x Hình Mơ hình mạng học sâu tơ màu cho ảnh xám Khơng nhằm mục tiêu đánh giá ảnh hưởng hàm kích hoạt, báo sử dụng hàm kích hoạt ReLU dựa ưu điểm tốc độ hội tụ nhanh tính tốn đơn giản Hàm kích hoạt thường thực sau phép tính tích chập chuẩn hóa Đối với mơ hình VGG16, phần Convolutional Layers, hàm kích hoạt thực sau phép tính tích chập khơng thực chuẩn hóa, khối Deconvolutional có dùng hàm kích hoạt chuẩn hóa mơ hình khác Do đầu vào có phân bố khác nên ảnh hưởng đến tốc độ hội tụ giải thuật huấn luyện; việc chuẩn hóa giúp giải thuật huấn luyện hội tụ nhanh Phép chuẩn hóa thực tập mini-batch (64 ảnh), dựa vào giá trị trung bình phương sai tập Phần trình bày cấu trúc cụ thể khối Convolutional Layers (Encoder) Deconvolutional Layers (Decoder) Những cấu trúc khác dẫn đến mơ hình khác mà dùng để phân tích đánh giá mục 2.2 Mơ hình kết hợp VGG16 Hình Cấu trúc Basic Residual Block BottleNeck Mỗi block thực phép tích chập, kích hoạt phi tuyến ReLu chuẩn hóa BN ResNet giúp giải vấn đề triệt tiêu gradient (gradient vanishing), từ cho phép huấn luyện mạng tích chập với nhiều lớp Hình Mơ hình kết hợp ResNet18 Hình Mơ hình kết hợp VGG16 Hình mơ tả kiến trúc mơ hình tơ màu sử dụng mạng tích chập VGG16 VGG [7] thể nhiều ưu điểm Hình biểu diễn kiến trúc mơ hình tơ màu sử dụng mạng tích chập ResNet18 Khối Convolutional Layers chuyển ảnh xám kích thước 224×224 thành ảnh có kích thước (28,28,512) Khối Deconvolutional Layers chứa lớp tích chập upsampling, để đảm bảo đầu có kích thước (224,244,2) Trong khối này, lớp chuẩn hóa BN sử dụng sau lớp tích chập ISSN 1859-1531 - TẠP CHÍ KHOA HỌC VÀ CƠNG NGHỆ - ĐẠI HỌC ĐÀ NẴNG, VOL 18, NO 7, 2020 2.4 Mơ hình kết hợp ResNet152 81 (supervised learning) sử dụng Khi đó, hàm tổn hao định nghĩa sau: 𝑁 𝐿 = ∑ (‖𝑎̂𝑖 − 𝑎𝑖 ‖2 + ‖𝑏̂𝑖 − 𝑏𝑖 ‖ ), 𝑁 (2) 𝑖=1 𝐿 với: ‖𝑎̂𝑖 − 𝑎𝑖 ‖2 = ∑𝐾 ̂𝑖 (𝑘, 𝑙) − 𝑎𝑖 (𝑘, 𝑙)|2 , 𝑘=1 ∑𝑙=1|𝑎 𝐾 (3) 𝐿 2 ‖𝑏̂𝑖 − 𝑏𝑖 ‖ = ∑ ∑|𝑏̂𝑖 (𝑘, 𝑙) − 𝑏𝑖 (𝑘, 𝑙)| (4) 𝑘=1 𝑙=1 Hình Mơ hình kết hợp ResNet152 Tương tự mơ hình với ResNet18, kiến trúc mơ hình tơ màu sử dụng mạng tích chập ResNet512 thể Hình Khác biệt ResNet152 ResNet18 số lượng tham số ResNet152 lớn nhiều, ResNet152 sử dụng khối BottleNeck (Hình 3) BottleNeck gồm ba lớp tích chập thay hai lớp basic residual block ResNet18 2.5 Huấn luyện Với mơ hình tơ màu trình bày từ Mục 2.2 đến 2.4, ta cần thực trình huấn luyện để tìm trọng số chúng Ở đây, hầu hết phương pháp tô màu khác, q trình học có giám sát Ảnh xám VGG16 Trong đó, N số lượng ảnh 𝑎̂𝑖 , 𝑏̂𝑖 kênh màu ảnh thứ i ước lượng từ mơ hình 𝑎𝑖 , 𝑏𝑖 kênh màu tương ứng biết trước (ground truth) K, L chiều cao chiều rộng ảnh gốc Việc cập nhật trọng số mạng thực với giải thuật lan truyền ngược (back-propagation), kết hợp với phương pháp Adam [9], kích thước batch 64 Quá trình huấn luyện thực kết thu ổn định, tảng PyTorch môi trường Google Colab Thời gian huấn luyện lên đến tuần Thực nghiệm kết 3.1 Dữ liệu Quá trình thực nghiệm sử dụng bốn liệu để đánh giá mô hình tơ màu Các liệu (trừ tập 3) chia theo tỉ lệ 9:1 (huấn luyện : kiểm tra) Cụ thể sau: ResNet18 ResNet152 Hình Một số kết tô màu VGG16, ResNet18, ResNet152 với Tập Ảnh gốc Đồng Quốc Tranh, Hồ Phước Tiến, Trần Thị Minh Hạnh 82 Tập (testSet hay testSetPlaces205_resized) có tổng số 41000 ảnh, 36 901 ảnh cho huấn luyện 099 ảnh cho kiểm tra Đây kiểm tra liệu Places205 [10], với 205 loại ảnh phong cảnh công viên, biển, núi rừng, nhà thờ, cầu Tập (Flowers) [11] có kích thước tương đối nhỏ gồm 4326 ảnh, sau loại bỏ số ảnh chất lượng kém, tập liệu gồm 4319 ảnh hoa sử dụng, có 3888 ảnh huấn luyện 431 ảnh kiểm tra Bộ liệu chứa loại hoa: hoa hướng dương, hoa cúc, hoa bồ công anh, hoa hồng hoa tulip Tập (Object) [12] chứa 15571 ảnh, có 10552 ảnh huấn luyện 5019 ảnh kiểm tra Các đối tượng liệu bao gồm bàn, ghế, hoa, xích đu, vật, người… với phần có nội dung phức tạp Bộ liệu không chia theo tỷ lệ 9:1, mà giữ nguyên [12] để đảm bảo đặc trưng Tập (Blue) tập trung vào ảnh có màu xanh dương (blue) Đây liệu tác giả trích từ liệu Places205 [10] nhằm phân tích ảnh hưởng đặc trưng liệu đến việc khôi phục màu sắc Tập có tổng cộng 44156 ảnh, với 39740 ảnh huấn luyện 416 ảnh kiểm tra Bộ liệu chứa ảnh liên quan đến quan cảnh cơng viên, khán phịng, ảnh nghệ thuật, đường, lâu đài 3.2 Tiêu chí đánh giá Tiêu chí khách quan: báo này, PSNR dùng để đánh giá chất lượng ảnh màu khôi phục: MAXI2 (5) PSNR = 10log10 ( ) MSE Trong đó, MAXI giá trị lớn ảnh Ở đây, MAXI = ảnh chuẩn hóa trước tính tốn MSE sai số bình phương trung bình ảnh màu gốc ảnh màu khôi phục, tương tự phương trình (2) PSNR lớn, chất lượng ảnh khôi phục tăng Trong báo này, PNSR liên quan trực tiếp đến hàm mục tiêu (MSE), dùng để tối ưu hóa mơ hình Tuy nhiên, tiêu chí khách quan khơng thể phản ánh hết chất lượng ảnh màu Trên thực tế, ta thường kết hợp với đánh giá chủ quan, tức quan sát mắt người để đánh giá chất lượng ảnh 3.3 Kết Hình Đồ thị mát huấn luyện ResNet152 sử dụng liệu testSet (Tập 1) Mục đánh giá chất lượng tơ màu mơ hình giới thiệu từ Mục 2.2 đến Mục 2.4 Để thuận tiện cho việc trình bày, mơ hình đặt tên VGG16, ResNet18, ResNet152, tương ứng với kiến trúc mạng tích chập sử dụng Các kết trình bày sau mơ hình ổn định Hình thể kết hàm tổn hao (mất mát) mơ hình ResNet152 tập huấn luyện kiểm tra liệu (testSet) Theo hình này, kết hàm tổn hao tập kiểm tra gần không đổi sau khoảng 300 lần lặp 3.3.1 So sánh ba mơ hình tơ màu Trong mục này, ta so sánh chất lượng tô màu ba mơ hình nêu Bộ liệu testSet (Tập 1) sử dụng cho mục đích này, liệu có số lượng ảnh tương đối lớn Bảng PSNR ba mơ hình ResNet18, ResNet152, VGG16 sau 301 vòng lặp huấn luyện Số lượng trọng số PSNR (dB) ResNet18 954 722 25,84 ResNet152 VGG16 839 554 19 660 418 26,40 25,13 Theo kết Bảng 1, mơ hình VGG16 phức tạp nhất, kết lại thấp Mơ hình sử dụng Residual Network cho kết tốt Ngồi ra, mơ hình ResNet152 có độ phức tạp lớn cho kết PSNR tốt ResNet18 Nhận xét phù hợp với kết quan sát Hình 6: mơ hình ResNet152 cho kết với màu sắc tự nhiên 3.3.2 Ảnh hưởng liệu khác Trong mục này, ta đánh giá ảnh hưởng liệu khác mơ hình tơ màu Ở đây, ta chọn mơ hình ResNet18 thể cân tốt chất lượng tô màu độ phức tạp (ảnh hưởng đến thời gian huấn luyện) Kết PSNR ứng với ba tập liệu (đánh giá tập kiểm tra) cho Bảng Bảng PSNR mơ hình ResNet18 ba liệu Tập (testSet) Tập (Flowers) Tập (Object) PSNR (dB) 25,84 22,19 24,90 Từ Bảng 2, ta thấy kết tô màu tốt ứng với liệu 1, tập chứa nhiều ảnh cảnh vật Bộ liệu đối tượng (tập 3) cho kết thấp chút Ta nhận thấy rằng, việc tô màu ảnh phong cảnh có hiệu cao so với ảnh chứa đối tượng, vốn thể đa dạng tương đối phức tạp Bộ liệu hoa (Tập 2) cho kết thấp Nguyên nhân đến từ đa dạng hình dáng màu sắc hoa, số lượng tập chưa đủ lớn, nên mơ hình tô màu chưa học cách hiệu 3.3.3 Ảnh hưởng màu sắc Từ kết thí nghiệm ta thấy, liệu huấn luyện ảnh hưởng đến kết tơ màu Ví dụ, liệu (testSet) cho kết tốt với màu xanh lục (đây màu xuất nhiều ảnh phong cảnh), khơng thật tốt với màu xanh dương Để cải thiện vấn đề này, ta xây dựng liệu (tập 4) Bộ liệu trích từ huấn luyện Places205 [10], tập trung vào ảnh có màu xanh dương Ta huấn luyện mơ hình ResNet152 hai tập liệu Cụ thể, mơ hình ResNet152 huấn luyện với 36901 ảnh tập mơ hình huấn luyện với 39740 ảnh tập Kết sau huấn luyện, ta có hai phiên ResNet152, ứng với hai liệu huấn luyện khác Hai phiên ResNet152 ISSN 1859-1531 - TẠP CHÍ KHOA HỌC VÀ CƠNG NGHỆ - ĐẠI HỌC ĐÀ NẴNG, VOL 18, NO 7, 2020 đánh giá tập kiểm tra gồm 8515 ảnh, gồm 4099 ảnh kiểm tra tập (bộ testSet) 4416 ảnh kiểm tra tập Kết tổng kết Bảng Từ Bảng 3, ta thấy mơ hình ResNet152 huấn luyện liệu Blue cho kết tốt Nguyên nhân trường hợp này, mơ hình học màu xanh dương cách hiệu (nhờ nhiều ví dụ có màu xanh dương hơn) Ảnh Xám Huấn luyện với testSet 83 Điều kiểm nghiệm Hình Cụ thể, bầu trời xanh dương phục hồi tương đối tốt tự nhiên Bảng PSNR mô hình ResNet152 sử dụng liệu (testSet) (Blue) sau 301 vòng lặp huấn luyện PSNR (dB) Tập (testSet) 25,28 Huấn luyện với Blue Tập (Blue) 26,09 Ảnh gốc Hình Kết mơ hình ResNet152 huấn luyện với liệu testSet Blue Kết luận Bài báo đánh giá việc sử dụng mơ hình mạng nơ-ron tích chập nhiều lớp khác để giải toán tô màu cho ảnh xám Kết thực nghiệm cho thấy mơ hình Residual Network có khả tơ màu tương đối hiệu quả, đặc biệt sử dụng mơ hình đủ mạnh với số lượng liệu huấn luyện đủ lớn Bên cạnh đó, đặc trưng liệu huấn luyện ảnh hưởng nhiều đến kết thu Cụ thể, liệu huấn luyện cần có phân bố màu sắc Trong tương lai, ta kết hợp với mơ hình tập trung thị giác [13] để việc tơ màu hiệu phù hợp với cảm nhận thị giác người, khai thác mối liên hệ màu sắc mạng nơ-ron nhiều lớp [14] TÀI LIỆU THAM KHẢO [1] Y LeCun, Y Bengio, and G Hinton, "Deep learning”, Nature, vol 521, pp 436–444, 2015 [2] T., Ho-Phuoc, "CIFAR10 to compare visual recognition performance between deep neural networks and humans", arXiv:1811.07270, 2018 [3] S Iizuka, E Simo-Serra, and H Ishikawa, "Let there be Color!: Joint Endto-end Learning of Global and Local Image Priors for Automatic Image Colorization with Simultaneous Classification”, SIGGRAPH, 35(4), 2016 [4] G Larsson, M Maire, and G Shakhnarovich, "Learning Representations for Automatic Colorization”, ECCV, 2016 [5] R Zhang, P Isola, and A A Efros, “Colorful image colorization”, ECCV, 2016 [6] R Zhang, J Y Zhu, P Isola, X Geng, A S Lin, T Yu, and A A Efros, "Real-Time User-Guided Image Colorization with Learned Deep Priors”, SIGGRAPH, 36(4), 2017 [7] K Simonyan and A Zisserman, "Very Deep Convolutional Networks for Large-Scale Image Recognition”, ICLR, 2015 [8] K He, X Zhang, S Ren, J Sun, "Deep Residual Learning for Image Recognition”, CVPR, 2016 [9] Diederik P Kingma and Jimmy Lei Ba, Adam: A method for stochastic optimization 2014 arXiv:1412.6980v9 [10] B Zhou, A Lapedriza, J Xiao, A Torralba, and A Oliva “Learning Deep Features for Scene Recognition using Places Database.” Advances in Neural Information Processing Systems 27 (NIPS), 2014 [11] Alexander Mamaev, Flowers Recognition, version 2, 2018, https://www.kaggle.com/alxmamaev/flowers-recognition [12] L Wang, H Lu, Y Wang, M Feng, D Wang, B Yin, and X Ruan, "Learning to Detect Salient Objects with Image-level Supervision”, CVPR, 2017 [13] T., Ho-Phuoc, "Développement et mise en oeuvre de modèles d'attention visuelle”, PhD thesis, Université de Grenoble, 2010 [14] V Buhrmester, D Münch, D Bulatov, and M Arens M., “Evaluating the Impact of Color Information in Deep Neural Networks”, Pattern Recognition and Image Analysis, LNCS, 2019 (BBT nhận bài: 10/3/2020, hoàn tất thủ tục phản biện: 15/5/2020) ... hình tơ màu sử dụng mạng tích chập ResNet18 Khối Convolutional Layers chuyển ảnh xám kích thước 224×224 thành ảnh có kích thước (28,28,512) Khối Deconvolutional Layers chứa lớp tích chập upsampling,... 26,09 Ảnh gốc Hình Kết mơ hình ResNet152 huấn luyện với liệu testSet Blue Kết luận Bài báo đánh giá việc sử dụng mô hình mạng nơ-ron tích chập nhiều lớp khác để giải tốn tơ màu cho ảnh xám Kết... màu Lab, giống nghiên cứu trước Cụ thể, đầu vào ảnh xám, thể cường độ sáng L; đầu hai kênh màu a b Hai kênh màu kết hợp với cường độ sáng L để tạo thành ảnh màu hồn chỉnh tốn nhận dạng hình ảnh,

Ngày đăng: 16/07/2022, 12:23

HÌNH ẢNH LIÊN QUAN

Hình 5. Mơ hình kết hợp ResNet152 - Tô màu cho ảnh xám dùng mạng nơ-ron tích chập
Hình 5. Mơ hình kết hợp ResNet152 (Trang 3)
2.4. Mơ hình kết hợp ResNet152 - Tô màu cho ảnh xám dùng mạng nơ-ron tích chập
2.4. Mơ hình kết hợp ResNet152 (Trang 3)
Từ Bảng 3, ta thấy mô hình ResNet152 khi huấn luyện bộ dữ liệu Blue cho kết quả tốt hơn - Tô màu cho ảnh xám dùng mạng nơ-ron tích chập
Bảng 3 ta thấy mô hình ResNet152 khi huấn luyện bộ dữ liệu Blue cho kết quả tốt hơn (Trang 5)
w