1. Trang chủ
  2. » Luận Văn - Báo Cáo

Giải pháp khôi phục ảnh biển số xe ở việt nam

62 38 0

Đang tải... (xem toàn văn)

Tài liệu hạn chế xem trước, để xem đầy đủ mời bạn chọn Tải xuống

THÔNG TIN TÀI LIỆU

Nội dung

ĐẠI HỌC QUỐC GIA THÀNH PHỐ HỒ CHÍ MINH TRƯỜNG ĐẠI HỌC BÁCH KHOA NGUYỄN TRẦN TOÀN GIẢI PHÁP KHÔI PHỤC ẢNH BIỂN SỐ XE Ở VIỆT NAM A PROPOSAL FOR RECOVERING LOWRESOLUTION LICENSE PLATE IMAGES Ngành : KHOA HỌC MÁY TÍNH Mã số: 60.48.01.01 LUẬN VĂN THẠC SĨ TP HỒ CHÍ MINH, tháng 12 năm 2018 CƠNG TRÌNH ĐƯỢC HOÀN THÀNH TẠI TRƯỜNG ĐẠI HỌC BÁCH KHOA – ĐHQG - HCM Cán hướng dẫn khoa học : TS Lê Thành Sách Cán chấm nhận xét 1: PGS TS Lê Hoàng Thái Cán chấm nhận xét 2: TS Nguyễn Hồ Mẫn Rạng Luận văn thạc sĩ bảo vệ Trường Đại học Bách Khoa, ĐHQG Tp HCM ngày 26 tháng 12 năm 2018 Thành phần Hội đồng đánh giá luận văn thạc sĩ gồm: PGS TS Quản Thành Thơ TS Phạm Hoàng Anh PGS TS Lê Hoàng Thái TS Nguyễn Hồ Mẫn Rạng TS Nguyễn An Khương Xác nhận Chủ tịch Hội đồng đánh giá LV Trưởng Khoa quản lý chuyên ngành sau luận văn sửa chữa (nếu có) CHỦ TỊCH HỘI ĐỒNG TRƯỞNG KHOA KH&KTMT ĐẠI HỌC QUỐC GIA TP.HCM TRƯỜNG ĐẠI HỌC BÁCH KHOA CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập - Tự - Hạnh phúc NHIỆM VỤ LUẬN VĂN THẠC SĨ Họ tên học viên: NGUYỄN TRẦN TOÀN MSHV: 1570750 Ngày, tháng, năm sinh: 06/6/1989 Nơi sinh: TP.Hồ Chí Minh Ngành: Khoa học máy tính Mã số : 60.48.01.01 I TÊN ĐỀ TÀI: Giải pháp khôi phục ảnh biển số xe Việt Nam II NHIỆM VỤ VÀ NỘI DUNG: Nghiên cứu số phương pháp siêu phân giải ảnh biển số xe dựa học sâu, phân tích ưu, nhược điểm Đề xuất thực phương pháp siêu phân giải ảnh biển số xe dựa mạng nơron tích chập Thu thập liệu ảnh biển số xe đánh giá phương pháp đề xuất III NGÀY GIAO NHIỆM VỤ: 26/02/2018 IV NGÀY HOÀN THÀNH NHIỆM VỤ: 02/12/2018 V CÁN BỘ HƯỚNG DẪN: TS Lê Thành Sách Tp HCM, ngày CÁN BỘ HƯỚNG DẪN TS Lê Thành Sách tháng 12 năm 2018 TRƯỞNG KHOA KH & KTMT LỜI CẢM ƠN Em xin chân thành cảm ơn thầy TS Lê Thành Sách, người định hướng nghiên cứu tận tình hướng dẫn em trình làm luận văn Em xin chân thành cảm ơn quý thầy cô khoa Khoa học Kỹ thuật máy tính tận tình giảng dạy, truyền đạt kiến thức kinh nghiệm vô quý giá năm học vừa qua Em xin cảm ơn gia đình, bạn bè bên cạnh động viên em trình làm luận văn để có kết ngày hơm Xin cảm ơn Nguyễn Xuân Thành Doãn Kỳ Ân chia sẻ số ảnh video cho tập liệu TÓM TẮT Trong năm trở lại đây, camera an ninh Việt Nam lắp đặt ngày nhiều Tuy nhiên, đa số chất lượng camera thấp Nhiều trường hợp chưa đáp ứng nhu cầu thấy rõ biển số xe điều tra hình Điều làm phát sinh nhu cầu cần phải có giải pháp khôi phục ảnh biển số xe Với phát triển mãnh mẽ phương pháp học sâu sử dụng mạng nơron tích chập, luận văn nghiên cứu áp dụng phương pháp vấn đề siêu phân giải ảnh Qua khảo sát nghiên cứu, luận văn đề xuất cải tiến Mạng Dày đặc thặng dư làm giải pháp khôi phục ảnh biển số xe Việt Nam Kết đạt tương đối khả quan áp dụng thực tế ABSTRACT In recent years, more and more security cameras in Vietnam have been deployed However, most of these cameras’ quality is low Many cases not meet the need to see license plate number clearly in the criminal investigation, which leads to a demand for recovering low-resolution license plate images With the rapid growth of deep convolutional neural networks, this thesis applies these method to the image super resolution problem Through related works and own research, this thesis proposes to improve the Residual Dense Network as a solution to recover license plate images in Vietnam The results are quite satisfactory and can be applied in practice LỜI CAM ĐOAN Tôi cam đoan luận văn tơi thực hiện, số liệu kết thí nghiệm nêu luận văn thật chưa công bố; giúp đỡ cho việc thực luận văn cảm ơn thơng tin trích dẫn rõ nguồn gốc TP.HCM, ngày 01 tháng 12 năm 2018 NGƯỜI VIẾT Nguyễn Trần Toàn MỤC LỤC CHƯƠNG I: GIỚI THIỆU ĐỀ TÀI 1.1 Giới thiệu: 1.2 Mục tiêu nghiên cứu: 1.3 Đối tượng giới hạn nghiên cứu: 1.3.1 Đối tượng nghiên cứu: 1.3.2 Giới hạn nghiên cứu: 1.4 Ý nghĩa khoa học thực tiễn: 1.5 Bố cục luận văn: CHƯƠNG II: CƠ SỞ LÝ THUYẾT 2.1 Ảnh biển số xe Việt Nam: 2.1 Biến đổi hình học: 2.2 Mạng nơ-ron tích chập (Convolutional Neural Network - CNN): CHƯƠNG III: CÁC CƠNG TRÌNH NGHIÊN CỨU LIÊN QUAN 10 3.1 Siêu phân giải ảnh sử dụng mạng nơ-ron tích chập điểm ảnh phụ hiệu (ESPCN - Efficient Sub-Pixel Convolutional neural Network): 10 3.2 Mạng thặng dư sâu cải tiến cho siêu phân giải ảnh (EDSR - Enhanced Deep residual Super- Resolution network): 13 3.3 Mạng chiếu ngược sâu dày đặc (DDBPN - Dense Deep Back-Projection Networks): 18 3.4 Mạng dày đặc thặng dư (RDN - Residual Dense Network): 21 CHƯƠNG IV: PHƯƠNG PHÁP ĐỀ XUẤT 26 4.1 Mạng RDN cải tiến (ERDN): 26 4.2 Hàm lỗi trung bình lỗi L1 theo ký tự: 28 4.3 Hiện thực: 29 CHƯƠNG V: THÍ NGHIỆM 30 5.1 Mơi trường thí nghiệm: 30 5.1.1 Dữ liệu: 30 5.1.2 Cấu hình máy chạy thí nghiệm: 35 5.2 Phương pháp đánh giá kết quả: 36 5.2.1 Đánh giá dựa tỉ số tín hiệu đỉnh nhiễu (PSNR - Peak Signal-to-Noise Ratio): 36 5.2.2 Đánh giá dựa số tương tự cấu trúc (SSIM - Structural SIMilarity): 36 5.2.3 Đánh giá dựa kết nhận dạng biển số xe: 37 5.3 Kết thí nghiệm: 37 CHƯƠNG VI: KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 43 6.1 Kết luận: 43 6.2 Hướng phát triển: 43 PHỤ LỤC 44 CÁC TẬP DỮ LIỆU DÙNG TRONG SIÊU PHÂN GIẢI ẢNH 44 DANH MỤC TÀI LIỆU THAM KHẢO 47 DANH MỤC CÁC HÌNH Hình 1: Ảnh LR (a) ảnh HR tương ứng (b) Hình 2: Mơ hình học Hình 3: Biển số tô nước Hình 4: Biển số tơ nước Hình 5: Biển số mơ tơ nước Hình 6: Biển số mơ tơ nước ngồi Hình 7: Ảnh chụp biển số mơ tơ nước Hình 8: Ảnh chụp biển số mô tô nước đăng ký trước ngày 01/6/2014 Hình 9: Các ảnh LR với kích thước khác (đã phóng to) ảnh HR tương ứng Hình 10: Minh họa biến đổi phối cảnh Hình 11: Minh họa biến đổi phối cảnh với ảnh biển số xe Hình 12: Một kiến trúc điển hình CNN Hình 13: Ví dụ phép tính tích chập Hình 14: Kiến trúc mạng ESPCN 10 Hình 15: Mơ tả lớp tích chập điểm ảnh phụ 10 Hình 16: Kết khơi phục ảnh 335094, 384022 tập BSD500 với tỉ lệ phóng đại 11 Hình 17: Kiến trúc tổng quát mạng EDSR 13 Hình 18: Khối thặng dư mạng EDSR 14 Hình 19: Lớp tăng mẫu mạng EDSR 14 Hình 20: Minh họa phương pháp Tự kết hợp hình học (Geometric SelfEnsemble) 15 Hình 21: Kết khơi phục ảnh 34 tập Urban100 mạng EDSR 16 Hình 22: Kiến trúc mạng DDBPN 18 Hình 23: Cấu trúc khối chiếu lên chiếu xuống mạng DDBPN 19 Hình 24: Kết khơi phục ảnh 253027 tập B100 (hình trên) ảnh 040 tập Urban100 (hình dưới) mạng DDBPN 20 Hình 25: Kiến trúc tổng quát mạng RDN 21 Hình 26: Kiến trúc khối dày đặc thặng dư mạng RDN 22 CHƯƠNG V: THÍ NGHIỆM Hình 44: Số lượng ký tự theo vị trí ký tự 34 CHƯƠNG V: THÍ NGHIỆM Quy ước vị trí sau: Các ký tự biển số xe có 10 vị trí đánh số từ trái qua phải, từ xuống Ví dụ: Biển số có vị trí số 5, vị trí số 1, vị trí số A, vị trí số rỗng, vị trí số 9, vị trí số 9, vị trí số 3, vị trí số 6, vị trí số Biển số có vị trí số 3, vị trí số 0, vị trí số P, vị trí số rỗng, vị trí số 6, vị trí số 6, vị trí số 8, vị trí số 6, vị trí số rỗng Biển số có vị trí số 5, vị trí số 2, vị trí số X, vị trí số 2, vị trí số rỗng, vị trí số 4, vị trí số 5, vị trí số 4, vị trí số 0, vị trí số rỗng Biển số có vị trí số 5, vị trí số 9, vị trí số B, vị trí số 1, vị trí số rỗng, vị trí số 1, vị trí số 0, vị trí số 4, vị trí số 6, vị trí số Biển số có vị trí số 2, vị trí số 9, vị trí số M, vị trí số Đ, vị trí số 1, vị trí số 0, vị trí số 0, vị trí số 1, vị trí số 6, vị trí số 5.1.2 Cấu hình máy chạy thí nghiệm: Các thí nghiệm tiến hành máy ảo Google cài đặt phần mềm cấu sau: - Python 3.5, Pytorch 0.4 - Hệ điều hành: Debian 64 bit - CPU: x Intel Xeon 2.2GHz - Bộ nhớ chính: 4GB - GPU: x NVIDIA Tesla P100 35 CHƯƠNG V: THÍ NGHIỆM 5.2 Phương pháp đánh giá kết quả: 5.2.1 Đánh giá dựa tỉ số tín hiệu đỉnh nhiễu (PSNR - Peak Signal-to-Noise Ratio): Giá trị PSNR ảnh HR khôi phục tính dựa giá trị MSE (Mean Squared Error) theo cơng thức: 𝑃𝑆𝑁𝑅(𝐼̂, 𝐼) = 10 × log10 𝑀𝑆𝐸 = (6) 𝑀𝑆𝐸 ||𝐼 − 𝐼̂||22 𝑁 Trong đó, I ảnh gốc; 𝐼̂ ảnh khơi phục được; N số điểm ảnh ảnh I Chỉ số PSNR lớn ảnh khơi phục có chất lượng gần ảnh gốc 5.2.2 Đánh giá dựa số tương tự cấu trúc (SSIM - Structural SIMilarity): 𝑆𝑆𝐼𝑀(𝑥, 𝑦) = (2𝜇𝑥 𝜇𝑦 + 𝑐1 )(2𝜎𝑥𝑦 + 𝑐2 ) (𝜇𝑥2 + 𝜇𝑦2 + 𝑐1 )(𝜎𝑥2 + 𝜎𝑦2 + 𝑐2 ) (7) Trong đó, x, y hai ảnh cần so sánh độ tương tự cấu trúc; 𝜇𝑥 giá trị trung bình ảnh x; 𝜇𝑦 giá trị trung bình ảnh y; 𝜎𝑥2 phương sai ảnh x; 𝜎𝑦2 phương sai ảnh y; 𝜎𝑥𝑦 hiệp phương sai x y; 𝑐1 = (𝑘1 𝐿)2 , 𝑐2 = (𝑘1 𝐿)2 để ổn định phép chia với mẫu số yếu; 𝐿 phạm vi động giá trị điểm ảnh (trong luận văn sử dụng L = 255); 𝑘1 = 0.01 𝑘2 = 0.03 Chỉ số SSIM gần ảnh khơi phục giống ảnh gốc 36 CHƯƠNG V: THÍ NGHIỆM 5.2.3 Đánh giá dựa kết nhận dạng biển số xe: Các bước nhận dạng biển số xe từ ảnh khôi phục được: - Biến đổi ảnh kích thước chuẩn - Cắt ký tự theo vị trí chuẩn Biển số thuộc loại ký tự hay ký tự có vị trí ký tự khác Loại biển số xác định dựa nhãn ảnh đầu vào - Tính số SSIM ký tự với ký tự mẫu Nhận dạng theo ký tự mẫu có số SSIM cao SSIM: 0.2 0.1 0.2 0.3 0.9 0.5 0.5 0.3 0.4 0.3 Ký tự mẫu: Hình 45: Minh họa cách nhận dạng biển số xe từ ảnh khơi phục 5.3 Kết thí nghiệm: Các bảng sau trình bày kết đánh giá với tập kiểm tra Bảng 13: Kết đánh giá với ảnh chữ nhật Mạng siêu phân giải Thời gian huấn luyện Thời gian khôi phục Tổng cộng PSNR SSIM Số ảnh khôi phục Số biển số khôi phục 18.69 0.92 19.82 0.93 19.94 0.92 36.90 0.97 37.34 0.97 468/1194 (39.20%) 501/1194 (41.96%) 552/1194 (46.23%) 593/1194 (49.66%) 578/1194 (48.41%) 181/249 (72.69%) 189/249 (75.90%) 191/249 (76.71%) 192/249 (77.11%) 194/249 (77.91%) Trung bình EDSR[2] 46x32 DDBPN[5] 46x32 1d 19:02:31 7:46:56 RDN[7] 46x32 1d 6:53:27 ERDN 69x48 11:05:23 ERDN 69x48 ML1 15:35:04 5.951s 0.005s 8.283s 0.007s 16.476s 0.014s 16.404s 0.014s 16.423s 0.014s 37 CHƯƠNG V: THÍ NGHIỆM Giải thích cách ghi bảng: ERDN 69x48 mạng RDN cải tiến (mạng đề xuất) với đầu vào 69 x 48 (nếu ghi 69 nghĩa kích thước 69x69), tỉ lệ phóng đại (nếu ghi r1 tỉ lệ phóng đại 1), hàm lỗi L1 (nếu ghi ML1 dùng hàm lỗi ML1) Số ảnh khơi phục tính theo ảnh có biển số khơi phục tất ký tự Số biển số khơi phục tính theo biển số mà có ảnh biển số khơi phục tất ký tự Bảng 14: Kết đánh giá với ảnh vuông Mạng siêu phân giải Thời gian huấn luyện Thời gian khôi phục (Tổng cộng PSNR SSIM Số ảnh khôi phục Số biển số khôi phục 15.11 0.86 17.01 0.89 15.26 0.85 23.43 0.93 10.07 0.60 14.47 0.85 15.83 0.88 17.34 0.90 15.86 0.87 28.03 0.94 35.86 0.97 34.89 0.97 368/1194 (30.82%) 436/1194 (36.52%) 400/1194 (33.50%) 423/1194 (35.43%) 15/1194 (1.26%) 172/1194 (14.41%) 504/1194 (42.21%) 489/1194 (40.95%) 500/1194 (41.88%) 438/1194 (36.68%) 617/1194 (51.68%) 634/1194 (53.10%) 163/249 (65.46%) 173/249 (69.48%) 154/249 (61.85%) 180/249 (72.29%) 13/249 (5.22%) 101/249 (40.56%) 179/249 (71.89%) 186/249 (74.70%) 183/249 (73.49%) 168/249 (67.47%) 186/249 (74.70%) 199/249 (79.92%) Trung bình) EDSR[2] 48 3d 1:13:43 EDSR[2] 69 5d 20:05:44 EDSR[2] 48 r1 EDSR[2] 69 r1 DDBPN[5] 48 2d 15:26:06 6d 0:27:46 1d 2:15:24 RDN[7] 28 20:40:25 RDN[7] 48 2d 2:32:12 RDN[7] 69 1d 17:31:32 RDN[7] 48 r1 RDN[7] 69 r1 2d 1:16:24 1d 15:45:37 ERDN 69 17:04:26 ERDN 69 ML1 22:35:53 8.269s 0.007s 6.074s 0.005s 8.211s 0.007s 5.775s 0.005s 5.791s 0.005s 16.482s 0.014s 16.776s 0.014s 32.643s 0.027s 16.496s 0.014s 31.386s 0.026s 19.173s 0.016s 16.465s 0.014s 38 CHƯƠNG V: THÍ NGHIỆM Qua hai bảng cho thấy mạng RDN cải tiến đạt kết tốt mạng khác chất lượng hình ảnh độ xác Ảnh đầu Ảnh đầu vào PSNR (dB) / SSIM EDSR[2] 69 RDN[7] 48 ERDN 69 ERDN 69 ML1 49 x 49 16.07 / 0.90 14.98 / 0.87 40.13 / 1.00 15.19 / 0.92 35 x 35 19.51 / 0.94 16.64 / 0.91 34.24 / 1.00 35.02 / 1.00 31 x 31 16.84 / 0.90 13.13 / 0.80 24.25 / 0.98 17.65 / 0.94 44 x 44 13.71 / 0.82 14.92 / 0.87 15.21 / 0.91 19.76 / 0.98 29 x 29 12.50 / 0.81 11.03 / 0.74 10.07 / 0.71 11.74 / 0.81 45 x 45 9.23 / 0.59 6.67 / 0.35 9.26 / 0.65 7.54 / 0.44 27 x 27 17.50 / 0.93 15.89 / 0.90 19.33 / 0.97 19.34 / 0.97 Hình 46: So sánh khơi phục số ảnh vng 39 Ảnh tham khảo CHƯƠNG V: THÍ NGHIỆM Hình 47: Tỉ lệ khôi phục theo ký tự mạng RDN cải tiến Hình cho thấy ký tự chiếm tỉ lệ thấp tập huấn luyện có tỉ lệ khơi phục thấp Hình 48: Tỉ lệ khơi phục theo ký tự mạng RDN cải tiến dùng hàm lỗi ML1 40 CHƯƠNG V: THÍ NGHIỆM Khi áp dụng hàm lỗi ML1 độ xác ký tự thiểu số cải thiện, lại làm giảm số ký tự khác Trong hình trước, kứ tự A, M, Y cải thiện rõ rệt ký tự chữ khác, số ký số tự lại giảm nhẹ Hình 49: Tỉ lệ số lượng ảnh theo số ký tự khôi phục số ký tự biển số xe (trong tập kiểm tra có hai loại: biển số có ký tự biển số có ký tự), áp dụng mạng RDN cải tiến dùng hàm lỗi ML1 Hình cho thấy biển số tập kiểm tra khơi phục ký tự trở lên Lượng ảnh khôi phục tất ký tự chiếm đa số (53.1%), kế ảnh khơi phục sai ký tự (28.4%) Bảng sau cho thấy tác dụng tốt ảnh LR mô tập huấn luyện (mô tả mục 5.1.1 Dữ liệu:): Bảng 15: Áp dụng mạng ERDN 69 với tập huấn luyện có ảnh thực tập huấn luyện đầy đủ ảnh thực ảnh mô Tập liệu Ảnh thực Ảnh thực mô PSNR SSIM Số ảnh số biển số khôi phục 26.29 0.95 389/1194 (32.58%) 74/249 (29.72%) 35.86 0.97 617/1194 (51.68%) 120/249 (48.19%) 41 CHƯƠNG V: THÍ NGHIỆM Hình 50: Tỉ lệ khơi phục sai ký tự Hình trịn đỏ thể tỉ lệ khơi phục sai lớn dịng Qua thống kê hình cho thấy ký tự thường bị khôi phục sai thành vài ký tự khác Ví dụ số thường khơi phục thành số 7, số thường khôi phục thành số 0, chữ G thường khôi phục thành chữ C, chữ N thường khôi phục thành chữ M, v.v… Các trường hợp lý cấu trúc hình dạng tự nhiên ảnh LR ký tự giống Trường hợp cột chữ X, có nhiều ký tự khác khôi phục thành chữ X chữ X chiếm số lượng lớn nhiều so với ký tự khác tập huấn luyện Mặc dù luận văn áp dụng hàm lỗi để cân vấn bị ảnh hưởng 42 CHƯƠNG VI: KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN CHƯƠNG VI: KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 6.1 Kết luận: Đề tài nghiên cứu vấn đề phát triển giải thuật siêu phân giải ảnh dựa học sâu nhằm khôi phục ảnh biển số xe có độ phân giải cao từ ảnh biển số xe có độ phân giải thấp Việt Nam Kết nghiên cứu giúp giải phần nhu cầu thực tế điều tra hình sự, giúp đảm bảo an ninh trị giữ gìn trật tự an tồn xã hội Trong nghiên cứu khảo sát RDN có kết tốt nhất, kết khơi phục ảnh chữ nhật tốt ảnh vuông Tuy nhiên để có ảnh chữ nhật cịn làm thủ cơng, nên kết hợp với hệ thống tự động khác Qua thí nghiệm luận văn cho thấy, kết khôi phục ảnh vuông tốt ảnh chữ nhật Vì khơng cần dùng ảnh chữ nhật cho nghiên cứu biển số xe 6.2 Hướng phát triển: Nghiên cứu, phát triển phương pháp siêu phân giải ảnh biển số xe trường hợp mờ nhịe, bị chói sáng, bị bóng đen, che khuất phần ký tự, xe chạy buổi tối Có thể điều chỉnh kiến trúc mạng để áp dụng vào toán phát hiện, nhận dạng biển số xe Từ hình thành nên cơng cụ thu thập ảnh biển số xe tự động bán tự động, giúp rút ngắn thời gian cho nghiên cứu siêu phân giải ảnh biển số xe 43 CHƯƠNG VI: KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN PHỤ LỤC CÁC TẬP DỮ LIỆU DÙNG TRONG SIÊU PHÂN GIẢI ẢNH Tập liệu DIV2K [12]: Nguồn: https://data.vision.ee.ethz.ch/cvl/DIV2K/ Tập liệu gồm 1000 ảnh màu độ phân giải 2K với nội dung phong phú (phong cảnh, cối, nhà cửa, …), phân thành: - Tập huấn luyện (train): 800 ảnh, tên file đánh số từ 0001 đến 0800 - Tập xác thực (validation): 100 ảnh, tên file đánh số từ 0801 đến 0900 - Tập kiểm tra (test): 100 ảnh (khơng cơng khai) Kích thước ảnh HR ln có chiều rộng cao >= 2040 Kích thước nhỏ 2040x648, lớn 2040x2040 Ảnh LR giảm mẫu từ ảnh HR dùng nội suy Bicubic, có kích thước 1/2 1/3 1/4 ảnh HR tương ứng với tỉ lệ phóng đại hoặc Hình 51: Các ảnh 0001, 0100, 0801 0820 tập DIV2K (theo thứ tự từ trái qua phải, từ xuống dưới) 44 CHƯƠNG VI: KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN Tập Benchmark: Nguồn: https://cv.snu.ac.kr/research/EDSR/benchmark.tar Bao gồm tập: Set5[13]: ảnh, kích thước nhỏ 256x256, lớn 512x512 Set14[14]: 14 ảnh, kích thước nhỏ 276x276, lớn 720x576 B100[15]: 100 ảnh, kích thước nhỏ 481x321, lớn 321x481 Urban100[16]: 100 ảnh, kích thước nhỏ 567x1024, lớn 1280x963 Ảnh LR giảm mẫu từ ảnh HR dùng nội suy Bicubic, có kích thước 1/2 1/3 1/4 ảnh HR tương ứng với tỉ lệ phóng đại hoặc Hình 52: Các ảnh tập Set5 Hình 53: Các ảnh tên “ppt3”, “zebra”, “baboon”, “barbara” tập Set14 Hình 54: Các ảnh tên “302008”, “69015”, “78004”, “182053” tập B100 45 CHƯƠNG VI: KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN Hình 55: Các ảnh tên “img034”, “img096” “img005” tập Urban100 Tập BSD300 BSD500: Nguồn: https://www2.eecs.berkeley.edu/Research/Projects/CS/vision/bsds/, http://www.eecs.berkeley.edu/Research/Projects/CS/vision/grouping/resource s.html Tập BSD300 gồm 300 ảnh phân thành tập con: tập huấn luyện (200 ảnh), tập kiểm tra (100 ảnh) Tập BSD500 gồm 500 ảnh phân thành tập con: tập huấn luyện (300 ảnh), tập kiểm tra (200 ảnh) Đây tập liệu dùng cho phân đoạn ảnh phát đường biên dùng cho siêu phân giải ảnh (như báo W Shi cộng sự[3]) Hình 56: Ảnh tên “119082” “253027” tập BSD300 Tập SuperTexture: Nguồn: http://people.ee.ethz.ch/~daid/JOR/ Tập liệu gồm 136 ảnh kết cấu đa dạng, ví dụ hình 46 DANH MỤC TÀI LIỆU THAM KHẢO DANH MỤC TÀI LIỆU THAM KHẢO [1] Y LeCun et al “Convolutional networks and applications in vision,” in Proc IEEE International Symposium on Circuits and Systems (ISCAS), 2010, pp 253-256 [2] B Lim et al “Enhanced deep residual networks for single image superresolution,” in The IEEE Conference on Computer Vision and Pattern Recognition Workshops (CVPRW), 2017, pp 136-144 [3] W Shi et al “Real-time single image and video super-resolution using an efficient sub-pixel convolutional neural network,” in Proc IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2016, pp.1874-1883 [4] K He et al “Deep residual learning for image recognition,” in Proc CVPR, 2016, pp 770-778 [5] M Haris et al “Deep Back-Projection Networks for super-resolution,” in Proc CVPR, 2018, pp 1664-1673 [6] Thông tư số 15/2014/TT-BCA ngày 04/4/2014 Bộ Công an quy định đăng ký xe Internet: http://vbpl.vn/TW/Pages/vbpqtoanvan.aspx?ItemID=37647&Keyword=15/2014/TT-BCA [7] Y Zhang et al “Residual dense network for image super-resolution,” in Proc CVPR, 2018, pp 2472-2481 [8] Z Wang et al “Image quality assessment: from error visibility to structural similarity,” IEEE transactions on image processing, vol 13, no 4, pp 600-612, April 2004 [9] G Huang et al “Densely connected convolutional networks,” in Proc CVPR, 2017, pp 4700-4708 [10] O Russakovsky et al “Imagenet large scale visual recognition challenge,” International Journal of Computer Vision, vol 115, no 3, pp 211-252, 2015 [11] D Martin et al “A database of human segmented natural images and its application to evaluating segmentation algorithms and measuring ecological statistics,” International Journal of Computer Vision, vol 2, pp 416–423, July 2001 47 DANH MỤC TÀI LIỆU THAM KHẢO [12] R.Timofte et al “NTIRE 2017 challenge on single image superresolution: Methods and results,” in Proc CVPRW, 2017, pp 11101121 [13] M Bevilacqua et al “Low-Complexity Single-Image Super-Resolution based on Nonnegative Neighbor Embedding,” in Proc British Machine Vision Conference (BMVC), 2012, pp 135.1-135.10 [14] R Zeyde et al “On single image scale-up using sparse-representations,” in Proc International Conference on Curves and Surfaces, 2010, pp 711-730 [15] D Martin et al “A database of human segmented natural images and its application to evaluating segmentation algorithms and measuring ecological statistics,” in Proc International Conference on Computer Vision, 2001, vol 2, pp 416-423 [16] J B Huang et al “Single image super-resolution from transformed selfexemplars,” in Proc CVPR, 2015, pp 5197-5206 48 ... Khoa học máy tính Mã số : 60.48.01.01 I TÊN ĐỀ TÀI: Giải pháp khôi phục ảnh biển số xe Việt Nam II NHIỆM VỤ VÀ NỘI DUNG: Nghiên cứu số phương pháp siêu phân giải ảnh biển số xe dựa học sâu, phân... hiện, nhận dạng biển số xe số trường hợp ảnh nhỏ, mờ Xuất phát từ nhu cầu trên, luận văn đề xuất giải pháp áp dụng giải thuật học sâu làm giải thuật SR để khôi phục ảnh biển số xe Việt Nam nghiên... tiến làm giải pháp khôi phục ảnh biển số xe Việt Nam Do qua trình khảo sát, mạng RDN cho kết tốt với ảnh biển số xe Việt Nam Việc cải tiến xuất phát từ vấn đề lựa chọn kích thước chung cho ảnh đầu

Ngày đăng: 18/04/2021, 15:26

TÀI LIỆU CÙNG NGƯỜI DÙNG

TÀI LIỆU LIÊN QUAN

w