Xây dựng phương pháp đánh giá chất lượng ảnh sử dụng thiết bị đọc chuyển động mắt

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ NGUYỄN MẠNH TUẤN XÂY DỰNG PHƯƠNG PHÁP ĐÁNH GIÁ CHẤT LƯỢNG ẢNH SỬ DỤNG THIẾT BỊ ĐỌC CHUYỂN ĐỘNG MẮT Ngành: Công nghệ thông tin Chuyên ngành: Kỹ thuật phần mềm Mã số: 8480103.01 LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN NGƯỜI HƯỚNG DẪN KHOA HỌC: PGS TS LÊ THANH HÀ HÀ NỘI 2021 LỜI CẢM ƠN Trước tiên học viên xin dành lời cảm ơn chân thành sâu sắc đến thầy giáo PGS TS Lê Thanh Hà người anh NCS Phạm Thanh Tùng nhiệt tình hướng dẫn tạo điều kiện tốt từ bắt đầu thực đến kết thúc cơng việc Học viên xin dành lời cảm ơn chân thành đến thầy cô khoa công nghệ thông tin, trường Đại học Công Nghệ, ĐHQGHN tận tình đào tạo, cung cấp cho kiến thức vơ quý bổ ích suốt thời gian hai năm học trường Các thầy cô đồng hành tạo điều kiện cho tất học viên nghiên cứu học hỏi theo nguyên vọng thân Đồng thời học viên dành lời cảm ơn chân thành đến gia đình ln động viên đồng nghiệp, đặc biệt cấp trực tiếp tôi, TS Phạm Thanh Tùng tạo điều kiện trình học tập, nghiên cứu thời gian qua Cuối em xin gửi lời chúc sức khỏe thành đạt tới tất quý thầy cô, quý đồng nghiệp tồn thể gia đình bạn bè Xin chân thành cảm ơn! LỜI CAM ĐOAN Học viên xin cam đoan luận văn thạc sĩ công nghệ thông tin “Xây dựng phương pháp đánh giá chất lượng ảnh sử dụng thiết bị đọc chuyển động mắt ” cơng trình nghiên cứu riêng thân khơng chép người khác Trong toàn nội dung luận văn, điều trình bày cá nhân học viên tổng hợp từ nhiều nguồn tài liệu Tất nguồn tài liệu tham khảo có xuất xứ rõ ràng hợp pháp Học viên xin chịu trách nhiệm chịu hình thức kỷ luật theo quy định cho lời cam đoan Hà Nội, ngày ……tháng… năm 2021 Học viên thực Nguyễn Mạnh Tuấn MỤC LỤC LỜI CẢM ƠN LỜI CAM ĐOAN DANH MỤC HÌNH ẢNH DANH MỤC BẢNG BIỂU DANH MỤC CÁC KÝ HIỆU VÀ CHỮ VIẾT TẮT MỞ ĐẦU 1.1 Đánh giá chất lượng hình ảnh 11 1.1.1 Giới thiệu chung đánh giá chất lượng hình ảnh 11 1.1.2 Đánh giá chất lượng chủ quan .12 1.1.3 Đánh giá chất lượng khách quan 12 1.1.4 Một số đặc điểm PSNR .13 1.1.5 Đánh giá chất lượng hình ảnh theo đặc trưng thị giác 14 1.1.6 Thước đo hiệu suất phương pháp IQA 15 1.2 Các thiết bị công cụ sử dụng nghiên cứu 16 1.2.1 Thiết bị Tobii Eye Tracking 4C Tobii Eye Tracking Core Software v2.16.5 16 1.2.2 Tobii Core SDK 18 1.2.3 Một số công cụ .18 1.2.4 Mô hình mạng Neural tích chập ResneXt 19 CHƯƠNG XÂY DỰNG PHẦN MỀM VÀ TIẾN HÀNH THỰC NGHIỆM 24 2.1 Xây dựng phần mềm 24 2.1.1 Xây dựng phần mềm phục vụ thực nghiệm 24 2.1.2 Sơ đồ tổng quát 26 2.1.3 Lớp, đối tượng, sơ đồ lớp 26 2.1.4 Biểu đồ hoạt động 27 2.1.5 Cài đặt Tobii.Interaction.Framework 27 2.1.6 Giao diện phần mềm .31 2.2 Tổ chức thực nghiệm 35 2.2.1 Căn chỉnh mắt với thiết bị Tobbi EyeTracking 4C 35 2.2.2 Tiến hành thực nghiệm 37 2.2.3 Một số khó khăn gặp phải q trình thực nghiệm 38 CHƯƠNG KẾT QUẢ VÀ ĐÁNH GIÁ .40 3.1 Dữ liệu thu 40 3.1.1 Dữ liệu điểm đánh giá chất lượng ảnh ảnh 40 3.1.2 Dữ liệu điểm quan sát vào ảnh 40 3.2 Sử dụng liệu để học máy 44 3.2.1 Kiến trúc CNN dự đoán trọng số 44 3.2.2 Tiến hành huấn luyện liệu 45 3.2.3 Kết huấn luyện 45 3.3 So sánh số phương pháp đánh giá chất lượng ảnh đánh giá phương pháp nghiên cứu 47 DANH MỤC CƠNG TRÌNH KHOA HỌC CỦA TÁC GIẢ LIÊN QUAN ĐẾN LUẬN VĂN 49 KẾT LUẬN 50 TÀI LIỆU THAM KHẢO 51 DANH MỤC HÌNH ẢNH Hình Ví dụ minh họa cho phương pháp đánh giá chất lượng ảnh .8 Hình Mối tương quan PSNR DMOS sở liệu VQEG FRTV Phase I 14 Hình Thiết bị Tobii Eye Tracker 4C 17 Hình Thiết bị gắn phía trước hình 17 Hình Kết nối tắt mạng ResNet 20 Hình Mơ hình mạng VGG_19, mạng với lớp, ResNet-34 21 Hình Mơ hình ResNet-50 số mạng khác 22 Hình Mơ hình ResNet-50 .22 Hình Khối ResNet thơng thường khối ResNext 23 Hình 10 ResNet-50 ResXt-50 23 Hình 11 Quy trình đánh giá ảnh 25 Hình 12 Sơ đồ tổng quát cho hệ thống .26 Hình 13 Biểu đồ lớp 27 Hình 14 Biểu đồ hoạt động phần mềm .27 Hình 15 Manage NuGet Packages for Solution môi trường Microsoft Visual Studio 28 Hình 16 Tìm kiếm tobbi.interation .28 Hình 17 Cài đặt tobbi.interation 29 Hình 18 Add Reference Microsoft Visual Studio .29 Hình 19 Tìm đường dẫn đến thư viện tobbi.interation .30 Hình 20 Thêm thư viện Tobii.Interaction.Model.dll Tobii.Interaction.Net.dll vào project .30 Hình 21 Thêm thành cơng thư viện Tobii.Interaction vào project 31 Hình 22 Khai báo thư viện Project 31 Hình 23 Giao diện quản lý thơng tin người tham gia thực nghệm .32 Hình 24 Giao diện người dùng quan sát ảnh gốc .32 Hình 25 Giao diện hình nghỉ .33 Hình 26 Giao diện người dùng quan sát ảnh nén .33 Hình 27 Màn hình nghỉ chấm điểm ảnh nén 34 Hình 28 Màn hình nghỉ kết thúc cặp ảnh 34 Hình 29 Giao diện xem lại điểm quan sát 35 Hình 30 Giao diện Eye Tracking software 36 Hình 31 Màn hình chỉnh mắt người dùng 36 Hình 32 Màn hình kiểm tra trình chỉnh mắt 37 Hình 33 Một số người tham gia thuộc nhóm tuổi 18 đến 50 tuổi 37 Hình 34 Một số người tham gia thuộc nhóm tuổi 14 đến 17 tuổi 38 Hình 35 Một số người tham gia thuộc nhóm tuổi 50 38 Hình 36 Trung bình điểm đánh giá tồn ảnh 40 Hình 37 Ảnh BasketballDrive1920x1080_105_qp38 41 Hình 38 Các điểm quan sát ảnh BasketballDrive1920x1080_105_qp38 41 Hình 39 Số điểm quan sát vùng ảnh kích thước 32*32 ảnh BasketballDrive1920x1080_105_qp38 42 Hình 40 Số điểm quan sát vùng ảnh 32*32 sơ đồ trực quan ảnh BasketballDrive1920x1080_105_qp38 42 Hình 41 Ảnh Beauty_1920x1080_120fps_420_8bit_YUV_380 _qp14 43 Hình 42 Các điểm quan sát ảnh Beauty_1920x1080_120fps_420_8bit_YUV_380 _qp14 .43 Hình 43 Số điểm quan sát vùng ảnh 32*32 ảnh Beauty_1920x1080_120fps_420_8bit_YUV_380 _qp14 .44 Hình 44 Số điểm quan sát vùng ảnh 32*32 sơ đồ trực quan ảnh Beauty_1920x1080_120fps_420_8bit_YUV_380 _qp14 44 Hình 45 Kiến trúc CNN dự đốn trọng số 45 Hình 46 Huấn luyện liệu 45 Hình 47 Kết dự đốn trọng số ảnh blue_sky_1080p25_92_qp31 46 Hình 48 Kết dự đoán trọng số ảnh aspen_1080p_432_qp40 46 Hình 49 Kết dự đốn trọng số đối ảnh red_kayak_1080p_80_qp22 .46 Hình 50 dự đốn trọng số đối ảnh Jockey_1920x1080_120fps_420_8bit_YUV_130_qp24 47 DANH MỤC BẢNG BIỂU Bảng Bảng mô tả yêu cầu phần mềm 26 Bảng So sánh hiệu suất phương pháp nghiên cứu với số phương pháp khác 49 DANH MỤC CÁC KÝ HIỆU VÀ CHỮ VIẾT TẮT Từ viết tắt Thuật ngữ tiếng anh Thuật ngữ tiếng việt API Application Programming Interface Giao diện lập trình ứng dụng Image Quality Assessment Phương pháp đánh giá chất lượng hình ảnh SRCC The Spearman’s rank correlation coefficient Hệ số tương quan xếp hạng Spearman PLCC The Pearson’s linear correlation coefficient Hệ số tương quan tuyến tính Pearson CNN Convolutional Neural Network Mạng Nơ-ron tích chập Peak Signal To Noise Ratio Tỉ số tín hiệu cực đại nhiễu IQA PSNR MỞ ĐẦU Đặt vấn đề Hiện nay, truyền thông đa phương tiện trở nên vô phổ biến, đặc biệt mơi trường mạng Internet Số lượng video, hình ảnh chia sẻ tảng mạng xã hội vô lớn Theo thống kê năm 2020 Pew Research Center, có khoảng tỉ video chia sẻ Youtube, với tổng cộng khoảng tỉ xem video, tương đương 456.621 năm Ngoài số lượng hình ảnh, video chia sẻ hệ thống khác như: Facbook, Tiktok, Instagram ,… ấn tượng Điều cho thấy bùng nổ liệu video Cùng với bùng nổ liệu video, nhu cầu chất lượng hình ảnh người dùng ngày cao, việc nghiên cứu nhằm nâng cao đánh giá chất lượng hình ảnh cần thiết Học viên tham gia nhóm xây dựng liệu đánh giá chất lượng ảnh chủ quan gồm 40286 cặp khối ảnh ("Compression Artifacts Image Patch database for Perceptual Quality Assessment," 2020 12th International Conference on Knowledge and Systems Engineering (KSE))[1] Từ liệu trên, nhóm mơ hình hóa phương pháp đánh giá chất lượng ảnh theo đặc trưng thị giác sử dụng mạng CNN ("End-to-End Image Patch Quality Assessment for Image/Video With Compression Artifacts," in IEEE Access, vol 8, 2020) cho kết khả quan[2] Tuy xác định chất lượng cho khối ảnh, nhược điểm không xác định trọng số khối ảnh mức độ quan tâm đến vùng ảnh khác Hình Ví dụ minh họa cho phương pháp đánh giá chất lượng ảnh Hình phía ví dụ cho phương pháp đánh giá ảnh, với hình a ảnh gốc hình e, f, g, h ảnh nén với mức độ biến dạng Phương pháp dự đoán chất lượng khối ảnh ảnh nén tương ứng với hình i, j, k, l Các hình b, c, d thể mức độ quan tâm người quan sát Trong hình d thể trọng số vùng ảnh Để tính chất lượng tồn ảnh có cách:  Lấy điểm trung bình tất vùng ảnh: Đây cách đơn giản nhất, giả định tầm quan trọng cuả khối ảnh nhau, chất lượng cảu toàn ảnh tính theo cơng thức [4]: 𝑞̂ = 𝑁𝑝 𝑁 ∑𝑖 𝑝 𝑦𝑖 (1) Trong Np số lượng khối ảnh, yi chất lượng khối ảnh thứ i  Sử dụng trọng số vùng ảnh Không phải vùng hình ảnh nhận ý người xem chất lượng hình ảnh vùng thu hút ý người xem cho có ảnh hưởng đến chất lượng tồn ảnh vùng khác Trọng số 𝛼𝑖 khối ảnh thứ i cộng thêm giá trị nhỏ 𝜖 để đảm bảo tất vùng ảnh có vai trị tồn ảnh[4] 𝛼𝑖∗ = max(0, 𝛼𝑖 ) + 𝜀 (2) Trọng số chuẩn hóa tính theo công thức sau: 𝑝𝑖 = 𝛼𝑖∗ 𝑁𝑝 ∗ ∑𝑗 𝛼𝑗 (3) Chất lượng tồn ảnh 𝑞̂ tính theo cơng thức sau: 𝑞̂ = 𝑁 ∑𝑖 𝑝 𝑝𝑖 ∗ 𝑦𝑖 = 𝑁 ∑𝑖 𝑝 𝛼𝑖∗ ∗ 𝑦𝑖 𝑁 ∑𝑖 𝑝 𝛼𝑖∗ (4) Với Np số lượng khối ảnh, yi chất lượng khối ảnh thứ i Đối với cách tính theo phương pháp thứ 2, đánh giá tốt Nhận cần thiết việc xác định trọng số vùng ảnh, học viên sử dụng thiết bị đọc mắt để nghiên cứu xây dựng phương pháp dự đoán trọng số các vùng ảnh, từ xây dựng phương pháp đánh giá chất lượng ảnh với hiệu tốt Mục tiêu Luận văn nhằm dựng phương pháp đánh giá chất lượng ảnh việc sử dụng thiết bị đọc chuyển động mắt so sánh với phương pháp có Phương pháp nghiên cứu Luận văn sử dụng phương pháp nghiên cứu khoa học sau:  Phương pháp thu thập số liệu 39    Sự tập trung: Do trình thực nghiệm nhàm chán, người dùng dễ tập trung Nguyên nhân khách quan bên ngồi, họ tự nghĩ chuyện khác Điều ảnh hưởng đến chất lượng thực nghiệm Do đó, ln có người hướng dẫn bên cạnh người tham gia Vừa hỗ trợ, vừa nhắc cảm thấy biểu tập trung Số lượng người tham gia: Như trình bày phần trên, để quan sát đánh giá tồn ảnh cần 3,5 đồng hồ Thêm vào đó, việc thực nghiệm nhàm chán, điều dẫn tới khó khăn mời người tham gia dành thời gian thực nghiệm Số lượng thiết bị: Phần mềm thiết kế để sử dụng lúc nhiều máy client Tuy nhiên có thiết bị theo dõi chuyển động mắt nên tiến hành thực nghiệm máy 40 CHƯƠNG KẾT QUẢ VÀ ĐÁNH GIÁ 3.1 Dữ liệu thu Sau tiến hành thực nghiệm trình bày chương 2, học viên thu liệu sau: 3.1.1 Dữ liệu điểm đánh giá chất lượng ảnh ảnh Dựa vào số lượng người tham gia điểm đánh đánh giá, học viên kết sau: Hình 36 Trung bình điểm đánh giá toàn ảnh Phần mềm sử dụng thực nghiệm, cho phép xuất kết file excel, từ kết ta thu điểm số chủ quan chất lượng ảnh ảnh thử nghiệm Kết sử dụng để đánh giá hiệu mơ hình đánh giá chất lượng ảnh 3.1.2 Dữ liệu điểm quan sát vào ảnh Qua lần quan sát, thiết bị ghi lại liệu điểm người dùng tập trung ảnh, sở để người tham gia cho điểm đánh 41 giá chất lượng ảnh Ví dụ, ảnh “BasketballDrive1920x1080_105_qp0.bmp”, ta dễ dàng nhận thấy đa phần ý người tham gia thực nghiệm chủ yếu vào cầu thủ chơi bóng, đặc biệt phần đầu mặt (xem hình 38-41) Hình 37 Ảnh BasketballDrive1920x1080_105_qp38 Hình 38 Các điểm quan sát ảnh BasketballDrive1920x1080_105_qp38 42 Hình 39 Số điểm quan sát vùng ảnh kích thước 32*32 ảnh BasketballDrive1920x1080_105_qp38 Hình 40 Số điểm quan sát vùng ảnh 32*32 sơ đồ trực quan ảnh BasketballDrive1920x1080_105_qp38 Trong ví dụ khác, ảnh “Beauty_1920x1080_120fps_420_8bit_YUV_380 _qp14” chân dung cô gái trẻ Thực nghiệm chứng minh rằng, người tham gia ý nhiều vào mắt, mũi, tai gái (xem hình 42-45) 43 Hình 41 Ảnh Beauty_1920x1080_120fps_420_8bit_YUV_380 _qp14 Hình 42 Các điểm quan sát ảnh Beauty_1920x1080_120fps_420_8bit_YUV_380 _qp14 44 Hình 43 Số điểm quan sát vùng ảnh 32*32 ảnh Beauty_1920x1080_120fps_420_8bit_YUV_380 _qp14 Hình 44 Số điểm quan sát vùng ảnh 32*32 sơ đồ trực quan ảnh Beauty_1920x1080_120fps_420_8bit_YUV_380 _qp14 3.2 Sử dụng liệu để học máy 3.2.1 Kiến trúc CNN dự đoán trọng số Như trình bày chương 1, học viên sử dụng mạng ResnetX50 để huấn luyện, dự đoán trọng số ảnh Kiến trúc CNN trình bày hình 46: 45 Siamese Network Reference Patch Feature Extractor (CNN) Feature Vector F Weighting (FC NN) Patch Weighting Estimate Hình 45 Kiến trúc CNN dự đoán trọng số Một ảnh chia thành khối ảnh có kích thước 32*32 liên tiếp không xếp chồng lên Đầu vào CNN (input): Lấy 32 patch (khối) ngẫu nhiên không chồng từ ảnh Đầu (output): trọng số khối ảnh Theo nghiên cứu báo “Deep Neural Networks for No-Reference and Full-Reference Image Quality Assessment” chứng minh thực nghiệm việc lấy số lượng 32 khối, kích thước khối 32*32 hiệu nhiều ưu điểm[24] 3.2.2 Tiến hành huấn luyện liệu Sử dụng liệu thu để tiến hành huấn luyện Học viên chia liệu thành 10 phần, phần huấn luyện, phần để hiệu chỉnh phần để đánh giá Học viên tiến hành huấn luyện 100 epoch với thời gian khoảng 24 đồng hồ Hình 46 Huấn luyện liệu 3.2.3 Kết huấn luyện Sau tiến hành huấn luyện liệu, học viên thu kết mơ hình dự đốn trọng số khối ảnh toàn ảnh Sau kết số ảnh: 46 Hình 47 Kết dự đốn trọng số ảnh blue_sky_1080p25_92_qp31 Hình 48 Kết dự đoán trọng số ảnh aspen_1080p_432_qp40 Hình 49 Kết dự đốn trọng số đối ảnh red_kayak_1080p_80_qp22 47 Hình 50 dự đốn trọng số đối ảnh Jockey_1920x1080_120fps_420_8bit_YUV_130_qp24 Học viên sử dụng phương pháp để dự đoán chất lượng ảnh ảnh trên, thu kết khả quan với PLCC: 0.892; SRCC: 0.916 3.3 So sánh số phương pháp đánh giá chất lượng ảnh đánh giá phương pháp nghiên cứu Để đánh giá phương pháp nghiên cứu, học viên so sánh với hiệu suất với số phương pháp khác ảnh CSIQ Cơ sở liệu hình ảnh phịng thí nghiệm phân tích mã hóa hình ảnh Đại học Bang Oklahoma cung cấp Bộ ảnh bao gồm 30 hình ảnh gốc Mỗi hình ảnh gốc sở liệu bị bóp méo cách sử dụng sáu loại biến dạng khác với bốn đến năm mức Các biến dạng sử dụng CSIQ là: nén JPEG, nén JPEG-2000, giảm độ tương phản toàn cục, nhiễu Gaussian cộng thêm màu hồng làm mờ Gaussian Điều dẫn đến có 866 phiên ảnh bị biến dạng[25] Loại S TT biến dạng DIQaM-FRTID 2013 WaDIQaMFR-TID 2013 DIQaM-FRLIVE WaDIQaMFR-LIVE HMI-IQA-Aver HMI-IQA- Sal Proposed SRCC PLCC SRCC PLCC SRCC PLCC SRCC PLCC SRCC PLCC SRCC PLCC SRCC PLCC AWGN 0.9170 0.9315 0.9067 0.9172 0.8838 0.8740 0.9370 0.9448 0.9349 0.9019 0.9391 0.9101 0.9382 0.9210 Jpeg 0.8548 0.9429 0.9479 0.9750 0.8872 0.9153 0.9376 0.9551 0.9418 0.9652 0.9435 0.9679 0.9512 0.9667 Jpeg 3 2000 0.8463 0.9012 0.9696 0.9653 0.8954 0.8990 0.9581 0.9671 0.9673 0.9714 0.9691 0.9747 0.9501 0.9765 Fnoise 0.8967 0.8982 0.9277 0.9340 0.8973 0.9013 0.8630 0.8469 0.9379 0.9439 0.9314 0.9378 0.9322 0.9287 Blur 0.9004 0.913 0.9469 0.9399 0.9322 0.9293 0.9580 0.9600 9414 0.9267 0.9496 0.9380 0.9288 0.9418 Contrast 0.9150 0.9239 0.9180 0.9128 0.9287 0.9166 0.9185 0.9221 0.9163 0.9118 0.9169 0.9193 0.9056 0.9212 Bảng So sánh hiệu suất phương pháp nghiên cứu với số phương pháp khác Một số phương pháp so sánh bảng 5: 48      DIQaM-FR-TID 2013: DIQaM không trọng số huấn luyện TID2013 [1] WaDIQaM-FR-TID 2013: DIQaM có trọng số huấn luyện TID2013 [1] DIQaM-FR-TID 2013: DIQaM không trọng số huấn luyện LIVE [1] WaDIQaM-FR-TID 2013: DIQaM có trọng số huấn luyện LIVE [1] HMI-IQA-Aver: Phương pháp theo [2] trung bình; HMI-IQA- Sal: Phương pháp theo [2] có trọng số Từ bảng so sánh trên, phương pháp nghiên cứu cho thấy kết qủa khả quan số SRCC PLCC tốt Đối với biến dạng Jpeg 2000 phương pháp nghiên cứu cho thấy số tốt so với phương pháp lại với PLCC = 0.9765 49 DANH MỤC CƠNG TRÌNH KHOA HỌC CỦA TÁC GIẢ LIÊN QUAN ĐẾN LUẬN VĂN [1] Tung Pham Thanh; Chau Ma Thi; Tuan Nguyen Manh; Linh Le Dinh; Ha Le Thanh, ("Compression Artifacts Image Patch database for Perceptual Quality Assessment," 2020 12th International Conference on Knowledge and Systems Engineering (KSE)) 50 KẾT LUẬN Đề tài nghiên cứu tổng hợp kiến thức khoa học máy tính kĩ thuật phần mềm, để thực đề tài cần phải có hiểu biết thị giác máy tính, xử lý, đánh giá chất lượng hình ảnh kĩ lập trình phần mềm Qua trình nghiên cứu, học viện xây dựng phần mềm, kết hợp với thiết bị đọc chuyển động mắt, tiến hành tổ chức thực nghiệm thu thập liệu Tuy nhiên khó nhăn người tham gia trình bày chương 2, thiết bị đóng vai trị lớn xác liệu Thiết bị học viên sử dụng thực nghiệm Tobii EyeTracking 4C, nhiên thiết bị thiết kế chủ yếu để hỗ trợ chơi game máy tính thuộc phiên dòng sản phẩm Sau này, nhiều sản phẩm nâng cấp đời, mang lại độ xác cao Đến thời điểm tại, dòng sản phẩm chưa phổ biến rộng rãi Việt Nam Kết nghiên cứu phương pháp đánh giá chất lượng ảnh sử dụng thiết bị đọc mắt So sánh với phương pháp phổ biến trước đó, kết khả quan Tuy nhiên, học viên nhận thấy, có điều kiện tốt số lượng, chất lương thiết bị việc mời gọi thêm số lượng người tham gia kết tốt Qua nghiên cứu học viên tích lũy thêm cho kiến thức đánh giá chất lượng ảnh, đặc biệt kỹ xây dựng phần mềm có khả kết hợp với thiết bị bên ngồi Học viên mong muốn có điều kiện tốt hơn, mở rộng nghiên cứu, để xây dựng liệu đủ lớn phân tích đặc điểm thị giác đặc điểm người quan sát 51 TÀI LIỆU THAM KHẢO Tiếng Anh [1] Tung Pham Thanh; Chau Ma Thi; Tuan Nguyen Manh; Linh Le Dinh; Ha Le Thanh, ("Compression Artifacts Image Patch database for Perceptual Quality Assessment," 2020 12th International Conference on Knowledge and Systems Engineering (KSE)) [2] Tung, Pham Thanh; Xiem Van Hoang; Nghia; Nguyen Trung Duong; Dinh Trieu; Ha Le Thanh, “End-to-End Image Patch Quality Assessment for Image/Video With Compression Artifacts,” in IEEE Access, vol 8, 2020 [3] H.L.F von Helmholtz, Handbook of Physiological Optics, first ed., Voss, Hamburg and Leipzig, Germany, 1896 [4] H.R Blackwell, Luminance difference threshold, in: D Jameson, L.M Murvich (Eds.), Handbook of Sensory Physiology, Springer-Verlag, New York, 1972, pp 78–101 [5] G Buchsbaum, An analytical derivation of visual nonlinearity, IEEE Trans Biomed Eng BME-27 (5) (1980) 237–242 [6] D.H Kelly, Motion and vision II Stabilized spatio-temporal threshold surface, J Opt Soc Am 69 (10) (1979) 1340–1349 [7] 2005 S Winkler, Digital Video Quality: Vision Models and Metrics, Wiley, [8] I R Assembly and I T Union, Methodology for the Subjective Assessment of the Quality of Television Pictures International Telecommunication Union, 2003 [9] P Marziliano, F Dufaux, S Winkler, T Ebrahimi, A no-reference perceptual blur metric, in: Proceedings of IEEE International Conference on Image Processing IEEE, vol 3, 2002, pp 57–60 [10] R Soundararajan, A.C Bovic, Video quality assessment by reduced reference spatio-temporal entropic differencing, IEEE Trans Circuits Syst Video Technol 23 (4) (2013) 684–694 [11] D Huynh-Thu, M Ghanbari, Scope of validity of PSNR in image/video quality assessment, Electron Lett 44 (13) (2008) 800–801 [12] Z Wang, A Bovik, Mean squared error: love it or leave it? IEEE Signal Process Mag (2009) 98–117 [13] B Girod, What’s wrong with mean squared error? Digital Images and Human Vision, MIT Press, 1998 52 [14] F Zhang, D Bull, Quality assessment method for perceptual video compression, in: Proceedings of the IEEE International Conference on Image Processing, 2013 [15] Z Wang, A Bovik, H Sheikh, E Simoncelli, Image quality assessment: from error visibility to structural similarity, IEEE Trans Image Process 13 (2004) 600–612 [16] Z Wang, A.C Bovic, A universal image quality index, Signal Process Lett (2002) 81–84 [17] Z Wang, E Simoncelli, Translation insensitive image similarity in complex wavelet domain, in: EEE International Conference of Acoustics, Speech and Signal Processing, 2005, pp 573–576 [18] Z Wang, E.P Simoncelli, A.C Bovik, Multi-scale structural similarity for image quality assessment, in: Proceedings of the Asilomar Conference on Signals, Systems and Computers, IEEE, vol 2, 2003, p 1398 [19] Z Wang, L Lu, A.C Bovik, Video quality assessment based on structural distortion measurement, SignalProcess Image Commun 19 (2) (2004) 121– 132 [20] H.R Sheikh, A.C Bovik, Image information and visual quality, IEEE Trans Image Process 15 (2006) 430–444 [21] L Lu, Z Wang, A Bovic, J Kouloheris, Full-reference video quality assessment considering structural distortion and no-reference quality evaluation of MPEG video, in: Proceedings of the IEEE International Conference on Multimedia & Expo, IEEE, 2002, pp 61–64 [22] A Shnayderman, A Gusev, A Eskicioglu, Multidimensional image quality measure using singular value decomposition, in: Proceedings of the SPIE— International Society Opt Eng., SPIE, vol 5294, 2003 [23] Saining Xie; Ross Girshick; Piotr Dollar; Zhuowen Tu; Kaiming He, “Aggregated Residual Transformations for Deep Neural Networks,” available at https://arxiv.org/pdf/1611.05431v2.pdf [24] S Bosse, D Maniry, K Müller, T Wiegand and W Samek, "Deep Neural Networks for No-Reference and Full-Reference Image Quality Assessment," in IEEE Transactions on Image Processing, vol 27, no 1, pp 206-219, Jan 2018 [25] Oklahoma State University, "Categorical Image Quality (CSIQ) Database", available at: https://qualinet.github.io/databases/image/ categorical_image_quality_csiq_database/ [26] Pedram Mohammadi; Abbas Ebrahimi-Moghadam; and Shahram Shirani, "Subjective and Objective Quality Assessment of Image: A Survey", in Elsevier, 2014 53 [27] Kaiming He; Xiangyu Zhang; Shaoqing Ren; Jian Sun, "Deep Residual Learning for Image Recognition", in Microsoft Research, 2015 [28] “Tobii/ Deverlop Zone”, Internet: https://developer.tobii.com/productintegration [29] “Windows Presentation Foundation ” Internet: https://docs.microsoft.com [30] Carol Britto, Jill Doake, " A Student Guide to Object-Oriented Development ", in Elsevier, 2015 [31] Cat Can; Trang Nguyen; Duy Nguyen Dung; Ngo Luong Nguyen, “The Cargo Carriage System”, in IEEE, 2014 ... pháp đánh giá chất lượng ảnh với hiệu tốt Mục tiêu Luận văn nhằm dựng phương pháp đánh giá chất lượng ảnh việc sử dụng thiết bị đọc chuyển động mắt so sánh với phương pháp có Phương pháp nghiên... đo chất lượng chuẩn Do đó, cần phải sử dụng thử nghiệm đánh giá chủ quan để xây dựng liệu đánh giá chất lượng từ xây dựng mơ hình đánh giá chất lượng dùng cho nén ảnh video Các phương pháp đánh. .. đánh giá tốt Nhận cần thiết việc xác định trọng số vùng ảnh, học viên sử dụng thiết bị đọc mắt để nghiên cứu xây dựng phương pháp dự đoán trọng số các vùng ảnh, từ xây dựng phương pháp đánh giá