Ứng dụng học sâu cho phân loại ảnh ung thư vú

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM THÀNH PHỐ HỒ CHÍ MINH Phạm Thị Ngọc Linh ỨNG DỤNG HỌC SÂU CHO PHÂN LOẠI ẢNH UNG THƯ VÚ LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH Thành phố Hồ Chí Minh – 2022 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM THÀNH PHỐ HỒ CHÍ MINH Phạm Thị Ngọc Linh ỨNG DỤNG HỌC SÂU CHO PHÂN LOẠI ẢNH UNG THƯ VÚ Chuyên ngành: Khoa học máy tính Mã số: 8480101 LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH NGƯỜI HƯỚNG DẪN KHOA HỌC: PGS TS PHẠM THẾ BẢO TS NGUYỄN VIẾT HƯNG Thành phố Hồ Chí Minh – 2022 LỜI CAM ĐOAN Tôi xin cam đoan luận văn “Ứng dụng học sâu cho phân loại ảnh ung thư vú” tìm hiểu, nghiên cứu thực hướng dẫn quý Thầy PGS TS Phạm Thế Bảo TS Nguyễn Viết Hưng Luận văn khơng có chép từ tài liệu, cơng trình nghiên cứu khác mà không ghi rõ nguồn tài liệu tham khảo Kết thực nghiệm trình bày luận văn khách quan chưa công bố cơng trình nghiên cứu khác Thành phố Hồ Chí Minh, ngày 25 tháng 04 năm 2022 Tác giả Phạm Thị Ngọc Linh LỜI CẢM ƠN Lời nói đầu tiên, xin gửi lời cảm ơn sâu sắc đến quý Thầy hướng dẫn tôi, PGS TS Phạm Thế Bảo TS Nguyễn Viết Hưng Quý Thầy định hướng, trực tiếp hướng dẫn, nhiệt tình giúp đỡ bảo tơi suốt q trình thực luận văn Tôi xin chân thành cảm ơn quý Thầy trực tiếp giảng dạy truyền đạt kiến thức cho tơi suốt q trình học tập vừa qua trường Đại học Sư phạm Thành phố Hồ Chí Minh Tôi xin cảm ơn hỗ trợ đến từ q Thầy Cơ cơng tác Phịng Sau đại học, Khoa Công nghệ thông tin trường Đại học Sư phạm Thành phố Hồ Chí Minh bạn học viên khóa khoảng thời gian tơi học tập trường Đồng thời, xin gửi lời cảm ơn đến quý Thầy Cô Ban Giám Hiệu, tổ Tin học trường THPT chuyên Trần Hưng Đạo tạo điều kiện hỗ trợ nhiều trình đơi học Cuối cùng, tơi xin gửi lời cảm ơn đến bạn bè, người thân đặc biệt đấng sinh thành Mẹ người ủng hộ định tôi, cho động lực để tơi hồn thành luận văn Trong q trình thực luận văn, dù gặp nhiều khó khăn áp lực từ cơng việc có nhiều biến cố xảy ra, cố gắng để hồn thiện luận văn Tuy nhiên, luận văn khơng tránh khỏi thiếu sót Tơi mong góp ý q Thầy Cơ, anh chị em đồng nghiệp Xin chân thành cảm ơn! Thành phố Hồ Chí Minh, ngày 25 tháng 04 năm 2022 Tác giả Phạm Thị Ngọc Linh MỤC LỤC Lời cam đoan Lời cảm ơn Danh mục kí hiệu từ viết tắt Danh mục bảng biểu Danh mục hình vẽ Danh mục biểu đồ MỞ ĐẦU Chương TỔNG QUAN 1.1 Bài toán phân loại ảnh ung thư vú IDC 1.1.1 Vấn đề toán 1.1.2 Hiệu mang lại giải toán 1.2 Các hướng tiếp cận 1.3 Khó khăn thách thức 13 1.4 Phạm vi đề tài 15 1.5 Đề xuất hướng giải 15 Chương CƠ SỞ LÝ THUYẾT 16 2.1 Bệnh học kỹ thuật số 16 2.1.1 Giới thiệu 16 2.1.2 Những ưu điểm hạn chế thực hành DP 17 2.2 Ảnh toàn trang chiếu 18 2.3 Mạng nơ-ron nhân tạo 19 2.3.1 Giới thiệu 19 2.3.2 Biểu diễn mạng nơ-ron 20 2.4 Mạng học sâu 22 2.4.1 Giới thiệu 22 2.4.2 Mạng CNN 23 Chương XÂY DỰNG GIẢI THUẬT 25 3.1 Tổng quan 25 3.2 Đánh giá chất lượng ảnh không gian mù 26 3.3 Xây dựng kiến trúc mạng 28 3.3.1 Mô tả kiến trúc mạng đề xuất 28 3.3.2 Hàm lỗi hàm tối ưu 29 3.4 Phương pháp đánh giá 30 3.4.1 Độ xác 30 3.4.2 Ma trận nhầm lẫn 30 Chương KẾT QUẢ VÀ ĐÁNH GIÁ 33 4.1 Dữ liệu 33 4.2 Môi trường thực nghiệm 34 4.3 Các siêu tham số huấn luyện 35 4.4 Kết thực nghiệm đánh giá 35 Chương KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 46 5.1 Kết đạt 46 5.2 Đóng góp luận văn 46 5.3 Hướng phát triển 46 TÀI LIỆU THAM KHẢO 48 DANH MỤC CÁC KÍ HIỆU VÀ TỪ VIẾT TẮT Từ viết đầy đủ Từ viết tắt BRISQUE Blind/ Referenceless Image Spatial Quality Evaluator CNN Convolutional Neural Network DNN Deep Neural Networks DP Digital Hypology HF Handcraft Features IDC Invasive Ductal Carcinoma IQA Image Quality Assessment NSGA-II Non-dominated Sorting Genetic Algorithm WSI Whole Slide Image DANH MỤC CÁC BẢNG BIỂU Bảng 1.1 Kiến trúc mạng AlexNet Andrew Anant đề xuất 10 Bảng 3.1 Bảng mô tả ma trận nhầm lẫn 31 Bảng 4.1 Thống kê số lượng mẫu tập liệu 34 Bảng 4.2 Bảng đối sánh kết huấn luyện mơ hình mơ hình tập liệu gốc khơng tăng cường ảnh, có sử dụng IQA phương pháp Cross-validation 38 Bảng 4.3 Bảng đối sánh kết huấn luyện mơ hình mơ hình tập liệu gốc có tăng cường tập huấn luyện phương pháp Cross-Validation 39 Bảng 4.4 Bảng đối sánh kết kiểm thử tập liệu gốc có tăng cường liệu huấn luyện mơ hình đề xuất mơ hình tác giả Malm phương pháp Cross-validation đánh giá tập kiểm thử 40 Bảng 4.5 Bảng kết huấn luyện mơ hình đề xuất Malm tập liệu gốc với phương pháp Hold-out có sử dụng IQA khơng sử dụng IQA 41 DANH MỤC CÁC HÌNH VẼ Hình 1.1 Kiến trúc CNN đề xuất Cruz cộng Hình 1.2 Minh họa quy trình lấy mẫu kỹ thuật Grid Sampling (a) Một WSI với thích thủ cơng từ nhà nghiên cứu bệnh học, (b) WSI phân chia thành vá hình ảnh Các mẫu lấy vùng lưới màu Hình 1.3 Kiến trúc mạng sở nhóm tác giả 12 Hình 1.4 Bốn kiến trúc mạng xây dựng kiến trúc sở nhóm tác giả 13 Hình 2.1 Hệ thống bệnh học kỹ thuật số 16 Hình 2.2 Tế bào thần kinh sinh học 19 Hình 2.3 Mạng thần kinh sinh học tổ chức thành nhiều lớp 20 Hình 2.4 Mơ hình ANN tổng quát 20 Hình 2.5 Một mạng nơ-ron đơn giản với tham số cho trước 21 Hình 2.6 Q trình tính tốn để giảm sai số lan truyền ngược 21 Hình 2.7 Lịch sử học sâu 23 Hình 2.8 Một ví dụ mạng học sâu CNN 24 Hình 3.1 Giải thuật phân loại ảnh IDC phương pháp đề xuất 25 Hình 3.3 Phân phối cường độ điểm ảnh sau chuẩn hóa hình ảnh a) Ảnh có gán nhãn IDC từ tập liệu ảnh ung thư vú b) Biểu đồ phân phối cường độ điểm ảnh chuẩn hóa MSCN bốn hướng lân cận điểm ảnh 28 Hình 3.4 Kiến trúc mạng đề xuất 29 Hình 4.1 Một ví dụ ảnh gán nhãn khơng phải ung thư vú IDC 33 Hình 4.2 Một ví dụ ảnh gán nhãn ung thư vú IDC 33 Hình 4.3 Thống kê kết ILSVRC qua năm 43 DANH MỤC CÁC BIỂU ĐỒ Biểu đồ 4.1 Biểu đồ hàm lỗi 35 Biểu đồ 4.2 Biểu đồ so sánh độ đo ACC mơ hình thực nghiệm 44 Biểu đồ 4.3 Biểu đồ so sánh Precision mơ hình thực nghiệm 44 Biểu đồ 4.4 Biểu đồ so sánh độ đo Recall mơ hình thực nghiệm 45 Biểu đồ 4.5 Biểu đồ so sánh độ đo F1 mơ hình thực nghiệm 45 39 Bảng 4.3 Bảng đối sánh kết huấn luyện mơ hình mơ hình tập liệu gốc có tăng cường tập huấn luyện phương pháp Cross-validation Dữ liệu huấn luyện Dữ liệu kiểm tra chéo Mơ hình ACC Precision Recall F1 (có tăng cường) A+B A+B 0.82 0.84 0.78 0.82 (90%) (10%) 0.80 0.77 0.84 0.80 Ghi 40 Bảng 4.4 Bảng đối sánh kết kiểm thử tập liệu gốc có tăng cường liệu huấn luyện mơ hình đề xuất mơ hình tác giả Malm [16] phương pháp Cross-validation đánh giá tập kiểm thử Dữ liệu huấn luyện Dữ liệu (huấn luyện, kiểm tra chéo) kiểm thử A A (90%) (10%) A1 (10%) A1 A1 (90%) (10%) A1 (10%) B A2 B A4 Mơ hình ACC Precision Recall F1 0.83 0.74 0.67 0.70 0.82 0.78 0.50 0.61 0.81 0.84 0.81 0.82 0.78 0.78 0.80 0.79 0.83 0.75 0.67 0.71 0.81 0.75 0.48 0.59 0.82 0.77 0.78 0.77 0.79 0.77 0.70 0.73 0.82 0.86 0.81 0.83 0.79 0.79 0.83 0.81 A3 A3 (90%) (10%) A+B A+B A+B 0.80 0.84 0.78 0.81 (80%) (10%) (10%) 0.76 0.78 0.76 0.77 A2 Ghi IQA 41 Bảng 4.5 Bảng kết huấn luyện mơ hình đề xuất Malm [16] tập liệu gốc với phương pháp Hold-out có sử dụng IQA khơng sử dụng IQA Dữ liệu Dữ liệu huấn luyện kiểm tra chéo A+B A+B A+B 0.79 0.76 0.82 0.79 (80 %) (10%) (10%) 0.77 0.78 0.76 0.77 A1 A2 B 0.79 0.85 0.58 0.69 0.82 0.79 0.48 0.60 0.77 0.77 0.78 0.77 0.77 0.78 0.80 0.79 A1 B Dữ liệu kiểm thử Mơ hình ACC Precision Recall A2 F1 Ghi IQA 42 Bảng 4.6 Thống kê hiệu suất mơ hình đề xuất huấn luyện cách chia liệu khác Trường hợp Dữ liệu huấn luyện (huấn luyện, kiểm tra chéo) A (90%), A (10%) A1 (90%), A1 (10%) A+B (80%), A+B (10%) A1, A2 A1, B A (90%), A (10%) A3 (90%), A3 (10%) (tăng cường liệu) A+B (90%), A+B (10%) (tăng cường liệu) A (90%), A (10%) (tăng cường liệu) A1 (90%), A1 (10%) (tăng cường liệu) A+B (80%), A+B(10%) (tăng cường liệu) 10 11 Dữ liệu kiểm thử B A4 A+B (10%) B A2 B ACC Precision Recall F1 0.82 0.82 0.64 0.71 0.69 0.66 0.66 0.68 0.79 0.76 0.82 0.79 0.79 0.77 0.81 0.85 0.77 0.39 0.58 0.78 0.84 0.69 0.77 0.53 0.82 0.86 0.81 0.83 0.82 0.84 0.78 0.82 B 0.83 0.74 0.67 0.70 A4 0.82 0.77 0.78 0.77 A+B (10%) 0.80 0.84 0.78 0.81 A2 Ghi Hold-out Cross-validation 43 Kết huấn luyện mơ hình chúng tơi sau chọn cách chia liệu theo trường hợp thể bảng 4.7 Kết cho thấy hiệu suất mơ hình đề xuất cao vòng 50 lần huấn luyện Bảng 4.7 Kết số đánh giá mô hình thử nghiệm Số lần ACC Precision Recall F1 25 0.80 0.85 0.80 0.82 30 0.82 0.86 0.81 0.83 40 0.83 0.87 0.82 0.84 50 0.84 0.88 0.82 0.85 200 0.84 0.87 0.83 0.85 huấn luyện Mạng CNN có bứt phá thi ILSVRC (ImageNet Large Scale Visual Recognition Challenge) thách thức nhận dạng, phân loại ảnh,… từ năm 2012 đến nay, là: AlexNet [41], VGG-16 [42], ResNet-50 [43] tập liệu, qua hình 4.3 Hình 4.3 Thống kê kết ILSVRC qua năm [44] Kết đánh giá hiệu suất mơ hình thể biểu đồ 4.3 độ xác ACC, biểu đồ 4.4 độ đo Precision, biểu đồ 4.5 độ đo 44 Recall biểu đồ 4.6 độ đo F1 Tuy số lớp thiết kế mạng hơn, mơ hình vừa đảm bảo hiệu suất cao mang tính ổn định Biểu đồ 4.2 Biểu đồ so sánh độ đo ACC mơ hình thực nghiệm Biểu đồ 4.3 Biểu đồ so sánh Precision mơ hình thực nghiệm 45 Biểu đồ 4.4 Biểu đồ so sánh độ đo Recall mô hình thực nghiệm Biểu đồ 4.5 Biểu đồ so sánh độ đo F1 mơ hình thực nghiệm 46 Chương KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 5.1 Kết đạt Bộ phân loại tự động IDC đề xuất mang lại hiệu suất cao Từ kết thực nghiệm, nhận thấy chất lượng ảnh có ảnh hưởng đến việc học mơ hình Hệ thống phân loại cho kết khác liệu khác dùng phương pháp BRISQUE để phân tập Chúng chọn cách phân chia liệu hợp lý, mang lại hiệu suất cao ổn định phương pháp đánh thực Kết cụ thể qua độ đo ACC, Precision, Recall F1 84%, 88%, 82% 87% Kết thực nghiệm mơ hình Malm [16] tăng giá trị độ đo ACC từ - 2% tùy vào cách chia liệu Điều làm tăng thêm độ tin cậy cho nhận định chúng tơi 5.2 Đóng góp luận văn Trong trình nghiên cứu thực nghiệm, luận văn giải tốt toán phân loại ung thư vú IDC Phương pháp mà đề xuất góp phần đánh giá chất lượng liệu đầu vào giúp lựa chọn cách phân tập liệu mang tính tổng quát, tối ưu đạt hiệu suất cao cho phân loại IDC ảnh WSI Tuy nhiên, giới hạn thời gian nghiên cứu, phương pháp thực nghiệm tập liệu ung thư vú Các bảng kết mà cung cấp luận văn phần phản ánh chất lượng ảnh đầu vào ảnh hưởng đến hiệu suất phân loại tự động IDC 5.3 Hướng phát triển Thơng qua q trình nghiên cứu từ nhiều kiến trúc mạng CNN có thực nghiệm, thấy thách thức đặt nhiệm vụ phân loại ảnh ung thư vú IDC không lựa chọn mơ hình phù hợp mà cịn cần phải hiểu liệu có cấu trúc Đối với ảnh mơ học có cấu 47 trúc phức tạp ngồi mơ ung thư, ảnh cịn có nền, mơ mỡ,… mà coi nhiễu phân tích ảnh Dẫn đến vá trích xuất từ mẫu WSI gốc có khác nhau, vá có nhiều nhiễu, vá có nhiễu Trong tương lai, tập trung nghiên cứu phát triển thuật toán đánh giá độ phức tạp mặt cấu trúc ảnh mô học, để lựa chọn mẫu đặc biệt để học nhiều mẫu khác Điều giúp mơ hình học xác thơng tin cần thiết, giảm thời gian huấn luyện Đồng thời, qua trình thực nghiệm lựa chọn tham số phù hợp tiến hành phương pháp đề xuất đa liệu Chúng tin rằng, công việc mà hướng đến cải thiện hiệu suất tăng độ xác hệ thống phân loại ảnh ung thư vú IDC 48 TÀI LIỆU THAM KHẢO [1] Ferlay J, Ervik M, Lam F, Colombet M, Mery L, Piñeros M, Znaor A, Soerjomataram I, Bray F, "Global Cancer Observatory: Cancer Today," International Agency for Research on Cancer World Health Organization, 12 2020 [Online] Available: https://gco.iarc.fr/today [Accessed 17 2021] [2] C SDVYT., "Hướng dẫn Điều Trị Ung Thư Vú dành cho Phụ Nữ," 2016 [3] Carol Desantis, Rebecca Siegel, Priti Bandi, Ahmedin Jemal, "Breast cancer statistics," A Cancer Journal for Clinicians, 2011 [4] J L Wang, A K Ibrahim, H Zhuang, A Muhamed Ali, A Y Li, and A Wu, "A study on automatic detection of IDC breast cancer with convolutional neural networks," in Conference on Computational Science and Computational Intelligence, 2018 [5] Robert A Smith; Vilma Cokkinides; Andrew C von Eschenbach; Bernard Levin; Carmel Cohen; Carolyn D Runowicz; Stephen Sener, "American Cancer Society Guidelines," A Cancer Journal for Clinicians, no DOI: 10.3322/canjclin.52.1.8, 2002 [6] Jegs, "Breast Histology Images," 2017 [Online] Available: https://www.kaggle.com/datasets/simjeg/lymphoma-subtypeclassification-fl-vs-cll [Accessed 25 2022] [7] F A Spanhol, "Automatic Breast Cancer Classification From Histopathological Images: A Hybrid Approach," in Thesis submitted in partial fulfillment of the require- ments for the degree of Doctor in Computer Science, Graduate Program in Computer, 2018 [8] Gil Patrus Pena, Jose´ de Souza Andrade-Filho, "How Does A Pathologist Make A Diagnosis," Archives of Pathology & Laboratory Medicine, 2009 [9] Metin N Gurcan, Laura E Boucheron, Ali Can, Anant Madabhushi, Nasir M Rajpoot, and Bulent Yener, "Histopathological Image Analysis: A 49 Review," IEEE Reviews in Biomedical Engineering, vol 2, pp 147-171, 2009 [10] Angel Cruz-Roa, Ajay Basavanhally, Fabio Gonz´alez, Hannah Gilmore, Michael Feldman, Shridar Ganesan, Natalie Shih, John Tomaszewski and Anant Madabhushi, "Automatic detection of invasive ductal carcinoma in whole slide images with convolutional neural networks," Medical Imaging 2014: Digital Pathology, vol 9041, 2014 [11] Teresa Araújo, Guilherme Aresta, Eduardo Castro, José Rouco, Paulo Aguiar, Catarina Eloy, António Polónia, and Aurélio Campilho, "Classification of breast cancer histology images using Convolutional Neural Networks," Research Article, 2017 [12] Djihane Houfan, Sihem Slatnia, Okba Kazar, Noureddine Zerhouni, Abdelhak Merizig, Hamza Saouli, "Machine Learning Techniques for Breast Cancer Diagnosis: Literature Review," in Advanced Intelligent Systems for Sustainable Development, DOI:10.1007/978-3-030-366643_28, 2020, pp 247-254 [13] Ashraf Osman Ibrahim; Siti Mariyam Shamsuddin, "Intelligent Breast Cancer Diagnosis Based on Enhanced Pareto Optimal and Multilayer Perceptron Neural Network," International Journal of Computer Aided Engineering and Technology, vol 10, pp 543-556(, 2018 [14] Fabio Spanhol, Caroline Petitjea, Laurent Heutte, "Breast Cancer Histopathological Image Classification using Convolutional Neural Networks," International Joint Conference on Neural Networks , no DOI:10.1109/IJCNN.2016.7727519, 2016 [15] Andrew Janowczyk, Anant Madabhushi, "Deep learning for digital pathology image analysis: A comprehensive tutorial with selected use cases," Journal of Pathology Informatics, 2016 50 [16] R Malm, "Cancer Image TensorFlow CNN 80% Valid Acc.," 2018 [Online] Available: https://www.kaggle.com/code/raoulma/cancer- image-tensorflow-cnn-80-valid-acc [17] Sebastien C Wong, Adam Gatt, Victor Stamatescu, Mark D McDonnell, "Understanding data augmentation for classification: when to warp?," in International Conference on Digital Image Computing: Techniques and Applications (DICTA), 2016 [18] Jun Shi, Yi Li,Jie Zhu, Haojie Sun, Yin Cai, "Joint sparse coding based spatial pyramid matching for classification of color medical image," Computerized Medical Imaging and Graphics, vol 41, pp 61-66, 2015 [19] Scott Doyle, Michael D Feldman, Natalie Shih, John Tomaszewski, and Anant Madabhushi, "Cascaded discrimination of normal, abnormal, and confounder classes in histopathology: Gleason grading of prostate cancer," BMC Bioinformatics, 2012 [20] Hadi Rezaeilouyeh, Ali Mollahosseini, and Mohammad H Mahoor, "Microscopic medical image classification framework via deep learning and shearlet transform," Journal of Medical Imaging, vol 3, p 044501, 2016 [21] Matthew G Hanna, Liron Pantanowitz, "Digital Pathology," in Encyclopedia of Biomedical Engineering, vol 2, University of Pittsburgh Medical Center, Pittsburgh, PA, United States, Elsevier Inc., 2019, pp 524-532 [22] Jonhan Ho, Stefan M Ahlers, Curtis Stratman, Orly Aridor, Liron Pantanowitz, Jeffrey L Fine, John A Kuzmishin, Michael C Montalto, Anil V Parwani, "Can digital pathology result in cost savings? A financial projection for digital pathology implementation at a large integrated health care organization," Pathology Informatic, p 5:33, 2014 51 [23] Jonathan Bury, Jonathan Griffin, "Digital pathology," in Bancroft's Theory and Practice of Histological Techniques (Eighth Edition), Elsevier, 2019, pp 476-492 [24] Navid Farahani, Anil V Parwani, and Liron Pantanowitz, "Whole slide imaging in pathology: advantages, limitations, and emerging perspectives," Pathology and Laboratory Medicine International, p 23– 33, 2014 [25] A Géron, Hands-On Machine Learning with Scikit-Learn, Keras, and TensorFlow, O’Reilly Media Inc., 2019, pp 15 - 495 [26] J D Kelleher, Deep Learning, The Massachusetts Institute of Technology, 2019, pp - 158 [27] A F Gad, Practical Computer Vision Applications Using Deep Learning with CNNs, Apress Media LLC, 2018, pp 25 - 227 [28] Y LeCun, Y Bengio, G Hinton, "Deep Learning," Nate, 2015 [29] Antonio Gulli, et al., Deep Learning with TensorFlow and Keras, 2, Ed., Packt Publishing Ltd, 2019, pp 109 - 404 [30] Y LeCun, et al., "Backpropagation Applied to Handwritten Zip Code," Neural Computation, vol 1, no 4, pp 541 - 551, 1989 [31] Ian Goodfellow, Yoshua Bengio, Aaron Courville, Deep Learning, MIT Press, 2016, pp 1-372 [32] Anish Mittal, Anush Krishna Moorthy, and Alan Conrad Bovik, "NoReference Image Quality Assessment in the Spatial DomainA," IEEE TRANSACTIONS ON IMAGE PROCESSING, vol 21, pp 4695 - 4708, 2012 [33] K R Shrimali, "Image Quality Assessment : BRISQUE," 2018 [Online] Available: https://learnopencv.com/image-quality-assessment-brisque/ [Accessed 17 2018] 52 [34] D L Ruderman, "The statistics of natural images," Network: Computation in Neural Systems, vol 5, p 517–548, 1994 [35] Bernhard Schölkopf, Robert C Williamson, Peter L Bartlett, "New support vector algorithms," Neural Computation, vol 12, pp 1207-12145, 2000 [36] K Sharifi and A Leon-Garcia, "Estimation of shape parameter for generalized Gaussian distributions in subband decompositions of video," IEEE Transactions on Circuits and Systems for Video Technology, vol 5, pp 52-56, 1995 [37] N E Lasmar, Y Stitou, Y Berthoumieu, "Multiscale skewed heavy tailed model for texture analysis," in ICIP - IEEE International Conference on Image Processing, Cairo, Egypt [38] D P Kingma, J L Ba, "Adam: A Method For Stochastic Optimization," in ICLR 2015, 2015 [39] J Duchi, E Hazan, and Y Singer, "Adaptive Subgradient Methods for On-line Learning and Stochastic Optimization," Journal of Machine Learning Re-search, pp 2121 - 2159, 2011 [40] T Tieleman, and G Hinton, "Divide the gradient by a running average of recent magnitude," Neural Networks for Machine Learning, pp 26 - 31, 2012 [41] Alex Krizhevsky, Ilya Sutskever, and Geoffrey E Hinton, "ImageNet Classification with Deep Convolutional Neural Networks," ILSVRC, 2012 [42] Karen Simonyan , Andrew Zisserman, "Very Deep Convolutional Networks for Large-Scale Image Recognition," ILSVRC, 2014 [43] Kaiming He, Xiangyu Zhang, Shaoqing Ren, Jian Sun, "Deep Residual Learning for Image Recognition," ILVSRC, 2015 53 [44] S Das, "CNN Architectures: LeNet, AlexNet, VGG, GoogLeNet, ResNet and more…," 16 11 2017 [Online] Available: https://medium.com/analytics-vidhya/cnns-architectures-lenet-alexnetvgg-googlenet-resnet-and-more-666091488df5 [Accessed 2022] [45] S W McCulloch, W Pitts, "A logical calculus of the ideas immanent in nervous activity," Bulletin of Mathematical Biophysics, vol 5, pp 115 133, 1943