Luan Van pdf

ĐẠI HỌC QUỐC GIA THÀNH PHỐ HỊ CHÍ MINH TRƯỜNG ĐẠI HỌC BÁCH KHOA KHOA ĐIỆN – ĐIỆN TỬ, BỘ MÔN VIỄN THÔNG KẾT HỢP HỌC SÂU VÀ GIẤU TIN TRONG ẢNH (COMBINATION OF DEEP LEARNING AND DATA HIDING IN IMAGES) LUẬN VĂN KỸ SƯ Nguyễn Ngọc Thiện – 1413737 Giảng viên hướng dẫn ThS Nguyễn Thanh Tuấn 09 – 2020 ĐẠI HỌC QUỐC GIA TP HỒ CHÍ MINH TRƯỜNG ĐẠI HỌC BÁCH KHOA CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập – Tự – Hạnh Phúc Số: /BKĐT Khoa: Điện – Điện tử Bộ Môn: Viễn Thông NHIỆM VỤ LUẬN VĂN TỐT NGHIỆP Họ tên: Nguyễn Ngọc Thiện MSSV: 1413737 Ngành: Điện – Điện tử Chuyên ngành: Kỹ thuật Điện tử - Truyền thông Đề tài: Kết hợp học sâu giấu tin ảnh Nhiệm vụ: - Tìm hiểu thuật tốn giấu tin ảnh - Dùng Python để mơ thuật tốn giấu tin Pycharm - Phân tích so sánh kết thông qua model nhận dạng chữ viết tay - Dùng CNN để tối ưu thuật toán giấu tin ảnh Ngày giao nhiệm vụ luận văn: 15/05/2020 Ngày hoàn thành nhiệm vụ: 1/09/2020 Họ tên người hướng dẫn: Phần hướng dẫn TS Nguyễn Thanh Tuấn, BM Viễn Thông, Khoa Điện – Điện Tử 100% Nội dung yêu cầu LVTN thông qua Bộ Môn TP.HCM, ngày 09 tháng 09 năm 2020 CHỦ NHIỆM BỘ MÔN PHẦN DÀNH CHO KHOA, BỘ MÔN: Người duyệt (chấm sơ bộ): Đơn vị: Ngày bảo vệ: Điểm tổng kết: Nơi lưu trữ luận văn: NGƯỜI HƯỚNG DẪN CHÍNH LỜI CÁM ƠN “Đầu tiên, em xin gửi lời cảm ơn chân thành tri ân sâu sắc Ban Giám hiệu thầy cô trường Đại Học Bách Khoa Thành Phố Hồ Chí Minh, đặc biệt thầy, cô Khoa Điện – Điện Tử quan tâm, dạy hướng dẫn em suốt trình học tập trường Em xin trân trọng gửi đến Thầy: Nguyễn Thanh Tuấn – Người trực tiếp hướng dẫn cung cấp tài liệu, thông tin khoa học cần thiết cho đề tài lời cảm ơn chân thành sâu sắc Bên cạnh đó, em xin cảm ơn Bộ mơn Viễn Thơng tạo điều kiện cho em hồn thành tốt luận văn tốt nghiệp Em xin cảm ơn gia đình, người thân, bạn bè ln bên cạnh để ủng hộ, động viên suốt thời gian học tập làm luận văn trường Trong trình thực đề tài, khơng có nhiều thời gian kinh nghiệm nên chắn luận văn có nhiều thiếu sót Kính mong nhận góp ý, nhận xét từ phía thầy Nguyễn Thanh Tuấn thầy, cô Hội Đồng Phản Biện Cuối cùng, em xin kính chúc q thầy dồi sức khỏe, thành công công việc Chúc buổi Bảo Vệ diễn thành công tốt đẹp Chúc trường Đại Học Bách Khoa Thành Phố Hồ Chí Minh ngày lớn mạnh gặt hái nhiều thành tựu nghiệp giáo dục Em xin chân thành cảm ơn!” TP HCM, ngày 09 tháng 09 năm 2020 Nguyễn Ngọc Thiện LỜI CAM ĐOAN Tôi tên: Nguyễn Ngọc Thiện, sinh viên chuyên ngành Kỹ thuật Điện tử - Truyền thơng, khóa 2014, Đại học Quốc gia thành phố Hồ Chí Minh – Trường Đại học Bách Khoa Tơi xin cam đoan nội dung sau thật: (i) Cơng trình nghiên cứu hồn tồn tơi thực hiện; (ii) Các tài liệu trích dẫn luận văn tham khảo từ nguồn thực tế, có uy tín độ xác cao; (iii) Các số liệu kết công trình tơi tự thực cách độc lập trung thực TP HCM, ngày 09, tháng 09 năm 2020 Nguyễn Ngọc Thiện TÓM TẮT LUẬN VĂN Bài toán nghiên cứu (mục tiêu): Mục tiêu đề tài ứng dụng thuật tốn xử lí ảnh miền không gian miền tần số vào tốn giấu tin ảnh, tin ma trận thơng tin kích thước ảnh mang ảnh có kích thước ảnh mang Từ phân tích điểm mạnh, yếu thuật toán ảnh hưởng qua lại chúng ứng dụng nhận dạng, phân loại ảnh sử dụng học sâu Cuối đến sử dụng hệ thống học sâu để tối ưu phương pháp nhúng trích thơng tin qua khối mạng thần kinh tích chập (CNN) Phương pháp nghiên cứu: - Sử dụng LSB để nhúng ma trận thông tin gồm bit vào bit cuối pixel ảnh - Sử dụng - DWT để phân tích ảnh gốc ảnh nhúng sang miền tần số sau dùng alpha blending techique để cộng thành phần tần số cao vào sử dụng tham số k, q để cộng thành phần tần số thấp vào - Đưa ảnh mang ảnh sau nhúng qua model nhận dạng chữ viết tay để đánh giá mức độ sai lệch nhúng từ phân tích ảnh hưởng giải thuật nhúng ứng dụng nhận dạng phân loại ảnh - Đánh giá hai thuật toán nhúng ảnh sai số tồn phương trung bình MSE, tỉ số tín hiệu cực đại nhiễu PSNR số cấu trúc Structural SIMilarity (SSIM) - Xây dựng mơ hình mạng thần kinh tích chập (CNN) để tự động tối ưu phương pháp nhúng trích ảnh qua hệ thống học sâu Kết nghiên cứu: - LSB nhúng thơng tin (kích thước tối đa thơng tin ma trận 0,1 với kích thước ảnh) vào ảnh mà không làm thay đổi ảnh gốc nhiều lại nhạy cảm với nhiễu thơng tin trích sai có nhiễu - DWT nhúng thơng tin ảnh vào ảnh gốc mà không làm thay đổi ảnh gốc nhiều chịu nhiễu mức độ cho phép tham số trình nhúng lại chưa thể tối ưu cách hoàn thiện - Đưa phân tích đánh giá ảnh hưởng phương pháp nhúng ứng dụng nhận dạng chữ viết tay - Xây dựng mơ hình học sâu ứng dụng mạng thần kinh tích chập để tối ưu hóa q trình nhúng trích thơng tin từ ảnh nhúng ABSTRACT Research problem (objective): The goal of the topic applies image processing algorithms in the spatial as well as frequency domain to the problem of hiding information in the image, the information here can be an information matrix equal to the size of the carrier image or the image with size by carrier image From there, analyze the strengths and weaknesses of each algorithm and the interaction between them and the application of image recognition and classification using deep learning Finally, the use of deep learning systems to optimize the method of embedding and extracting information through convolutional neural network blocks (CNN) Research Methods: - Use LSB to embed a data matrix of bits and into the last bit of each image pixel - Use - DWT to analyze original image and embedded image into frequency domain then use alpha blending techique to add high frequency component together and use parameter k, q to add low frequency component - Putting the carrier image and the image after embedding through the handwriting recognition model to assess the degree of embedding error, thus analyzing the effect of the embedding algorithm on image recognition and classification applications - Evaluate the two image embedding algorithms above using the mean squared error MSE, the maximum signal-to-noise ratio PNSR and The Structural Similarity Index (SSIM) - Building convolutional neural network (CNN) model to automatically optimize embedding parameters and extract images through deep learning systems Research results: - LSB can embed data in an image without changing the original image too much but it is sensitive to noise and the extracted data will be wrong if there is noise - DWT can embed images in the original image without changing the original image too much and can tolerate noise in the permissible level, but the parameters during the embedding process cannot be fully optimized - To analyze and evaluate the impact of embedded methods on handwriting recognition application - Build a deep learning model using convolutional neural networks to optimize parameters during embedding and extract information from embedded carrier images MỤC LỤC LỜI CÁM ƠN LỜI CAM ĐOAN TÓM TẮT LUẬN VĂN ABSTRACT DANH SÁCH BẢNG 11 DANH SÁCH HÌNH VẼ 12 DANH SÁCH TỪ VIẾT TẮT 14 CHƯƠNG GIỚI THIỆU 15 1.1 Đặt vấn đề 15 1.2 Phạm vi phương pháp nghiên cứu 16 1.3 Các đóng góp luận văn 16 CHƯƠNG CƠ SỞ LÝ THUYẾT 17 2.1 Phương pháp LSB 17 2.1.1 Giới thiệu phương pháp LSB 17 2.1.2 Mô tả giấu tin ảnh phương pháp LSB 18 2.2 Phương pháp DWT 20 2.2.1 Giới thiệu phép biến đổi DWT rời rạc 20 2.2.2 Phép biến đổi Wavelet rời rạc phân tích đa phân giải 20 2.2.3 Phép biến đổi Wavelet rời rạc hai chiều 23 2.2.4 Phương pháp nhúng, trích ảnh sử dụng level – DWT (biến đổi DWT cấp) 25 2.3 Phương pháp sử dụng CNN để nhúng trích ảnh 26 2.3.1 CNN gì? 26 2.3.2 Cấu trúc CNN 26 2.3.3 Kiến trúc tổng thể toán giấu tin ảnh với CNN 28 2.4 Định nghĩa thơng số phân tích đánh giá 29 2.4.1 Tỉ số tín hiệu cực đại nhiễu (Peak Signal-to-Noise Ratio) 29 2.4.2 Sai số tồn phương trung bình (Mean Square Error) 30 2.4.3 Chỉ số tương đồng cấu trúc (The Structural Similarity Index) 30 2.4.4 Sử dụng model nhận dạng chữ viết tay để đánh giá ảnh sau nhúng đồng phân tích ảnh hưởng phương pháp giấu tin ảnh với ứng dụng nhận dạng phân loại ảnh 31 2.5 Kết luận chương 31 10 CHƯƠNG KẾT QUẢ VÀ PHÂN TÍCH 33 3.1 Phương pháp tiếp cận 33 3.1.1 Giấu tin ảnh thuật toán LSB 33 3.1.2 Giấu tin ảnh thuật toán 3-DWT 35 3.1.3 Giấu tin ảnh CNN 39 3.2 Kết phân tích 48 3.2.1 Phương pháp giấu tin ảnh thuật toán LSB 48 3.2.2 Phương pháp Image Watermarking – DWT 54 3.2.3 Phương pháp giấu tin ảnh CNN 61 3.3 Kết luận chương 65 CHƯƠNG KẾT LUẬN 67 4.1 Tóm tắt kết luận chung 67 4.2 Hướng phát triển 68 TÀI LIỆU THAM KHẢO 69 PHỤ LỤC 70 Code chương trình nhúng, trích sử dụng LSB 70 Code chương trình nhúng, trích sử dụng - DWT 71 Code chương trình xây dựng function MSE, PNSR, SSIM, ADD_NOISE 76 Load ảnh trước sau nhúng qua model nhận dạng, lưu thông số đánh giá vào file Excel 76 Code chương trình giấu tin ảnh với CNN 82