(Tiểu luận) bài tập lớn môn học mật mã ứng dụng đề tài ứng dụng mật mã để đảm bảo dữ liệu riêng tư trong deep learning

HỌC VIỆN KỸ THUẬT MẬT MÃ KHOA CÔNG NGHỆ THÔNG TIN BÀI TẬP LỚN MÔN HỌC MẬT MÃ ỨNG DỤNG Đề tài: ỨNG DỤNG MẬT MÃ ĐỂ ĐẢM BẢO DỮ LIỆU RIÊNG TƯ TRONG DEEP LEARNING Sinh viên thực hiện: KIỀU DUY KHÁNH AT150328 NGUYỄN MỸ HUYỀN AT150527 LÊ MINH HUYỀN AT150228 Hà Nội, 10-2021 MUC LUC DANH MỤC KÝ HIỆU VÀ CHỮ VIẾT TẮT .i DANH MỤC HÌNH VẼ ii PHẦN MỞ ĐẦU .iii CHƯƠNG Cơ sở lý thuyết 1.1 Những vấn đề riêng tư Deep Learning 1.2 Giải pháp bảo vệ quyền riêng tư liệu Deep Learning 1.2.1 Học máy phân tán – Federated machine learning 1.2.2 Quyền riêng tư khác biệt – Differential Privacy 1.2.3 Mã hóa đồng cấu 1.2.4 Tính tốn bảo mật nhiều thành viên (Secure multi-party computation – SMPC) 1.3 Lược đồ mã hóa đồng cấu 1.4 Deep Learning: Mạng nơ-ron tích chập CNN CHƯƠNG Ứng dụng mật mã đồng cấu để bảo vệ quyền riêng tư liệu Deep Learning 2.1 Hệ mật đồng cấu dựa tốn tìm kiếm liên hợp (Conjugacy Search Problem – CSP) [5] .7 2.2 Mã hóa đồng cấu Deep Learning CHƯƠNG Áp dụng mã hóa đồng cấu vào mơ hình mạng CNN 10 3.1 Thực nghiệm áp dụng mã hóa đồng cấu vào mơ hình mạng CNN đơn giản 10 3.1.1 Kịch thực nghiệm 10 3.1.2 Quá trình triển khai 10 3.2 Kết thực nghiệm sau áp dụng mã hóa đồng cấu 13 3.3 Đánh giá kết 14 TÀI LIỆU THAM KHẢO .15 DANH MỤC KÝ HIỆU VÀ CHỮ VIẾT TẮT Ký hiệu AI CNN FC ConV Nghĩa tiếng Anh Artificial Intelligence Artificial Neural Network Fully Connected Convolution Machine Learning Deep Learning Input layer Hidden layer Output layer Activation function Nghĩa tiếng Việt Trí tuệ nhân tạo Mạng nơ-ron tích chập Kết nối đầy đủ Lớp tích chập Máy học Học sâu Lớp đầu vào Lớp ẩn Lớp đầu Hàm kích hoạt i DANH MỤC HÌNH VẼ Hình 1.1 Các lớp mạng CNN Hình 2.1 Quy trình hoạt động mã hóa đồng cấu Deep Learning Hình 3.1 Mơ tả liệu CIFAR-10 10 Hình 3.2 Mơ hình CNN – mơ hình huấn luyện 11 Hình 3.3 Mơ hình pha mã hóa 11 Hình 3.4 Mơ hình dự đốn 12 Hình 3.5 Mơ hình pha giải mã .12 Hình 3.6 Kết đầu hai mơ hình (đến lớp FC) 13 Hình 3.7 Kết sau giải mã 14 ii PHẦN MỞ ĐẦU Deep Learning dựa mạng nơ-ron nhân tạo trở thành giải pháp phổ biến cho cơng việc lập mơ hình, phân loại, nhận dạng video, hình ảnh, giọng nói, văn cụ thể phân tích liệu bệnh nhân để chẩn đốn, phân tích thơng tin người dùng, dự đốn xu thế, … Độ xác chưa thấy phương pháp biến Deep Learning trở thành tảng nhiều dịch vụ khác Internet Các công ty thương mại thu thập liệu người dùng quy mơ lớn người hưởng lợi từ xu hướng thành công kỹ thuật học sâu phụ thuộc vào lượng liệu đào tạo, liệu lớn hiệu cao Việc thu thập liệu khổng lồ cần thiết cho việc học sâu tạo vấn đề lớn riêng tư người dùng Dữ liệu cá nhân có độ nhạy cảm cao ảnh, ghi âm giọng nói cơng ty thu thập lưu giữ vơ thời hạn Người dùng khơng thể xóa hạn chế mục đích mà sử dụng Nếu liệu bị hạn chế đồng nghĩa với việc số vấn đề xã hội quan trọng giải học máy nhà nghiên cứu khơng có quyền truy cập phần liệu cần thiết để đào tạo Điều dẫn đến thách thức phát triển mơ hình học sâu cần phải việc bảo vệ riêng tư liệu người dùng Một phương pháp đưa để giải vấn đề bảo vệ quyền riêng tư liệu người dùng Deep Learning Homomorphic Encryption – mã hóa đồng cấu Đây kiểu mã hóa cho phép tính tốn liệu mã hóa, việc đưa liệu mã hóa vào mơ hình Deep Learning hồn tồn Điều giúp tổ chức, doanh nghiệp khơng cần tiết lộ liệu có tính nhạy cảm mà sử dụng dịch vụ học máy, học sâu để phục vụ cho mục đích họ Đề tài “Ứng dụng mã hóa để đảm bảo liệu riêng tư Deep Learning” đưa khái niệm mã hóa đồng cấu q trình áp dụng mã hóa đồng cầu vào mơ hình mạng nơ-ron học sâu đơn giản Tài liệu bao gồm nội dung sau: Chương tảng lý thuyết đề tài, nêu vấn đề liên quan đến riêng tư liệu Deep Learning giải pháp để bảo vệ quyền riêng tư iii liệu Đồng thời đưa khái niệm mã hóa đồng cấu mơ hình mạng học sâu CNN đơn giản Chương trình bày thuật tốn mã hóa đồng cấu sử dụng đề tài mô tả việc áp dụng mã hóa đồng cấu Deep Learning để bảo vệ quyền riêng tư liệu Chương mơ tả q trình thử nghiệm áp dụng mã hóa đồng cấu vào mơ hình học sâu CNN, thực so sánh kết pha dự đoán mơ hình CNN liệu dạng rõ mơ hình CNN liệu mã hóa đánh giá ưu nhược điểm giải pháp vấn đề bảo vệ quyền riêng tư liệu Deep Learning iv CHƯƠNG Cơ sở lý thuyết 1.1 Những vấn đề riêng tư Deep Learning Các mơ hình học máy ngày phát triển trở nên phức tạp đồng nghĩa với việc yêu cầu lượng lớn liệu đào tạo, nhà cung cấp dịch vụ, nhà quảng cáo, trang web… tìm cách để thu thập liệu người dùng để phục vụ cho lợi ích riêng họ Khi truy vấn, tìm kiếm, giao dịch mua hàng, tương tác mạng xã hội thông tin cá nhân cách hay cách khác, nhiều bị nhà cung cấp dịch vụ nắm bắt chưa tính đến việc thơng tin thơng tin cá nhân nhạy cảm Do đó, quyền riêng tư liệu trở thành mối quan tâm đặc biệt tổ chức phủ Trong hệ thống học sâu có ba bên đóng vai trị khác nhau: bên đầu vào (chủ sở hữu người đóng góp liệu), bên tính tốn (bên nắm giữ tài ngun tính tốn mơ hình học sâu) bên kết (ta tạm gọi người dùng cuối) Chủ sở hữu liệu gửi liệu họ cho bên tính tốn thực tác vụ yêu cầu, kết đầu sau chuyển cho người dùng cuối để thử nghiệm ứng dụng Nếu ba vai trò đảm nhận thực thể quyền riêng tư bảo tồn với điều kiện thực thể đáng tin cậy Thực tế, khơng phải cơng ty, tổ chức có đủ tiềm lực để đào tạo mơ hình Deep Learning phục vụ cho mục đích riêng lẻ, vai trị thường đảm nhiểm từ hai hay nhiều thực khác Khi liệu bị chuyển đổi bên ngồi, tính riêng tư liệu cần phải xem xét 1.2 Giải pháp bảo vệ quyền riêng tư liệu Deep Learning 1.2.1 Học máy phân tán – Federated machine learning Khái niệm học máy liên kết [7] bắt đầu thu hút ý đáng kể vào khoảng năm 2015 Nó thuộc lớp hệ thống phân tán, phi tập trung dựa nguyên tắc thực thi từ xa - nghĩa phân phối thuật toán học máy đến trang web nơi chứa liệu, sau thực lặp lại huấn luyện cục trả kết tính tốn vào kho lưu trữ trung tâm để cập nhật thuật tốn Lợi ích mà điều mang lại chủ sở hữu khơng cần chia sẻ liệu bên ngồi mà mơ hình thuật tốn đào tạo dựa liệu Bên cạnh đó, phương pháp khơng bắt buộc phải trực tuyến liên tục việc đào tạo thực ngoại tuyến kết trả sau Vì vậy, học máy liên kết cho trở thành kỹ thuật bảo vệ quyền riêng tư sử dụng rộng rãi Tuy nhiên, việc thiếu mã hóa cho phép kẻ cơng đánh cắp liệu nhận dạng cá nhân trực tiếp từ nguồn sở hữu liệu can thiệp vào trình giao tiếp Bản chất phi tập trung liệu làm phức tạp việc quản lý liệu để xác định tính vẹn tồn chất lượng kết Trong trường hợp thuật tốn cục khơng mã hóa cập nhật khơng tổng hợp an tồn, liệu bị rị rỉ thuật tốn bị giả mạo, đánh cắp Hơn mạng nơ-ron đại diện cho dạng nhớ với biểu diễn nén liệu trọng số chúng, việc xây dựng lại phần liệu huấn luyện từ mô hình học sâu hồn tồn Người ta hình ảnh tái tạo với độ xác chi tiết ấn tượng [2] Do đó, học tập liên kết cung cấp cách tiếp cận sở hạ tầng quyền riêng tư bảo mật cần phải kết hợp với biện pháp khác để mở rộng phạm vi bảo vệ quyền riêng tư 1.2.2 Quyền riêng tư khác biệt – Differential Privacy Các phương pháp bảo vệ quyền riêng tư dựa vào nhiễu loạn liệu hoạt động thông qua việc sửa đổi ngẫu nhiên có hệ thống tập liệu thuật tốn làm giảm thơng tin riêng cá nhân giữ lập luận thống kê liệu Trong cách giữ lại phân phối thống kê tổng thể tập liệu giảm thơng tin cá nhân bị nhận dạng gọi quyền riêng tư khác biệt viết tắt DP (Differential Privacy) [3] Một tập liệu khác biệt mặt riêng tư người quan sát bên ngồi khơng thể suy cá nhân cụ thể sử dụng để thu thập liệu hay khơng Ví dụ suy mối quan hệ béo phì bệnh tim mà không cần biết số thể bệnh nhân Do đó, DP cung cấp khả chống lại công nhận dạng lại liên kết thiết lập mối tương quan phạm vi định với tập liệu Điều giúp đảm bảo mạng học sâu không vơ tình học điều khơng phép từ liệu 1.2.3 Mã hóa đồng cấu Một khái niệm đơn giản lại thách thức mặt kỹ thuật việc tiếp cận liệu thuật tốn, mật mã, cơng nhận tiêu chuẩn vàng bảo mật thông tin Nhưng khơng phải dạng mã hóa sử dụng mơ hình học sâu thuật tốn học máy tính tốn dựa liệu, liệu bị chuyển đổi đồng nghĩa kết đầu bị biến đổi Do vậy, thuật toán mã hóa dùng cho học sâu phải mã hóa giải mã cho liệu mã hóa tính tốn khơng ảnh hưởng đến chất lượng mơ hình mức độ ảnh hưởng chấp nhận Mã hóa đồng cấu – Homomorphic Encryption (HE) lược đồ mã hóa cho phép tính tốn liệu mã hóa thể văn túy Đồng cấu khái niệm tốn học, theo cấu trúc bảo tồn suốt q trình tính tốn có số phép tốn đồng cấu phép cộng phép nhân Do việc áp dụng HE cho mạng nơ-ron yêu cầu phép toán thuật toán phải tuân theo giới hạn điều kiện mà thuật tốn mã hóa tiêu chuẩn, mã hóa nâng cao khơng thể sử dụng Hiện có số triển khai thuật toán HE với mức hiệu khác nhau, đánh đổi hiệu bảo mật hiệu suất tính tốn vấn đề đáng ý Tuy nhiên HE áp dụng thành công cho mạng nơ-ron phức hợp lợi ích thể kịch máy học dịch vụ, theo liệu gửi qua mạng để xử lý máy chủ trang web (điện tốn đám mây), sử dụng học máy liên kết để tổng hợp cập nhật thuật tốn cách an tồn 1.2.4 Tính tốn bảo mật nhiều thành viên (Secure multi-party computation – SMPC) Tính tốn bảo mật mở rộng cho nhiều bên – tính tốn nhiều bên an tồn (Secure multi-party computation – SMPC), có nghĩa q trình xử lý thực chia sẻ liệu mã hóa, phân chia bên theo cách mà khơng bên tự truy xuất liệu Kết tính tốn cơng bố mà khơng bên nhìn thấy liệu nó, liệu khơi phục có đồng thuận Phương pháp sử dụng việc xác định chẩn đốn trình tự gen mà không tiết lộ gen bệnh nhân [4] SMPC cho phép cung cấp dịch vụ học máy có trách nhiệm mặt đạo đức việc sử dụng liệu cho mục đích thương mại khơng thể kiểm sốt cá nhân tuân theo quy định pháp luật 1.3 Lược đồ mã hóa đồng cấu Các lược đồ mã hóa đồng cấu (Homomorphic Encryption – HE) [Deep Neural Network over Encryption] bảo tồn cấu trúc khơng gian thơng điệp để thực phép tốn cộng nhân khơng gian mã Giống lược đồ mã hóa khác, HE có ba chức chính, Gen, Enc, Dec tương ứng với tạo khóa, mã hóa giải mã Tuy nhiên, điểm khác biệt HE cịn có chức đánh giá Eval Giả sử có thơng điệp dạng rõ {m i} mã tương ứng {ci} Xét tập mã C, hàm đánh giá xử lý khóa công khai pk C mã {ci} tập Dec(sk,cho: Eval(pk, C, c1,… , cn)) = C(m1,… , mn) HE giới thiệu lần vào năm 1978 [25], theo số loại HE nghiên cứu đời Tuy nhiên, hầu hết lược đồ mã hóa có số hạn chế Ví dụ hệ mật Paillier [22] hỗ trợ môt phép toán đồng cấu phép cộng Nếu lược đồ mã hóa đồng cấu hỗ trợ phép tốn, gọi SHE (Somewhat Homomorphic Encryption) Loại mã hóa hoạt động cách thêm giá trị nhỏ – nhiễu (noise) vào rõ m để mã hóa Do đó, mã lại có lượng nhiễu nhỏ Khi thực cộng hai mã c1 c2, kết thu mã khác lượng nhiễu tăng lên Hàm Dec hoạt động xác lượng nhiễu nhỏ ngưỡng Ngưỡng tạo giới hạn số lượng phép toán thực liệu mã hóa Nếu muốn giảm nhiễu, phải đồng thời thực mã hóa giải mã cho độ nhiễusk khơng vượt q ngưỡng cho phép, điều có nghĩa phải sử dụng khóa bí mật Vào năm 2009, mã hóa đồng cấu tồn phần (Fully Homomorphic Encryption – FHE) đời giải vấn đề Đây lược đồ HE hỗ trợ mạch có độ sâu tùy ý thơng qua kỹ thuật xử lý độ sâu tính tốn bootstrapping Trong kỹ thuật này, lượng nhiễu giảm xuống đáng kể mà khơng cần truy cập khóa bí mật sk Tuy nhiên, FHE tiêu tốn nhiều thời gian tài ngun để tính tốn, khơng sử dụng nhiều thực tế Hạn chế tạo bước tiến trình phát triển mã hóa HE, LHE (Leveled Homomorphic Encryption) Lược đồ cho phép mạch có độ sâu nhỏ ngưỡng cụ thể Nếu biết số lượng tính tốn, LHE sử dụng thay cho FHE có hiểu suất cao thông qua kỹ thuật SIMD (Single-Instruction-Multiple-Data) Bên cạnh ưu điểm mã hóa đồng cấu chúng có số hạn chế Thứ nhất, không gian thông điệp Hầu hết tất lược đồ mã hóa HE làm việc với số nguyên, phải tiến hành chuyển đổi trước mã hóa liệu Thứ hai kích thước thông điệp tăng lên đáng kể sau mã hóa Hạn chế tiếp theo, nhiễu, sau lần thực phép toán, lượng nhiễu bị tăng lên, đặc biêt phép nhân làm nhiễu tăng đáng kể Hạn chế cuối quan trọng nhất, HE khơng có phép chia, phép tốn phức tạp hàm kích hoạt Deep Learning không sử dụng q trình tính tốn liệu HE mã hóa 1.4 Deep Learning: Mạng nơ-ron tích chập CNN Deep Learning mơ thuật tốn phân tích liệu có cấu trúc logic tương tự cách người đưa kết luận Để đạt điều này, ứng dụng Deep Learning sử dụng cấu trúc phân lớp thuật toán gọi mạng nơ-ron nhân tạo Thiết kế mạng lấy cảm hứng từ mạng lưới thần kinh sinh học não người, dẫn đến trình học mang lại nhiều tác dụng so với mơ hình Machine Learning tiêu chuẩn Mạng nơ-ron kết hợp nhiều nơ-ron xếp thành lớp nối tiếp Mỗi nơ-ron nhận đầu vào, sau tính toán hàm tương ứng với lớp nơ-ron, kết đầu đầu vào cho lớp nơ-ron kết tiếp Mỗi lớp nơ-ron có cấu trúc hàm tính toán riêng từ đơn giản hàm số tuyến tính đến hàm số phi tuyến phức tạp Sigmoid, Max, Mean,… Hình 1.1 Các lớp mạng CNN Mạng nơ-ron tích chập (ConvNets hay CNNs, Convolutional Neural Network) mơ hình mạng Deep Learning tiêu biểu, lấy ý tưởng từ tổ chức vỏ não thị giác động vật Chúng chứng có hiệu đáng kể lĩnh dựa nhận diện phân loại hình ảnh Một mạng CNN đơn giản bao gồm ba loại lớp lớp tích chập (Convolutional Layer), lớp kết nối tồn phần (FC – Fully Connected) lớp kích hoạt (Activation Layer) Trong đó, lớp CNN ln lớp tích chập, dùng để lựa chọn đặc điểm, tính chất từ hình ảnh thơ ban đầu Trong lớp FC, đầu vào nơ-ron lớp bao gồm tất đầu nơron lớp trước đó, mức độ ảnh hưởng đầu vào định trọng số Lớp kích hoạt cố định hàm phi tuyến ví dụ Sigmoid, ReLU, Tanh giúp tạo phi tuyến cho mơ hình CHƯƠNG Ứng dụng mật mã đồng cấu để bảo vệ quyền riêng tư liệu Deep Learning 2.1 Hệ mật đồng cấu dựa tốn tìm kiếm liên hợp (Conjugacy Search Problem – CSP) [5] Ө ⊆ ∈ ∈ ∈ Bài tốn tìm kiếm liên hợp phát biểu sau: Cho cấu trúc đại số khơng giao hốn Ө Ө0 Ө, Ө, = hah−1 Khởi h1 h2 tạo: Trên vành khơng giao hốn (h cho = Mã trận = h4 ∈ , chọn phần tử h1, h2, h3, h4 ) khả nghịch Khi đó, khóa bí mật sử dụng để mã hóa m r1 ∈ (0 r ) −1 ∈ , người dùng chọn ngẫu nhiên hóa: Một thơng điệp Γ0, khó để tìm lại h, , tạo ma Sau đó, người dùng thực mã hóa thơng điệp tương ứng = phần tử góc trái ( )= −1 )11, ( Xét tình đồng cấu hệ mật: Xét Giải mã: Thơng điệp 2, =1 = ( )=( =2 −1 ma trận −1 −1 )11 ký hiệu cho −1 hai mã , tương ứng với hai rõ Xét tính đồng cấu với phép cộng: Khi đó, ta có ( + 2) = + 2, có nghĩa hệ mật đồng cấu phép cộng Tương tự, xét tính đồng cấu phép nhân hệ mật: Xét tính đồng cấu với phép nhân: , Khi đó, ta có ( × 2) = Do đó, hệ mật đồng cấu phép nhân Tính an tồn hệ mật phụ thuộc vào tính khơng giao hốn ma trận, với tính chất lược đồ mã hóa có tính chiều Điều đảm bảo địch thủ không thu thông điệp rõ từ mã Trên thực tế, tính bí mật thơng điệp dựa độ khó tốn tìm kiếm liên hợp tìm trị riêng ma trận mã vành không giao hốn 2.2 Mã hóa đồng cấu Deep Learning Như nói phía trên, hệ thống học sâu bao gồm ba thành phần bên đầu vào, bên tính tốn bên kết Nếu ba vai trò đảm nhận hai cá thể trở lên cá thể không đáng tin cậy vấn đề riêng tư liệu cần phải xem xét Trong đề tài này, tập trung nghiên cứu ứng dụng mã hóa đồng cấu để đảm bảo liệu lưu chuyển qua lại bên khơng bị tiết lộ Hình 2.2 Quy trình hoạt động mã hóa đồng cấu Deep Learning Đầu tiên, bên đầu vào, tức chủ sở hữu người cung cấp liệu thực mã hóa liệu lược đồ mã hóa đồng cấu Dữ liệu sau mã hóa chuyển đến địa điểm bên tính tốn Dựa vào u cầu đưa ra, bên tính tốn thực điều chỉnh lại mơ hình học sâu cho khớp với liệu đầu vào cung cấp Mơ hình thực tính tốn liệu mã hóa vậy, đầu mơ hình đoạn mã hóa Khi bên tính toán chuyển đầu họ cho bên kết quả, lúc này, bên kết sử dụng khóa bí mật cung cấp bên đầu vào để tiến hành giải mã Sau giải mã kết thúc, bên kết nhận rõ đầu dựa chức mơ hình học sâu tạo Trong q trình này, bên tính tốn hồn tồn khơng thể biết đầu vào đầu mơ hình học sâu gì, họ biết mã liệu đầu vào mã liệu đầu Chỉ có bên kết - bên cung cấp chìa khóa hợp lệ nhận rõ liệu đầu Như vậy, thấy, liệu đầu vào hồn tồn khơng bị nhận diện suốt q trình sử dụng dịch vụ học sâu, điều đồng nghĩa với việc quyền riêng tư liệu bảo toàn Trong mơ hình mạng học sâu, hầu hết lớp nơ-ron tính tốn dựa hàm tuyến tính có tính chất đồng cấu (phép cộng phép nhân) Tuy nhiên, hàm kích hoạt Sigmoid, ReLU, Tanh số hàm khác khơng có tính chất này, hàm số cần phải thay đa thức thích hợp để bảo tồn tính chất mã hóa đồng cấu [] đưa cách ước lượng đa thức tương thích với hàm kích hoạt, cho liệu mã hóa đưa vào tính tốn với mơ hình học sâu đầu mơ hình mã giải mã khóa bí mật ban đầu kết sau giải mã có độ xác cao Trong đó, cách đơn giản biến hàm Sigmoid thành đa thức bậc hai hàm logarit thành đa thức bậc CHƯƠNG Áp dụng mã hóa đồng cấu vào mơ hình mạng CNN 3.1 Thực nghiệm áp dụng mã hóa đồng cấu vào mơ hình mạng CNN đơn giản 3.1.1 Kịch thực nghiệm Chương tiến hành thực nghiệm phân loại hình ảnh dựa mơ hình học sâu CNN kết hợp với việc mã hóa dựa hệ mật đồng cấu tìm kiếm liên hợp CSP để mã hóa liệu đầu vào Bộ liệu sử dụng trình thực nghiệm CIFAR10 [] bao gồm 60,000 hình ảnh có kích thước 32x32x3 thuộc 10 lớp mơ tả hình 3.1 đây, 50,000 ảnh sử dụng cho trình huấn luyện 10,000 ảnh cho q trình đánh giá Hình 3.3 Mơ tả liệu CIFAR-10 3.1.2 Quá trình triển khai Quá trình thử nghiệm áp dụng hệ mật đồng cấu vào mơ hình CNN bao gồm pha Pha thứ pha huấn luyện, pha này, mơ hình CNN xây dựng 10 huấn luyện với liệu dạng rõ Các tham số sau huấn luyện lưu trữ để sử dụng pha Pha thứ hai pha mã hóa, ma trận điểm ảnh mã hóa đồng cấu khóa Pha thứ pha dự đốn, pha này, mơ hình CNN tham số sửa đổi cho phù hợp với tập liệu hình ảnh sau mã hóa Pha thứ tư pha giải mã, đầu pha dự đoán qua hàm giải mã, kết cuối thu loại hình ảnh tương ứng với hình ảnh đầu vào 3.1.2.1 Pha huấn luyện Hình 3.4 Mơ hình CNN – mơ hình huấn luyện Mơ hình có lớp sau: Lớp đầu vào (Input layer) ma trận hình ảnh có kích thước (32, 32, 3) Tiếp theo lớp tích chập (Convolution layer) với hàm kích hoạt polyfit (x2), đảm bảo đồng thời có hai tính chất đồng cấu phi tuyến Lớp flatten biến đổi đầu vào từ ma trận thành vector Vector đầu vào lớp kết nối đầy đủ (Fully – Connected) Lớp cuối hàm kích hoạt softmax, hàm làm nhiệm vụ biến đổi đầu lớp FC thành số từ đến 10 tương ứng với 10 loại hình ảnh Mơ hình sau huấn luyện có độ xác 96,62% 11 3.1.2.2 Pha mã hóa Hình 3.5 Mơ hình pha mã hóa Ma trận điểm ảnh ban đầu có kích thước 32x32x3, sau qua hàm mã hóa đồng cấu CSP, điểm ảnh biến đổi thành ma trận 2x2, kích thước hình ảnh sau mã hóa 32x32x3x2x2, có nghĩa kích thước liệu đầu vào tăng lên lần Ma trận sau mã hóa đầu vào cho mơ hình dự đốn hình 3.4 3.1.2.3 Pha dự đốn Hình 3.6 Mơ hình dự đốn Mơ hình pha dự đốn bao gồm lớp đầu mơ hình huấn luyện, nhiên kích thước mơ hình chỉnh sửa cho phù hợp với liệu đầu vào – ma trận với kích thước 32x32x3x2x2, đầu lớp tăng lên lần Hàm kích hoạt softmax khơng có tính chất đồng cấu nên chuyển dịch pha giải mã Đầu mơ hình ma trận 10x2x2, khơng có khóa giải mã kết hồn tồn khơng sử dụng 12