PPDL dựa trên HE kết hợp mã hóa đồng hình với học sâu. Cấu trúc của PPDL dựa trên HE thể hiện cho ta thấy có ba giai đoạn trong PPDL dựa trên HE:
Giai đoạn huấn luyện (T1-T2-T3-T4) Giai đoạn suy luận (I1-I2-I3))
Giai đoạn kết quả (R1-R2-R3).
Trong giai đoạn huấn luyện, một máy khách mã hóa tập dữ liệu huấn luyện bằng cách sử dụng HE (T1) và gửi tập dữ liệu đã mã hóa đến máy chủ đám mây (T2). Trong máy chủ đám mây, đào tạo bảo mật được thực hiện (T3), dẫn đến mô hình được đào tạo (T4). Đây là phần cuối của giai đoạn đào tạo. Đối với giai đoạn suy luận, máy khách gửi tập dữ liệu thử nghiệm đến máy chủ đám mây (I1). Tập dữ liệu thử nghiệm trở thành đầu vào của mô hình được đào tạo (I2). Sau đó, quá trình dự đoán được chạy bằng mô hình được đào tạo (I3), dẫn đến kết quả tính toán được mã hóa. Đây là phần cuối của giai đoạn suy luận. Tiếp theo, máy chủ đám mây chuẩn bị vận chuyển kết quả tính toán được mã hóa (R1) và gửi nó đến máy khách (R2). Máy khách tính toán được kết quả cuối cùng của nó (R3). Năm 2016
Cryptonets được đề xuất bởi Gilad Bachrach et al để giải quyết vấn đề về quyền riêng tư trong Machine Learning như một dịch vụ (MLaaS). Tác giả đã kết hợp mật mã và học máy để trình bày một khuôn khổ học máy để dữ liệu đã được mã hóa làm đầu vào. Cryptonets cải thiện hiệu suất của ML Confidential được phát triển bởi Graepelet al, cùng với đó là một lược đồ PPDL sửa đổi dựa trên Linear Means Classifier và Fisher Linear Discriminant hoạt động trên HE. ML Confidential sử dụng đa thức xấp xỉ để thay thế cho hàm kích hoạt phi tuyến.
Hình 3.3. Cấu trúc của PPDL dựa trên HE.
Với phương pháp này, PoM không được đảm bảo vì máy khách phải tạo tham số mã hóa dựa trên mô hình. ML Confidential sử dụng một kịch bản dựa trên dịch vụ đám mây và tính năng chính của nó là đảm bảo tính riêng tư của dữ liệu trong suốt thời gian chuyển giao giữa máy khách và máy chủ. Đầu tiên, máy chủ đám mây tạo ra khóa công khai và khóa riêng tư của nó cho mỗi máy khách. Sau đó, dữ liệu máy khách được mã hóa bằng HE và chuyển đến máy chủ. Máy chủ đám mây sẽ thực hiện quá trình đào tạo bằng cách sử dụng dữ liệu được mã hóa và sử dụng mô hình đào tạo để thực hiện phân loại trên tập dữ liệu thử nghiệm. Cryptonets áp dụng dự đoán dựa trên dữ liệu được mã hóa và sau đó cung cấp kết quả dự đoán ở dạng mã hóa cho người dùng. Sau đó, người dùng có thể sử dụng khóa riêng của họ để giải mã kết quả dự đoán. Bằng cách làm này, quyền riêng tư của khách hàng và tính riêng tư của kết quả được đảm bảo. Tuy nhiên,
tính riêng tư của mô hình không được đảm bảo vì máy khách phải tạo một tham số mã hóa dựa trên mô hình. Điểm yếu của Cryptonets là giới hạn hiệu suất bởi các vấn đề phức tạp. Nó sẽ không hoạt động tốt trên các NN sâu hơn có số lượng lớn các lớp phi tuyến tính. Độ chính xác sẽ giảm và tỷ lệ lỗi sẽ tăng lên ở đây Cryptonets đã đánh đổi giữa độ chính xác và quyền riêng tư. Điều này là do việc sử dụng tính gần đúng hàm kích hoạt bằng cách sử dụng đa thức bậc thấp trong giai đoạn huấn luyện. Mạng nơ-ron cần được đào tạo lại bằng cách sử dụng bản rõ có cùng chức năng kích hoạt để đạt được độ chính xác tốt nhất. Một điểm yếu khác của Cryptonets là số lượng hạn chế của lớp mạng nơ-ron. HE cấp độ nhân không thể chạy trên mạng nơ ron sâu có nhiều lớp. Faster Cryptonets đã tăng tốc đánh giá đồng hình trong Cryptonets bằng cách lược bỏ tham số sao cho có thể bỏ qua nhiều thao tác nhân. Điểm yếu chính của Faster Cryptonets là nó có lỗ hổng đối với cuộc tấn công suy luận thành viên và cuộc tấn công ăn cắp mô hình. Năm 2017
Aono là một hệ thống PPDL dựa trên một cấu trúc NN đơn giản. Tác giả chỉ ra một điểm yếu trong bài báo của Shokri và Shmatikov là làm rò rỉ dữ liệu khách hàng trong quá trình đào tạo. Điểm yếu được gọi là thông tin Gradients Leak. Nó là một phương pháp nghịch đảo để lấy các giá trị đầu vào bằng cách tính toán độ dốc của hàm chân lý tương ứng thành trọng số và độ dốc của hàm chân lý tương ứng thành độ chênh lệch. Nếu ta chia hai kết quả, thì sẽ nhận được giá trị đầu vào. Chính vì lý do đó, Aono đề xuất phương pháp PPDL sửa đổi để khắc phục điểm yếu này. Ý tưởng chính là cho phép máy chủ đám mây cập nhật mô hình học sâu bằng cách tích lũy các giá trị gradient từ người dùng. Tác giả cũng sử dụng HE bổ sung để bảo vệ các giá trị gradient chống lại các máy chủ có khả năng tấn công. Tuy nhiên, một điểm yếu thực sự vẫn còn trong cách tiếp cận này vì nó không ngăn chặn các cuộc tấn công giữa những người tham gia. Việc xác thực người tham gia thích hợp nên được thực hiện bởi máy chủ đám mây để có thể ngăn chặn lỗ hổng này. Phương pháp này, có thể ngăn chặn rò rỉ dữ liệu bằng cách mã hóa giá trị gradient. Tuy nhiên, nó có một số hạn chế vì mã hóa đồng cấu chỉ tương thích với máy chủ tham số. Chabanne là một chương trình bảo vệ quyền riêng tư trên DNN. Chương trình này là sự kết
danh cho chức năng kích hoạt và lớp chuẩn hóa hàng loạt được đề xuất bởi Ioffe và Szegedy. Đề án mong muốn cải thiện hiệu suất của Cryptonets, điều này chỉ tốt khi số lượng các lớp phi tuyến tính trong các mô hình có độ phức tạp nhỏ. Ý tưởng chính là thay đổi cấu trúc của NN thông thường bằng cách thêm một lớp chuẩn hóa hàng loạt giữa lớp gộp và lớp kích hoạt. Tổng hợp tối đa không phải là một hàm tuyến tính. Kết quả là, trong gộp các lớp, gộp trung bình được sử dụng thay vì gộp tối đa để cung cấp phần đồng hình với một hàm tuyến tính. Lớp chuẩn hóa hàng loạt góp phần hạn chế đầu vào của mỗi lớp kích hoạt, dẫn đến một phân phối vô cùng ổn định. Tính gần đúng của đa thức với mức độ thấp cho một sai số tương đối nhỏ, điều này rất thích hợp để có thể sử dụng vào trong mô hình này. Giai đoạn huấn luyện được thực hiện bằng cách sử dụng hàm kích hoạt thường xuyên, bên cạnh đó giai đoạn thử nghiệm sẽ được thực hiện bằng cách sử dụng phép gần đúng đa thức để thay thế cho hàm kích hoạt phi tuyến tính. Chabanne đã cho thấy rằng mô hình của họ đạt độ chính xác tới 99,30%, tốt hơn so với Cryptonets (98,95%). Ưu điểm của mô hình này là khả năng làm việc trong NN với số lượng lớp phi tuyến tính cao trong khi vẫn cung cấp độ chính xác cao hơn 99%, không giống như Cryptonets cho thấy sự giảm độ chính xác khi số lượng lớp phi tuyến tính tăng lên. Điểm yếu của Chabanne là độ chính xác của phân loại phụ thuộc vào tính gần đúng của hàm kích hoạt nếu hàm gần đúng có mức độ cao là CryptoDL do Hesamifard đề xuất. Đó là một modified CNN cho dữ liệu được mã hóa. Phần hàm kích hoạt của CNN được thay thế bằng một đa thức bậc thấp. Bài báo đó cho thấy rằng xấp xỉ đa thức là không thể thiếu đối với NN trong môi trường HE. Các tác giả đã cố gắng tính gần đúng ba loại chức năng kích hoạt: ReLU, sigmoid và tanh. Kỹ thuật xấp xỉ dựa trên đạo hàm của hàm kích hoạt. Đầu tiên, trong giai đoạn huấn luyện, CNN với tính gần đúng đa thức được sử dụng. Sau đó, mô hình được tạo ra trong giai đoạn huấn luyện được sử dụng để thực hiện phân loại trên dữ liệu được mã hóa. Các tác giả đã áp dụng lược đồ CryptoDL vào bộ dữ liệu MNIST và đạt được độ chính xác 99,52%. Điểm yếu của chương trình này là không bao gồm đào tạo về bảo vệ quyền riêng tư trong DNN. Việc bảo vệ quyền riêng tư chỉ được áp dụng cho quy trình phân loại. Ưu điểm của công việc này là nó có thể phân loại nhiều trường hợp (8.192 hoặc lớn hơn) cho mỗi vòng dự đoán, trong khi DeepSecure phân loại một trường hợp cho mỗi vòng.
Do đó, chúng ta có thể nói rằng CryptoDL hoạt động hiệu quả hơn DeepSecure. Điểm yếu của CryptoDL được cho là số lớp hạn chế trong DNN. Vì khi số lượng lớp tăng lên, độ phức tạp cũng tăng lên gấp bội do các hoạt động HE, làm giảm hiệu suất của nó như Cryptonets.
Năm 2018
Trong TAPAS tác giả đã đề cập đến điểm yếu của mã hóa đồng hình trong PPDL, đòi hỏi một lượng lớn thời gian để đánh giá mô hình học sâu cho dữ liệu được mã hóa . Tác giả đã phát triển một kiến trúc học sâu bao gồm một lớp được kết nối đầy đủ, một lớp phức hợp và một lớp chuẩn hóa hàng loạt với tính toán được mã hóa không chính xác để giảm thời gian tính toán. Đóng góp chính ở đây là một thuật toán mới để tăng tốc tính toán nhị phân trong mạng nơron nhị phân.Bên cạnh đó thì ta có thể thấy được một điểm ưu việt khác của TAPAS là hỗ trợ tính toán song song. Kỹ thuật này có thể được song song hóa bằng cách đánh giá các cổng trong cùng một mức tại cùng một thời điểm. Một hạn chế nghiêm trọng của TAPAS là nó chỉ hỗ trợ mạng nơ-ron nhị phân.
Để khắc phục đươc hạn chế này,thì với FHE DiNN nó là một khuôn khổ PPDL kết hợp FHE với một mạng nơ-ron riêng và nó giải quyết vấn đề phức tạp của HE trong PPDL. FHE-DiNN cung cấp một NN với độ phức tạp tuyến tính liên quan đến độ sâu của mạng. Nói cách khác, FHE-DiNN có thuộc tính bất biến tỷ lệ. Độ tuyến tính đạt được bằng quy trình khởi động trên một NN tùy ý với tổng trọng số và hàm kích hoạt dấu hiệu có giá trị từ -1 đến 1. Hàm kích hoạt dấu hiệu sẽ duy trì sự phát triển tuyến tính sao cho nó không nằm ngoài tầm kiểm soát. Việc tính toán hàm kích hoạt sẽ được thực hiện trong quy trình khởi động để làm mới bản mã, giảm nhiễu tích lũy của nó. Khi tôi so sánh mạng nơ-ron rời rạc với một NN tiêu chuẩn, có một điểm khác biệt chính: trọng số, giá trị thiên vị, và miền của chức năng kích hoạt trong FHE DiNN cần phải được thận trọng. Hàm kích hoạt dấu hiệu được sử dụng để giới hạn sự tăng trưởng của tín hiệu trong phạm vi -1 và 1, cho thấy đặc tính của nó là bất biến tỷ lệ tuyến tính đối với độ phức tạp tuyến tính. So với Cryptonets , FHEDiNN cải thiện thành công tốc độ và giảm độ phức tạp của FHE nhưng lại giảm độ chính xác. Điểm yếu của phương pháp này xảy ra trong quá trình tùy biến sử dụng chức
trình đào tạo được thực hiện trực tiếp trong một mạng nơ-ron rời rạc, thay vì chuyển đổi một mạng thông thường thành một mạng rời rạc. cho thấy đặc tính của bất biến tỷ lệ tuyến tính đối với độ phức tạp tuyến tính.. trong đó sử dụng chức năng kích hoạt dấu hiệu dẫn đến giảm độ chính xác. Sẽ tốt hơn nếu quá trình đào tạo được thực hiện trực tiếp trong một mạng nơ-ron rời rạc, thay vì chuyển đổi một mạng thông thường thành một mạng rời rạc. Trong đó sử dụng chức năng kích hoạt dấu hiệu dẫn đến giảm độ chính xác và sẽ tốt hơn nếu quá trình đào tạo được thực hiện trực tiếp trong một mạng nơ-ron rời rạc, thay vì chuyển đổi một mạng thông thường thành một mạng rời rạc
E2DM chuyển đổi tập dữ liệu hình ảnh thành các ma trận. Mục đích chính của việc này là giảm độ phức tạp tính toán. E2DM chỉ ra cách mã hóa nhiều ma trận thành một bản mã duy nhất. Nó mở rộng một số phép toán ma trận cơ bản như phép nhân và chuyển vị hình chữ nhật cho các phép toán nâng cao. Không chỉ dữ liệu được mã hóa, mô hình cũng được mã hóa đồng hình. Kết quả là PoC và PoM được đảm bảo. E2DM cũng cung cấp PoR vì chỉ khách hàng mới có thể giải mã kết quả dự đoán. Đối với phần học sâu, E2DM sử dụng CNN với một lớp phức hợp, hai lớp được kết nối đầy đủ và chức năng kích hoạt hình vuông. Điểm yếu của E2DM là nó chỉ có thể hỗ trợ hoạt động ma trận đơn giản. Mở rộng tính toán ma trận nâng cao sẽ là một công việc đầy hứa hẹn trong tương lai. Xue cố gắng nâng cao khả năng mở rộng của phương pháp PPDL hiện tại. Một khung PPDL với HE đa khóa đã được đề xuất. Mục đích chính của nó là cung cấp dịch vụ phân loại dữ liệu phân tán quy mô lớn. Ví dụ, trong trường hợp dự đoán điều kiện đường xá, mô hình NN phải được đào tạo từ dữ liệu thông tin từ nhiều người lái xe. Đối với cấu trúc học sâu, cần thiết phải sửa đổi model cho kiến trúc CNN thông thường, chẳng hạn như thay đổi tổng hợp tối đa thành tổng hợp trung bình, thêm một lớp chuẩn hóa hàng loạt trước mỗi lớp chức năng kích hoạt và thay thế chức năng kích hoạt ReLU bằng một đa thức xấp xỉ mức độ thấp . PoC và PoR được đảm bảo ở đây. Tuy nhiên, tính riêng tư của mô hình không được đảm bảo vì máy khách phải tạo một tham số mã hóa dựa trên mô hình. Điểm yếu của cách tiếp cận này là mạng nơ-ron phải được đào tạo bằng cách sử dụng dữ liệu được mã hóa trong giai đoạn đào tạo.
Vì vậy, quyền riêng tư rò rỉ có thể xảy ra nếu biện pháp đối phó thích hợp không được triển khai. Liu là một kỹ thuật bảo vệ quyền riêng tư cho các mạng phức hợp sử dụng HE. Kỹ thuật này sử dụng tập dữ liệu MNIST có chứa các số viết tay. Liu mã hóa dữ liệu bằng HE và sau đó sử dụng dữ liệu được mã hóa để đào tạo CNN. Sau đó, quá trình phân loại và kiểm tra được thực hiện bằng cách sử dụng mô hình từ CNN. Ý tưởng là thêm một lớp chuẩn hóa hàng loạt trước mỗi lớp kích hoạt và lớp kích hoạt gần đúng bằng cách sử dụng phân phối Gaussian và chuỗi Taylor. Lớp tổng hợp phi tuyến tính được thay thế bằng lớp tích tụ có bước sóng tăng lên. Bằng cách này, tác giả đã sửa đổi thành công CNN để tương thích với HE, đạt độ chính xác 98,97% trong giai đoạn thử nghiệm. Sự khác biệt chính giữa CNN thông thường và CNN sửa đổi trong công nghệ bảo vệ quyền riêng tư là việc bổ sung lớp chuẩn hóa hàng loạt và thay đổi hàm phi tuyến tính trong lớp kích hoạt và lớp gộp thành một hàm tuyến tính. Cách tiếp cận được đề xuất có điểm yếu về độ phức tạp vì HE có chi phí tính toán lớn dẫn đến chi phí bộ nhớ lớn.
Năm 2019
CryptoNN là một phương pháp bảo vệ quyền riêng tư sử dụng mã hóa chức năng để tính toán số học trên dữ liệu được mã hóa. Lược đồ FE bảo vệ dữ liệu dưới dạng vector đặc trưng bên trong ma trận. Bằng phương pháp này, ma trận tính toán cho NN có thể được thực hiện ở dạng mã hóa. Giai đoạn đào tạo của CryptoNN bao gồm hai bước chính:
Chuyển tiếp nguồn cấp dữ liệu an toàn Bước lan truyền ngược an toàn.
Mô hình CNN được điều chỉnh với các chức năng chính: Chức năng sản phẩm chấm, chức năng tổng có trọng số Chức năng gộp
Chức năng kích hoạt Chức năng chi phí.
Trong giai đoạn tới, không thể thực hiện trực tiếp phép nhân giá trị trọng lượng và vectơ đặc trưng vì giá trị vectơ đã được mã hóa. Do đó, một khóa được kích hoạt được sử dụng để biến đổi giá trị trọng số để nó có thể