Cấu trúc của PPDL dựa trên quyền riêng tư khác biệt được thể hiện trong hình 3.6. Đầu tiên, dữ liệu đào tạo được sử dụng để đào tạo mô hình giáo viên (1). Sau đó, mô hình giáo viên được sử dụng để đào tạo mô hình học sinh. Trong trường hợp này, tôi đã minh họa mô hình sinh viên như một mô hình GAN bao gồm một bộ tạo và bộ phân biệt (2). Nhiễu ngẫu nhiên được thêm vào bộ tạo vì nó tạo ra dữ liệu huấn luyện giả (3). Mặt
khác, mô hình giáo viên đào tạo mô hình sinh viên sử dụng dữ liệu công khai (4).
Hình 3.6. Cấu trúc của PPDL dựa trên quyền riêng tư khác biệt.Mô hình sinh viên chạy một trò chơi có tổng bằng 0 giữa bộ tạo và Mô hình sinh viên chạy một trò chơi có tổng bằng 0 giữa bộ tạo và bộ phân biệt. Sau đó, mô hình sinh viên đã sẵn sàng được sử dụng cho quá trình dự đoán. Một máy khách gửi một truy vấn (5) đến mô hình sinh viên. Mô hình sinh viên chạy giai đoạn suy luận và trả về kết quả dự đoán cho người dùng (6). Tổ hợp riêng của giáo viên (PATE) là một phương pháp PPDL cho MLaaS sử dụng cách tiếp cận dựa trên quyền riêng tư khác biệt trong Mạng đối thủ chung (GAN). PATE là một cách tiếp cận hộp đen cố gắng đảm bảo tính riêng tư của dữ liệu trong quá trình đào tạo bằng cách sử dụng mô hình giáo viênhọc sinh. Trong giai đoạn đào tạo, tập dữ liệu được sử dụng để đào tạo các mô hình giáo viên. Sau đó, các mô hình học sinh học hỏi từ các mô hình giáo viên bằng cách sử dụng phương pháp bảo mật khác biệt dựa trên biểu quyết. Bằng cách này, mô hình giáo viên được giữ bí mật và học sinh không thể truy cập dữ liệu gốc. Ưu điểm của mô hình này là do mô hình giáo viên phân biệt, khi một đối thủ có được một mô hình học sinh, mô hình đó sẽ không cung cấp cho đối thủ bất kỳ thông tin cần thiết nào. PATE có một điểm yếu nghiêm trọng, đó là không cung cấp độ chính xác tốt cho các dữ liệu phức tạp. Nếu dữ liệu quá đa dạng, việc thêm nhiễu vào dữ liệu sẽ làm giảm hiệu suất của PATE. Vì vậy, hiệu suất của PATE phụ thuộc vào loại đầu vào. Nó chỉ thích hợp cho nhiệm vụ phân loại đơn giản. Hơn nữa, chi phí tính toán đắt do nhiều tương tác giữa máy chủ và máy khách. Một phương pháp PPDL khác sử dụng quyền riêng tư khác biệt là Bu1. Bu1 đề xuất quyền riêng tư khác biệt Gaussian (Gaussian
DP) chính thức hóa kỹ thuật DP ban đầu như một bài kiểm tra giả thuyết từ quan điểm của đối thủ. Nó phải được đánh giá để phân tích sự cân bằng giữa tiếng ồn và độ chính xác. Vấn đề khả năng mở rộng được thực hiện trong cuộc sống hàng ngày vẫn còn là một câu hỏi. Bảng 3.3hiển thị các tính năng của PPDL dựa trên quyền riêng tư khác biệt đã được khảo sát