Học biểu diễn (representation learning)

ĐẠI HỌC QUỐC GIA HÀ NỘI ĐẠI HỌC CÔNG NGHỆ KHOA CƠNG NGHỆ THƠNG TIN TIỂU LUẬN CUỐI KÌ Mơn học: Khai phá liệu Giảng viên: PGS.TS.Hà Quang Thụy Danh sách thành viên Nhóm 10: Đàm Đình Đinh MSV: 15022855 Bùi Anh Tuấn MSV: 15021832 Trần Đức Thọ MSV: 15020897 Dương Công Hiệu MSV: 15021140 Trần Văn Cường MSV: 15021160 MỤC LỤC Nội dung chính: Học biểu diễn (Representation Learning) I Tiền huấn luyện không giám sát tham lam- lớp khôn ngoan(Greedy Layer-Wise Unsupervised Pretraining) II Học chuyển tiếp thích ứng miền III Học bán giám sát gỡ rối yếu tố nhân (Semi-Supervised Disentangling of Causal Factors) IV Biểu diễn phân phối (Distributed Representation) V Mức độ cải thiện theo hàm mũ thu từ độ sâu mơ hình VI Cung cấp dẫn chứng để tìm hiểu nguyên nhân sâu VII Xây dựng Chatbot VIII Tài liệu tham khảo Chương 15: Học biểu diễn (Representation Learning) Trong chương này, thảo luận ý nghĩa việc học biểu diễn cách khái niệm biểu diễn có ích với việc thiết kế kiến trúc sâu Chúng ta thảo luận cách thuật toán học máy chia sẻ sức mạnh thống kê qua tác vụ khác nhau, bao gồm việc sử dụng thông tin từ tác vụ không giám sát để thực tác vụ có giám sát Các biểu diễn chia sẻ hữu ích để xử lý nhiều phương thức nhiều miền, để chuyển đổi kiến thức học cho tác vụ có khơng có mẫu truyền vào lại tồn tác vụ biểu diễn Cuối cùng, quay lại thảo luận lý thành công học biểu diễn, bắt đầu với lý thuyết lợi ích biểu diễn phân bố (Hinton et al., 1986), biểu diễn sâu kết thúc với ý tưởng tổng quát giả định trình tạo liệu cách cụ thể nguồn gốc liệu quan sát Nhiều tác vụ xử lý thơng tin dễ dàng khó khăn tùy thuộc vào cách thơng tin biểu diễn Đây nguyên tắc chung áp dụng cho sống hàng ngày, cho khoa học máy tính nói chung, cho học máy Ví dụ, người chia 210 cho cách đơn giản cách sử dụng phép chia dài Phép tính trở nên đơn giản thay vào đặt sử dụng số La Mã đại diện cho số Hầu hết người ngày yêu cầu chia CCX (210) cho VI (6) bắt đầu cách chuyển đổi số sang kiểu chữ số Ả Rập(0, 1, 2, 3, …), cho phép phương pháp chia chia dài sử dụng hệ thống giá trị theo vị trí(place value system) Cụ thể hơn, định lượng thời gian tiệm cận việc chạy tác vụ khác cách sử dụng biểu diễn phù hợp khơng phù hợp Ví dụ, chèn số vào vị trí xác danh sách số xếp tác vụ có độ phức tạp O(n) danh sách biểu diễn dạng danh sách liên kết (linked list), có độ phức tạp O(log n) danh sách biểu diễn dạng đỏ đen (một dạng tìm kiếm nhị phân cân bằng) Xét bối cảnh học máy, điều làm cho biểu diễn tốt biểu diễn khác? Nói chung, biểu diễn tốt biểu diễn làm cho tác vụ dễ dàng Sự lựa chọn biểu diễn thường phụ thuộc vào lựa chọn tác vụ học Chúng ta nghĩ mạng feedforward huấn luyện học có giám sát việc thực loại học biểu diễn Đặc biệt, lớp cuối mạng thường phân lớp tuyến tính, chẳng hạn phân lớp hồi quy cực đại mềm Phần lại mạng học tập để cung cấp biểu diễn cho lớp Huấn luyện với tiêu chí giám sát cách tự nhiên dẫn đến biểu diễn lớp ẩn (nhưng nhiều gần lớp ẩn cùng) lấy thuộc tính làm cho tác vụ phân loại dễ dàng Ví dụ, lớp khơng tách biệt tuyến tính đặc trưng đầu vào bị phân tách tuyến tính lớp ẩn cuối Về nguyên tắc, lớp cuối loại mơ hình khác, chẳng hạn lớp hàng xóm lân cận (Salakhutdinov Hinton, 2007a) Các đặc trưng lớp áp chót cần tìm hiểu thuộc tính khác tùy thuộc vào loại lớp cuối Đào tạo có giám sát mạng feedforward khơng liên quan đến việc áp đặt điều kiện rõ ràng lên đặc trưng trung gian học Các loại thuật toán học biểu diễn khác thường thiết kế rõ ràng để định hình biểu diễn theo cách cụ thể Ví dụ, giả sử muốn học biểu diễn làm cho việc ước lượng mật độ dễ dàng Những phân phối với nhiều biến độc lập mơ hình hóa dễ dàng hơn, thiết kế hàm mục tiêu để khuyến khích phần tử biểu diễn vector h trở thành độc lập Giống mạng giám sát, thuật tốn học sâu khơng giám sát có đối tượng huấn luyện học biểu diễn hiệu ứng biên Bất kể biểu diễn thu nào, dùng cho tác vụ khác Ngoài ra, nhiều tác vụ (một vài giám sát, vài khơng giám sát) học với số biểu diễn nội chia sẻ Hầu hết vấn đề học biểu diễn đối mặt với việc cân việc bảo tồn nhiều thơng tin đầu vào tốt với đạt thuộc tính tốt (chẳng hạn độc lập) Học biểu diễn đặc biệt thú vị cung cấp cách để thực học không giám sát bán giám sát Chúng ta thường có số lượng lớn liệu huấn luyện khơng gắn nhãn tương đối liệu huấn luyện gắn nhãn Huấn luyện với kỹ thuật học giám sát tập gắn nhãn thường dẫn đến tình trạng overfitting nghiêm trọng Học tập bán giám sát cho phép giải vấn đề overfitting cách học từ liệu không dán nhãn Đặc biệt, học biểu diễn tốt từ liệu khơng có nhãn, sau sử dụng biểu diễn để giải tác vụ học có giám sát Con người động vật học hỏi từ lượng liệu dán nhãn Chúng ta chưa biết làm điều xảy Nhiều yếu tố giải thích việc cải thiện hiệu suất người - Ví dụ, não sử dụng lượng lớn tập hợp phân loại(ensembles of classifiers) kĩ thuật suy luận Bayes (Bayesian inference techniques) Một giả thuyết phổ biến não tận dụng việc học tập không giám sát bán giám sát Có nhiều cách để tận dụng liệu không gắn nhãn Trong chương này, tập trung vào giả thuyết liệu không dán nhãn sử dụng để học biểu diễn tốt I Tiền huấn luyện không giám sát tham lam- lớp khôn ngoan(Greedy Layer-Wise Unsupervised Pretraining) Học không giám sát đóng vai trị lịch sử quan trọng hồi sinh mạng neuron sâu cho phép nhà nghiên cứu lần đầu huấn luyện mạng lưới giám sát sâu mà không yêu cầu kiến trúc chun mơn tích chập hồi quy Chúng ta gọi thủ tục tiền huấn luyện không giám sát, cụ thể hơn, tiền huấn luyện tham lam theo lớp không giám sát Thủ tục ví dụ kinh điển cách biểu diễn học tác vụ (học không giám sát, cố gắng nắm hình dạng phân phối đầu vào) đơi hữu ích cho tác vụ khác (học có giám sát với miền đầu vào) Tiền huấn luyện không giám sát tham lam- lớp khôn ngoan phụ thuộc vào thuật toán học biểu diễn lớp, chẳng hạn RBM(Restricted Boltzmann Machines), mã hoá tự động lớp, mơ hình mã hố rải rác mơ hình khác mà học biểu diễn ẩn Mỗi lớp tiền huấn luyện sử dụng học không giám sát, lấy output lớp trước cung cấp output biểu diễn liệu, phân phối (hoặc mối quan hệ đến biến khác, chẳng hạn phân loại để dự đoán) hy vọng đơn giản Xem thuật tốn 15.1 để biết mơ tả thức Thủ tục huấn luyện không giám sát tham lam – lớp khôn ngoan dựa tiêu chuẩn không giám sát từ lâu sử dụng để tránh né khó khăn huấn luyện đồng thời lớp mạng neuron sâu cho tác vụ có giám sát Cách tiếp cận xuất từ lúc với Neocognitron (Fukushima, 1975) Sự phục hưng học sâu năm 2006 bắt đầu với việc khám phá trình học tham lam sử dụng để khởi tạo cho tiến trình học chung tất lớp cách tiếp cận sử dụng để huấn luyện thành cơng mơ hình kết nối đầy đủ (Hinton cộng sự, 2006; Hintonand Salakhutdinov, 2006; Hinton, 2006; Bengio cộng sự, 2007; Ranzato cộng sự, 2007a) Trước khám phá này, có mạng sâu tích chập mạng có độ sâu phát sinh từ tái diễn (recurrence) coi khả thi để huấn luyện Ngày nay, biết tiền huấn luyện lớp tham lam – khôn ngoan không cần thiết để huấn luyện cấu trúc kết nối sâu, cách tiếp cận tiền huấn luyện không giám sát phương pháp thành công Tiền huấn luyện không giám sát tham lam- lớp khôn ngoan gọi tham lam thuật tốn tham lam (greedy algorithm), có nghĩa tối ưu phần giải pháp cách độc lập, phần thời điểm, thay tối ưu tất phần Nó gọi lớp khơn ngoan (layer-wise) phần độc lập lớp mạng Đặc biệt, tiền huấn luyện lớp tham lam- khôn ngoan thực thi lớp thời điểm, đào tạo lớp thứ k giữ lớp trước Đặc biệt là, lớp thấp (được đào tạo đầu tiên) không bị điều chỉnh lớp đưa vào huấn luyện Nó gọi khơng giám sát lớp đào tạo với thuật tốn học biểu diễn khơng giám sát Tuy nhiên, gọi tiền huấn luyện coi bước đầu tiền trước thuật toán huấn luyện chung áp dụng để tinh chỉnh tất lớp với Trong bối cảnh tác vụ học có giám sát, xem kiểm sốt (regularizer) (trong số thử nghiệm, tiền huấn luyện giảm lỗi thử nghiệm mà không làm giảm lỗi huấn luyện) dạng khởi tạo tham số Từ “tiền huấn luyện” (pre-training) thường sử dụng để đến trạng thái tiền huấn luyện mà cịn dùng cho tồn giao thức hai pha kết hợp pha tiền huấn luyện pha huấn luyện giám sát Pha học có giám sát liên quan đến việc huấn luyện phân loại đơn giản đặc trưng học pha tiền huấn luyện, liên quan đến điều chỉnh giám sát toàn mạng học pha tiền huấn luyện mà không quan tâm loại thuật tốn học khơng giám sát loại mơ hình sử dụng, hầu hết trường hợp, chương trình huấn luyện tổng thể gần Trong lựa chọn thuật toán học không giám sát chắn ảnh hưởng đến chi tiết, hầu hết ứng dụng tiền huấn luyện không giám sát phụ thuộc giao thức Tiền huấn luyện tham lam – lớp khôn ngoan sử dụng khởi tạo cho thuật tốn học khơng giám sát khác tự mã hố sâu (Hintonand Salakhutdinov, 2006) mơ hình xác suất với nhiều lớp biến tiềm ẩn Các mô bao gồm mạng phân phối đa tầng (deep belief) (Hinton cộng sự, 2006) máy Boltzmann đa tầng (deep Boltzmann machines) (Salakhutdinov Hinton, 2009a) Những mơ hình sinh mẫu đa tầng đợc mơ tả chương 20 Như thảo luận phần 8.7.4, có tiền huấn luyện có giám sát tham lam- lớp khôn ngoan Điều xây dựng tiên đề huấn luyện mạng nông (shallow network) dễ dàng huấn luyện mạng sâu mà dường xác nhận số bối cảnh (Erhan cộng sự, 2010) Khi tiền huấn luyện không giám sát hiệu quả(work)? Trong nhiều tác vụ, tiền huấn luyện không giám sát tham lam- lớp khơn ngoan tạo nên cải thiện đáng kể khâu thử nghiệm tác vụ phân loại Quan sát đề cập cho mối quan tâm mạng neural sâu bắt đầu năm từ 2006 (Hinton cộng sự, 527 2006, Bengio cộng sự, 2007; Ranzato cộng sự, 2007a) Tuy nhiên, nhiều tác vụ khác, tiền huấn luyện không giám sát khơng mang lại hiệu chí gây thiệt hại dễ thấy Ma cộng (2015) nghiên cứu hiệu tiền huấn luyện mơ hình học máy cho hoạt động hố học nhận thấy rằng, trung bình, tiền huấn luyện có hại, nhiều tác vụ hữu ích đáng kể Bởi tiền huấn luyện hữu ích thường có hại, điều quan trọng phải hiểu hoạt động để xác định xem áp dụng cho tác vụ cụ thể hay không Thuật tốn 15.1 Giao thức tiền huấn luyện khơng giám sát tham lamlớp khơn ngoan Cho điều sau: Thuật tốn tiền huấn luyện không giám sát L, L lấy mẫu huấn luyện trả mã hoá hàm đặc trưng f Dữ liệu thô đầu vào X, với dòng mẫu, đầu mã hoá X Trong trường hợp sử dụng tinh chỉnh, sử dụng T, lấy hàm khởi tạo f, mẫu đầu vào X (Và trường hợp tinh chỉnh có giám sát, liên kết mục tiêu Y), trả hàm điều chỉnh Số lượng giai đoạn m Tại đầu ra, điều quan trọng phải làm rõ hầu hết thảo luận bị hạn chế để tiền huấn luyện tham lam khơng giám sát riêng biệt Có mẫu hình (paradigms) hoàn toàn khác biệt để thực học bán giám sát với mạng neural, chẳng hạn huấn luyện với đối thủ ảo (virtual adversarial training), mô tả phần 7.13 Nó huấn luyện tự mã hố mơ hình sinh mẫu lúc với mơ hình giám sát Ví dụ cho cách tiếp cận giai đoạn đơn bao gồm phân biệt RBM (discriminative RBM) (Larochelleand Bengio, 2008) mạng thang (ladder network) (Rasmus cộng sự, 2015), đó, tổng đối tượng tổng tườ ng minh thuật ngữ (một sử dụng nhãn sử dụng đầu vào) Tiền huấn luyện không giám sát kết hợp hai ý tưởng khác Thứ nhất, sử dụng ý tưởng việc lựa chọn tham số khởi tạo cho mơ hình mạng neuron sâu có hiệu hiệu chỉnh đáng kể lên mơ hình (và phạm vi nhỏ hơn, điều cải thiện tối ưu hóa) Thứ hai, lợi dụng ý tưởng tổng quát việc học phân bố đầu vào giúp cho q trình học ánh xạ từ đầu vào tới đầu Cả hai ý tưởng bao hàm nhiều tương tác phức tạp số thành phần thuật toán học máy mà chưa hiểu cách hoàn toàn Ý tưởng - việc lựa chọn tham số khởi tạo cho mơ hình mạng neuron sâu có tác động mạnh đến hiệu suất hiểu rõ Tại khoảng thời gian mà bước tiền huấn luyện phổ biến, hiểu việc khởi tạo mơ hình vị trí mà làm cho mơ hình tiếp cận với điểm cực tiểu địa phương tốt vị trị khác Ngày nay, cực tiểu địa phương khơng cịn bị coi vấn đề nghiêm trọng việc tối ưu tham số mạng neural Chúng ta biết phương pháp huấn luyện mạng neuron thông thường không tới điểm cực trị loại Nó giữ nguyên khả bước tiền huấn luyện khởi tạo mơ hình vị trí mà ngược lại, khơng thể đạt tới được, chẳng hạn, miền bị bao quanh vùng mà hàm chi phí thay đổi từ điểm liệu tới điểm liệu khác nhiều đến mức mà mini-batch đưa ước lượng nhiễu cho giá trị đạo hàm, miền bao quanh vùng mà ma trận Hessian điều kiện xấu đến mức phương pháp gradient descent phải sử dụng bước nhỏ Tuy nhiên, khả việc mô tả xác yếu tố tham số (đã tiền huấn luyện) giữ lại bước huấn luyện có giám sát giới hạn Đây lý mà cách tiếp cận đại thường sử dụng đồng thời việc huấn luyện không giám sát có giám sát chia làm hai giai đoạn Ai tránh việc đánh vật với ý tưởng phức tạp cách thức bước tối ưu pha huấn luyện có giám sát giữ lại thông tin từ pha huấn luyện không giám sát đơn giản cách cố định tham số cho trích xuất đặc trưng sử dụng việc huấn luyện có giám sát để thêm vào phân lớp đặc trưng học Một ý tưởng khác, thuật tốn học sử dụng thông tin học pha học không giám sát để làm việc tốt pha học có giám sát, hiểu tốt Ý tưởng số đặc trưng hữu ích tốn học khơng giám sát hữu ích cho nhiệm vụ học có giám sát Ví dụ, huấn luyện mơ hình sinh cho ảnh ô tô xe máy, cần hiểu bánh xe, việc bánh xe nên có ảnh Nếu may mắn, biểu diễn bánh xe cho dạng mà học có giám sát dễ dàng sử dụng Điều chưa hiểu rõ mức toán học lý thuyết, khơng phải lúc dự đốn tác vụ hưởng lợi theo cách từ việc học không giám sát Rất nhiều khía cạnh cách tiếp cận phụ thuộc lớn vào mơ hình cụ thể sử dụng Ví dụ, muốn thêm vào phân lớp tuyến tính đặc trưng tiền huấn luyện, đặc trưng phải làm cho loại phải phân chia cách tuyến tính Những thuộc tính thường xuất cách tự nhiên luôn Điều lý khác mà việc tiến hành đồng thời pha học không giám sát có giám sát ưa chuộng – ràng buộc đưa bới tầng đầu hàm chứa cách tự nhiên từ bắt đầu Từ quan điểm coi việc tiền huấn luyện không giám sát việc học biểu diễn, mong đợi việc tiền huấn luyện không giám sát hiệu biểu diễn khởi đầu nghèo nàn Một ví dụ điều việc sử dụng word embeddings Các từ biểu diễn vector one-hot khơng có nhiều thơng tin hai vector one-hot khác có khoảng cách đến Word embedding học mã hóa cách tự nhiên mức độ giống từ khoảng cách từ Bởi điều đó, việc tiền huấn luyện khơng giám sát đặc biệt hữu ích xử lý từ Nó ữu ích xử lý ảnh, có lẽ ảnh nằm sẵn khơng gian vector nhiều thông tin mà khoảng cách vector cung cấp độ đo mức độ tương tự với chất lượng thấp Từ quan điểm coi việc tiền huấn luyện không giám sát hiệu chỉnh, mong đợi việc tiền huấn luyện khơng giám sát hữu ích số lượng mẫu gán nhãn nhỏ Bởi nguồn thơng tin thêm vào q trình tiền huấn luyện không giám sát liệu nhãn, kỳ vọng tiền huấn luyện không giám sát hoạt động tốt số lượng mẫu khơng có nhãn lớn Ưu điểm học bán giám sát thông qua tiền huấn luyện không giám sát với nhiều mẫu khơng có nhãn mẫu có nhãn đặc biệt làm sáng tỏ vào năm 2011 với kiện kỹ thuật tiền huấn luyện không giám sát thắng hai thi quốc tế học chuyển đổi (transfer learning) (Mesnil et al, 2011; Goodfellow et cộng sự, 2011), thiết kế toán mà số lượng mẫu có nhãn tác vụ đích nhỏ (từ số lượng vài chục mẫu loại) Những kết ghi lại cẩn thận thực nghiệm kiểm soát cẩn thận Paine cộng (2014) tiến hành Các yếu tố khác liên đới Ví dụ, tiền huấn luyện khơng giám sát hữu ích hàm học phức tạp Tiền huấn luyện không giám sát khác với hiệu chỉnh (regularizers) kỹ thuật làm suy yếu trọng lượng khơng làm thiên lệch học (learner) theo hướng khám phá hàm đơn giản mà hướng học theo hướng khám phá hàm đặc trưng mà có ích cho tác vụ học khơng giám sát Nếu hàm số ưu tiên phức tạp định hình tính cân đối phân bố đầu vào, học khơng có giám sát hiệu chỉnh hợp lý Bỏ dự báo sang bên, phân tích số trường hợp thành cơng mà tiền xử lý không giám sát biết đế n nguyên nhân cải tiến giải thích cho biết việc cải tiến diễn Tiền xử lý không giám sát dùng để cải tiến phân lớp hấp dẫn từ quan điểm giảm lỗi tập thử nghiệm Tuy nhiên, tiền xử lý khơng giám sát trợ giúp tác vụ khác ngồi tốn phân loại cải tiến việc tối ưu việc đơn hiệu chỉnh Ví dụ, cải tiến việc huấn luyện sai số khôi phục tập thử nghiệm cho tự động mã hóa sau (Hinton Salakhutdinov, 2006) Tác giả Erhan (2010) thực nhiều thử nghiệm để lý giải số thành công tiền huấn luyện không giám sát Những cải thiện sai số huấn luyện sai số kiểm tra giải thích theo khía cạnh tiền huấn luyện khơng giám sát đưa tham số tới mức giá trị mà không đạt tới dùng cách khác Huấn luyện mạng neural không tất định hội tụ tới hàm số khác lần huấn luyện Việc huấn luyện kết thúc điểm mà giá trị đạo hàm nhỏ đi, điểm mà kết thúc sớm (early stopping) chấm dứt việc huấn luyện để tránh vấn đề khớp (overfitting), điểm mà đạo hàm lớn khó tìm bước xuống vấn đề tính ngẫu nhiên ma trận Hessian trạng thái xấu Các mạng neural nhận bước tiền huấn luyện không giám sát dừng cách quán miền không gian hàm số, mạng neural khơng có tiền huấn luyện dừng cách quán miền khác Xem hình 15.1 để xem minh họa cho tượng Miền mà mạng tiền huấn luyện đạt tới nhỏ hơn, gợi ý bước tiền huấn luyện giảm độ biến thiên q trình ước lượng, mà việc tiếp tục dẫn tới giảm nguy việc huấn luyện bị khớp Nói cách khác, tiền huấn luyện không giám sát khởi tạo tham số mạng tới mức giá trị mà khơng vượt được, kết việc khởi tạo mà quán khả trở nên tệ khơng có việc khởi tạo Tác giả Erhan (2010) cung cấp vài câu trả lời cho việc bước tiền huấn luyện hoạt động tốt – tức giá trị trung bình phương sai lỗi kiểm tra giảm nhiều trình tiền huấn luyện mạng neural nhiều tầng Hãy ý thí nghiệm thực trước phát kiến phổ biến kỹ thuật đại cho việc huấn luyện mạng neural nhiều tầng (hàm quy hóa tuyến tính, chế tắt ngẫu nhiên batch normalization) điều hiểu rõ hiệu bước tiền huấn luyện không giám sát dùng chung với cách tiếp cận đương thời Một câu hỏi quan trọng cách mà tiền huấn luyện khơng giám sát đóng vai trị hiệu chỉnh Một giả thuyết tiền huấn luyện giúp cho thuật toán học khám phá đặc trưng liên quan đến nguyên nhân ưu tiên sinh liệu quan sát Đây ý tưởng quan 10 - • Hộp thoại trực quan: Các tác vụ có văn bản, hình ảnh âm - • Thương lượng giá với khách hàng Trao đổi hình ảnh với khách hàng xây dựng suy luận hình ảnh Hộp thoại Chat: Cuộc trị chuyện khơng có mục tiêu rõ ràng, nhiều thảo luận Yếu tố xây dựng Chatbot Trước xây dựng Chatbot, nên trả lời các câu hỏi sau: • Chúng ta giải vấn đề với bot? • Bot sống tảng nào? - Facebook, Slack, Discord, Telegram, etc Máy chủ sử dụng để lưu trữ bot? • - Heroku, máy chủ riêng, Có nên bắt đầu cách sử dụng cơng cụ sẵn có? • - Botsify, Pandorabots, Chattypeople, 35 Các bước tạo chatbot với tảng Facebook messenger và Heroku Bước 1: Tạo trang Facebook Hinh 1: Tạo trang Facebook 36 Bước 2: Thêm chức gưi tin nhắn đến trang Hinh 2: Thêm nút gửi tin nhắn đến trang Bước 3: Truy cập https://developers.facebook.com/apps tạo ứng dụng Hinh 3: Tạo ưng dụng facebook mơi 37 Bước 4: Thêm Messenger vào ứng dụng từ bảng điều khiển Hinh 4: Bảng điều khiển ưng dụng facebook Bước 5: Lấy thông tin ứng dụng facebook và mã truy cập trang - Từ trang Cài đặt, đến phần Tạo mã thông báo chọn trang tạo bước Một hộp cảnh báo bật lên yêu cầu cấp quyền 38 Hinh 5: Tạo mã truy cập trang facebook Hinh 6: Tạo mã thành công - Từ trang Cài đặt, đến phần Thông tin bản, cần lưu ID ưng dụng Khóa bí mật ứng dụng Hinh 7: Id ưng dụng và khóa bí mật 39 Bước 6: Tạo ứng dụng Heroku ( www.heroku.com ) - Từ bảng điều khiển Heroku, chọn New - Điền App name cho ứng dụng Tương ứng với App name địa ứng dụng dạng Appname.herokuapp.com Hinh 8: Tạo ưng dụng Heroku Bước 7: Kết nối ứng dụng Heroku với kho lưu trữ mã nguôn của chatbot - Kho lưu trữ ví dụ đơn giản ( https://github.com/conghieutlvy/DataMining ) 40 Hinh 9: Kết nối ưng dụng Heroku vơi kho lưu trữ mã nguồn Bước 8: Thiết lập biến môi trường cho ứng dụng Heroku - api_key: ID ứng dụng Facebook lấy từ bước - api_secret: Khóa bí mật ứng dụng Facebook lấy bước - PAGE_ACCESS_TOKEN: Mã truy cập trang Facebook lấy bước - VERIFY_TOKEN: Chuỗi bất kỳ, sử dụng để xác minh gọi ứng dụng Facebook Heroku Hinh 10: Thiết lập biến môi trường cho ưng dụng Heroku 41 42 Bước Triển khai ứng dụng Heroku: - Từ tab Deploy ứng dụng Heroku, chọn Deploy Branch Hinh 11: Triển khai ưng dụng từ bảng điều khiển - Truy cập trang ứng dụng, thấy ứng dụng triển khai thành công 43 Hinh 12: Ưng dụng đã triển khai Bước 10: Thiết lập Webhooks - Từ trang sản phẩm cảu ứng dụng Facebook, đến Cài dặt => Webhooks => Thiết lập Webhooks với: + URL gọi lại: Địa ứng dụng Heroku, dạng Appnam.herokuapp.com + Mã xác minh: Giá trị VERIFY_TOKEN thiết lập bước + Chọn trường gửi messages Hinh 13: Thiết lập Webhooks 44 - Thiết lập theo dõi trang sau thiết lập webhooks thành công Hinh 14: Thiết lập Theo dõi trang Bước 11: Kiểm tra kết quả - Truy cập lại trang Facebook tạo bước nhắn tin đến trang Hinh 15: Chatbot 45 Xây dựng Chatbot tảng Discord Discord ứng dụng nhắn tin văn giọng nói dành riêng cho game thủ, cho phép game thủ thoải mái nói chuyện với cho dù họ chơi game gì, cần game đấu với nhau, điều quan trọng hồn tồn miễn phí, đăng kí tài khoản tự tạo trò chuyện với người Discord Cũng giống số tảng khác Facebook Messenger, Slack, Telegram, Kik Discord cho phép xây dựng Chatbot để tự động trả lời trị chuyện Sau bước để cài đặt Chatbot Discord Truy cập vào trang Web: https://discordapp.com/login sau tạo tài khoản, đăng nhập vào Discord Hình 16.Trang chủ Discord Sau truy cập vào tài khoản Discord, chọn nút + phía bên trái hình để tạo server cho trò chuyện, chọn “Create a server”, nhập Server Name Server Region chọn “Create” 46 Hình 17.Tạo server cho trò chuyện Bước tiếp theo, truy cập https://discordapp.com/developers/applications/ để tạo application, ứng dụng tạo Chatbot cho trò chuyện tạo trên, tạo Chatbot cần đặt tên để tránh trùng tên với Chatbot người sử dụng khác, sau tạo Chatbot ta có Client Id Truy cập vào đường dẫn: https://discordapp.com/oauth2/authorize? client_id= &scope=bot&permissions=1 , phần … nhập Client Id ta nhận Sau thực thêm Chatbot vào Server trị chuyện 47 Hình 18 Thêm Chatbot vào server Chọn Server phần “Select a server” Sau chọn “Authorize”, ta có Chatbot trị chuyện (server) Tuy nhiên Chatbot hồn tồn chưa thể trả lời điều chưa huấn luyện hay cài đặt Việc cài đặt, huấn luyện cho Chatbot thực thơng qua việc truy cập tới mã CLIENT SECRET phần Genereal Information ứng dụng Hình 19.General Information chứa CLIENT ID CLIENT SECRET, thực huấn huyện cho Chatbot thông qua việc truy cập mã CLIENT SECRET Như vậy, tạo thành công Chatbot Discord 48 VIII Tài liệu tham khảo [1] Palash Goyal, Sumit Pandey, Karan Jain Deep Learning for Natural Language Processing Creating Neural Networks with Python Apress, 2018 [2] Ian Goodfellow, Yoshua Bengio, Aaron Courville Deep Learning The MIT Press, 2016 [3] https://developers.facebook.com/apps/ [4] https://discordapp.com/developers/docs/intro 49 ... Trong tình đó, học bán giám sát có giá trị thực tiễn lớn lao Một câu hỏi quan trọng học biểu diễn là: Những làm cho biểu diễn tốt biểu diễn khác? Một giả thuyết biểu diễn lý tưởng biểu diễn mà đặc... O(log n) danh sách biểu diễn dạng đỏ đen (một dạng tìm kiếm nhị phân cân bằng) Xét bối cảnh học máy, điều làm cho biểu diễn tốt biểu diễn khác? Nói chung, biểu diễn tốt biểu diễn làm cho tác vụ... Chatbot VIII Tài liệu tham khảo Chương 15: Học biểu diễn (Representation Learning) Trong chương này, thảo luận ý nghĩa việc học biểu diễn cách khái niệm biểu diễn có ích với việc thiết kế kiến trúc