Khai phá dữ liệu chương 12 ứng dụng

HÀ NỘI – 2018 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CƠNG NGHỆ TIỂU LUẬN Mơn học: Khai phá liệu Chương 12: Ứng dụng Giáo viên hướng dẫn: PGS TS Hà Quang Thụy Chương 12 - Ứng dụng MỤC LỤC Trong chương này, mô tả cách áp dụng học sâu cho ứng dụng thị giác máy tính (computer vision), nhận dạng giọng nói (speech recognition), xử lý ngôn ngữ tự nhiên (natural language processing) lĩnh vực khác liên quan đến lợi ích thương mại Chúng bắt đầu cách thảo luận việc triển khai mạng neuron quy mô lớn, phần thiếu hầu hết ứng dụng AI Tiếp theo, xem xét số lĩnh vực ứng dụng cụ thể mà người ta ứng dụng học sâu để giải vấn đề Mặc dù, mục tiêu học sâu thiết kế thuật tốn có khả giải đa dạng nhiệm vụ khác nhau, vài mức độ chuyên biệt cần thiết Ví dụ, tác vụ thị giác máy tính địi hỏi phải xử lý lượng lớn đặc trưng đầu vào (điểm ảnh - pixels) mẫu huấn luyện Các tác vụ xử lý ngơn ngữ địi hỏi mơ hình có lượng giá trị lớn đặc trưng đầu vào Học sâu quy mô lớn Học sâu dựa triết lý thuyết kết nối (connectionism): neuron sinh học đặc trưng đơn lẻ mơ hình học máy khơng thông minh, lượng lớn neuron sinh học đặc trưng hoạt động lại thể hành vi thông minh Điều nhấn mạnh thật số lượng neuron phải lớn Một nhân tố giúp nâng cao độ xác mạng neuron tăng độ phức tạp tác vụ giải từ tập kỉ 80 đến việc tăng kích thước mạng neuron cách mạnh mẽ Như ta thấy mục 1.2.3, cho kích cỡ mạng neuron tăng theo hàm mũ suốt thấp kỷ, chúng chưa đạt đớn độ lớn Chương 12 - Ứng dụng phức tạp cỡ hệ thần kinh trùng Bởi kích cỡ mạng neuron đóng vai trị quan trọng, nên học sâu u cầu sở hạ tầng phần cứng lẫn phần mềm có hiệu cao Triển khai tính tốn CPU tốc độ cao Trước kia, người ta huấn luyện mạng neuron CPU máy (tính) đơn lẻ Ngày nay, cách làm nhìn chung khơng hiệu Giờ đây, ta thực tính tốn GPU CPUs nhiều máy tính kết nối mạng với Trước chuyển sang sử dụng thiết bị tốn này, nhiều nhà nghiên cứu cố gắng chứng minh hệ nhiều CPU quản lý lượng tính tốn lớn theo u cầu mạng neuron Tuy việc mô tả cách thực thi mã CPU tính tốn hiệu nằm ngồi phạm vi sách này, nhấn mạnh rằng, việc cài đặt cách cẩn thận cho dòng CPU riêng biệt mang lại cải thiện đáng kể Ví dụ, năm 2011, CPU nhanh sẵn có xử lý khối lượng tính tốn mạng neuron nhanh sử dụng kỹ thuật tính tốn số học với dấu phẩy tĩnh (fixed-point arithmetic) thay dùng dấu phẩy động (floating-point arithmetic) Bằng cách thực thi với tinh chỉnh kỹ lưỡng dấu phẩy tĩnh, Vanhoucke đồng nghiệp (2011) đạt tốc độ nhanh gấp ba lần so với hệ thống sử dụng dấu phẩy động Mỗi mơ hình CPU có đặc tính hiệu khác nhau, nên thỉnh thoảng, việc thực thi dấu phẩy động lại nhanh (so với dấu phẩy tĩnh) Nguyên tắc quan trọng việc tinh chỉnh cẩn thận phép tính số học theo dịng CPU cho tác dụng lớn Bên cạnh thủ thuật chọn dấu phẩy động hay tĩnh, người ta dùng nhiều thủ thuật khác bao gồm tối ưu cấu trúc liệu để tránh cache misses (ND: trường hợp liệu yêu cầu không tồn nhớ đệm cache) sử dụng câu lệnh vector (vector intructions) Nhiều nhà nghiên cứu học máy không để ý đến thực thi chi tiết này, hiệu thực thi hạn chế kích thước mơ hình gây hậu lên độ xác mơ hình Chương 12 - Ứng dụng Triển khai (ND: tính tốn) GPU Hầu hết tính tốn mạng neuron đại thực hiên xử lý đồ họa (graphics processing unit) Các xử lý đồ họa (GPU) linh kiện phần cứng vốn phát triển cho ứng dụng đồ họa Các hệ thống game thị trường tiêu dùng thúc đẩy phát triển phần cứng xử lý đồ họa Các đặc tính hiệu cần thiết cho hệ thống game hóa có lợi cho mạng neuron Việc hiển thị hình ảnh game địi hỏi phải thực hàng loạt tính tốn song song cách mau lẹ Mơ hình nhân vật (ND: game) mơi trường (ND: cảnh vật game) xác định thông qua danh sách tọa độ chiều đỉnh (ND: khối đa diện hợp nên hình thù game) Card đồ họa phải thực phép nhân chia ma trận nhiều đỉnh đồng thời để chuyển đổi tọa độ chiều thành tọa độ chiều hình Các card đồ họa phải thực nhiều tính toán điểm ảnh (pixel) đồng thời để xác định màu sắc điểm ảnh Trong trờng hợp, tính tốn tương đối đơn giản không bao gồm thao tác so sánh rẽ nhánh thao tác tính tốn thường thấy CPU Ví dụ, đỉnh vật thể rắn nhân với ma trận; không cần thiết phải thực thi lệnh if đỉnh để xác định xem nhân với ma trận Các tính tốn hồn tồn độc lập với nhau, thực song song cách dễ dàng Các tính tốn bào gồm việc xử lý nhớ đệm (buffer) lớn, bao gồm bitmap mô tả bề mặt (mảng màu sắc) vật thể cần hiển thị Tóm lại, điều dẫn đến việc card đồ họa thiết kế để có mức độ tính tốn song song băng thơng nhớ cao, với chi phí tốc độ xung nhịp thấp khả phân nhánh so với CPU truyền thống Thuật tốn mạng neuron u cầu đặc tính hiệu tương tự thuật toán đồ họa thời gian thực kể Các mạng neuron thường bao gồm đến lượng lớn đệm thông số lớn, giá trị kích hoạt, giá trị gradient, Chương 12 - Ứng dụng số chúng phải cập nhật sau bước huấn luyện Các thông số đệm đủ lớn để dẫn đến tràn nhớ cache máy tính để bàn truyền thống, nên băng thơng nhớ ịa hệ thống trở thành yếu tố hạn chế tốc độ Các GPU cho ta lợi hấp dẫn so với CPU băng thơng bố nhớ cao Các thuật tốn huấn luyện mạng neuron thường khơng bao gồm nhiều nhánh hay thao tác điều khiển phức tạo, chúng phù hợp với phần cứng GPU Vì mạng neuron chia thành nhiều nhóm neuron riêng lẻ xử lý độc lập với nhóm neuron khác tầng (layer), nên mạng neuron tận dụng lợi tính tốn song song GPU Phần cứng GPU bạn đầu thiết kế chuyên dụng sử dụng cho tác vụ đồ họa Theo thời gian, chúng trở nên linh hoạt hơn, cho phép chương trình tùy biến sử dụng để chuyển dạng tọa độ đỉnh gắn màu cho điểm ảnh Về ngun tắc, khơng có u cầu buộc giá trị điểm ảnh tác vụ dựng hình Các GPU dùng cho tính tốn cụ thể cách ghi lại kết tính toán xuống nhớ đệm giá trị điểm ảnh Steinkrau đồng nghiệp (2005) thực thi mạng neuron hai tầng kết nối đầy đủ GPU cho biết tốc độ nhanh gấp ba lần so với CPU Ngay sau đó, Chellapilla đồng nghiệp (2006) chứng minh tăng tốc tính tốn mạng tích chập có giám sát với kỹ thuật Sự phổ biến card đồ họa việc huấn luyện mạng neuron bùng nổ sau đời GPU đa mục đích (general purpose) Các GP-GPU thực thi mã tùy ý, khơng riêng cho chương trình dựng hình (như trước nữa) Ngơn ngữ lập trình NVIDIA CUDA cung cấp viết mã tùy ý ngôn ngữ tương tự C Với mơ hình lập trình tương đối thuận lợi, tính tốn song song mạnh mẽ, thông nhớ cao, GP-GPU cho ta tảng (platform) lý tưởng cho việc lập trình mạng neuron Các nhà nghiên cứu học sâu nhanh chóng chấp nhận tảng sau trở nên sẵn có [Raina et al., 2009; Ciresan et al., 2010] Chương 12 - Ứng dụng Viết code hiệu cho GP-GPUs cịn nhiệm vụ khó cho chuyên gia Các kĩ thuật cần thiết để đạt hiệu tốt GPU khác với kĩ thuật sử dụng CPU Ví dụ, code hiệu tảng CPU thường thiết kế để đọc thông tin từ nhớ cache nhiều tốt Trên GPU, hầu hết vị trí nhớ ghi khơng ghi vào nhớ cache, thực tế nhanh tính giá trị hai lần thay tính tốn lần đọc lại từ nhớ Code cho GPU đa luồng (multithreaded) luồng khác phải phối hợp với cách cẩn thận Ví dụ, thao tác nhớ nhanh chúng kết hợp lại (coalesced) Đọc ghi nhớ liên hợp (coalesced reads or writes) xảy số luồng đọc ghi giá trị mà chúng cần lúc, phần giao dịch nhớ Các mơ hình khác GPU kết hợp kiểu đọc khác kiểu ghi khác Thông thường, thao tác nhớ thường dễ kết hợp n luồng thứ i truy cập byte thứ i+j nhớ, j bội số số lũy thừa Các mơ tả xác khác mơ hình GPU Một xem xét phổ biến khác cho GPU đảm bảo luồng nhóm thực thi câu lệnh (instruction) đồng thời Điều có nghĩa kĩ thuật phân nhánh khó thực GPU Luồng chia thành nhóm nhỏ gọi warp Mỗi luồng warp thực thi câu lệnh chu kì, luồng khác warp cần thực thi đoạn code khác nhau, đường dẫn code khác cần thực thi thay song song Do khó khăn viết code hiệu cao GPU, nhà nghiên cứu nên cấu trúc công việc họ để tránh việc phải viết code để kiểm nghiệm mơ hình giải thuật Thơng thường, người ta làm điều cách xây dựng thư viện phần mềm thao tác hiệu cao phép nhân nhân ma trận, sau đặc tả mơ hình cách gọi thao tác thư viện Ví dụ, thư viện học máy Pylearn2 [Goodfellow et al., 2013c] đặc tả tất Chương 12 - Ứng dụng giải thuật học máy lời gọi đến Theano [Bergstra et al., 2010; Bastien et al., 2012] cuda-convnet [Krizhevsky, 2010], thư viện cung cấp thao tác hiệu cao Cách tiếp cận dễ dàng hỗ trợ nhiều tảng phần cứng khác Ví dụ, chương trình Theano chạy CPU GPU, mà khơng cần thay đổi đến lời gọi hàm Theano Các thư viện khác TensorFlow [Abadi et al., 2015] Torch [Collobert et al., 2011b] cung cấp tính tương tự Triển khai tính tốn phân tán quy mơ lớn Trong nhiều trường hợp, tài ngun tính tốn máy tính đơn lẻ khơng đủ Do đó, muốn phân phối khối lượng cơng việc q trình học suy luận nhiều máy tính Phân chia q trình suy luận đơn giản, ví dụ đầu vào muốn xử lý chạy máy riêng biệt Điều gọi song song liệu (data parallelism) Cũng có song song mơ hình (model parallelism), nhiều máy làm việc với điểm liệu, máy thực thi phần khác mô hình Điều khả thi cho trình suy luận trình học Song song liệu q trình học phần khó Chúng ta tăng kích thước lơ nhỏ (minibatch) sử dụng bước SGD, thông thường nhận hiệu suất tối ưu hóa mức tuyến tính Nó tốt cho phép máy tính tốn bước gradient descent cách song song Thật không may, định nghĩa tiêu chuẩn trượt gradient (gradient descent) giải thuật hoàn toàn: gradient bước t hàm tham số tạo bước t−1 Điều giải cách sử dụng trượt dốc ngẫu nhiên không đồng (asynchronous stochastic gradient descent) [Ben- gio et al., 2001; Recht et al., 2011] Trong phương pháp này, vài core xử lý chia sẻ Chương 12 - Ứng dụng nhớ đại diện cho tham số Mỗi core đọc tham số mà khơng cần khóa (lock) lại Điều làm giảm lượng cải thiện trung bình mà bước gradient descent tạo ra, số core ghi đè tiến độ nhau, tăng tốc độ bước làm cho tổng thể trình học nhanh Dean đồng nghiệp (2012) tiên phong triển khai nhiều máy với phương pháp khơng khóa cho trượt gradient, tham số quản lý máy chủ tham số (parameter server) thay lưu nhớ dùng chung (shared memory) Trượt dốc không đồng phân tán (distributed asynchronous gradient descent) chiến lược để huấn luyện mạng học sâu lớn sử dụng hầu hết nhóm làm học sâu doanh nghiệp [Chilimbi et al., 2014; Wu et al., 2015] Các nhà nghiên cứu học sâu thơng thường khơng có khả chi trả hệ thống học sau có quy mơ, số nhà nghiên cứu tập trung vào cách xây dựng mạng phân tán với phần cứng có chi phí tương đối thấp thiết lập môi trường đại học [Coates et al., 2013] Nén mơ hình Trong nhiều ứng dụng thương mại mơ hình học máy, việc giảm thời gian chi phí nhớ q trình suy luận quan trọng nhiều so với việc giảm thời gian chi phí nhớ q trình huấn luyện Đối với ứng dụng khơng địi hỏi tính riêng tư người dùng, ta huấn luyện mơ hình lần, sau triển khai để sử dụng cho hàng tỉ người dùng khác Trong nhiều trường hợp, người dùng cuối bị hạn chế tài nguyên nhiều so với nhà phát triển Chẳng hạn, ta huấn luyện mơ hình nhận dạng tiếng nói cụm máy tính mạnh mẽ, sau triển khai thành ứng dụng cài đặt lên điện thoại di động Chiến lược để giảm chi phí q trình suy luận nén mơ hình (model compression) [Bucilua et al., 2006] Ý tưởng sở nén mơ hình thay mơ hình gốc có chi phí cao mơ hình nhỏ hơn, yêu cầu nhớ thời gian chạy cho việc lưu trữ đánh giá Chương 12 - Ứng dụng Nén mơ hình ứng dụng kích thước mơ hình gốc thiết kế nhằm mục đích tránh khớp Trong hầu hết trường hợp, mơ hình với sai số tổng quát hóa thấp tập hợp vài mơ hình huấn luyện độc lập Việc đánh giá toàn n thành viên tập hợp tốn Đơi khi, mơ hình đơn lẻ chí tổng qt hóa tốt mơ hình lớn (chẳng hạn kiểm soát với chế tắt ngẫu nhiên) Những mơ hình lớn học số hàm f(x), cách sử dụng nhiều tham số cần thiết cho tác vụ Kích thước mơ hình cần thiết số lượng điểm liệu huấn luyện bị giới hạn Sau khớp với hàm f(x) này, ta sinh tập huấn luyện bao gồm nhiều điểm liệu, đơn giản cách áp dụng hàm f cho điểm x lấy mẫu ngẫu nhiên Sau học mơ hình mới, mơ hình nhỏ để khớp với f(x) điểm liệu Để tận dụng hiệu giảm dung lượng mơ hình mới, tốt hết ta nên lấy mẫu điểm x từ phân phối tương tự với điểm liệu kiểm thử đầu vào thực tế cung cấp cho mơ hình sau Điều thực cách lấy điểm từ mơ hình sinh đào tạo tập huấn luyện ban đầu Ngồi ra, người ta huấn luyện mơ hình nhỏ điểm liệu huấn luyện ban đầu để chép đặc trưng khác mơ hình (gốc), chẳng hạn phân phối hậu nghiệm lớp khơng xác [Hinton et al., 2014, 2015] Cấu trúc động (Dynamic Structure) Một chiến lược để tăng tốc hệ thống xử lý liệu nói chung xây dựng hệ thống có cấu trúc động (dynamic structure) biểu đồ mô tả tính tốn cần thiết để xử lý điểm liệu đầu vào Hệ thống xử lý liệu xác định cách linh động tập mạng neuron nhân tạo nên thực thi điểm liệu đầu vào cho trước Cấu trúc động sử dụng bên mạng neuron riêng lẻ cách xác định tập Chương 12 - Ứng dụng đặc trưng (các thành phần ẩn (hidden unit)) để tính tốn biết trước thơng tin từ liệu đầu vào Dạng cấu trúc động bên mạng neuron nhân tạo đơi gọi tính tốn có điều kiện (conditional computation) [Bengio, 2013; Bengio et al., 2013b] Bởi nhiều thành phần kiến trúc có liên quan với lượng nhỏ điểm liệu đầu vào, hệ thống chạy nhanh cách tính tốn đặc trưng cần thiết Cấu trúc động tính toán nguyên tắc khoa học máy tính áp dụng nhiều quy tắc công nghệ phần mềm Những phiên đơn giản cấu trúc động áp dụng cho mạng neuron nhân tạo dựa việc xác định tập nhóm mạng neuron nhân tạo (hoặc mơ hình học máy khác) nên áp dụng cho điểm liệu đầu vào cụ thể Một chiến lược đáng cân nhắc để tăng tốc trình suy luận phân lớp sử dụng chuỗi phân tầng (cascade) phân lớp Chiến lược phân tầng sử dụng với mục đích phát diện đối tượng (hoặc kiện) Để biết đối tượng có xuất hiện, phải sử dụng phân lớp tinh vi với dung lượng lớn tốn thực thi Tuy nhiên, đối tượng nên sử dụng phép tính để loại bỏ liệu đầu vào không chứa đối tượng Trong trường hợp này, huấn luyện chuỗi phân lớp Những phân lớp chuỗi có dung lượng thấp huấn luyện để sử dụng lại nhiều lần Nói cách khác, chúng huấn luyện để đảm bảo không loại bỏ sai liệu đầu vào có xuất đối tượng Bộ phân lớp cuối huấn luyện để có độ xác cao Khi kiểm thử, thực suy luận cách thực thi phân lớp theo chuỗi, loại bỏ ví dụ huấn luyện bị từ chối thành phần chuỗi phân tầng Nói chung, điều cho phép xác định xuất đối tượng với độ chắn cao, ta sử dụng mơ hình 10 Chương 12 - Ứng dụng cho điểm từ ay xếp hạng cao Xếp hạng mát đưa sau : Gradient cho thuật ngữ thứ i điểm số từ, a y, lớn điểm từ phủ định khoảng Một vấn đề với tiêu chuẩn khơng cung cấp ước lượng xác suất có điều kiện, hữu ích số ứng dụng, bao gồm nhận dạng giọng nói tạo văn (bao gồm tác vụ tạo văn có điều kiện dịch) Một mục tiêu đào tạo sử dụng gần cho mơ hình ngôn ngữ nơ-ron ước lượng noise-contrastive, giới thiệu phần 18.6 Cách tiếp cận áp dụng thành cơng cho mơ hình ngơn ngữ nơ-ron (Mnih and Teh, 2012; Mnih and Kavukcuoglu, 2013) Kết hợp mô hình ngơn ngữ nơ-ron với n-grams Một lợi lớn mơ hình gram mạng nơron mơ hình n-grams đạt mơ hình suất cao (bằng cách lưu trữ tần số cuatr nhiều liệu), u cầu tính tốn để xử lý ví dụ (bằng cách tìm kiếm vài liệu phù hợp hoàn cảnh tại) Nếu sử dụng bảng băm để truy cập số đếm, tính tốn sử dụng cho n-grams không phụ thuộc vào dung lượng Trong đó, gấp đơi số lượng tham số mạng nơ-ron thường tăng gấp đơi thời gian tính tốn Các ngoại lệ bao gồm mơ hình tránh sử dụng tất tham số thẻ Những mục lớp nhúng lần thẻ, chúng tơi tăng kích thước từ vựng mà khơng tăng thời gian tính tốn cho ví dụ Một số mơ hình khác, chẳng hạn mạng xoắn ốc, thêm tham số giảm thiểu mức độ chia sẻ tham số để trì lượng tính tốn Các lớp mạng nơ-ron điển hình 38 Chương 12 - Ứng dụng dựa phép nhân ma trận, nhiên, sử dụng lượng tính tốn tỉ lệ với số lượng tham số Một cách dễ dàng để bổ sung dung lượng kết hợp cách tiếp cận tập hợp mơ hình ngơn ngữ nơ-ron mơ hình ngơn ngữ n-grams (Bengioet al., 2001, 2003) Như tổng thể nào, cơng nghệ giảm thiểu lỗi kiểm tra thành viên làm cho lỗi độc lập Trường tổng thể học tập cung cấp nhiều cách kết hợp việc dự đoán thành viên, bao gồm trọng số thống trọng số lựa chọn tập xác định Mikolov et al (2011a) mở rộng toàn để bao gồm khơng mơ hình mà mảng lớn mơ hình Cũng ghép nối mạng nơ-ron với mơ hình entropy tối đa kết hợp huấn luyện (Mikolov et al 2011a) Cách tiếp cận xem huấn luyện mạng nơ-ron với tập đầu vào bổ sung kết nối trực tiếp với đầu không kết nối với phần khác mơ hình Các đầu vào bố sung biểu cho diện n-grams ngữ cảnh đầu vào, biến có chiều cao cao rời rạc Sự gia tăng dung lượng mơ hình lớn – phần kiến trúc chứa đến |sV| n tham số, số lượng tính tốn bổ sung cần thiết tối thiểu đầu vào bổ sung rời rạc Máy dịch nơ-ron Máy dịch có nhiệm vụ đọc câu ngôn ngữ tự nhiên đưa câu có nghĩa tương đương ngơn ngữ khác Hệ thống máy dịch thường liên quan đến nhiều thành phần Ở mức độ cao, thường có thành phần đề xuất nhiều dịch dự bị Nhiều dịch khơng có ngữ pháp khác biệt ngơn ngữ Ví dụ, nhiều ngơn ngữ đặt tính từ sau danh từ, nên dịch trực tiếp sang tiếng Anh, chúng tạo cụm từ “đỏ táo.” Cơ chế đề xuất đề xuất nhiều biến thể dịch đề xuất, ý tưởng bao gồm “táo đỏ.” Thành phần thứ hệ thống dịch thuật, mơ hình ngơn ngữ, đánh giá dịch đề xuất đưa “táo đỏ" tốt “đỏ táo.” 39 Chương 12 - Ứng dụng Việc khám phá mạng nơ-ron để dịch máy kết hợp ý tưởng mã hóa giải mã (Allen 1987; Chrisman 1991; Forcadaand Ñeco 1997), việc sử dụng cạnh tranh quy mô lớn mạng nơ-ron dịch thuật nâng cấp mơ hình ngơn ngữ hệ thống dịch thuật cách sử dụng mô hình ngơn ngữ nơ-ron (Schwenk cộng 2006; Schwenk, 2010) Trước đó, phần lớn hệ thống dịch thuật sử dụng mơ hình n-grams cho thành phần Các mơ hình dựa n-grams sử dụng cho máy dịch bao gồm khơng mơ hình back-off n-grams (Jelinek and Mercer, 1980; Katz, 1987; Chen and Goodman,1999) mà cịn mơ hình ngơn ngữ entropy tối đa (Berger cộng sự, 1996), lớp affine-softmax dự đoán từ với diện thường xun n-grams ngữ cảnh Các mơ hình ngôn ngữ truyền thống đơn giản báo cáo xác suất câu Bởi máy dịch liên quan đến việc tạo câu đầu cho câu đầu vào, có ý nghĩa để mở rộng mơ hình ngơn ngữ tự nhiên để có điều kiện Như mô tả phần 6.2.1.1 , đơn giản mở rộng mơ hình phân phối cận biên số biến để xác định phân bố có điều kiện biến cho ngữ cảnh C, với C biến đơn danh sách biến Devlin et al (2014) đánh bại state-of-the-art số tiêu chuẩn dịch máy thống kê cách sử dụng MLP để ghi cum từ t1, t2,, … , tn ngơn ngữ đích cho cụm từ s1, s2, … Sn ngôn ngữ nguồn MLP ước tính P(t1, t2, … tn | s1, s2, … sn) Ước tính hình thành MLP thay ước lượng cung cấp mơ hình n-grams có điều kiện Hình 12.5: Kiến trúc mã hóa – giải mã để ánh xạ qua lại biểu diễn bề mặt (như chuỗi từ hình ảnh) biểu diễn ngữ nghĩa Bằng cách sử dụng đầu mã hóa liệu từ phương thức (chẳng hạn ánh xạ mã hóa từ câu tiếng Pháp sang biểu diễn ẩn ghi ý nghĩa câu) làm đầu vào cho giải mã cho phương thức khác (chẳng hạn ánh xạ giải mã từ biểu diễn ẩn ghi ý nghĩa câu sang tiếng Anh), huấn luyện hệ thống dịch từ phương thức sang phương thức khác Ý 40 Chương 12 - Ứng dụng tưởng áp dụng thành cơng khơng cho máy dịch mà cịn để tạo thích từ hình ảnh Một nhược điểm phương pháp dựa MLP yêu cầu chuỗi xử lý trước để có độ dài cố định Để làm cho dịch trở nên rõ ràng hơn, chúng tơi muốn sử dụng mơ hình chứa đầu vào đầu biến đổi Một RNN cung cấp khả Mục 10.2.4 miêu tả số cách xây dựng RNN đại diện cho phân phối có điều kiện qua chuỗi cho số đầu vào, mục 10.4 mô tả cách thực điều đầu vào chuỗi Trong tất trường hợp, mơ hình đọc chuỗi đầu vào đưa cấu trúc liệu tóm tắt chuỗi đầu vào Chúng tơi gọi tóm tắt ngữ cảnh C Ngữ cảnh C danh sách vector, vector tensor Mơ hình đọc đầu vào để đưa C RNN (Cho cộng sự, 2014a; Sutskever cộng sự, 2014; Jean cộng sự, 2014), mạng chuyển đổi (Kalchbrenner and Blunsom, 2013) Một mơ hình thứ 2, thường RNN, sau đọc ngữ cảnh C tạo câu ngơn ngữ đích Ý tưởng chung framework mã hóa – giải mã cho máy dịch minh họa hình 12.5 Để tạo câu hồn chỉnh dựa câu nguồn, mơ hình phải có cách để biểu diễn tồn câu nguồn Các mơ hình trước đại diện cho từ riêng lẻ cụm từ Từ quan điểm học tập biểu diễn, hữu ích học biểu diễn câu có nghĩa có biểu diễn tương tự chúng viết ngôn ngữ gốc hay ngôn ngữ đích Chiến lược khám phá cách sử dụng kết hợp mạng nơ-ron xoắn RNN (Kalchbrenner and Blunsom, 2013) Sau cơng việc giới thiệu việc sử dụng RNN để tính dịch đề xuất (Cho et al., 2014a) tạo câu dịch (Sutskever cộng sự, 2014) Jean cộng (2014) thu nhỏ mơ hình thành từ vựng lớn 41 Chương 12 - Ứng dụng Sử dụng chế tập trung xếp phần liệu Sử dụng biểu diễn có kích thước cố định để nắm bắt tất chi tiết ngữ nghĩa câu dài, ví dụ, 60 từ khó khăn Nó đạt cách đào tạo RNN đủ lớn đủ tốt đủ lâu, chứng minh Cho cộng (2014a) Sutskever cộng (2014) Tuy nhiên, cách tiếp cận hiệu đọc toàn câu đoạn văn (để hiểu ngữ cảnh ý diễn đạt), sau dịch từ, lần tập trung vào phần khác câu đầu vào để thu thập chi tiết ngữ nghĩa cần thiết để đưa từ Đó xác ý tưởng giới thiệu lần Bahdanau cộng (2015) Cơ chế ý sử dụng để tập trung vào phần cụ thể chuỗi đầu vào bước minh họa hình 12.6 Hình 12.6: Một chế ý đại, giới thiệu Bahdanau cộng dự (2015), trung bình có trọng số Một vector ngữ cảnh C hình thành cách lấy trọng số trung bình vector đặc trưng h(t) với trọng số a(t) Trong vài ứng dụng, vector đặc trưng h đơn vị ẩn mạng nơ-ron, chúng đầu vào thơ cho mơ hình Trọng số a (t) tạo mơ hình Chúng thường giá trị khoảng [0, 1] tập trung quanh h(t) cho trung bình cộng trọng số xấp xỉ thời gian cụ thể xác Trọng số a (t) thường tạo cách áp dùng hàm softmax cho điểm liên quan phát phần khác mô hình Cơ chế ý tốn cần tính tốn nhiều so với đánh mục mong muốn trực tiếp h(t), việc lập mục trực tiếp huấn luyện với độ dốc xuống Cơ chế ý dựa mức trung bình có trọng số xấp xỉ gần mà huấn luyện với thuật tốn tối ưu hóa đại Chúng ta nghĩ hệ thống dựa ý có thành phần: Một q trình đọc liệu thơ (chẳng hạn từ câu nguồn) chuyển đổi chúng thành biểu diễn phân tán, với vector đặc trưng liên kết với vị trí từ Một danh sách vector tính lưu trữ đầu đầu đọc Điều hiểu nhớ bao gồm chuỗi kiện, truy xuất sau này, không cần theo thứ tự nhau, không cần truy cập tất chúng Một trình khai thác nội dung nhớ để thực nhiệm vụ, bước có khả ý vào nội dung phần tử nhớ (hoặc vài, với trọng số khác) Thành phần thứ tạo câu dịch 42 Chương 12 - Ứng dụng Khi từ câu viết ngôn ngữ chỉnh với từ tương ứng câu dịch sang ngơn ngữ khác, liên quan đến từ nhúng tương ứng Cơng trình trước cho thấy người ta học loại ma trận dịch liên quan đến từ nhúng ngôn ngữ với từ nhúng ngôn ngữ khác (Kočiský cộng sự, 2014), mang lại tỉ lệ lỗi liên kết thấp tiếp cận truyền thống dựa số lượng tần số bảng cụm từ Thậm chí cịn có cơng trình trước việc học vector từ vựng (Klementiev cộng sự, 2012) Nhiều phần mở rộng cho phương pháp khả thi Ví dụ, liên kết đa ngơn ngữ hiệu (Gouws cộng sự, 2014) cho phép huấn luyện tập liệu lớn Historical Perspective Ý tưởng đại diện phân phối cho biểu tượng giới thiệu Rumelhartet al (1986a) trong lần khám phá backpropagation , với biểu tượng tương ứng với danh tính thành viên gia đình, mạng neural bắt giữ mối quan hệ thành viên gia đình, với ví dụ huấn luyện hình thành tripletssuch (Colin, Mother, Victoria) Lớp thứ mạng neural học biểu thành viên gia đình Ví dụ, tính cho Colin miêu tả Colin gia đình đó, nhánh đó, hệ đến từ, vân vân Người ta nghĩ mạng neural ascomputing học quy tắc liên quan thuộc tính với để có mong muốn Các mơ hình sau làm cho dự đoán suy đoán mẹ Colin Ý tưởng việc hình thành nhúng cho biểu tượng mở rộng đến ý tưởng anembedding cho từ Deerwester et al (1990) Những embeddings học SVD Sau đó, nhúng học mạng neural Lịch sử xử lý ngôn ngữ tự nhiên đánh dấu cách chuyển đổi phổ biến cách khác để biểu diễn đầu vào cho mơ hình Sau cơng trình biểu tượng từ ngữ, số ứng dụng sớm mạng neural cho NLP (Miikkulainen Dyer, 1991; Schmidhuber, 1996) đại diện cho đầu vào chuỗi ký tự 43 Chương 12 - Ứng dụng Bengio et al (2001) tập trung vào modeling words neural language model, tạo word embeddings diễn giải Lịch sử xử lý ngôn ngữ tự nhiên đánh dấu cách chuyển đổi phổ biến cách khác để biểu diễn đầu vào cho mơ hình Sau cơng trình ký hiệu từ ngữ, số ứng dụng sớm mạng neural cho NLP (Miikkulainen Dyer, 1991; Schmidhuber, 1996) đại diện cho đầu vào chuỗi ký tự Các mơ hình luận văn mở rộng từ biểu diễn tập hợp nhỏ ký hiệu thập niên 1980 đến hàng triệu từ (bao gồm danh từ thích hợp lỗi tả) ứng dụng đại Điều dẫn đến việc phát minh thuật ngữ mô tả phần 12.4.3 Về bản, việc sử dụng từ đơn vị mơ hình ngơn ngữ mang lại hiệu suất mơ hình hóa ngơn ngữ cải thiện (Bengio et al., 2001) Cho đến ngày nay, kỹ thuật liên tục đẩy hai mơ hình dựa ký tự (character-based models) (Sutskever et al., 2011) mô hình dựa từ vựng (word-based models forward), gần (Gillick cộng sự, 2015) mơ hình dựa byte độc lập ký tự Unicode (modeling individual bytes of Unicode characters) Ý tưởng đằng sau mơ hình ngơn ngữ neutral (neural language models) mở rộng thành nhiều ứng dụng xử lý ngôn ngữ tự nhiên, chẳng hạn phân tích cú pháp (parsing) (Henderson, 2003, 2004; Collobert, 2011), gắn thẻ phần lời nói (part-of-speech tagging), gán nhãn vai trị ngữ nghĩa (semantic role labeling), chunking, v.v kiến trúc học đa nhiệm (Collobert and Weston, 2008a; Collobert cộng sự, 2011a) từ nhúng (word embeddings) tác vụ chia sẻ Two-dimensional visualizations of embeddings trở thành cơng cụ phổ biến để phân tích mơ hình ngơn ngữ sau phát triển thuật tốn giảm chiều t-SNE (van der Maaten Hinton, 2008) ứng dụng phổ biến để trực quan hóa từ vựng nhúng (visualization word embeddings) Joseph Turian vào năm 2009 44 Chương 12 - Ứng dụng Other Applications Trong phần này, đề cập đến số loại ứng dụng khác deep learning khác từ việc nhận dạng đối tượng , nhận dạng giọng nói nhiệm vụ xử lý ngôn ngữ tự nhiên (object recognition, speech recognition, and natural language processing) thảo luận Phần III sách mở rộng quy mô cho nhiệm vụ lĩnh vực nghiên cứu chủ yếu Recommender Systems (Hệ thống đề xuất) Một gia đình ứng dụng học máy lĩnh vực công nghệ thông tin khả đưa khuyến nghị mặt hàng cho khách hàng tiềm khách hàng Có thể phân biệt hai loại ứng dụng chính: quảng cáo trực tuyến đề xuất mục (thường khuyến nghị nhằm mục đích bán sản phẩm) Cả hai dựa vào dự đoán mối liên hệ người dùng mục, dự đoán xác suất số hành động (người dùng mua sản phẩm số hành động liên quan) mức tăng dự kiến (có thể phụ thuộc vào giá trị sản phẩm) quảng cáo hiển thị đề xuất thực liên quan đến sản phẩm cho người dùng Internet phần tuyệt vời nhiều hình thức quảng cáo trực tuyến khác Các phần kinh tế mua sắm trực tuyến Các công ty bao gồm Amazon eBay sử dụng học máy, bao gồm học sâu, cho khuyến nghị sản phẩm họ Đôi khi, mặt hàng khơng phải sản phẩm thực bán Ví dụ bao gồm cột chọn để hiển thị nguồn cấp tin tức mạng xã hội, giới thiệu phim để xem, giới thiệu câu chuyện cười, giới thiệu lời khuyên từ chuyên gia, người chơi phù hợp cho trò chơi video kết hợp người dịch vụ hẹn hị Thơng thường, vấn đề xử lý vấn đề học giám sát: đưa số thông tin mục người dùng, dự đoán hành động quan tâm liên quan (người dùng nhấp vào quảng cáo, người dùng nhập xếp hạng, người dùng 45 Chương 12 - Ứng dụng nhấp vào nút "thích") mua sản phẩm, người dùng dành số tiền sản phẩm, chi tiêu người dùng truy cập trang cho sản phẩm, v.v.) Điều thường kết thúc vấn đề hồi quy (dự đốn số giá trị kỳ vọng có điều kiện) vấn đề phân loại theo tính tốn (dự đốn xác suất có điều kiện kiện bị loại bỏ) Công việc nguyên thủy hệ thống giới thiệu dựa thông tin tối thiểu cho dự đoán này: ID người dùng ID mục Trong bối cảnh này, cách tổng quát để khái quát hóa dựa vào giống mẫu giá trị biến mục tiêu cho người dùng khác cho mục khác Giả sử người dùng người dùng giống mục A, B C Từ điều này, chúng tơi suy người dùng người dùng có sở thích tương tự Nếu người dùng thích mục D, điều phần mềm mạnh mẽ mà người dùng thích D Thuật tốn dựa nguyên tắc có tên collaborative filtering Cả hai phương pháp tiếp cận phi tham số (chẳng hạn phương pháp lân cận gần dựa tương đồng ước tính mẫu tham chiếu) phương thức tham số Các phương thức tham số thường dựa vào việc học biểu diễn phân tán (còn gọi nhúng) cho người dùng cho mục Dự đoán song song biến mục tiêu (chẳng hạn đánh giá) phương pháp tham số đơn giản thành công thường xem thành phần hệ thống tiên tiến Dự đoán thu sản phẩm dấu chấm người dùng nhúng mục nhúng (có thể sửa số phụ thuộc vào ID người dùng ID mục) Cho ˆR ma trận chứa dự đoán chúng ta, Một ma trận A với người dùng nhúng hàng nó, ma trận B kết nối ma trận với cột Cho b c vectơ chứa tương ứng loại thiên vị cho người dùng (đại diện cho mức độ tổng quát tích cực người dùng nói chung) cho mục (đại diện cho mức độ phổ biến chung nó) Dự đốn bilinear thu sau: = + + (12.20) 46 Chương 12 - Ứng dụng Thông thường muốn squared error (bình phương lỗi) đánh giá dự đốn đánh giá thực tế nhỏ User embeddings item embeddings nhìn trực quan cách thuận tiện chúng có chiều liệu nhỏ (2 3) Một cách để đạt điều thực singular value decomposition ma trận = sau đặt Một vấn đề với SVD xử lý thiếu hụt số phần tử với giá trị Thay trả giá cho dự đoán với số phần tử bị thiếu hụt Đạt squared error nhìn nhận đánh giá dễ dàng cực tiểu hóa dựa gradient optimization (sự tối ưu dựa tụt dốc) SVD bilinear prediction phương trình 12.20 thực tốt thi Netfix (Bennett Lanning 2007), mục đích dự đốn đánh giá phim, dựa đánh giá trước tập người dùng ẩn danh lớn Nhiều chuyên gia học máy tham gia vào thi này, diễn từ năm 2006 đến năm 2009 Nó phát triển cấp độ nghiên cứu hệ thống đề xuất Ngay simple bilinear prediction hay SVD, không dành chiến thắng, thành phần mơ hình đại diện hầu hết thí sinh tham gia bao gồm người chiến thắng (Töscher et al., 2009; Koren,2009) Ngồi mơ hình song tuyến với biểu diễn phân tán, ứng dụng mạng neural cho phép cộng tác dựa mơ hình xác suất khơng trực tiếp RBM (Salakhutdinov cộng sự, 2007) RBM yếu tố quan trọng tập hợp phương pháp giành chiến thắng Netflix (Töscher et al., 2009; Koren, 2009) Các biến thể nâng cao ý tưởng việc nhân tố hóa ma trận xếp hạng khám phá cộng đồng mạng neutral (Salakhutdinov Mnih, 2008) Tuy nhiên, hệ thống lọc có giới hạn bản: mục người dùng giới thiệu, việc thiếu lịch sử xếp hạng có nghĩa đánh giá tương đồng với mục người dùng khác mức độ liên kết người dùng mục có Điều gọi vấn đề khuyến nghị bắt đầu lạnh Một cách chung để giải đề xuất khởi động lạnh giới thiệu thêm thông tin người dùng mục Ví dụ, thông 47 Chương 12 - Ứng dụng tin bổ sung thơng tin chun nghiệp người dùng tính mục Các hệ thống sử dụng thơng tin gọi hệ thống đề xuất dựa nội dung Việc lập đồ từ tập hợp tính người dùng tính mục phong phú để nhúng học thơng qua kiến trúc học sâu (Huang cộng sự, 2013; Elkahky cộng sự, 2015) Các kiến trúc học sâu, chẳng hạn mạng chuyển đổi, áp dụng để học cách trích xuất tính từ nội dung phong phú, chẳng hạn âm từ âm nhạc (van den rd et al., 2013) Trong cơng việc đó, mạng lưới chuyển đổi có tính âm đầu vào tính tốn nhúng cho hát liên quan Các sản phẩm chấm hát nhúng nhúng cho người dùng sau sử dụng để dự đoán liệu người dùng nghe hát Exploration versus Exploitation (Thăm dò so với khai thác) Khi đưa khuyến nghị cho người dùng, vấn đề phát sinh vượt xa việc học tập giám sát thông thường vào lĩnh vực học tập tăng cường Nhiều vấn đề khuynh hướng tái đề xuất mơ tả xác mặt lý thuyết kẻ cướp theo ngữ cảnh (Langford Zhang, 2008; Lu cộng sự, 2010) Vấn đề sử dụng hệ thống đề xuất để thu thập liệu, nhận thiên vị không đầy đủ tùy chọn người dùng: thấy phản hồi người dùng mục đề xuất cho họ khơng phải mục khác Ngồi ra, số trường hợp, không nhận thông tin người dùng mà khơng có đề xuất (ví dụ: với đấu giá quảng cáo, giá đề xuất cho quảng cáo ngưỡng giá tối thiểu không giành phiên đấu giá, để quảng cáo không hiển thị) Quan trọng hơn, không nhận thông tin ngồi kết từ việc đề xuất mục khác Điều giống đào tạo lớp học cách chọn lớp ˆy cho ví dụ đào tạo x (thường lớp có xác suất cao theo mơ hình) sau nhận phản 48 Chương 12 - Ứng dụng hồi cho dù lớp hay không Rõ ràng, ví dụ thơng tin chuyển tải nhiều trường hợp giám sát, nhãn y truy cập trực tiếp, cần có nhiều ví dụ Tồi tệ hơn, khơng cẩn thận, tiếp tục với hệ thống tiếp tục chọn định sai ngày nhiều liệu thu thập, định xác ban đầu có xác suất thấp: người học chọn định đúng, khơng tìm hiểu định Điều tương tự tình hình học tập tăng cường có phần thưởng cho hành động chọn quan sát Nói chung, việc học tăng cường liên quan đến chuỗi hành động nhiều phần thưởng Kịch kẻ cướp trường hợp đặc biệt việc học tăng cường, người học thực hành động nhận phần thưởng Các vấn đề tên cướp dễ dàng điều mà người học biết phần thưởng kết hợp với hành động Trong bối cảnh học tập tăng cường chung, phần thưởng cao phần thưởng thấp gây hành động gần hành động khứ xa xôi Thuật ngữ cấm theo ngữ cảnh đề cập đến trường hợp hành động thực bối cảnh biến đầu vào số người thơng báo định Ví dụ, chúng tơi biết danh tính người dùng chúng tơi muốn chọn mục Ví dụ, chúng tơi biết danh tính người dùng chúng tơi muốn chọn mục Ánh xạ từ ngữ cảnh đến hành động gọi sách Vịng lặp phản hồi người học phân phối liệu (giờ phụ thuộc vào hành động người học) nghiên cứu trung tâm tài liệu học tập cốt lõi kẻ cướp Học tăng cường đòi hỏi phải lựa chọn thương mại thăm dò khai thác Khai thác đề cập đến hành động đến từ phiên tại, tốt sách học — hành động mà biết đạt phần thưởng cao Thăm dò đề cập đến hành động cụ thể để thu thập thêm liệu đào tạo Nếu biết bối cảnh x, hành vi cho phần thưởng 1, khơng biết có phải phần thưởng tốt hay khơng Chúng tơi có 49 Chương 12 - Ứng dụng thể muốn khai thác sách tiếp tục thực hành động để tương đối chắn việc nhận phần thưởng 1.Tuy nhiên, chúng tơi muốn khám phá cách thử thực hành động a' Chúng tơi khơng biết điều xảy thử hành động a' Chúng hy vọng nhận phần thưởng 2, chạy rủi ro nhận phần thưởng Dù cách nào, chúng tơi đạt số kiến thức Thăm dị thực theo nhiều cách, từ hành động ngẫu nhiên ngẫu nhiên nhằm che phủ tồn khơng gian hành động có thể, phương pháp dựa tomodel tính tốn lựa chọn hành động dựa số lượng khơng mong muốn mơ hình số lượng khơng chắn phần thưởng Nhiều yếu tố xác định mức độ mà chúng tơi thích thăm dò khai thác Một yếu tố bật quy mô thời gian quan tâm Nếu đại lý có lượng thời gian ngắn để tích luỹ phần thưởng, chúng tơi muốn khai thác nhiều Nếu đại lý có thời gian dài để tích lũy phần thưởng, chúng tơi bắt đầu với nhiều khám phá để hành động tương lai lên kế hoạch hiệu với nhiều kiến thức Khi thời gian trơi qua sách học chúng tơi cải thiện, hướng đến việc khai thác nhiều Học giám sát khơng có giao thương thăm dị khai thác tín hiệu giám sát luôn xác định đầu xác cho đầu vào Khơng cần phải thử kết đầu khác để xác định xem đầu có tốt đầu mơ hình hay khơng Chúng ta ln biết nhãn đầu tốt di chuyển việc đánh giá so sánh sách Học tăng cường liên quan đến tương tác người học mơi trường Vịng phản hồi có nghĩa khơng đơn giản đánh giá cao hiệu suất người học cách sử dụng tập hợp giá trị đầu vào thử nghiệm Chính sách 50 Chương 12 - Ứng dụng xác xác định đầu vào nhìn thấy Dudik et al (2011) trình bày kỹ thuật để đánh giá tên cướp theo ngữ cảnh Knowledge Representation, Reasoning and Question Answering (Biểu diễn tri thức, lý luận trả lời câu hỏi) Các phương pháp học sâu thành cơng việc mơ hình hóa ngơn ngữ, dịch máy xử lý ngôn ngữ tự nhiên sử dụng nhúng cho ký hiệu (Rumelhart et al., 1986a) từ (Deerwester cộng sự, 1990; Bengio cộng sự, 2001) Những nhúng đại diện cho kiến thức ngữ nghĩa từ khái niệm riêng lẻ Một biên giới nghiên cứu phát triển nhúng cho cụm từ cho mối quan hệ từ kiện Các công cụ tìm kiếm sử dụng máy học cho mục đích này, nhiều việc phải làm để cải thiện biểu diễn tiên tiến Knowledge, Relations and Question Answering (Kiến thức, quan hệ trả lời câu hỏi) Một hướng nghiên cứu thú vị xác định cách biểu diễn phân tán huấn luyện để nắm bắt mối quan hệ hai thực thể Những mối quan hệ cho phép thức hóa kiện đối tượng cách đối tượng tương tác với Trong toán học, mối quan hệ nhị phân tập hợp cặp đối tượng lệnh Các cặp nằm tập hợp cho có quan hệ cặp khơng có khơng Ví dụ, xác định quan hệ “nhỏ hơn” tập hợp thực thể {1,2,3} cách xác định tập hợp cặp đặt hàng S = {(1,2), (1,3), (2, 3)} Một quan hệ xác định, sử dụng động từ Bởi (1,2) ∈ S, nói nhỏ Bởi (2,1) ∈ S, khơng thể nói nhỏ Tất nhiên, thực thể có liên quan với khơng cần số Chúng ta xác định mối quan hệ is_a_type_of chứa liệu (chó, động vật có vú) 51 Chương 12 - Ứng dụng Trong bối cảnh AI, nghĩ mối quan hệ câu ngơn ngữ có cấu trúc cú pháp có cấu trúc cao Mối quan hệ đóng vai trò động từ, hai đối số cho quan hệ đóng vai trị chủ thể đối tượng Những câu có dạng tập hợp thẻ (subject, verb, object) (12.21) với giá trị (12.22) Chúng ta định nghĩa thuộc tính, khái niệm tương tự tới quan hệ trích đối số (12.23) 52 .. .Chương 12 - Ứng dụng MỤC LỤC Trong chương này, mô tả cách áp dụng học sâu cho ứng dụng thị giác máy tính (computer vision), nhận dạng giọng... thông thường Với ứng dụng khác thảo luận chương này, có nhiều kỹ thuật sử dụng mạng neural áp dụng thành công vào xử lý ngôn ngữ tự nhiên Để đạt hiệu tốt nhất, triển khai nhiều ứng dụng, vài chiến... điểm liệu đầu vào cho trước Cấu trúc động sử dụng bên mạng neuron riêng lẻ cách xác định tập Chương 12 - Ứng dụng đặc trưng (các thành phần ẩn (hidden unit)) để tính tốn biết trước thông tin từ liệu