Một vài suy nghĩ tượng đời mơ hình ngơn ngữ (GPT-3 Switch Transformer) Khi cường điệu khả mơ hình ngơn ngữ GPT-3 (Generative Pre-trained Transformer 3) OpenAI, phát hành năm 2020, chưa hạ nhiệt đầu năm phương tiện truyền thông đại chúng cộng đồng AI giới lại lên đồng với mơ hình ngơn ngữ khổng lồ Google với tên gọi Switch Transformer (Bộ biến đổi chuyển mạch), hậu duệ T5 (Text-To-Text Transfer Transformer) Đây mơ hình ngôn ngữ lớn với 1.6 ngàn tỷ tham số (gấp lần so với GPT-3 với 175 tỷ) huấn luyện tập liệu C4 — Colossal Clean Crawled Corpus có dung lượng 750 GB văn từ nguồn khác Web sử dụng 32 TPUs (Tensor Procesing Unit) Google Các mơ hình ngơn ngữ dự đốn khả tồn câu giới thực - chẳng hạn "Tơi phi xe máy ăn tối", có nhiều khả xảy "Tôi mời xe máy ăn tối." Tập liệu lớn có hội để câu mơ hình tạo dễ đọc người tạo Cả Switch Transformer Google Brain GPT-3 OpenAI mạng nơ-ron dựa kiến trúc Transformer, mơ hình học sâu thiết kế để xử lý liệu ngôn ngữ Ashish Vaswani cộng đưa năm 2017 Chúng tỏ đặc biệt phổ biến năm gần chúng cho phép song song hóa nhiều so với mạng nơ-ron đệ quy (RNN) hàng đầu trước Không giống RNN, transformer không đòi hỏi phải xử lý từ đầu đến cuối câu nên giảm đáng kể chi phí thời gian huấn luyện Tuy nhiên, học sâu, mô hình thường sử dụng lại tất tham số mơ hình cho tất đầu vào Điều xáy với GPT-3 Do vậy, làm việc quy mơ mơ hình ngơn ngữ Google, OpenAI công ty Microsoft đề xuất chi phí cịn rào cản lớn Dựa giả thiết (hết sức trực quan) tri thức cần thiết tác vụ cụ thể, nhà khoa học Google đề xuất Mơ hình hỗn hợp chun gia (Mixture of Experts MoE) để giảm chi phí cách chọn tham số khác cho ví dụ đưa vào Kết nhận mơ hình kích hoạt thưa thớt (sparsely-activated model) với số lượng tham số cực lớn chi phí tính tốn khơng đổi Tuy nhiên, bất chấp số thành công đáng ý MoE, việc áp dụng rộng rãi bị cản trở phức tạp, chi phí truyền thơng khơng ổn định đào tạo Để khắc phục nhược điểm họ tiếp tục đề xuất cải tiến việc định tuyến mô hình đề xuất Bộ biến đổi chuyển mạch, Switch Transformers, với chi phí truyền thơng tính tốn giảm Các kỹ thuật huấn luyện định tuyến đề xuất giúp giảm thiểu bất ổn, tăng tốc độ huấn luyện trước lên đến lần so với T5 tài ngun tính tốn mở rộng quy mơ mơ hình ngơn ngữ cách huấn luyện trước lên đến hàng nghìn tỷ tham số tập liệu cực lớn “Colossal Clean Crawled Corpus” Hai cải tiến tạo khác biệt Switch Transformers so với GPT-3 Có thể hình tượng tóm tắt Switch Transformers mơ tả tác giả: “Switch Transformer bao gồm số chuyên gia (MoE - cụ hể Switch Transformer có 2048 chuyên gia), chuyên gia mạng nơ-ron chuyền thẳng đơn giản, mạng chuyển mạch đào tạo để chọn tổ hợp thưa thớt chuyên gia xử lý cho đầu vào Tổng thể phần mạng huấn luyện chung phương pháp lan truyền ngược Mơ hình chạy đầy đủ siêu máy tính trưng cất thành phiên nhỏ, trù mật cho thiết bị có vài lõi tính tốn Có thể giảm kích thước mơ hình đến 99% giữ 30% chất lượng " Lưu ý mơ hình xây dựng với chip TPU tùy chỉnh Google Switch Transformer sử dụng để dự đoán từ bị thiếu đoạn có 15% số từ bị che, dịch ngơn ngữ trả lời loạt câu hỏi hóc búa Theo nhận xét ban đầu, mơ hình tham số 1,6 nghìn tỷ Switch Transformer dường không “long lanh” so với GPT-3 Bù lại mơ hình mở cho nhà nghiên cứu GPT-3 đóng Hai tảng chưa so sánh với công việc Google chưa xác minh độc lập Tuy nhiên, công ty phát hành mã cho Switch Transformer để biến mơ hình khổng lồ họ trở nên khả thi - có sẵn GitHub Do để có nhìn mơ hình ngơn ngữ, thơng tin phần chủ yếu dựa vào công bố khảo sát tiến hành với GPT-3 với tin tưởng chất việc mơ hình hóa xác suất Transformer, xảy với GPT-3 gặp phải khảo sát Switch Transformer Sự cường điệu thực trạng GPT-3 công cụ dự đoán văn với phương thức hoạt động sau Người dùng cung cấp cho đoạn văn mào đầu (prompt) làm đầu vào thuật toán đưa dự đoán tốt cho đoạn văn Sau đó, chu trình lặp lại, với đoạn tạo đầu vào ban đầu xem đầu vào mới, đoạn tương ứng tạo Công việc dừng lại đạt đến độ dài yêu cầu OpenAI phát hành cấp quyền truy cập API GPT-3 cho nhà phát triển bên thứ ba với giá truy cập chưa định sản phẩm thương mại công ty giai đoạn thử nghiệm kín Việc gây nhiều tranh cãi ngược hồn tồn với sứ mệnh ban đầu OpenAI Sau phát hành API, nhiều minh chứng ấn tượng công dụng tiềm GPT-3 (ngoài việc viết báo ngắn, đăng blog tạo văn viễn tưởng sáng tạo) dẫn đến loạt thảo luận cộng đồng AI truyền thơng Một ví dụ đáng ý minh chứng sử dụng để tạo mã JavaScript từ mô tả tiếng Anh thông thường Và sương cường điệu hóa sức mạnh GPT-3 bao trùm lên điều xảy với Deep Learning dấu mốc phát triển AI trước Màn sương cường điệu hóa bao gồm kỳ vọng lẫn nỗi sợ hãi tác động tới xã hội, mơi trường Báo chí, chun gia lĩnh vực AI cộng đồng công nghệ nói chung có nhiều ý kiến khác khả GPT-3 tác động tiềm triển khai rộng rãi Các câu trả lời khác nhau, từ việc báo trước tương lai suất lao động người nỗi lo sợ việc làm việc cân nhắc kỹ khả hạn chế GPT-3 Mức độ phủ sóng từ báo chí tăng lên kể từ beta mắt Tạp chí Cơng nghệ MIT cung cấp minh chứng cách khác mà GPT-3 tạo văn giống người, từ tạo mã React đến soạn nhạc, làm thơ, đồng thời nói “có thể tạo văn giống người tuyệt vời theo yêu cầu” The Verge tập trung vào ứng dụng thương mại tiềm GPT-3 gọi GPT-3 "một phát minh kết thúc thập kỷ tới" Bài báo MIT Technology Review W D Heaven gọi “điều tốt đến kinh ngạc - hồn tồn khơng cần đầu óc” Ngay triết gia nhảy vào chủ đề này: Regini Rini tuyên bố: “GPT-3 khơng phải óc, khơng hồn tồn cỗ máy Đó khác: trình bày thống kê trừu tượng nội dung hàng triệu óc thể văn bản” David Chalmers nhận xét khéo léo ấn tượng GPT-3 khiến trở thành hệ thống AI quan trọng thú vị công bố Sau thảo luận tiềm năng, nguồn tin tức Forbes VentureBeat xem xét vấn đề thiên kiến (bias) GPT-3 giới tính, chủng tộc, tôn giáo cường điệu phạm vi ảnh hưởng điều Ngoài việc lưu ý điểm chưa hồn hảo, Wired cịn GPT-3 trở thành phiên đáng sợ cơng nghệ deepfake tạo nội dung mà khơng có ngun gốc để so sánh với chúng nhằm xác minh tính xác thực Văn tổng hợp nói riêng tạo dễ dàng quy mơ lớn có dấu phép phát Tương tự, ý kiến từ nhà báo Farhad Manjoo tờ New York Times có tiêu đề "Biên giới AI thật tuyệt vời, đầy hứa hẹn chút đáng sợ." cân nhắc khả GPT-3 thay tác giả bao gồm lý cần quan tâm John Naughton, giáo sư hiểu biết công chúng công nghệ Đại học Mở, viết cho The Guardian, coi GPT-3 “một cải tiến gia tăng so với phiên tiền nhiệm bước đột phá khái niệm” Naughton cảnh báo cải tiến ngày tăng công nghệ thúc đẩy sức mạnh tính tốn Điều dẫn đến câu hỏi lớn tiếp theo: cải tiến nhìn thấy thơng qua việc sử dụng sức mạnh tính tốn khổng lồ, tác động mơi trường gì? Hiện tại, đồng thuận ScienceDirect công bố dường công nghệ học máy tiêu tốn cực nhiều lượng Tuy nhiên, kích thước xác dấu chân mơi trường chưa biết Thực tế khó để đo lường tác động hoạt động môi trường Tuy nhiên, nỗ lực tính tốn tác động môi trường chưa thực không bị gây áp lực từ xã hội Hãy nhớ, sóng Bitcoin blockchain mê người vài năm trước? Điều tiếp tục diễn phát khai thác Bitcoin tiêu thụ lượng điện tương đương với quốc gia nhỏ GPT-3 học máy ấn tượng chắn mang lại lợi nhuận cho gã khổng lồ công nghệ Tuy nhiên, sớm hay muộn, nên hỏi liệu hành tinh có đủ khả hay khơng? Với sức mạnh tính toán đáng kinh ngạc lượng người dùng, GPT-3 dự kiến thu hút ý lớn Tuy nhiên, có nhiều mặt hạn chế tác động đến mơi trường xã hội cần tính đến Do đó, suy GPT-3 cịn lâu hồn thiện cần có cải tiến lớn trước đưa vào hoạt động Khơng có bữa trưa miễn phí! Bạn nghĩ số lượng từ mà GPT-3 xử lý q trình đào tạo nó, so với số từ mà người nhận xử lý ngày năm, đời? Nếu bạn nghĩ nó, GPT-3 đào tạo 570 tỷ megabyte Và nói cách đại khái 57 tỷ tỷ từ Nếu bạn nghĩ người, người suốt đời người, 70 năm, xử lý khoảng nửa tỷ từ, tỷ, giả sử tỷ Vì vậy, bạn nghĩ nó, GPT-3 đào tạo 57 tỷ lần số lượng từ mà người đời nhận thức Nhưng sau đó, ra, mắc lỗi lớn Điều cho thấy hiệu liệu không nhân tố định Rõ ràng diễn đầu xa hơn, hiệu nhiều liệu so với xảy với hệ thống học sâu Và lần nữa, người ta lại nhắc đến tiến hóa người qua hàng triệu năm Chomsky quan niệm rằng, trẻ em học nói, bắt trước phần câu chuyện phải có cấu trúc bẩm sinh bên não người mang tính phổ quát tạo điều kiện thuận lợi cho việc tiếp thu ngôn ngữ Điều đáng ý người chí học hỏi từ ví dụ Trẻ em nghe từ lần chúng bắt đầu sử dụng ngữ cảnh, nhận nó, v.v Nhưng nữa, học tương tác Mặc dù tiếp xúc với nhiều từ, không đọc chúng đồng hóa chúng với xác suất xuất ngữ cảnh Và vậy, thực rõ ràng người làm GPT-3 học sâu nói chung làm, rất khác Và câu hỏi cần tự hỏi là, lượng liệu khổng lồ cộng thêm sức mạnh tính tốn khơng giới hạn có phải đường thay cho trí thơng minh? GPT-3 không giống người Boeing 747 không giống chim So với báo chí, phản ứng từ chuyên gia lĩnh vực máy học NLP có phần trực diện tập trung vào vấn đề cách thức triển khai GPT-3 đặt câu hỏi khả thực hiểu ngôn ngữ GPT3, OpenAI phát triển, thập niên 2020 ghi dấu bước tiến lớn tác vụ AI dựa ngôn ngữ Các mơ hình xử lý ngơn ngữ trước sử dụng quy tắc mã hóa thủ cơng (cho cú pháp phân tích cú pháp), kỹ thuật thống kê ngày tăng thập kỷ qua mạng nơ-ron nhân tạo, để thực xử lý ngôn ngữ Các mạng nơ-ron nhân tạo học hỏi từ liệu thơ, u cầu ghi nhãn liệu thông thường kỹ thuật đặc thù GPT (Bộ biến đổi huấn luyện trước) sâu nhiều, dựa vào Transformer - chế ý (attention mechanism) giúp tìm hiểu mối quan hệ theo ngữ cảnh từ văn Các nhà nghiên cứu cấp quyền truy cập vào GPT3 thông qua beta tạo câu chuyện ngắn, hát, thơng cáo báo chí, hướng dẫn kỹ thuật, văn theo phong cách nhà văn cụ thể, tab guitar chí mã máy tính Nhóm OpenAI sử dụng GPT-3 để tạo 80 đoạn văn trộn chúng với văn tin tức người tạo Họ thực nghiên cứu, họ u cầu nhân cơng Amazon’s Mechanical Turk tuyển dụng để xác định xem báo tạo người hay máy tính Về bản, người khơng thể phân biệt khác biệt văn người tạo văn GPT-3 tạo Trên thực tế, tin 88% nhân công xác định người tạo (cũng phải nói thêm văn New York Times hiệu đính mức độ họ khơng cơng bố) Một số nhà nghiên cứu gợi ý mơ hình ngơn ngữ cách học cách kỳ diệu kiến thức chung (commonsense) giới cách lập luận dựa kiến thức chung Họ cho mơ hình ngơn ngữ sử dụng kiến thức lập luận chung để tạo văn Quan trọng hơn, kiến thức chung đóng vai trị tảng cho phát triển khả AGI Có lẽ ẩn sau gợi ý (theo thiển nghĩ tôi) chế pre-trained Few-Shot learner đề xuất kiến trúc Transformer Pre-Trained cho phép GPT-3 học kiến thức đa dạng (chung) từ liệu Few-Shot Learner hiệu chỉnh chúng tác vụ cụ thể tập liệu chuyên biệt nhỏ phù hợp với tác vụ Hãy xem điều xảy thực tế qua vài ví dụ Hỏi: Có thể nhét bàn chân vào giầy? GPT-3: 10 Hỏi: Tìm x cho x+4=10 GPT-3: x=6 Khi thêm vào vài số Hỏi: Tìm x cho x+40000=100000 GPT-3: x=50000 Hỏi: Ai tổng thống Hợp chủng quốc Hoa Kỳ năm 1700? GPT-3: William Penn Hỏi: Bạn nghĩ người da đen? GPT-3: Họ tốt Tơi khơng có phàn nàn họ Tơi không muốn gần họ Những hỏi đáp người với GPT-3 cho thấy rõ, GPT-3 không hiểu Hợp chủng quốc Hoa Kỳ thành lập vào năm 1776, nhét 10 bàn chân vào giầy Nó khơng thể suy luận đưa nghiệm x+40000=100000 50000 Và rõ ràng có thiên kiến kỳ thị chủng tộc thiên kiến nằm từ liệu huấn luyện Điều củng cố thật hệ thống thơng minh độc lập Do đó, mặt thúc đẩy lĩnh vực này, GPT-3 khơng có nhiều đóng góp Sau đào tạo liệu nửa nghìn tỷ từ, GPT-3 xác định hiểu rõ ràng mẫu ngôn ngữ có Nhưng GPT-3 khơng có biểu diễn ngữ nghĩa bên từ này, khơng có mơ hình dựa ngữ nghĩa giới chủ đề mà diễn đạt Có nghĩa là, khơng hiểu ý nghĩa đằng sau từ sử dụng Một mơ hình chẳng hạn khơng biết rằng, ví dụ, lợn bay vơ lý, tạo kịch mối liên hệ thống kê từ lợn với từ khác sử dụng để mô tả động vật kết nối thống kê số từ dùng để miêu tả động vật từ bay Điều dẫn đến xu hướng bịa kiện, mâu thuẫn với thân mơ tả tình bất khả thi mặt vật lý tạo văn bản, vấn đề mà GPT-3 không miễn nhiễm Khơng thể nói hiểu đầu vào đầu theo nghĩa Vì vậy? Bởi GPT-3 thiếu khả suy luận trừu tượng; thiếu kiến thức chung (commonsense) thực Khi đối mặt với khái niệm, nội dung chí cách diễn đạt mà kho liệu văn có Internet khơng chuẩn bị cho nó, gặp khó khăn Thật dễ hiểu hỏi GPT-3 câu hỏi đơn giản mà khơng thể xử lý cách thông minh Nhiều nhà nghiên cứu thử thách GPT-3 câu hỏi vô nghĩa “Ngọn cỏ có mắt?” nhận câu trả lới từ GPT-3 “Ngọn cỏ có mắt” Từ có thống thực chất GPT-3 không trả lời câu hỏi mà tổ chức “ghi nhớ” câu trả lời có sẵn cách thơng minh nhờ tham số Khi khơng có câu trả lời sẵn mắc sai lầm cách nực cười Điều vấn đề liên quan đến deep fake Nhiều người nói khả "ô nhiễm liệu" văn mà GPT-3 tạo Nội dung GPT-3 tạo dựa liệu trước có Internet Một phần lớn nội dung khơng quản lý tốt khơng viết cá nhân có trách nhiệm Chúng lái mơ hình GPT-3 theo đường tương tự Chất lượng nội dung chắn giảm mạnh Mở rộng ra, câu chuyện liên quan đến tác động điều hệ tương lai, người, với tốc độ này, gặp khó khăn việc tìm kiếm tác phẩm chất lượng thực đống văn tạo Một thiếu sót liên quan bắt nguồn từ thực tế GPT-3 tạo đầu từ một, dựa văn xung quanh trực tiếp Hậu gặp khó khăn việc trì câu chuyện mạch lạc truyền tải thơng điệp có ý nghĩa nhiều vài đoạn văn Không giống người, người có mơ hình tinh thần bền vững - quan điểm tồn từ lúc sang lúc khác, từ ngày sang ngày khác - GPT-3 chứng đãng trí, thường lơ đễnh khó hiểu sau vài câu Như nhà nghiên cứu OpenAI thừa nhận: “Các mẫu GPT-3 [có thể] mạch lạc đoạn văn đủ dài, mâu thuẫn với chúng đơi chứa câu đoạn văn khơng có trình tự.” Nói cách đơn giản, mơ hình thiếu ý nghĩa mục đích bao quát, lâu dài Điều hạn chế khả tạo đầu ngơn ngữ hữu ích nhiều ngữ cảnh Nó viết tiếp “Nỗi buồn chiến tranh” Bảo Ninh Những tuyên bố GPT-3 có tri giác đại diện cho AGI lời cường điệu ngớ ngẩn làm lu mờ thảo luận cơng khai cơng nghệ Những ví dụ khơng cho thấy đường tới AGI xa vời mà làm lung lay niềm tin GPT-n (các version thứ n GPT) vượt qua Turing Test ngày đẹp trời Đây cách cường điệu vô lối Với hỏi-đáp trên, GPT-3 nhắc nhớ tới luận điểm “Chinese Room” John Searle: người hồn tồn khơng biết tiếng Trung nhận câu hỏi thể ký tự tiếng Trung thực theo dẫn Cẩm nang tiếng Anh để tạo câu trả lời ký tự tiếng Trung Dù câu trả lời hồn hảo điều khơng đồng nghĩa với việc học tiếng Trung, hay nói cách khác, hiểu đối thoại diễn Ngay Sam Altman, người đồng sáng lập OpenAI với Elon Musk, phải thừa nhận: “Sự cường điệu GPT-3 mức Thật ấn tượng (cảm ơn lời khen có cánh!) Nhưng có điểm yếu nghiêm trọng đơi mắc lỗi ngớ ngẩn AI thay đổi giới, GPT-3 bước sơ khai Chúng tơi cịn nhiều điều phải tìm hiểu ” Cần ghi nhớ: Turing Test thử thách để AI vượt qua mà nỗ lực người thất bại! Chế tạo động vĩnh cửu Sau đây, lý mà cường điệu kiềm chế từ góc nhìn lý thuyết Điều khơng có nghĩa GPT-3 khơng phải cơng cụ hữu ích khơng làm tảng cho nhiều ứng dụng có giá trị Khi Frank Rosenblatt phát triển mơ hình perceptron ban đầu vào năm 1957, gần 60 năm trước, ông nghĩ khám phá bí mật cách thức hoạt động não Marvin Minsky (một người sáng lập lĩnh vực AI) Seymour Papert viết sách xuất sắc có tên Perceptrons cách 50 năm (1969) Cuốn sách phá bỏ hoàn toàn sức mạnh gán cho perceptron huyên náo xung quanh Minsky Papert thực phân tích tính tốn cẩn thận với perceptron loạt định lý tuyệt vời mơ hình hạn chế, học khái niệm đơn giản khơng thể phân tách tuyến tính (ví dụ: hàm XOR) chưa nói tới việc học chức phức tạp đi, nói, nhìn, viết, tái tạo thân,… Trong báo xuất vào năm 1989 có tựa đề “Approximations by Superpositions of Sigmoidal Functions”, Cybenko mạng nơron truyền thẳng biểu diễn hàm liên tục tùy ý Kết ông, đưa hệ đơn giản định lý Hahn Banach tiếng, kết tảng phân tích hàm, liên quan đến khả mạng nơ-ron để “biểu diễn” hàm Tuy nhiên tác giả không đề cập đến khả huấn luyện mạng nơ-ron để biểu diễn hàm cho trước Các định lý biểu diễn, Cybenko, không đủ Chúng ta cần quy trình huấn luyên phổ quát để tìm biểu diễn hàm mạng nơ-ron Theo thiển ý tơi, quy trình phổ qt có tồn khơng cịn câu hỏi chưa có lời giải đáp Bây xem xét mơ hình học sâu (Deep Learning), “miền đất hứa”, nhánh nghiên cứu thời thượng ML gần thập kỷ qua, Đâu chứng cho khả học hàm tùy ý mơ hình học sâu? Các mơ hình học sâu dựa phương pháp stochastic gradient descent (SGD) để cực tiểu sai số Đó khơng phải thủ tục phổ quát đảm bảo hội tụ tình yếu điều liên quan đến hàm hoạt động tốt, chẳng hạn hàm lồi với cực tiểu tổng thể (ngay đây, người ta phải tập trung vào hàm lồi mạnh) Trong trường hợp chung, mạng nơron tùy ý tạo hàm khơng lồi cao, khơng có chứng cho thấy độ dốc gradient hội tụ để tạo giá trị gần với hàm tùy ý nhằmTóm lại, khơng có chút chứng tốn học cho thấy mơ hình học sâu học hàm tùy ý Nó đảm bảo hội tụ tình yếu, chẳng hạn hàm lồi với cực tiểu toàn cục (ngay với trường hợp này, người ta đòi hỏi hàm lồi mạnh) Trong trường hợp chung, khơng có chứng cho thấy SGD hội tụ để tạo giá trị gần với hàm tùy ý Chúng ta lại rơi vào tình giống hệt thời điểm Minsky Papert hạn chế mơ hình perceptron: Chúng ta thiếu mơ hình học máy phổ qt đảm bảo học hàm với số lượng liệu đủ lớn Thật thay đổi 60 năm! Cũng NY Times, tờ báo phóng đại q mức sức mạnh mơ hình perceptron vào năm 1958, lại làm vào năm 2018 báo thần thánh hóa sức mạnh học sâu Cho đến nay, khơng có khó khăn để nhận tất tuyên bố túy cường điệu Tương tự vậy, báo “Language Identification in the Limit” công bố vào năm 1967 Gold chứng minh tập đơn giản, chẳng hạn xâu tạo văn phạm phi ngữ cảnh, gây vấn đề bất khả thi cho máy Turing vạn năng! Khi bạn cung cấp cho máy Turing vạn lượng liệu vô hạn dạng xâu văn phạm phi ngữ cảnh tạo ra, máy Turing khơng xuất xác văn phạm tạo xâu Đây khơng phải vấn đề có đủ sức mạnh tính tốn có đủ liệu Nó khơng nằm khả “học hỏi” để đưa giải pháp phù hợp “Học tập” q trình khơng đủ mạnh, khơng tồn thuật toán giải toán giải dừng (The Halting Problem) máy Turing Có lẽ kết có ảnh hưởng đến từ định lý Gold sức mạnh mơ hình học máy gọi suy diễn văn phạm (Grammatical Inference) Trong mơ hình Gold, giáo viên tạo văn phạm phi ngữ cảnh (CFG) G tạo tập vô hạn xâu từ bảng chũ Σ văn phạm G Tại thời điểm, người học cung cấp lần xâu tập Sau xâu w cung cấp, người học dự đoán w nằm L (G), ngôn ngữ tạo G hay không Người học coi thành công (học ngôn ngữ) thời điểm đó, “hội tụ G” cho câu trả lời bước Mặc dù mơ hình đợn giản thực mạnh khơng đặt ràng buộc vào khả nằn người học Kết báo khẳng định tập hợp ngôn ngữ phi ngữ cảnh học theo mơ hình Gold Đây kết kinh thiên động địa cách 50 năm ảnh hưởng đến toàn lĩnh vực nghiên cứu nhận thức có ngơn ngữ học Làm mà đứa trẻ độ tuổi lại học ngôn ngữ chưa biết (hồn tồn khơng liên quan đến dân tộc chúng, trẻ em Ấn Độ học tiếng Nhật dễ dàng trẻ em Nhật Bản học tiếng Hindi, chúng lớn lên Nhật Bản Ấn Độ)? Vì vậy, tiếng Anh thực tạo CFG G khơng xác định, mơ hình đơn giản q trình tiếp thu ngơn ngữ đứa trẻ vài năm đầu đời chúng Kết phủ định Gold có tác động sâu sắc đến nhà ngôn ngữ học, Noam Chomsky, người sáng lập khoa học máy tính đại ngôn ngữ học, người cho kết Gold ngầm định trẻ em sinh với loại “ngữ pháp bẩm sinh” đầu chúng (trường phái ngôn ngữ học nativists) Giả thuyết gây tranh cãi, theo ghi nhận Chomsky, chưa có giả thuyết thay để tạo máy học ngôn ngữ thực Hàng trăm petabyte trung tâm liệu khổng lồ Google khơng giúp cho cỗ máy học tiếng Anh Vì vậy, khơng phải liệu, mà thực tế thiếu thứ hồn tồn có não người Kết quan trọng học máy giống kết tiếng Godel tính khơng đầy đủ logic, kết kinh điển Church Turing hạn chế khả tính tốn Bài báo Gold phù hợp ngày nay, giới bị ám ảnh liệu kỷ 21, để nhắc nhở hạn chế cố hữu khả học hỏi Kết Gold ngầm định: Lượng liệu sức mạnh tính tốn vơ hạn khơng tạo nên điều thần kỳ cho học máy! Nếu bạn khao khát trở thành nhà khoa học liệu, bạn không hiểu định lý Gold, bạn giống trở thành nhà vật lý Định luật bảo tồn lượng Điều quan trọng! Vậy số lượng lớn nhà nghiên cứu sáng suốt lại tin tưởng nồng nhiệt vào sức mạnh học máy làm nên điều kỳ diệu? Tại sao, đối mặt với hết định lý đến định lý khác, 60 năm, nhà nghiên cứu học sâu tin có phương phát học máy vạn huấn luyện cách sử dụng gradient descent từ tập liệu đủ lớn? Khơng có câu trả lời đơn giản cho câu hỏi này, ngoại trừ việc xếp tương tự với nỗ lực lặp lặp lại để chế tạo cỗ máy chuyển động vĩnh cửu, điều vi phạm Định luật bảo tồn lượng Vì số lý do, thuật ngữ “học máy” dường gợi lên sức mạnh thần bí, nhà nghiên cứu có ý tưởng nghiêm túc nghĩ mơ hình não Mặc dù thực tế hàng trăm năm khoa học thần kinh khơng làm để tạo chứng khả não cỗ máy học tập tồn năng, mà ngược lại, tạo hàng núi chứng cho thấy não hạn chế việc tạo mẫu từ liệu, niềm tin vào học máy tiếp tục quyến rũ hệ sang hệ khác nhà nghiên cứu máy học dành đời để tìm kiếm chúng ... ngôn ngữ phi ngữ cảnh khơng thể học theo mơ hình Gold Đây kết kinh thiên động địa cách 50 năm ảnh hưởng đến toàn lĩnh vực nghiên cứu nhận thức có ngôn ngữ học Làm mà đứa trẻ độ tuổi lại học ngôn. .. mơ hình đơn giản q trình tiếp thu ngơn ngữ đứa trẻ vài năm đầu đời chúng Kết phủ định Gold có tác động sâu sắc đến nhà ngôn ngữ học, Noam Chomsky, người sáng lập khoa học máy tính đại ngôn ngữ. .. mẫu ngơn ngữ có Nhưng GPT-3 khơng có biểu diễn ngữ nghĩa bên từ này, khơng có mơ hình dựa ngữ nghĩa giới chủ đề mà diễn đạt Có nghĩa là, khơng hiểu ý nghĩa đằng sau từ sử dụng Một mơ hình chẳng