Deep Learning nói riêng hay Machine Learning nói chung đã và đang là chủ đề nóng hổi trong thế giới Trí tuệ nhân tạo. Là một công nghệ được gửi gắm vô cùng nhiều sự kỳ vọng, Deep Learning mang trên mình trọng trách thay đổi những tác vụ, phương pháp truyền thống trong các lĩnh vực khoa học, kinh tế, xã hội, hướng đến kỷ nguyên tự động hóa, hiện đại hóa. Trong lĩnh vực sản xuất, kỹ thuật số và ứng dụng các kỹ thuật chuyển đổi mô hình hóa đã được ứng dụng từ rất lâu. Dần dần khi việc đo lường và lưu trữ thông tin trở nên số hóa, máy tính đã tham gia vào mô hình này. Cho đến khi mô hình thống kế truyền thống không đủ để đáp ứng sự bùng nổ của dữ liệu thì đây là thời điểm Deep Learning được ứng dụng vì nó có khả năng xử lý các mẫu dữ liệu phi tuyến tính cao và cho phép khám phá cực khó phát hiện ra bởi các phương pháp thủ công. Deep Learning mang lại nhiều cơ hội phát triển dành cho các công ty, doanh nghiệp, tổ chức, cơ hội việc làm dành các cá nhân đang hoạt động trong lĩnh vực Trí tuệ nhân tạo, phân tích dữ liệu, dữ liệu lớn, … Do đó Deep Learning dành được sự quan tâm đặc biệt từ phía các bạn học sinh, sinh viên mong muốn được học tập và làm việc về công nghệ. Vì vậy trong tiểu luận này, nhóm tác giả sẽ trình bày những điều khái quát nhất về công nghệ Deep Learning, đưa ra lời giải thích cho những câu hỏi thường gặp trong lĩnh vực theo cách ai cũng có thể hiểu
TRƯỜNG ĐẠI HỌC CÔNG NGHỆ - ĐẠI HỌC QUỐC GIA HÀ NỘI KHOA ĐIỆN TỬ VIỄN THÔNG TIỂU LUẬN MÔN HỌC TỔNG QUAN VỀ DEEP LEARNING Giảng viên: Nguyễn Nam Hồng Nhóm 9: Vũ Đức Lộc Chu Trung Lương Hồng Thị Ngọc Ánh Hà Thanh Tùng Dương Bá Hưng Cung Văn Thắng Bùi Đình Đăng MỤC LỤC MỞ ĐẦU Giới thiệu Lý chọn đề tài Đối tượng, mục tiêu nhiệm vụ nghiên cứu CHƯƠNG 1: CÁC KHÁI NIỆM 1.1 Artificial intelligence (AI) 1.2 Machine learning (ML) 1.3 Artificial neural networks (ANNs) 1.4 Deep learning (DL) CHƯƠNG 2: NGUỒN GỐC 2.1 Perceptron 2.2 Thuật toán Perceptron CHƯƠNG 3: CÁCH DEEP LEARNING HOẠT ĐỘNG 3.1 Ví dụ trực quan mơ hình Perceptron 3.2 Cấu trúc mạng Neural nhân tạo (Artificial Neural Network) 3.3 Cách Deep Learning hoạt độnỉ 12 CHƯƠNG 4: ĐÀO TẠO MỘT MƠ HÌNH DEEP LEARNING 13 4.1 Cách mô hình DL tự học 13 4.1.1 Lan truyền liệu 13 4.1.2 Lan truyền tiến (Forward propagation) 13 4.1.3 Lan truyền lùi (Backward propagation) 13 4.2 Các yếu tố cần có 14 CHƯƠNG 5: SỰ VƯỢT TRỘI CỦA DEEP LEARNING 15 5.1 Mối tương quan lượng thông tin hiệu mang lại 15 5.2 Ứng dụng Thị giác máy tính (Computer vision) 16 5.2.1 Đối với thuật toán cũ 17 5.2.2 Khi áp dụng Deep Learning 18 KẾT LUẬN 19 TÀI LIỆU THAM KHẢO 20 MỞ ĐẦU Giới thiệu Deep Learning nói riêng hay Machine Learning nói chung chủ đề nóng hổi giới Trí tuệ nhân tạo Là cơng nghệ gửi gắm vô nhiều kỳ vọng, Deep Learning mang trọng trách thay đổi tác vụ, phương pháp truyền thống lĩnh vực khoa học, kinh tế, xã hội, hướng đến kỷ nguyên tự động hóa, đại hóa Trong lĩnh vực sản xuất, kỹ thuật số ứng dụng kỹ thuật chuyển đổi mô hình hóa ứng dụng từ lâu Dần dần việc đo lường lưu trữ thông tin trở nên số hóa, máy tính tham gia vào mơ hình Cho đến mơ hình thống kế truyền thống không đủ để đáp ứng bùng nổ liệu thời điểm Deep Learning ứng dụng có khả xử lý mẫu liệu phi tuyến tính cao cho phép khám phá cực khó phát phương pháp thủ công Deep Learning mang lại nhiều hội phát triển dành cho công ty, doanh nghiệp, tổ chức, hội việc làm dành cá nhân hoạt động lĩnh vực Trí tuệ nhân tạo, phân tích liệu, liệu lớn, … Do Deep Learning dành quan tâm đặc biệt từ phía bạn học sinh, sinh viên mong muốn học tập làm việc cơng nghệ Vì tiểu luận này, nhóm tác giả trình bày điều khái quát công nghệ Deep Learning, đưa lời giải thích cho câu hỏi thường gặp lĩnh vực theo cách hiểu Lý chọn đề tài Vào cuối năm cuối kỷ 18 đầu kỷ 19 có bùng nổ mạnh cách mạng công nghiệp Cách mạng công nghiệp lần thứ (thời đại 1.0) “Cơ giới Hóa” lao động chân tay thay cơng nghiệp chế tạo máy móc quy mơ lớn Cách mạng công nghiệp lần thứ hai (thời đại 2.0) “Điện khí hóa” thời kỳ máy phát điện đời điện tham gia vào hầu hết hoạt động kinh doanh, sản xuất sinh hoạt người Cách mạng công nghiệp lần thứ ba (thời đại 3.0) tiến hạ tầng điện tử, máy tính công nghệ kỹ thuật số tảng phát triển chất bán dẫn, siêu máy tính, máy tính cá nhân Internet Trải qua cách mạng công nghiệp, thời gian sống kỷ 21, cách mạng lần thứ (thời đại 4.0) kỷ nguyên “Trí Tuệ nhân tạo” Cuộc cách mạng cơng nghiệp lần thứ tư mô tả đời loạt công nghệ mới, kết hợp tất kiến thức lĩnh vực vật lý, kỹ thuật số, sinh học, ảnh hưởng đến tất lĩnh vực, kinh tế, ngành kinh tế ngành công nghiệp Nhận thấy thành công tương lai tiếp tục phát triển vượt trội, chúng em muốn tập trung nghiên cứu “Deep learning” – công nghệ đứng sau phát triển trí tuệ nhân tạo Đối tượng, mục tiêu nhiệm vụ nghiên cứu Đối tượng nghiên cứu nhóm chúng em hướng đến kỹ thuật Deep Learning hay gọi học sâu Nghiên cứu làm để máy móc học tập làm việc thông minh người, tương lai máy móc phát triển đến mức Mục tiêu nghiên cứu hướng đến nhóm chúng em tiên tiến Deep Learning có móng vững Do nhiệm vụ nghiên cứu nhóm phải tìm hiểu tổng quan deep learning, khái niệm, nguồn gốc, cách thức hoạt động, chuyên sâu đào tạo mơ hình,… Tiếp theo thay đổi khứ tại, phát triển nào, thành Để cuối rút câu trả lời cho câu hỏi: “Tại Deep Learning lại tiên tiến thuật toán cũ?” CHƯƠNG 1: CÁC KHÁI NIỆM 1.1 Artificial intelligence (AI) Artificial intelligence (Trí tuệ nhân tạo) làm cho máy tính trở nên thơng minh giải cơng việc mà bình thường phải cần đến người Cụ thể hơn, AI có lĩnh vực thị giác máy tính giúp máy tính nhìn, nhận biết màu sắc, chiều dài, chiều rộng, lĩnh vực nhận dạng âm giúp máy tính giao tiếp ngơn ngữ, chat, trị chuyện với nhau, nghe, hiểu, nhận dạng tiếng nói, 1.2 Machine learning (ML) Machine learning (Máy học) Là phần quan trọng (nhưng tất cả) AI ML hướng đến câu chuyên làm để qua thời gian, máy tính học trở nên thơng minh lồi người Mục tiêu ML dự đốn kết dựa liệu đầu vào 1.3 Artificial neural networks (ANNs) Artificial neural networks (Mạng thần kinh nhân tạo) nhóm thuật tốn học máy phổ biến (nhưng nhất, cịn nhiều thuật tốn khác để lựa chọn) xây dựng dựa cấu trúc mạng thần kinh người Nó bao gồm nhóm việc, neural nhân tạo nối hút với xử lý thông tin biện pháp truyền theo kết nối tính tốn giá trị nút 1.4 Deep learning (DL) Deep learning (Học sâu) phương pháp học máy đại tiên tiến DL xây dựng dựa ANNs nhiều lớp với kiến trúc mạng thiết kế đặc thù cho lớp tốn Cụ thể hơn, hiểu DL ANNs có thay đổi quan trọng: Thay đổi kiến trúc mạng, thay đổi thuật toán học thay đổi hàm kích hoạt mạng https://vas3k.com/blog/machine_learning/ Hình 1.1 Mối tương quan khái niệm CHƯƠNG 2: NGUỒN GỐC 2.1 Perceptron Deep Learning lấy cảm hứng từ thuật toán Perceptron Perceptron thuật toán máy học giúp cung cấp kết phân loại cho máy tính Nó năm 1950 đại diện cho ví dụ cách thuật tốn học máy làm việc để phát triển liệu Các chuyên gia gọi Perceptron thuật tốn phân loại có giám sát máy tính hỗ trợ việc phân loại người điểm liệu Perceptron liên quan đến phát triển “mạng thần kinh nhân tạo”, nơi cấu trúc tính tốn dựa thiết kế não người 2.2 Thuật tốn Perceptron Trong tiểu luận này, nhóm tác giả giới thiệu thuật tốn Classification có tên Perceptron Learning Algorithm (PLA) chúng viết gọn thành Perceptron PLA thuật toán giúp thực công việc phân loại hai lớp Ban đầu thuật toán Frank Rosenblatt đề xuất dựa ý tưởng Neural thần kinh, nhanh chóng tạo nên tiếng vang lớn lĩnh vực AI Ý tưởng thuật toán là: “Cứ làm đâu sửa đấy, cuối thành công!” Ta hiểu ý nghĩa câu nói ý tưởng PLA, chúng xuất phát từ nghiệm dự đốn đó, qua vòng lặp, nghiệm cập nhật tới vị trí tốt Việc cập nhật dựa việc giảm giá trị hàm mát Hình 2.1 Mơ hình Perception Hình 2.1 biểu diễn mơ hình Perceptron mơ hình dạng Neural đơn giản nhất, ta nhìn thấy với vài Input đưa vào cho Output Khi kết chưa với mong muốn, chúng lại quay trở lại thay đổi trọng số w để đưa kết theo mong đợi Cách thức hoạt động thuật toán giới thiệu chi tiết nội dung sau Đây móng để xây dựng mơ hình Deep Learning CHƯƠNG 3: CÁCH DEEP LEARNING HOẠT ĐỘNG 3.1 Ví dụ trực quan mơ hình Perceptron Để hiểu cách DL hoạt động, trước hết ta cần hiểu cách tảng dựng lên nómơ hình Perceptron hoạt động Một perceptron nhận nhiều đầu x vào dạng nhị phân cho kết o dạng nhị phân Các đầu vào điều phối tầm ảnh hưởng tham số trọng lượng tương ứng w (weight) nó, cịn kết đầu định dựa vào ngưỡng định b https://dominhhai.github.io/vi/2018/04/nn-intro/#1-perceptrons Hình 3.1 Mơ tả thuật toán Perceptron Đặt b = -threshold, ta viết thành: https://dominhhai.github.io/vi/2018/04/nn-intro/#1-perceptrons Hình 3.2 Để dễ hình dung, ta lấy ví dụ việc nhậu hay khơng phụ thuộc vào yếu tố sau: Trời có nắng hay khơng? Có hẹn trước hay khơng? Vợ có vui hay khơng? Bạn nhậu có gặp hay khơng? Thì ta coi yếu tố đầu vào 𝑥𝑥1 , 𝑥𝑥2 , 𝑥𝑥3 , 𝑥𝑥4 ,đầu o, o = ta khơng nhậu cịn o = ta nhậu Giả sử mức độ quan trọng yếu tố 𝑤𝑤1 = 0.05, 𝑤𝑤2 = 0.5, 𝑤𝑤3 = 0.2, 𝑤𝑤4 = 0.25 chọn ngưỡng b = -0.5 ta thấy việc trời nắng có ảnh hưởng 5% tới định nhậu việc có hẹn từ trước ảnh hưởng tới 50 % định nhậu ta Nếu gắn 𝑥𝑥0 = 𝑤𝑤0 = 𝑏𝑏, ta cịn viết gọn lại thành: https://dominhhai.github.io/vi/2018/04/nn-intro/#1-perceptrons Hình 3.3 3.2 Cấu trúc mạng Neural nhân tạo (Artificial Neural Network) Một mạng neural nhân tạo (ANNs) gọi mơ hình perceptron đa tầng (Multilayer perceptron) có nhiều lớp Perceptron Cấu trúc chung ANNs gồm thành phần: + Input Layer (lớp liệu đầu vào): Nhận liệu đầu vào thuật toán + Hidden Layer (lớp ẩn) + Output Layer (lớp liệu đầu ra): Xuất kết Lớp ẩn (Hidden layer) gồm nút nhận liệu input từ Neural lớp trước chuyển đổi input cho lớp xử lý https://www.simplilearn.com/tutorials/deep-learning-tutorial/perceptron Hình 3.4 Mơ tả ANNs Khi ANNs có nhiều lớp ẩn, ta gọi mơ hình Deep Learning (Từ “Deep” Deep Learning ám có nhiều lớp ẩn) researchgate.net Hình 3.5 Cấu trục mơ hình Deep Learning Trong yếu tố xử lý – Processing Elements (PE) ANNs gọi Neural, Neural nhận đầu vào xử lý chúng cho kết https://iq.opengenus.org/activation-functions-ml/ Hình 3.6 Mơ tả q trình xử lý thơng tin ANN Một mạng Neural gồm có n đầu vào 𝑥𝑥1 ,𝑥𝑥2 , … 𝑥𝑥𝑛𝑛 (Input) đầu y (Output) 𝑤𝑤1 , 𝑤𝑤2 , … 𝑤𝑤𝑛𝑛 gọi trọng số (Weights) Neural, trọng số thay đổi trình học b ngưỡng (Bias), hiểu đơn giản b giá trị ngưỡng mà chọn trước chọn neural học xác Nhiệm vụ neural thu nhập đầu vào với trọng số để tính tổng trọng số tất input đưa vào neural cộng với bias (Mơ tả hình 3.7) Hình 3.7 Sau đưa giá trị vừa tính tới hàm kích hoạt (Activation Functions) để kiểm tra kết Việc lựa chọn hàm kích hoạt có tác động lớn đến kết mạng neural Thơng thường, hàm kích hoạt chọn hàm nấc (Step Function), nhiệm vụ hàm kích hoạt giới thiệu sau 10 • • • • • • • • • • • • •