(Tiểu luận) đề tài nhận diện lửa bằng yolo

ĐẠI HỌC DUY TÂN TRƯỜNG ĐẠI HỌC KHOA HỌC MÁY TÍNH KHOA KHOA HỌC MÁY TÍNH - ĐỀ TÀI: NHẬN DIỆN LỬA BẰNG YOLO Giáo viên hướng dẫn: T.S Lê Thanh Long • Nhóm sinh viên thực : Phạm Đức Bình Nguyễn Trường Thanh Lộc Nguyễn Doãn Thành Long Lớp : K25-TBM2 Đà Nẵng, tháng năm 2022 MỤC LỤC MỞ ĐẦU 1.Tính cấp thiết đề tài Mục tiêu nghiên cứu Đối tượng phạm vi nghiên cứu 3.1 Đối tượng .5 3.2 Phạm vi nghiên cứu Phương pháp nghiên cứu 4.1 Phương pháp lý thuyết 4.2 Phương pháp lý thuyết 5 Ý nghĩa đề tài .5 CHƯƠNG TỔNG QUAN VỀ DEEP LEARNING VÀ BÀI TOÁN NHẬN DIỆN HÀNH ĐỘNG TRONG THỊ GIÁC MÁY TÍNH 1.1 Tổng quan Deep Learning 1.1.1 Deep Learning gì? 1.1.2 Mạng nơron nhân tạo 1.1.3 Một số ứng dụng Deep Learning .7 1.2 Bài toán nhận diện hành động thị giác máy tính .7 1.2.1 Tổng quan thị giác máy tính 1.2.2 Thế thị giác máy tính 1.2.3 Nhận diện hành động người CHƯƠNG ỨNG DỤNG DEEP LEARNING TRONG NHẬN DIỆN HÀNH ĐỘNG CON NGƯỜI 2.1 Giới thiệu Recurrent Neural Network 2.1.1 Tổng quan 2.1.2 Ý tưởng 2.1.3 Hạn chế RNN .10 2.2 Mơ hình LSTM Mediapipe pose 11 2.2.1 Mơ hình LSTM 11 2.2.2 Ý tưởng cốt lõi LSTM 12 Trang | 2.2.3 Bên LSTM 13 2.2.4 LSTM chống vanishing gradient 15 2.2.5 Một số phép tích chập thường sử dụng xử lý ảnh 16 CHƯƠNG XÂY DỰNG VÀ TRIỂN KHAI CHƯƠNG TRÌNH 17 3.1 Bài tốn nhận dạng 17 3.2 Mơ hình tổng quan 17 3.3 Chuẩn bị liệu 17 3.4 Xây dựng chương trình thử nghiệm 18 3.4.1 Khởi tạo mơ hình khung xương ảnh 18 3.4.2 Nhận diện pose, ghi nhận số khung, vẽ khung xương lên ảnh 18 3.4.3 Tạo label lưu vào file csv 19 3.4.4 Khởi tạo model .19 3.4.5 Train model lưu vào weight thành file h5 19 3.4.6 Thực kiểm chứng 20 3.5 Kết thử nghiệm 20 KẾT LUẬN TÀI LIỆU THAM KHẢO 21 Trang | MỞ ĐẦU 1.Tính cấp thiết đề tài Ngày nay, dư liẹu video dê dàng đ ơc tạo c c thi t bi ̣ nh : điẹn thoại di đọng, m y t nh x ch tay, m y nh k thu t sô, c c hẹ thông camera quan s t (CCTV)…b n canh đ c c trang web chia s video kh ng ng ng tăng tr ởng sô l ợng lẫn chất l ợng Bài to n nh n diẹn hành đọng ng ời video đ ng g p mọt phân t đọ ng h a khai th c tài nguy n dư liẹu nhiều th ng tin C c ứng dụng li n quan đ n to n nh n diẹn hành đọng nh : An ninh c c hẹ thông gi m s t truyền thông g m mang l i c c camera đ ơc gi m s t ng ời - T ơng t c giưa ng ời m y c n nhiều th ch thức, dấu hiẹu thi gị c ph ơng thức quan giao ti p phi ng n ngư Khai th c hiẹu qu ph ơng thức giao ti p này: Th ng qua c ch , hành đọng, hoat đọng hứa h n tạo th hẹ m y t nh t ơng t c ch nh x c t nhi n v i ng ời B n cạnh đ nh n diẹn hành đọng ng ời video c n đ ơc ̣ ứng dụng t m t t, truy vấn video, ph n t ch th thao Deep Learning mọt chủ đề Tr truẹ nh n tạo, t p trung gi i quy t c c vấn đề li n quan đ n mạng nơron nh n tạo nhằm n ng cấp c c c ng nghẹ nh nh n diẹn gi ng n i, thị gi c m y t nh x lý ng n ngư t nhi n… Đã c nhiều nghi n cứu to n nh n diẹn hành đọng ng ời video nh : nh m t c gi Karpathy, Toderici, Shetty, Leung, Sukthankar & Fei-Fei s dụng CNNs đ ph n loại Video theo hành đọng ng ời, nh m t c gi Ji, Xu, Yang, & Yu s 3D CNN đ nh n diẹn hành đọng ng ời Vì lý đ , lu n văn nghi n cứu ứng dụng Deep Learning vào to n nh n diẹn hành đọng ng ời video, đ ng thời đề xuất c i ti n c c tham sô đâu vào thu t to n đ tăng hiẹu qu nh n diẹn so v i c c thu t to n hiẹn Nọi dung lu n văn g m ch ơng: Ch ơng gi i thiẹu tổng quan deep learning to n nh n diẹn hành đọng thị gi c m y t nh Ch ơng gi i thiẹu ứng dụng deep learning nh n diẹn hành đọng ng ời, bao g m tổng quan, thu t to n CNN c c gi i thu t Optimazation Deep Learning Kh i qu t mạng nơron x lý nh n u ki n trúc mạng CNN đ ợc xem xét nghi n cứu Ch ơng x y d ng tri n khai ch ơng trình Bao g m m t d liẹu gi i thu t đ ợc nghi n cứu C ch th c nghiẹm cho c c m hình, sau đ đ nh gi đọ ch nh x c c c gi i thu t Mục tiêu nghiên cứu Mục ti u ch nh đề tài s dụng k thu t Deep learning đ x y d ng ch ơng trình nh n diẹn hành đọng ng ời Trang | Đối tượng phạm vi nghiên cứu 3.1 Đối tượng - C c hành đọng c video C c ph ơng ph p, gi i thu t nh n dạng K thu t Deep Learning 3.2 Phạm vi nghiên cứu - Nghi n cứu k thu t x lý nh Mediapipe pose LSTM model Phương pháp nghiên cứu 4.1 Phương pháp lý thuyết - C c tài liẹu sở lý thuy t: x lý nh sô, l c tr ch nh sô, nh n diẹn th ng ời - Nghi n cứu mạng Nơ ron nh n th ng ời qua c c nút Ph ơng ph p Deep Learning C c tài liẹu li n quan t i l p trình 4.2 Phương pháp lý thuyết - X y d ng ch ơng trình th nghiẹm Ki m th t nh hiẹu qu ch ơng trình v i c c nọi dung kh c Ý nghĩa đề tài Về khoa h c: Đề tài mang ý nghĩa cung cấp mặt lý thuy t đ làm rõ c c ph ơng ph p k thu t nh n dạng hành đọng ng ời Về th c tiên: G p phân hỗ trợ cho nhiều lĩnh v c kh c nh gi m s t, th dục, th thao Trang | CHƯƠNG TỔNG QUAN VỀ DEEP LEARNING VÀ BÀI TOÁN NHẬN DIỆN HÀNH ĐỘNG TRONG THỊ GIÁC MÁY TÍNH 1.1 Tổng quan Deep Learning 1.1.1 Deep Learning gì? Deep Learning mọt chủ đề Trí truẹ nhân tạo (AI) mọt phạm trù nhỏ máy h c Deep Learning t p trung gi i quy t v ấn đề liên quan đ n mạng nơron nhân tạo nhằm nâng cấp công nghẹ nh nh n diẹn gi ng nói, thị giác máy tính x lý ngơn ng t nhiên Deep Learning trở thành mọt nh ng lĩnh v c quan tr ng khoa h c máy tính Ch vài năm, Deep Learning thúc đẩy ti n bọ đa dạng lĩnh v c nh nh n thức s v t (object perception), dịch t đọng (machine translation), nh n diẹn gi ng nói - nh ng vấn đề t ng khó khăn v i nhà nghiên cứu trí tuẹ nhân tạo 1.1.2 Mạng nơron nhân tạo Trong công nghẹ thông tin, mạng nơron nhân tạo mọt hẹ thông ch ơng trình cấu trúc d liẹu mơ cách v n hành não ng ời Mọt mạng nơron nh v y th ờng bao g m mọt l ợng l n vi x lý hoạt đọng song song, vi x lý chứa đ ng mọt vùng ki n thức riêng có th truy c p vào d liẹu bọ nh riêng Trong mạng nơron nhân tạo, nơron node (node đơn vị nơron mạng nơron nh n tạo – chi c m y t nh mạng nơron c th đ ợc xem nh node) đ ợc k t nôi v i mọt mạng l i l n B n thân t ng node ch tr lời đ ợc nh ng câu hỏi h t sức b n không thông minh, nh ng đ ợc gọp chung v i chúng lại có sức mạnh x lý đ ợc c nh ng tác vụ khó Và điều quan tr ng nh ng thu t tốn phù hợp, có th dạy huấn luyẹn đ ợc chúng Trang | 1.1.3 Một số ứng dụng Deep Learning Hẹ thông gợi ý t ng Nh n diẹn hình nh X lý ngôn ng t nhiên - 1.2 Bài tốn nhận diện hành động thị giác máy tính 1.2.1 Tổng quan thị giác máy tính Thị giác máy tính (Computer Vision) mọt lĩnh v c phát tri n Khái niẹm thị giác máy tính có liên quan t i nhiều ngành h c h ng nghiên cứu khác T nh ng năm 1970 mà l c tính tốn máy tính ngày trở nên mạnh mẽ hơn, máy tính lúc có th x lý đ ợc nh ng t p d liẹu l n nh hình nh, đoạn phim khái niẹm k thu t thị giác máy tính ngày đ ợc nh c đ n nghiên cứu nhiều cho t i ngày Hiẹn lĩnh v c đ ợc chuyên gia đánh giá “non n t” có nhiều s thay đổi thời gian t i 1.2.2 Thế thị giác máy tính Thị giác máy tính bao g m lý thuy t k thu t liên quan nhằm mục đích tạo mọt hẹ thơng nhân tạo có th ti p nh n thơng tin t hình nh thu đ ợc t p d liẹu đa chiều Đôi v i ng ời chúng ta, trình nh n thức th gi i bên ngồi mọt điều dê dàng Q trình nh n thức đ ợc “h c” thơng qua q trình sơng ng ời Tuy nhiên v i v t vô tri vô giác nh nh máy tính, robot… điều qu th c mọt b c ti n gian nan Các thi t bị ngày không ch nh n thông tin dạng tín hiẹu đơn l mà cịn có th có “nhìn” th t v i th gi i bên ngồi Cái “nhìn” qua q trình phân tích, k t hợp v i mơ hình nh máy h c, mạng nơron… giúp cho thi t bị ti n dân t i mọt hẹ thông nhân tạo có kh quy t định linh hoạt đ n nhiều Mọt vài lĩnh v c mà Computer Vision đ ợc ứng dụng có th k t i nh sau: nh y h c) ời máy) Điều n ti n trình (ví dụ: robot cơng nghiẹp, hay thi t bị, xe t hành) Phát hiẹn s thay đổi (ví dụ: thi t bị giám sát) Tổ chức thơng tin (ví dụ: ch sơ kho d liẹu nh chuỗi nh liên tục) Mơ hình hố đơi t ợng (ví dụ: q trình ki m tra môi tr ờng công nghiẹp, x lý T ơng tác (đóng vai trị làm đâu vào cho thi t bị trình t ơng tác gi a ng 1.2.3 Nhận diện hành động người Nh n diẹn hành đọng ng ời mọt lĩnh v c nghiên cứu rọng rãi thị giác máy tính Các ứng dụng bao g m hẹ thơng giám sát, phân tích video, robot mọt loạt hẹ thơng có liên quan đ n s t ơng tác gi a ng ời thi t bị điẹn t nh giao diẹn ng ời-máy tính Trang | Nh n diẹn hành đọng ng ời đ ợc phát tri n b t đâu vào đâu năm 1980 Hiẹn nay, nghiên cứu chủ y u t p trung vào viẹc h c nh n bi t hành đọng t chuỗi video Mọt hành đọng mọt chuỗi chuy n đọng th ng ời, có th bao g m nhiều bọ ph n th đ ng thời T quan m thị giác máy tính, viẹc nh n dạng hành đọng đ phù hợp v i quan sát v i mẫu đ ợc xác định tr c sau gán cho mọt nhãn loại hành đọng Tùy thuọc vào đọ phức tạp, hoạt đọng ng ời có th đ ợc phân loại thành bôn cấp đọ: c ch , hành đọng, t ơng tác hoạt đọng nhóm, nhiều nghiên cứu theo h ng mọt cấu trúc t d i lên nh n dạng hoạt đọng ng ời Các phân hẹ thơng nh v y bao g m trích xuất đặc tr ng, h c t p hành đọng, phân loại, nh n dạng hành đọng phân đoạn Mọt quy trình đơn gi n g m ba b c, cụ th phát hiẹn ng ời bọ ph n th , theo dõi, sau nh n cách s dụng k t qu theo dõi Ví dụ, đ nh n hành đọng “b t tay”, cánh tay bàn tay hai ng ời đ ợc phát hiẹn tr c tiên theo dõi đ tạo mọt mô t không gian-thời gian chuy n đọng h Mô t đ ợc so sánh v i mẫu hiẹn có d liẹu huấn luyẹn đ xác định loại hành đọng Mơ hình d a nhiều vào tính xác viẹc theo dõi, điều không đáng tin c y nh ng c nh lọn xọn CHƯƠNG ỨNG DỤNG DEEP LEARNING TRONG NHẬN DIỆN HÀNH ĐỘNG CON NGƯỜI Trang | 2.1 Giới thiệu Recurrent Neural Network 2.1.1 Tổng quan Ý t ởng ch nh RNN (Recurrent Neural Network) s dụng chuỗi c c th ng tin Trong c c mạng nơ-ron truyền thông tất c c c đâu vào c đâu đọc l p v i Tức chúng kh ng li n k t thành chuỗi v i Nh ng c c m hình kh ng phù hợp nhiều to n V dụ, n u muôn đo n t ti p theo c th xuất hiẹn mọt c u ta cân bi t c c t tr c đ xuất hiẹn lân l ợt th nh ? RNN đ ợc g i h i quy (Recurrent) lẽ chúng th c hiẹn mọt t c vụ cho tất c c c phân t mọt chuỗi v i đâu phụ thuọc vào c c c phép t nh tr c đ N i c ch kh c, RNN c kh nh c c th ng tin đ ợc t nh to n tr c đ Tr n lý thuy t, RNN c th s dụng đ ợc th ng tin mọt văn b n dài, nhi n th c t n ch c th nh đ ợc mọt vài b c tr c đ (ta bàn cụ th vấn đề sau) mà th i Về b n mọt mạng RNN c dạng nh sau: 2.1.2 Ý tưởng Mọt c ch n m na, đôi v i mạng neural th ng th ờng, cho tất c dư liẹu vào mọt lúc Nh ng đ i khi, dư liẹu mang ý nghĩa trình t , tức n u thay đổi trình t dư liẹu, k t qu kh c Dê thấy rõ dư liẹu văn b n V dụ, “Con ăn cơm ch a” “Con ch a ăn cơm”, n u t ch c u theo t , ta đ ợc bọ vocab [ ‘con’, ‘ăn’, ‘cơm’, ‘ch a’], one hot encoding cho tất c vào mạng neural , c th thấy ngay, kh ng c s ph n biẹt giưa c u tr n Viẹc đ o thứ t duyẹt c c t làm sai lẹch ý nghĩ c u N i c ch kh c, cân mọt mạng neural c th x l tuân t C c x đ y đại diẹn cho dư liẹu đâu vào lân l ợt (đ ợc chia theo time step) xt đại diẹn cho time step thứ t, yt output mọt step V dụ, vector đại diẹn t thứ c u văn b n Hình nh d i đ y cho thấy rõ điều th c s Trang | x y mọt step x2 Hidden state ht (trong mọt sô tài liẹu t ờng ký hiẹn st ) Đ y ch nh bọ nh mạng ht tổng hợp th ng tin hidden state tr c (ht−1) cọng v i input time step t (xt) Activation function đ y chủ y u ReLu ht=g1(Whh ht−1+Whx xt+bh) ∗ ∗ Output time step yt : Tại block mạng RNN c đâu Trong đ , ht tổng hợp th ng tin c c state tr c đ ti p tục truyền chuỗi mạng, ta c th m yt output t ng time step mọt Ở đ y g2 th ờng hàm softmax yt=g2(Wyh ht+by) ∗ 2.1.3 Hạn chế RNN Ph i th c hiẹn tuân t : Kh ng t n dụng đ ợc kh t nh to n song song m y t nh (GPU/TPU) Vanishing gradient (Đạo hàm bị triẹt ti u): Vì hàm k ch hoạt (tanh hay sigmoid) ta cho k t qu đâu nằm đoạn [-1, 1][−1,1] (v i sigmoid [0, 1][0,1]) n n đạo hàm n bị đ ng kho ng [0, 1][0,1] (v i sigmoid [0, 0.25][0,0.25]) Ở tr n, dùng chain rule đ t nh đạo hàm C mọt vấn đề đ y là, hàm lẫn sigmoid c đạo hàm đâu Mà đạo hàm nút mạng t ơng ứng đ bị bão h a Lúc đ c c nút ph a tr c bị bão hoà theo N n v i c c gi trị nhỏ ma tr n, ta th c hiẹn phép nh n ma tr n đạo hàm t ơng ứng x y Vanishing gradient, tức đạo hàm bị triẹt ti u ch sau vài b c nh n Nh v y, c c b c xa kh ng c n t c dụng v i nút hiẹn nưa, làm cho RNN kh ng th h c đ ợc c c phụ thuọc xa Vấn đề kh ng ch x y v i mạng RNN mà c mạng neural truyền thông v i nhiều l p c hiẹn t ợng V i c ch nhìn nh tr n, ngồi Vanishing gradient, ta c n gặp ph i Exploding Gradient (bùng nổ đạo hàm) Tùy thuọc vào hàm k ch hoạt tham sô Trang | 10 mạng, vấn đề x y c c gi trị ma tr n l n (l n 1) Tuy nhi n, ng ời ta th ờng n i vấn đề Vanishing nhiều Exploding, lý sau Thứ nhất, bùng nổ đạo hàm c th theo dõi đ ợc đạo hàm bị bùng nổ ta thu đ ợc k t qu mọt gi trị phi sô NaN làm cho ch ơng trình ta bị d ng hoạt đọng Thứ hai, bùng nổ đạo hàm c th ngăn chặn đ ợc ta đặt mọt ng ỡng gi trị tr n (tham kh o k thu t Gradient Clipping) C n kh đ theo dõi s m t đạo hàm nh tìm c ch x l n Đ x lý Vanishing Gradient, c c ch phổ bi n: C ch thứ nhất, thay s dụng activation function sigmoid, ta thay ReLu (hoặc c c bi n th nh Leaky ReLu) Đạo hàm ReLu là 1, n n ta c th ki m so t phân vấn đề m t đạo hàm C ch thứ hai, ta thấy RNN thuân kh ng c thi t k đ l c th ng tin kh ng cân thi t Ta cân thi t k mọt ki n trúc c th nh dài hạn hơn, đ LSTM GRU 2.2 Mơ hình LSTM Mediapipe pose 2.2.1 Mơ hình LSTM Mạng bọ nh dài-ng n (Long Short Term Memory networks), th ờng đ ợc g i LSTM mọt dạng đặc biẹt RNN, n c kh h c đ ợc c c phụ thuọc xa LSTM đ ợc gi i thiẹu Hochreiter & Schmidhuber (1997), sau đ đ ợc c i ti n phổ bi n nhiều ng ời ngành Chúng hoạt đọng c c kì hiẹu qu tr n nhiều to n kh c n n dân trở n n phổ bi n nh hiẹn - LSTM đ ợc thi t k đ tr nh đ ợc vấn đề phụ thuọc xa (long-term dependency) Viẹc nh th ng tin suôt thời gian dài đặc t nh mặc định chúng, ta kh ng cân ph i huấn luyẹn n đ c th nh đ ợc Tức nọi n c th ghi nh đ ợc mà kh ng cân can thiẹp M i mạng h i quy c dạng mọt chuỗi c c m -đun lặp lặp lại mạng nơ-ron V i mạng RNN chuẩn, c c m -dun c cấu trúc đơn gi n, th ờng mọt tâng Trang | 11 LSTM c ki n trúc dạng chuỗi nh v y, nh ng c c m -đun n c cấu trúc kh c v i mạng RNN chuẩn Thay ch c mọt tâng mạng nơ-ron, chúng c t i tâng t ơng t c v i mọt c ch đặc biẹt 2.2.2 Ý tưởng cốt lõi LSTM Chìa kh a LSTM trạng th i t bào (cell state) - ch nh đ ờng chạy th ng ngang ph a tr n sơ đ hình vẽ Trạng th i t bào mọt dạng giông nh băng truyền N chạy xuy n suôt tất c c c m t x ch (c c nút mạng) ch t ơng t c n t nh đ i chút Vì v y mà c c th ng tin c th dê dàng truyền th ng suôt mà kh ng sợ bị thay đổi Trang | 12 LSTM c kh bỏ th m vào c c th ng tin cân thi t cho trạng th i t b o, chúng đ ợc điều ch nh cẩn th n c c nh m đ ợc g i cổng (gate) C c cổng nơi sàng l c th ng tin qua n , chúng đ ợc k t hợp mọt tâng mạng sigmoid mọt phép nh n 2.2.3 Bên LSTM B c đâu ti n LSTM quy t định xem th ng tin cân bỏ t trạng th i t bào Quy t định đ ợc đ a tâng sigmoid - g i “tâng cổng qu n” (forget gate layer) N lấy đâu vào ht−1 xt r i đ a k t qu mọt sô kho ng [0, 1][0,1] cho sô trạng th i t bào Ct−1 Đẩu th hiẹn n giư toàn bọ th ng tin lại, c n ch toàn bọ th ng tin bị bỏ Quay trở lại v i v dụ m hình ng n ngư d đo n t ti p theo d a tr n tất c c c t tr c đ , v i to n nh v y, trạng th i t bào c th mang th ng tin gi i t nh mọt nh n v t đ giúp ta s dụng đ ợc đại t nh n x ng chuẩn x c Tuy nhi n, đề c p t i mọt ng ời kh c ta kh ng muôn nh t i gi i t nh nh n v t nưa, n kh ng c n t c dụng v i chủ th m i Trang | 13 B c ti p theo quy t định xem th ng tin m i ta l u vào trạng th i t bào Viẹc g m phân Đâu ti n s dụng mọt tâng sigmoid đ ợc g i “tâng cổng vào” (input gate layer) đ quy t định gi trị ta c p nh p Ti p theo mọt tâng tạo mọt véc-tơ cho gi trị m i nhằm th m vào cho trạng th i Trong b c ti p theo, ta k t hợp gi trị đ lại đ ~ ct tạo mọt c p nh p cho trạng th i Chẳng hạn v i v dụ m hình ng n ngư ta, ta muôn th m gi i t nh nh n v t m i vào trạng th i t bào thay th gi i t nh nh n v t tr c đ Giờ lúc c p nh p trạng th i t bào cũ c − thành trạng th i m i C Ở c c b c tr c đ quy t định viẹc cân làm, n n ta ch cân th c hiẹn xong t t Ta nh n trạng th i cũ v i ft đ bỏ th ng tin ta quy t định qu n lúc tr đ cọng th m ~ c Sau Trạng th i mơi thu đ ợc phụ thuọc vào viẹc ta quy t định c p nh p it ct ¿ gi trị trạng th i V i tồn m hình ng n ngư, ch nh viẹc ta bỏ th ng tin gi i t nh nh n v t cũ, th m th ng tin gi i t nh nh n v t m i nh ta quy t định c c b c tr c đ Trang | 14 Cuôi cùng, ta cân quy t định xem ta muôn đâu Gi trị đâu d a vào trạng th i t bào, nh ng đ ợc ti p tục sàng l c Đâu ti n, ta chạy mọt tâng sigmoid đ quy t định phân trạng th i t bào ta muôn xuất Sau đ , ta đ a n trạng th i t b o qua mọt hàm đ cho gi trị n kho ng [-1, 1][−1,1], nh n n v i đâu cổng sigmoid đ đ ợc gi trị đâu ta mong muôn V i v dụ m hình ng n ngư, ch cân xem chủ th mà ta c th đ a th ng tin mọt trạng t sau đ V dụ, n u đâu chủ th sơ t sơ nhiều ta c th bi t đ ợc dạng trạng t theo sau n ph i nh th 2.2.4 LSTM chống vanishing gradient Ta p dụng thu t to n back propagation through time cho LSTM t ơng t nh RNN Trang | 15 Thành phân ch nh g y vanishing gradient RNN ∂ δt +1 =( ts ) W, ∂s t t đ st,W