(Đồ án hcmute) nghiên cứu thuật toán backpropagation trên fpga

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT TP.HCM KHOA ĐÀO TẠO CHẤT LƯỢNG CAO KHĨA LUẬN TỐT NGHIỆP NGÀNH CƠNG NGHỆ KỸ THUẬT ĐIỆN TỬ TRUYỀN THƠNG NGHIÊN CỨU THUẬT TỐN BACKPROPAGATION TRÊN FPGA GVHD: TS VÕ MINH HUÂN SVTH: THÂN THÁI THÀNH MSSV: 11141312 SVTH: NGÔ NGỌC VƯỢNG MSSV: 11141262 SKL 0 Tp Hồ Chí Minh, tháng 7/2015 an BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT TP HỒ CHÍ MINH KHOA ĐÀ O TẠO CHẤT LƯỢNG CAO ĐỒ ÁN TỐT NGHIỆP NGÀNH: ĐIỆN TỬ TRUYỀN THÔNG Đề tài: NGHIÊN CỨU THUẬT TOÁN BACKPROPAGATION TRÊN FPGA GVHD: T.S VÕ MINH HUÂN SVTH : THÂN THÁI THÀNH _ 11141312 NGÔ NGỌC VƯỢNG _ 11141262 Tp Hồ Chí Minh, tháng 07 năm 2015 an ĐỒ ÁN TỐT NGHIỆP | 2015 CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập- Tự do- Hạnh phúc *** Tp Hồ Chí Minh, ngày…tháng…năm… NHIỆM VỤ ĐỒ ÁN TỐT NGHIỆP Họ tên sinh viên: MSSV:……………………… Nghành: Lớp…………………………… Giảng viên hướng dẫn: ĐT:…………………………… Ngày nhận đề tài Ngày nộp đề tài:……………… Tên đề tài: ………………………………… ……………………………………………………………………………… Các số liệu tài liệu ban đầu ………………………………… ……………………………………………………………………………… Nội dung thực đề tài ………………………………… ……………………………………………………………………………… Sản phẩm ………………………………… TRƯỞNG NGÀNH GIẢNG VIÊN HƯỚNG DẪN Trangi an ĐỒ ÁN TỐT NGHIỆP | 2015 CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập- Tự do- Hạnh phúc *** -Tp Hồ Chí Minh, ngày…tháng…năm… PHIẾU NHẬN XÉT CỦA GIÁO VIÊN HƢỚNG DẪN Họ tên sinh viên:………………………………… MSSV:……………………… Họ tên sinh viên:………………………………… MSSV:……………………… Nghành:……………………………………………………………………………… Tên đề tài:…………………………………………………………………………… ……………………………………………………………………………………… Họ tên giáo viên hướng dẫn……………………………………………………… NHẬN XÉT Về nội dung đề tài khối lượng thực hiện: ………………………………………………………………………………… ………………………………………………………………………………… ………………………………………………………………………………… Ưu điểm: ………………………………………………………………………………… ………………………………………………………………………………… Khuyết điểm: ………………………………………………………………………………… ………………………………………………………………………………… Đề nghị bảo vệ hay không ? ………………………………………………………………………………… Đánh giá loại: ………………………………………………………………………………… Điểm:………………(bằng chữ………………………………………………) Tp Hồ Chí Minh, Ngày…tháng…năm… Giáo viên hướng dẫn Trangii an ĐỒ ÁN TỐT NGHIỆP | 2015 CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập- Tự do- Hạnh phúc *** -Tp Hồ Chí Minh, ngày…tháng…năm… PHIẾU NHẬN XÉT CỦA GIÁO VIÊN PHẢN BIỆN Họ tên sinh viên:………………………………… MSSV:……………………… Họ tên sinh viên:………………………………… MSSV:……………………… Nghành:……………………………………………………………………………… Tên đề tài:…………………………………………………………………………… ……………………………………………………………………………………… Họ tên giáo viên phản biện……………………………………………………… NHẬN XÉT Về nội dung đề tài khối lượng thực hiện: ………………………………………………………………………………… ………………………………………………………………………………… ………………………………………………………………………………… Ưu điểm: ………………………………………………………………………………… ………………………………………………………………………………… Khuyết điểm: ………………………………………………………………………………… ………………………………………………………………………………… Đề nghị bảo vệ hay không ? ………………………………………………………………………………… Đánh giá loại: ………………………………………………………………………………… Điểm:………………(bằng chữ………………………………………………) Tp Hồ Chí Minh, Ngày…tháng…năm… Giáo viên phản biện Trangiii an ĐỒ ÁN TỐT NGHIỆP | 2015 LỜI CẢM ƠN Chúng em xin bày tỏ lòng biết ơn sâu sắc tới thầy TS VÕ MINH HUÂN, thầy hướng dẫn, dạy tận tình để chúng em hồn thành đồ án Đồng thời, chúng em xin gửi lời cảm ơn đến quý Thầy Cô Khoa Đào Tạo Chất Lượng Cao – Trường Đại Học Sư Phạm Kỹ Thật TP.Hồ Chí Minh với tri thức tâm huyết để truyền đạt vốn kiến thức quý báu cho chúng em suốt thời gian học tập trường… Nhóm xin cảm ơn bạn bè, gia đình người thân chia sẻ, giúp đỡ, động viên, tạo điều kiện thuận lợi để nhóm hồn thành nhiệm vụ học tập đồ án tốt nghiệp Đồ án thực khoảng thời gian gần tháng Bước đầu vào thực tế , tìm hiểu lĩnh vực sáng tạo nghiên cứu khoa học , kiến thức chúng em hạn chế cịn nhiều bỡ ngỡ Do vậy, khơng tránh khỏi thiếu sót điều chắn, chúng em mong nhận ý kiến đóng góp quý báu quý Thầy Cô bạn sinh viên để kiến thức chúng em lĩnh vực hồn thiện Nhóm Sinh Viên Thực Hiện Trangiv an ĐỒ ÁN TỐT NGHIỆP | 2015 LỜI NÓI ĐẦU Với phát triển ngày mạnh mẽ công nghệ IC người tangày có khuynh hướng tích hợp nhiều IC Do chip PLD(Programmable Logic Device) FPGA (Field Programmable Gate Array) ngày nhỏ gọn tích hợp vào nhiều tiện ích mà cơng nghệ trước khơng thực Để sử dụng tiện ích mà chip mang lại phải lập trình cho chip theo ý tưởng thiết kế Cùng với rađời chip PLD FPGA ngôn ngữ mô tả phần cứng HDL(HardwaveDescription Language) mà thiết kế mạch số dùng để mô tả thiết kế cácmạch số chip Mạng Neural nhân tạo ứng dụng nhiều lĩnh vực:Xử lý tín hiệu, xử lý ngơn ngữ, dự báo, nhận dạng, lọc phân loại liệu, chuẩn đoán bệnh,…Việc chuyển thểtừ giải thuật, ngồn ngữ lập trình cấp cao (Matlab , C++ ) sang kiến trúc ngôn ngữ phần cứng (Verilog/HDL) nghiên cứu gần Nên việc xây dựng thành công kiến trúc vi mạch cho mạng Neural tiền đồ quan trọng cho việc mạnh phát triền lĩnh vực khác Đề tài tiếp cận vấn đề ứng dụng mạng Neural để xây dựng kiến trúc vi mạch việc kiểm tra đánh giá ứng dụng thực qua kiến trúc vi mạch cùa mạng Neural cho giải thuật Backpropagation Mạng Neural sau xây dựng có khả phát triền cho ứng dụng khác cách dễ dàng Trangv an ĐỒ ÁN TỐT NGHIỆP | 2015 MỤC LỤC Trang phụ bìa TRANG Nhiê ̣m vu ̣ Đồ án tố t nghiê ̣p i Nhận xét Giáo viên hướng dẫn ii Nhận xét Giáo viên phản biện iii Lời cảm ơn iv Lời nói đầu v Mục lục vi Danh mục bảng biểu xi Danh mục hình ảnh, biểu đồ xii Chƣơng TỔNG QUAN 1.1 Giới thiệu tình hình nghiên cứu 1.2Tính cấp thiết đề tài 1.3 Mục tiêu nghiên cứu 1.4 Nhiệm vụ nghiên cứu 1.5 Đối tượng phạm vi nghiên cứu 1.6 Phương pháp nghiên cứu 1.7 Bố cục Đồ án Chƣơng CƠ SỞ LÝ THUYẾT 2.1 Giới thiệu mạng Neural nhân tạo 2.2Mơ hình mạng Neural nhân tạo 2.2.1Mơ hình Neural ngõ vào Trangvi an ĐỒ ÁN TỐT NGHIỆP | 2015 2.2.2Mơ hình Neural tổng quát 2.3Hàm kích hoạt 2.4Kiến trúc mạng Neural 12 2.4.1 Perceptron 14 2.4.2 Mạng nhiều tầng truyền thẳng 15 2.5 Các luật học cho mạng Neural 16 2.6 Các vấn đề xây dựng mạng MLP 17 2.6.1 Chuẩn bị liệu 17 2.6.2 Xác định tham số cho mạng 20 2.7 Các tính chất mạng Neural 22 2.8 So sánh mạng Neural với máy tính truyền thống 22 2.9 Ngôn ngữ mô tả phần cứng HDL 23 Chƣơng THUẬT TOÁN BACKPROPAGATION 3.1 Mạng Neural truyền thẳng 26 3.2 Thuật toán Backpropagation 28 3.3 Hàm kích hoạt 34 3.3.1 Hàm Sigmod 34 3.3.2 Hàm Tansig 34 3.4 Chuẩ n chuyể n đổ i số thực sang số nhi ̣phân IEEE 754 35 3.4.1 Số thực dấu phẩy động 35 3.4.2 Cộng số thực theo chuẩn IEEE-754 36 3.4.3 Nhân số thực theo chuẩn IEEE 754 37 3.4.4 Cách tính hàm Sigmod Tansig gần Verilog 38 Trangvii an ĐỒ ÁN TỐT NGHIỆP | 2015 Chƣơng NGHIÊN CỨU THUẬT TỐN 4.1 Sơ đồ thực thuật tốn 40 4.2 Huấn luyện mạng Neural 41 4.3 Khảo sát thuật toán thực Matlab 43 4.4 Các module chương trình 45 4.4.1 Khối thực mạng 45 4.4.2 Tính hàm E 46 4.4.3 Module hàm lỗi δk 48 4.4.4 Module hàm lỗi δh1 , δh2 48 4.4.5 Cập nhật trọng số 50 4.5 Thuật toán huấn luyện mạng 50 Chƣơng KẾT QUẢ 5.1 Sơ đồ thực giai đoạn mô 53 5.2 Khối thực phép nhân số thực 54 5.2.1 Thiết kế RTL cho khối nhân 54 5.2.2 Kết mô khối nhân 55 5.3 Khối thực phép cộng số thực 57 5.3.1 Thiết kế RTL cho khối cộng 57 5.3.2 Kết mô khối cộng 58 5.4 Khối thực số hóa hàm sigmod-tansig 59 5.4.1 Thiết kế RTL cho khối sigmod 59 5.4.2 Thiết kế RTL cho khối tansig 60 5.5 Khối thực net 61 Trangviii an ĐỒ ÁN TỐT NGHIỆP | 2015 Như sau kết thúc trình cập nhật trọng số cho khối ta bộ trọng số Bộ trọng số đưa lại vào ngõ vào để chạy lại thuật toán back propagation 5.11 Thiết kế khối Pre_backpropagation 5.11.1 Thiết kế RTL cho khối Pre_backpropagation Đây khối thực việc lan truyền thẳng thuật toán Back propagation Khối tổng hợp khối mà ta thiết kế như: khối nhân, khối cộng, khối tansig, khối sigmod, khối error, khối net, khối so sánh Hình 5.29 Sơ đồ khối pre_backpropagation Ngõ vào khối gồm:  ngõ vào data_input_01, data_input_02, tín hiệu từ nơ-ron lớp vào Trang 75 an ĐỒ ÁN TỐT NGHIỆP | 2015  ngõ vào weight_hid_out_01, weight_hid_out_02 trọng số w5,w6 liên kết lớp ẩn lớp  ngõ vào weight_in_hid_01,weight_in_hid_02, weight_in_hid_03, weight_in_hid_04 trọng số w1,w2,w3,w4 liên kết lớp vào với lớp ẩn  Tín hiệu ena_pre_backpro_pagation tín hiệu cho phép khối thực việc lan truyền thẳng Tín hiệu điều khiển từ khối network_control Ngõ khối gồm:  Error_func : giá trị hàm tính sai số bình phương  Hid_layer_output_01, hid_layer_output_02 : giá trị Oh1, Oh2 (ngõ lớp ẩn), Ok (ngõ lớp ra)  Is_cont_train: tín hiệu cho phép cập nhật tiếp trọng số hay hội tụ dựa vào so sánh hàm lỗi với ngưỡng lỗi đề đặt 1(cập nhật), 0(hội tụ) Bảng 5.11: Kết sử dụng tài nguyên thời gian khố i khối pre_backpropagation Selected Device : 3s500efg320-5 Device utilization summary Number of Slices 22469 Number of input LUTs 42549 Number of bonded IOBs 388 Number of GCLKs Timing Summary- Speed Grade : -5 Minimum input arrival time before clock 100.452 Maximum output required time after clock 4.310 4656 9312 232 24 482% 456% 167% 4% ns ns Như với tài nguyên kit spartan 3E sử dụng IC XC3S500 khơng đủ để tổng hợp khối pre_backpropagation Do đo việc thực kiểm tra hoạt động khối chủ yếu dựa phần mềm mô Trang 76 an ĐỒ ÁN TỐT NGHIỆP | 2015 5.11.2 Kết mô khối pre_backpropagation Ta đưa ngõ vào ngõ vào nơ-ron lớp vào từ kiểm tra xem lần trọng số hội tụ chưa phát tín hiệu cập nhật tiếp lần nữa.Đồng thời xem số liệu có giống với số liệu mô khối hay không Các số liệu ban đầu:         Input1 = (01000000001000000000000000000000)2=(2,5)10 Input2 = (10111111100011001100110011001101)2=(-1,1)10 W1 = (00111101110011001100110011001101)2=(0.1)10 W2 = (00111101110011001100110011001101)2=(0.1)10 W3 = (00111101110011001100110011001101)2=(0.1)10 W4 = (00111101110011001100110011001101)2=(0.1)10 W5 = (00111101110011001100110011001101)2=(0.1)10 W6 = (00111101110011001100110011001101)2=(0.1)10 Hình 5.30 Ảnh mơ khối pre_backpropagation Trang 77 an ĐỒ ÁN TỐT NGHIỆP | 2015 Sau 30 chu kỳ xung clock số liệu ổn định Ta bắt đầu kiểm tra số liệu tính tốn từ khối pre_backpropagation có giống với kết từ khối trước không  Oh1 = hid_layer_output_01 = (00111110000011011100110000101000)2  Oh2 = hid_layer_output_02 = (00111110000011011100110000101000)2  Ok = ( 00111111000000101100110011110011)2= ( 0.5109398)10  Error = error_func = (00111101111101001110101110010111)2 Như vậy, với kết thu qua lần thực lan truyền thẳng khối pre_backpropagation cho kết giống với kết mà ta mô khối Kết có sai số chút so với tính tốn Matlab nằm giới hạn cho phép Sau thực lần ta sai số bình phương 0.11958998 0.11958998 > 0.05 (E_target) Do khối phát tín hiệu is_cont_train = khối điều khiển network_control, tức cần phải lan truyền ngược khối Backpropagation cập nhật lại trọng số chuẩn bị lặp lần 5.12 Thiết kế khối Backpropagation 5.12.1 Thiết kế RTL khối Backpropagation Khối tiến hành lan truyền ngược thuật toán Backpropagation tiến hành cập nhật trọng số nhằm tạo trọng số tối ưu Trang 78 an ĐỒ ÁN TỐT NGHIỆP | 2015 Hình 5.31 Sơ đồ khối backpropagation Ngõ vào khối backpropagation gồm:  ngõ vào data_input_01, data_input_02, tín hiệu từ nơ-ron lớp vào  Hid_layer_output_01, hid_layer_output_02, out_layer_output ngõ Net, oh1,oh2,ok  Old_weight_in_hid_01, old_weight_in_hid_02, old_weight_in_hid_03, old_weight_in_hid_04, old_weight_hid_out_01, old_weight_hid_out_02 trọng số w1,w2,w3,w4,w5,w6 cần cập nhật  Ena_backpropagation: tín hiệu cho phép khối thuật tốn cập nhật trọng số Ngõ khối backpropagation gồm:  New_weight_hid_out_01, new_weight_hid_out_02, new_weight_in_hid_01, new_weight_in_hid_02, new_weight_in_hid_03, new_weight_in_hid_04 trọng số w1,w2,w3,w4,w5,w6 cập nhật Bảng 5.12: Kết sử dụng tài nguyên thời gian khố i khối backpropagation Selected Device : 3s500efg320-5 Device utilization summary Number of Slices 29232 Number of input LUTs 55158 Number of bonded IOBs 547 Number of GCLKs Timing Summary- Speed Grade : -5 Minimum input arrival time before clock 100.825 Maximum output required time after clock 4.310 4656 9312 232 24 627% 592% 235% 4% ns ns Cũng giống khối pre_backpropagation khối backpropagation chiếm lượng lớn tài nguyên vượt tài nguyên mà kit có sẵn Do việc kiểm tra hoạt động dựa vào phần mềm mô Trang 79 an ĐỒ ÁN TỐT NGHIỆP | 2015 5.12.2 Kết mô khối backpropagation Với kết có từ khối pre_backpropagation oh1, oh2, ok trọng số cũ cần cập nhật khối backpropagation tiến hành tính hàm lỗi phụ vụ cho việc cập nhật, tối ưu trọng số cũ theo thuật toán Backpropagation Các liệu ban đầu để đưa vào mô phỏng:  Input1 = (01000000001000000000000000000000)2=(2,5)10  Input2 = (10111111100011001100110011001101)2=(-1,1)10  W1(old) = (00111101110011001100110011001101)2=(0.1)10  W2(old) = (00111101110011001100110011001101)2=(0.1)10  W3(old) = (00111101110011001100110011001101)2=(0.1)10  W4(old) = (00111101110011001100110011001101)2=(0.1)10  W5(old) = (00111101110011001100110011001101)2=(0.1)10  W6(old) = (00111101110011001100110011001101)2=(0.1)10  Oh1 = (00111110000011011100110000101000)2=(0.1384741)10  Oh2 = (00111110000011011100110000101000)2=(0.1384741)10  Ok = ( 00111111000000101100110011110011)2= ( 0.5109398)10 Kết sau thực khối backpropagation là: Hình 5.32 Ảnh mô khối backpropagation Trang 80 an ĐỒ ÁN TỐT NGHIỆP | 2015 Sau 30 chu kỳ xung clock số liệu ổn định Ta bắt đầu kiểm tra số liệu tính tốn từ khối backpropagation có giống với kết từ khối trước khơng Bộ trọng số cập nhật là:  W1(new) = (00111110000111100110001001000010)2 = (0.1546717)10  W2(new) = (00111101100110111000100011000100)2 = (0.07594445)10  W3(new) = (00111110000111100110001001000010)2 = (0.1546717)10  W4(new) = (00111101100110111000100011000100)2 = (0.07594445)10  W5(new) = (00111110101101010010101000010011)2 = (0.35383663)10  W6(new) = (00111110101101010010101000010011)2 = (0.35383663)10 Như vậy, với kết thu từ q trình mơ kết hồn tồn giống với kết mà ta mơ khối cập nhật trọng số Bộ trọng số đưa vào lại khối pre_backpropagation lần thứ hai để kiểm tra xem thỏa điều kiện sai số đề E_target = 0.05 Do chưa thỏa điều kiện nên khối network_control phát tín hiệu cho phép khối backpropagation thực tính hàm lỗi cập nhật lại trọng số Lần thứ hai, khối network_control phát tín hiệu cho phép khối pre_backpropagation thực việc lan truyền thẳng với trọng số cập nhật từ lần Sau kiểm tra error_function = (00111101110011011010101101111011)2 = ( 0.10042473) > E_target = 0.05 Kiểm tra lần lớn sai số cho phép nên khối network_control phát tín hiệu cho phép khối backpropagation thực tính lại hàm lỗi cập nhật trọng số Lần thứ ba, khối network_control phát tín hiệu cho phép khối pre_backpropagation thực việc lan truyền thẳng với trọng số cập nhật lần thứ Sau kiểm tra error_function = (00111100101001011101100101010011)2 = (0.02024523) < E_target = 0.05 Như lần thứ sai số tính nhỏ sai số cho phép nên khối network_control kết thúc thuật toán backpropagation Và trọng số trọng số tối ưu đề với u cầu mơ hình mạng nơron 2x2x1 với ngõ vào x1=2.5, x2=-1.1, ngõ mong muốn tk=1 Như sau lần thực thuật toán Backpropagation FPGA cho trọng số tối ưu, kết giống với kết thực Matlab Trang 85 an ĐỒ ÁN TỐT NGHIỆP | 2015 Bảng 5.15: So sánh kết thực thuật toán backpropagaton FPGA Matlab FPGA Matlab Số liệu ban đầu X1 X2 tk n W1(old) W2(old) W3(old) W4(old) W5(old) W6(old) 2.5 -1.1 15 0.1 0.1 0.1 0.1 0.1 0.1 2.5 -1.1 15 0.1 0.1 0.1 0.1 0.1 0.1 Kết Error_function Số lần lặp W1(new) W2(new) W3(new) W4(new) W5(new) W6(new) 0.02024523 0.45702147 -0.057089493 0.45702147 -0.057089493 0.83473414 0.83473414 0.0187 0.4640 -0.0601 0.4640 -0.0601 0.8482 0.8482 Trang 86 an ĐỒ ÁN TỐT NGHIỆP | 2015 CHƢƠNG KẾT LUẬN Với kết đạt được, đề tài đáp ứng mục tiêu nghiên cứu đặt ban đầu Cụ thể, đề tài đạt kết sau  Đề tài thiết kế cấu trúc vi mạch cho mạng Neural lan truyền thẳng huấn luyện theo giải thuật Backpropagation  Đề tài thiết kế giải thuật ứng dụng tạo cấu trúc vi mạch với hai ngõ vào ngõ mong muốn Bên cạnh đó, giới hạn thời gian hoàn thành đồ án, hạn chế điều kiện tiến hành thực nghiệm không cho phép thực nghiên cứu sâu lĩnh vực Chính vậy, xin đề xuất số hướng nghiên cứu tiếp tục sau  Mở rộng cấu trúc vi mạch cho mạng Neural đa lớp  Tìm phương pháp luận thực tối ưu cấu trúc vi mạch  Đề biện pháp tính “sai số” huấn luyện mạng Neural thiết kế vi mạch ảnh hưởng đến tốc độ chương trình  Thực cấu trúc vi mạnh cho đường sigmoid số (đây vấn đề cần nghiên cứu tương lai) Đây hướng nghiên cứu triển khai giới Những kết nghiên cứu lĩnh vực áp dụng trực tiếp vào sản xuất ứng dụng giảng dạy bậc đại học Để tiếp cận phát triển hướng nghiên cứu này, cần thực cơng việc sau  Tập trung trí tuệ tập thể cách xây dựng nhóm nghiên cứu Bên cạnh đó, thực liên kết trao đổi với trường đại học viện nghiên cứu khác nước giới lĩnh vực  Sử dụng cơng cụ tính tốn, thiết kế, lập trình mơ chun nghiệp cơng ty hàng đầu giới cung cấp Trang 87 an ĐỒ ÁN TỐT NGHIỆP | 2015 DANH MỤC TÀI LIỆU THAM KHẢO [1] Sandige, R., “Top-Down Design Process for Gate-Level Combinational Logic Design”, IEEE Transactions on Education, Vol.35, No.3, August 1992, pp 247-252 [2] Wolf, W., “Synthesis Tools Help Teach Systems Concepts in VLSI Design”, IEEE Transactions on Education, Vol 35, No.1, February 1992,pp 11-16 [3] Phạm Thị Hồng Nhung (2007), Ứng dụng mạng Neural nhân tạo vào việc dự báo lưu lượng nước đến hồ Hịa Bình [4] Nguyễn Lâm Thương (2010), Nghiên cứu thực cấu trúc VLSI cho thuật tốn học [5] Bùi Hồng Khánh, Lê Duy Hưng, Hồng Mạnh Khơi (2010), Mạng Neural ứng dụng [6] Trần Đức Minh (2002), Mạng Neural [7] www.google.com [8] www.h-schmid.net/FloatConverter/IEEE754.html Trang 88 an S an K L 0 ... Neural Nghiên cứu thuật toán học Backpropagation Nghiên cứu công nghệ FPGA ngôn ngữ mô tả phần cứng Verilog Nghiên cứu chuẩn chuyển đổi số thực sang số nhị phân IEEE 754 1.6 Phƣơng pháp nghiên cứu. .. 38 Trangvii an ĐỒ ÁN TỐT NGHIỆP | 2015 Chƣơng NGHIÊN CỨU THUẬT TOÁN 4.1 Sơ đồ thực thuật toán 40 4.2 Huấn luyện mạng Neural 41 4.3 Khảo sát thuật toán thực Matlab ... Với cơng trình nghiên cứu khoa học ứng dụng, mạng Neural thực thuật toán Backpropagation khẳng định giá trị tính hiệu Tuy nhiên, Thuật toán mạng Neural huấn luyện theo giải thuật Backpropagation