Nhận dạng giọng chữ cái tiếng Việt sử dụng deep Boltzmann machines

Nhận diện giọng nói là một bài toán thu hút được quan tâm rộng rãi của nhiều nhà nghiên cứu trong lĩnh vực trí tuệ nhân tạo trong những năm gần đây. Chẳng hạn như bài toán xây dựng chương trình để robot có khả năng nhận biết giọng nói của con người, hay các thiết bị có thể hiểu và đối thoại trực tiếp với người cùng nói chuyện. Trong nghiên cứu này, 37 sinh viên của Học viện Nông nghiệp Việt Nam tham gia để thu thập dữ liệu phát âm liên tục 29 chữ cái trong bảng chữ cái tiếng Việt. Qua bước tiền xử lý dữ liệu để trích xuất ra các mẫu âm thanh thuộc tính cho phân lớp, phương pháp nhận dạng chúng tôi sử dụng để nhận diện các mẫu giọng nói là deep Boltzmann machine (DBM), một mạng có khả năng học sâu với kiến trúc nhiều tầng ẩn. Để đánh giá khả năng nhận dạng của phương pháp đề xuất, chúng tôi so sánh DBM với mạng nơron truyền thống (NN) có cùng kiến trúc số tầng ẩn.

Vietnam J Agri Sci 2021, Vol 19, No 4: 435-442 Tạp chí Khoa học Nơng nghiệp Việt Nam 2021, 19(4): 435-442 www.vnua.edu.vn NHẬN DẠNG GIỌNG CHỮ CÁI TIẾNG VIỆT SỬ DỤNG DEEP BOLTZMANN MACHINES Hoàng Thị Thanh Giang, Nguyễn Thị Thúy Hạnh*, Nguyễn Trọng Kương Khoa Công nghệ thông tin, Học viện Nông nghiệp Việt Nam * Tác giả liên hệ: ntthuyhanh@vnua.edu.vn Ngày nhận bài: 30.12.2019 Ngày chấp nhận đăng: 26.09.2020 TĨM TẮT Nhận diện giọng nói toán thu hút quan tâm rộng rãi nhiều nhà nghiên cứu lĩnh vực trí tuệ nhân tạo năm gần Chẳng hạn toán xây dựng chương trình để robot có khả nhận biết giọng nói người, hay thiết bị hiểu đối thoại trực tiếp với người nói chuyện Trong nghiên cứu này, 37 sinh viên Học viện Nông nghiệp Việt Nam tham gia để thu thập liệu phát âm liên tục 29 chữ bảng chữ tiếng Việt Qua bước tiền xử lý liệu để trích xuất mẫu âm thuộc tính cho phân lớp, phương pháp nhận dạng sử dụng để nhận diện mẫu giọng nói deep Boltzmann machine (DBM), mạng có khả học sâu với kiến trúc nhiều tầng ẩn Để đánh giá khả nhận dạng phương pháp đề xuất, so sánh DBM với mạng nơron truyền thống (NN) có kiến trúc số tầng ẩn Kết cho thấy khả nhận dạng mẫu âm chữ tốt DBM với khả học cho độ xác trung bình 68% liệu đào tạo 51% thử với liệu test, kết NN 61% 48% tương ứng Từ khóa: Trí tuệ nhân tạo, học máy, mạng nơron, máy Boltzmann, học sâu Speech Recognition of Vietnamese Alphabet using Deep Boltzmann Machines ABSTRACT Speech recognition has been attracting many researchers in the field of artificial intelligence recently For example, the problem of implementing a program for robots to recognize human speech, thereby robots can understand, learn and talk with human In this study, 37 students from Vietnam National University of Agriculture were involved to acquire speech data of 29 letters in Vietnamese alphabet The data were preprocessed to extract featured voice chunks for the classification We then used the deep Boltzmann machine (DBM) as a deep network with stacked hidden layers To evaluate the proposed method, we compared the learning performance of DBM to a neural network (NN) with the same network structure configuration The results showed that DBM performed better with accuracies of 68% on the training dataset and 51% on the test dataset, while the respective figures for NN were 61% of training and 48% Keywords: Artificial intelligence, machine learning, neural network, Boltzmann machine, deep learning ĐẶT VẤN ĐỀ Nhên din ging núi l mt bi toỏn thu hỳt ỵc quan tâm rộng rãi cûa nhiều nhà nghiên cĀu lùnh vc trớ tu nhõn tọo chợng họn nhỵ bi toỏn xồy dng chỵng trỡnh robot bit nhờn bit ging núi cỷa ngỵi, t ũ phỏt trin robot cú th hiu v i thoọi vi ngỵi cựng nói chuyện (Kazuhiro & cs., 2010) Hay cơng nghệ giáo dýc, việc nhên biết xác cách phát âm cûa tÿ cüng việc làm cæn thiết tr giỳp cho ngỵi bớt ổu hc ngụn ng đị cị thêm nhiều tiện ích rèn luyện cách phát âm nhên biết âm chuèn Tuy nhiên ngôn ngĂ giọng nói có yếu tố vùng miền Vì vờy, mt chỵng trỡnh mỏy tớnh nhờn bit ỵc să đa däng cách phát âm cûa ngôn ngĂ thng nhỗt cỹng l mt bi toỏn cổn giõi quyt khâ nëng nhên däng âm giọng nói mà ć đị độ xác phý thuộc vào khâ nëng phån lp vi d liu ổy ỷ nhỗt cú th Rừ rng, vic tip nhờn ngụn ng vi ngỵi l mt quỏ trỡnh hc v lùnh hi tng bỵc iu thể chi tiết hĄn vĆi 435 Nhận dạng giọng chữ tiếng Việt sử dụng deep Boltzmann machines việc học ngội ngĂ đị hc vĆi trẻ em bít đỉu học Cý thể, để học nũi ỵc hoc phõn bit tng ch cỏi mt t thỡ ngỵi hc tng bỵc hc cỏch phỏt õm cûa tÿng chĂ đò hoðc học cách phát âm câ cým cûa tÿ VĆi tÿ điển điện tā cách phát âm cûa tÿ, chĂ cỏi u lỗy cỏch phỏt õm mt vựng no đị làm chn VĆi ngĂ giọng khác să phỏt õm cỷa ngỵi hc so vi mt õm chuốn cú s thay i mi ngỵi v õm lỵng, ngĂ điệu, tæn số Về Āng dýng nhên biết cách phát âm tÿ, nghiên cĀu gæn đåy (Samuel & cs., 2018) nhóm tác giâ nghiên cĀu mơ hình mà robot nhên biết cách phát õm cỷa tr v ỵa tr giỳp cho a tr rốn luyn ỵc k nởng nũi V mt k thuêt, trình gồm việc nhên biết âm giọng nói nhên biết ngĂ nghïa cûa ngơn ngĂ nhờn ỵc Vi ý tỵng tỵng t cho ting Vit, ngơn ngĂ có nhiều giọng điệu khác giĂa hai miền Bíc Nam (James & cs., 2010; Hồng Thð Châu, 1999; Phuong & cs., 2008), mýc đích cûa nghiờn cu ny nhỡm xõy dng tng bỵc mt chỵng trình máy tính cị thể nhên biết chĂ thơng qua nhiu ging phỏt õm khỏc nhau, dổn tng bỵc phát triển lên nhên biết tÿ, câu tiếng Việt, cỹng nhỵ phỏt trin chỵng trỡnh tr giỳp ngỵi hc phỏt õm ting Vit tỵng lai Vic trin khai Āng dýng cûa trí tuệ nhân täo vào nhên din cỏc hoọt ng cỷa ngỵi ó v ang thu hỳt rỗt nhiu nhúm nghiờn cu Chợng họn nhỵ nhòm nghiên cĀu cûa Thinh & cs (2018), hay nghiên cu cỷa Orken & cs (2019) cho thỗy nhng nghiờn cĀu triển khai Āng dýng cûa thð giác máy tính học sâu vào nhên diện hoät động cûa ngỵi Cỏc nghiờn cu ũ ũng gũp thờm vo khõ nëng Āng dýng đa däng cûa trí tuệ nhân täo thc t Gổn ồy, cỏc phỵng phỏp cỷa hc såu chĀng tó khâ nëng Āng dýng cao vào tốn phân tích dĂ liệu lĆn nị hút nhiều quan tâm (Lecun & cs., 2015; 436 Schmidhuber, 2015) Vi nhng thuờt toỏn hiu quõ ỵc trang bð cho việc xây dăng mäng nhiều tæng, qua đò nång cao khâ nëng biểu diễn nhên biết thuộc tính cûa dĂ liệu thơng qua học khơng giỏm sỏt chợng họn nhỵ CD-k (Hilton, 2012) Trong nghiờn cu trỵc ồy, chỳng tụi ó s dýng phỵng phỏp cûa học máy để nhên biết méu sóng siêu õm v ng mọch vnh tim ngỵi (Kuong & cs., 2017; 2018a; 2018b) Cý thể, sā dýng DBM nghiên cĀu đò Các kết quâ Āng dýng khâ nëng học cûa DBM cĄ sć cho chúng tơi sā dýng để giâi cho tốn nhên diện giọng nói nghiên cĀu PHƯƠNG PHÁP NGHIÊN CỨU 2.1 Thu thập liệu DĂ liệu ỵc s dýng nghiờn cu ny da trờn s tham gia cûa nhóm gồm 37 sinh viên tình nguyện (19 nĂ, 18 nam) khoa Công nghệ thông tin, Học viện Nông nghiệp Việt Nam, họ đồng ý tham gia cho thu âm giọng nói cûa Trong khâu thu thờp d liu, chỳng tụi da trờn cỏc bỵc sau: Bỵc 1: Thit k bõng thu thờp d liu bao gồm thông tin dă án nghiên cĀu, mýc đích nghiên cĀu, thóa thn xin dĂ liệu, cam kt s dýng d liu v thụng tin ngỵi phý trách Mỗi cá nhân tham gia trình thu méu hon ton ỵc ph bin cỏc thụng tin ny v ký thúa thuờn t nguyn cỹng nhỵ tinh thổn sùn sng tr giỳp cho nghiờn cu Bỵc 2: Tỡm hiu thiết bð thu âm Dăa điều kiện vêt chỗt v tỡm hiu cỏc phổn mm thu õm Cỗu hỡnh cỏch t thit b thu õm, chợng họn nhỵ, tổn s lỗy mộu, cỗu trỳc õm thu ỵc Chỳng tụi i n s dýng phổn mm windows recorder, ỵc xem l thuờn tin trin khai vi nhúm nghiờn cu Bỵc 3: Lờn qui trỡnh v tờp huỗn lỗy mộu gm: (i) ph bin cho ngỵi tham gia lỗy mộu v mýc ớch v cam kt õm bõo thụng tin, (ii) tờp huỗn cho ngỵi phý trỏch thu âm qui trình này, (iii) tiến hành thu âm sau liên läc vĆi sinh viên tình nguyện Hồng Thị Thanh Giang, Nguyễn Thị Thúy Hạnh, Nguyễn Trọng Kương 0,4 0,2 0,0 -0,2 -0,4 0,4 0,2 0,0 -0,2 -0,4 Hình Biểu diễn sóng âm hai mẫu âm Kết quâ méu åm thu ỵc l 37 õm cỷa 37 sinh viên tình nguyện, đị tệp giọng phát âm liên tiếp cûa 29 chĂ bâng chĂ tiếng Việt dăa theo tÿ điển tiếng Việt cûa Hồng Phê (2010) Biểu diễn däng sóng cûa tệp õm ỵc mỡnh hỡnh 2.2 X lý trích xuất đoạn âm thuộc tính Để tin x lý, chuốn húa d liu v trớch xuỗt độn âm thuộc tính phýc vý cho học phõn lp (mọng phõn lp ỵc trỡnh by mýc 2.3), trỵc ht tổn s lỗy mộu ỵc chỳng tụi lỗy chuốn l FS = 22.050 mộu/giõy Thụng thỵng, d liệu chúng tơi thu âm có mĀc tỉn số lỗy mộu l 44.100 mộu/giõy v 22.050 mộu/giõy Quan sỏt hỡnh 1, d thỗy rỡng da vo biờn dao ng cho ta xỏc nh vựng tỵng ng vi giọng phát âm cûa chĂ đò Khi thit lờp mt ngỵng ngớt cỷa biờn thỡ cho phộp ta tỏch cỏc vựng tỵng ng vi mi nhón l cỏc ch cỏi tỵng ng, ũ l cỏc vựng quan tâm (ROI) cho việc trích độn âm thuộc tính phýc vý cho việc phân lĆp Khi thng kờ t d liu chỳng tụi cũ ỵc trung bình không thąi gian cho vùng đị không 0,7 giồy, nghùa l cũ kớch thỵc bỡng 0,7*FS xỏc nh cỏc vựng õm tỵng ng vi nhón l cỏc ch cỏi, trỵc ht chỳng tụi da vo cỏc điểm đỵnh (peak points) ć đị theo tốc độ phát âm trung bình 0,7*FS cho chĂ nên cỏc im ợnh phõi cỏch tỵng t l 0,7*FS Vựng õm thuc tớnh quan tõm s ỵc trớch xung quanh điểm đỵnh Mỗi vùng sóng âm tỵng ng vi mi ch cỏi cho thỗy biờn vựng ũ ỵc dao ng mọnh hn nhỵ ỵc th hin hỡnh Khi vựng ồm ỵc xỏc nh, lỗy im trung v chia ụi nởng lỵng sóng âm cûa vùng đị làm tåm, độn âm thuc tớnh cũ di l 0,7*FS lỗy trung v lm im gia ỵc xỏc nh l oọn õm thuc tớnh tỵng ng vi mi ch cỏi Mụ tõ sóng âm cûa chĂ điểm trung vð ỵc th hin hỡnh 2.3 Mng deep Boltzmann machine 2.3.1 Mạng restricted Boltzmann machine (RBM) chuẩn Mäng restricted Boltzmann machine (RBM) kiểu mäng nĄron học phân b xỏc suỗt cỷa d liu ổu vo, ũ kiến trúc, sā 437 Nhận dạng giọng chữ tiếng Việt sử dụng deep Boltzmann machines dýng biến tæng èn h = (h1, h2,„, hH) để học phân phối cûa biến biểu diễn dĂ liệu cæn học hay dĂ liệu input x = (x1, x2,„, xN) Mỗi đĄn vð xi có să kết nối vĆi trọng số wij tĆi đĄn vð hj Khơng có să kết nối giĂa đĄn vð tæng èn hay tæng dĂ liệu Các trọng số bi cj phân ánh mĀc độ tác động cûa n v xi v hj tỵng ng mọng Mọng RBM hc thụng qua vic iu chợnh hm nởng lỵng xác đðnh bći công thĀc (1):   E x,h   wijxi h j  bi xi  c jh j i,j i Phân phối đồng thąi P(x, h) cỷa v ỵc xỏc nh bi phỵng trỡnh (2) sau:   P x,h     exp E x,h Z (2) ć đị Z hìng số chn húa Xỏc suỗt cú iu kin cho cỏc n v hj v xi ỵc xỏc nh da theo phõn phi Boltzmann bći (3) (4): 1,0 0,5 0,0 -0,5 -1,0 1,0 0,5 0,0 -0,5 -1,0 Hình Trích xuất vùng sóng âm tương ứng với nhãn dựa vào điểm đỵnh 0,2 0,1 0,0 -0,1 -0,2 Hình Xác định đoạn sóng âm thuộc tính cho phân lớp dựa vào trung vị 438 (1) j Hoàng Thị Thanh Giang, Nguyễn Thị Thúy Hạnh, Nguyễn Trọng Kương Hình Mơ hình RBM chuẩn với tầng input x tầng ẩn h Hình 10 Mơ hình mạng classRBM     P h j x  sigm   wijxi  c j   i  (3)   P xi h  sigm   wij h j  bi   j      ć đị sigm x  (4) Hình 11 Mơ hỡnh mng DBM cũn lọi bỡng Khi ũ tỵng t nhỵ mọng RBM chuốn, hm nởng lỵng ỵc cho bi cỏc phỵng trỡnh (5) dỵi ồy: E x,h,y k   w ijx i h j   bi x i i,j i   c j h j   U kj xh j  d k j hàm sigmoid  ex Mäng RBM chuốn ỵc mụ tõ nhỵ hỡnh Mọng RBM chuốn ỵc trang b thuờt toỏn CD-k (Hilton, 2012), nú cho phép mäng học khơng giám sát (unsupervised learning) phân phối đồng thąi giĂa đĄn vð tæng èn tỉng input Ở nghïa đị, tỉng èn tham gia vào học phân phối cûa input địng vai trđ làm rút ngín số chiều cûa tỉng input 2.3.2 Mạng restricted Boltzmann machine phân lớp Mäng RBM phân lĆp (classification restricted Boltzmann machine - classRBM) trỵng hp m rng cỷa RBM bỡng cỏch thờm cỏc n v mó hũa cho nhón tỵng ng vi cỏc input (Hugo & cs., 2012) Cý thể, input x có nhãn k số K lĆp cûa dĂ liệu lĆp cho nhãn gồm K đĄn vð xác đðnh bći qui tíc “one-hot”, hay đĄn vð thĀ k có giá trð bìng (5) j ć đị Ukj dk trọng số kết nối vĆi đĄn vð èn trọng số cûa đĄn vð nhãn tỵng ng Khụng cú kt ni gia cỏc n v nhãn vĆi đĄn vð input Phân phối đồng thąi cỷa cỏc n v ỵc xỏc nh bi: P x,h,y    exp E x,h,y  (6) Z ć đị Z hìng số chn hóa Các xỏc suỗt cú iu kin ỵc xỏc nh bi:    P h j x,y k  sigm   wijxi  Ukj  c j   i  (7)   P xi h  sigm   wij h j  bi   j      P yk h  (8)  U h  d   exp   U h  d  exp l kj j j j lj k j (9) l 439 Nhận dạng giọng chữ tiếng Việt sử dụng deep Boltzmann machines Xỏc suỗt hờu nghim cho vic xỏc nh phõn lp là:   P yk h    exp d k   j f  i w ij x i  U kj  c j      yl exp d l   j f  i wijxi  Ulj  c j    (10) ć đò f(x) = log(1 + exp(x)) l hm softplus Mụ hỡnh classRBM ỵc minh hỡnh Nhỵ vờy trang b thờm tổng nhón mäng classRBM phýc vý cho việc học có giám sỏt (supervise learning) ClassRBM ó ỵc chng tú khõ nởng o tọo hiu quõ vi cỏc thuờt toỏn ỵc trang b nhỵ ó ỵc trỡnh by bi Hugo & cs (2012) 2.3.3 Mạng deep Bolzmann machine học sâu Mäng deep Boltzmann machine (DBM) să xếp chồng cûa nhiều RBMs (Lecun & cs., 2015) VĆi thuêt toán hiệu quâ CD-k, cho phép tỉng èn h tham gia vào học phân phối cûa input, đồng thąi tæng èn läi tham gia nhỵ l mt input cho tổng ốn tip theo Đò cĄ sć đèy mänh să phát triển mäng học sâu Trong nghiên cĀu sā dýng mäng DBM vĆi tỉng èn ć đị tỉng èn thĀ hai có să tham gia cûa mäng classRBM, nghïa là, việc đào täo ć mäng thĀ học có giám sát kết hĉp vĆi nhãn để nhên din cỏc oọn mộu õm Mụ hỡnh mọng DBM ỵc s dýng nghiờn cu ny ỵc mụ tõ hỡnh 2.4 Kt quõ phõn lp Bỡng phỵng phỏp trớch xuỗt t ng nhỵ ỵc trỡnh by phổn 2.2, chúng tơi tiến hành kiểm tra läi lội bó độn có nhiễu âm hc giọng phát âm khơng thăc să xác Cuối cùng, chúng tơi thu ỵc 817 mộu õm cỷa 29 ch cỏi theo cách phát âm dăa cûa tÿ điển cûa Hoàng Phê (2010) DĂ liệu cho đào täo (training data) kiểm tra (test data) ỵc chỳng tụi chia ngộu nhiờn theo tợ l 4:1 tỵng ng Cỗu hỡnh cho mọng DBM nghiên cĀu 700 × 150, tĀc tổng ốn th nhỗt cú 700 nron tham gia tỉng èn thĀ có 150 nĄron tham gia GiĂa tæng input x tæng èn h1 mäng RBM ỵc o tọo bi thuờt toỏn CD-1 nhỵ gii thiệu bći Hilton (2012) GiĂa tæng èn h1 tæng èn h2 có să tham gia cûa lĆp nhãn hay l mọng classRBM v ỵc o tọo bi thuờt toỏn hc cú giỏm sỏt cỷa classRBM ỵc trỡnh by bi Hugo & cs (2012) Các tham số W, U, b, c, d ban ổu ỵc sinh ngộu nhiờn v nhú giĆi hän [-10-3, 10-3] Để đánh giá khâ nëng học cûa DBM, so sánh kết quâ cûa DBM vi mọng nron truyn thng thụng thỵng (NN) cựng cỗu trỳc kớch thỵc cỷa mọng, nghùa l mọng nron ỵc s dýng cú tổng ốn cũ kớch thỵc lổn lỵt l 700 v 150, v cỏc tham s cỷa mọng NN cỹng ỵc thit lờp tỵng t nhỵ DBM Thng kờ v chớnh xỏc cỷa phõn lp mt trỵng hp tt nhỗt cỷa DBM v NN o tọo v test ỵc th hin bõng thỗy ỵc quỏ trỡnh o tọo cỷa mọng qua tng bỵc hc v cờp nhờt tham s, sau mi bỵc chớnh xỏc cỷa phõn lp ỵc kim tra v tớnh Vic ny ỵc th hin hình Ở đåy chúng tơi tiến hành thăc o tọo mọng 100 bỵc, mi bỵc cờp nhờt tham số läi thăc đánh giá khâ nëng nhên dọng cỏc mộu cho hc v mộu cho test lỗy kết quâ KẾT LUẬN Nghiên cĀu thu thờp ỵc b d liu mộu phỏt õm bõng ch tiếng Việt tÿ 37 sinh viên tình nguyện Học viện Nông nghiệp Việt Nam Mðc dù dĂ liệu chỳng tụi thu ỵc chỵa ỷ ln, v chỵa th đæy đû so vĆi să đa däng cûa giọng phát âm tiếng Việt nói chung, nghiên cĀu cüng gịp phỉn bổ sung thêm cĄ sć dĂ liệu cæn thiết cho nghiên cĀu såu hĄn lïnh văc Bâng Kết quâ so sánh độ xác đào tạo test DBM NN 440 DBM NN Độ xác với liệu đào tạo 68% 61% Độ xác với liệu test 51% 48% Hoàng Thị Thanh Giang, Nguyễn Thị Thúy Hạnh, Nguyễn Trọng Kương 0,7 0,6 0,5 0,4 0,3 0,2 0,1 Hình Độ xác nhận dạng DBM NN qua bước Sā dýng mäng DBM nghiên cĀu cỹng ó chng tú ỵc khõ nởng nhờn dọng mộu õm v nú cho thỗy ng dýng cỷa hc sâu nhiều lïnh văc tính tốn nói chung nhên diện giọng nói nói chung Cho dù vêy, việc câi thiện khâ nëng học cûa mäng DBM cüng cæn xem xột hn na sau ny Cỗu hỡnh v thit lờp cỏc tham s ti ỵu ng vi d liu cũ ỵc cỹng cổn cũ ỏnh giỏ thờm LI CM N Nghiờn cu ny ỵc thc hin t ngun kinh phí cûa đề tài: “Nhên diện chĂ tiếng Việt qua dĂ liệu phát âm cûa nhóm sinh viên Hc vin Nụng nghip Vit Nam, mó s: T2019-10-55, cỗp bći Học viện Nông nghiệp Việt Nam Chúng cüng xin câm Ąn nhịm sinh viên Khoa Cơng nghệ thơng tin tham gia tình nguyện trĉ giúp cho việc thu thêp dĂ liệu phýc vý cho nghiên cĀu TÀI LIỆU THAM KHẢO Dhar V (2015) Data science and prediction Communications of the ACM, 56 (12): 64-73 Hilton E.G (2012) A practical guide to training restricted Boltzmann machines Lecture Notes in Computer Science, Springer Berlin 7700: 599-619 Hoàng Thị Châu (1999) Tiếng Việt miền đất nước (Phương ngữ học) Nhà xuất Khoa học Xã hội, Hà nội Hoàng Phê (2010) Từ điển tiếng Việt Nhà xuất Đà Nẵng Hugo L., Michael M., Razvan P & Yoshua B (2012) Learning algorithms for the classification restricted Boltzmann machine Machine Learning Research 13(1): 643-669 James K (2010) Dialect experience in Vietnamese tone perception The Journal of the Acoustical Society of America 127(6): 3749-3757 Kazuhiro N., Toru T., Hiroshi G.O., Hirofumi N., Yuji H & Hiroshi T (2010) Design and implementation of robot audition system HARK open source software for listening to three simultaneous speakers Advanced Robotics 24(5): 739-761 Kuong N.T., Uchino E & Suetake N (2017) IVUS tissue characterization of coronary plaque by classification restricted Boltzmann machine Journal of Advanced Computational Intelligence and Intelligent Informatics 21(1): 67-73 Kuong N.T., Uchino E & Suetake N (2018a) Recognition of coronary atherosclerotic plaque tissue on intravascular ultrasound images by using misclassification sensitive training of discriminative restricted boltzmann machine Journal of Biomimetics, Biomaterials and Biomedical Engineering 37: 85-93 441 Nhận dạng giọng chữ tiếng Việt sử dụng deep Boltzmann machines Kuong N.T., Uchino E & Suetake N (2018b) Coronary plaque classification with accumulative training of deep Boltzmann machines ICIC Express Letters 12(9): 881-886 Lecun Y., Yoshua B & Hinton E.G (2015) Deep learning Nature 521(7553): 436-444 Orken M., Nurbapa M., Mussa T., Nurzhamal O., Tolga I.M & Aigerim Y (2019) Voice identification using classification algorithms Intelligent system and computing Book chapter, InTechOpen Phuong P.A., Tao N.Q & Mai L.C (2008) An efficient model for isolated Vietnamese handwritten recognition Proceedings of 2008 international conference on intelligent information hiding and multimedia signal processing pp 358-361 442 Samuel S., Huili C., Safinah A., Michael K & Cynthia B (2018) A social robot system for modeling children's Word pronunciation: socially interactive agents track Proceedings of the 17th international conference on autonomous agents and multi-agent systems pp 1658-1666 Schmidhuber J (2015) Deep Learning in neural networks: an overview Neural Networks 61: 85-117 Thinh D.B, Dat T.T., Thuy T.N., Long Q.T & Van D.N (2018) Aerial Image Semantic Segmentation using Neural Search Network Architecture In Proceedings of MultiDisciplinary International Conference on Artificial Intelligence (MIWAI), Lecture Notes in Artificial Intelligence, Springer  ... discriminative restricted boltzmann machine Journal of Biomimetics, Biomaterials and Biomedical Engineering 37: 85-93 441 Nhận dạng giọng chữ tiếng Việt sử dụng deep Boltzmann machines Kuong N.T.,... (8)  U h  d   exp   U h  d  exp l kj j j j lj k j (9) l 439 Nhận dạng giọng chữ tiếng Việt sử dụng deep Boltzmann machines Xỏc suỗt hờu nghim cho vic xỏc nh phõn lĆp là:   P yk h .. .Nhận dạng giọng chữ tiếng Việt sử dụng deep Boltzmann machines việc học ngội ngĂ đị hc vĆi trẻ em bít đỉu học Cý thể, để hc