TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI... vô cùng quan trong.
Trang 1TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI
Trang 2c cung c p trong lu n ánh trung
thc v u và các kt qu mà tôi th c hi n v i
lui ti ng ng d ng trong y t
PHẠ M H I BÌNH Ả
Trang 3L I C Ờ ẢM ƠN
c chân thành c m c ti Tr c ting
d n tôi th c hi n lu ng c a th y trong nh u
úp tôi có th p vng th i, ý ki n g i
m c a th y n tài li u, các ngu n tham kh o mà th y cung c p
c nh ng tr ng i trong quá trình nghiên c có th hoàn thin lu
Tôi xin c bày t s c a mình vi ti Nguyi
tr tôi b i nh ng kinh nghi m quý giá, tài nguyên quan tr ng v mã ngu n
d li u ph c v cho quá trình nghiên c u c a mình
c g i l i c n Vi n nghiên c u qu c t MICA cùng t p th các anh, ch làm vi c tng làm vic y sáng t
n thân thi n p xúc, làm quen t v i các v n
khoa h c có giá tr i v i th c ti n trong c t
Cu c g i l i c i thân c
, t u ki ng viên tôi trong su t th i gian làm lu
Trang 4M C L C Ụ Ụ
LI CAM i
LI C ii
MC LC iii
DANH MC CÁC KÝ HI U, CÁC CH T TT vii VI DANH MC CÁC BNG viii
DANH MC CÁC HÌNH V TH ix
M U 1
T NG QUAN 4
1.1 Mu lu 4
1.2 Các nghiên c u v phân lo i âm thanh 4
1.2.1 H ng phân lo i âm thanh ng d ng trong y t 5th 1.2.2 Các h ng phát hi n s kiên âm bth ng 8
1.2.3 H ng phân bi t lo i nh c [34] 13th 1.2.4 H ng phân lo i âm thanh [4] 14th 1.3 nh mng nghiên c u phân lo i s ki n âm 16
1.3.1 Yêu cu ch 16
1.3.2 Yêu c u k thut 17
1.3.3 u phân loi s ki n âm 18
1.3.4 H ng phân i s ki n âm 19th lo 1.4 Kt lu 21
XÂY D NG CSDL ÂM THANH 22 2.1 d u 22li
Trang 52.1.2 d u tili ng 22
2.2 Thc hin xây d ng b CSDL ting nói / ting 27
2.2.1 Các y u t ng ti quá trình thu âm 27
2.2.2 Chu t ch n b v t, h t ng phc v thu âm 27
2.2.3 K ho ch thc hi n thu CSDL âm thanh 28
2.2.4 Quá trình thu âm 29
2.2.5 Ti lý d lin x u 30
2.3 Kt qu thu th p CSDL 30
2.4 Kt lu 31
C 32
3.1 32
3.2 33
3.2.1 ZCR 33
3.2.2 LSF 34
3.2.3 PLP 35
3.2.4 ng 35
3.2.5 Spectral Centroid 35
3.2.6 T n s nh ph 36
3.2.7 Band width 37
3.2.8 Roll Off 37
3.2.9 MFCC 37
3.2.10 BER 38
3.2.11 Pitch 39
3.3 Ti thiu hóa s 39
Trang 63.3.2 40
3.3.3 Xáo trn + phân tách CSDL 41
3.4 Kt lu 42
MÔ HÌNH PHÂN LO I 43
4.1 Mô hình cây quynh 43
4.2 Mô hình m ron- 45
4.3 Mô hình KNN 48
4.4 Mô hình SVM 49
4.5 Mô hình Markov n 50
4.6 Th nghi 51
4.7 Kt lu 54
XÂY D NG H TH NG PHÂN LO I ÂM 55
5.1 Khái quát v th h ng phân loc xây d ng 55
5.2 Khi x lý thu âm 57
5.2.1 Thu thp âm thanh 57
5.2.2 58
5.2.3 59
5.3 Khi trích ch 62
5.3.1 Quy trình trích ch 62
5.3.2 Thit k 63
5.3.3 V qu n lý tài nguyên 65
5.4 Khi mô hình phân lo i 67
5.4.1 Chuyi mô hình nghiên c u sang mô hình th c t 67
5.4.2 Xây d ng mô hình phân lo i trên C++ 69
Trang 75.5.1 i b n tin - Message Queue 70
5.5.2 Gii pháp ZeroMQ 72
5.5.3 Truy n t i kt qu s d ng ZeroMQ 74
5.6 t qu 76
KT LUN 77
Các v c 77
V nâng cao chng 77
V kh r ng 78
Li kt 79
TÀI LIU THAM KH O 80
PH L C 84
ng ng d ng phân lo 84 Các tham s c u hình h ng 88 th
Trang 8DANH M C CÁC KÝ HI U, CÁC CH Ụ Ệ Ữ VIẾ T T T Ắ
V iết tắt Thuật ngữ tiếng Anh Thuật ngữ tiếng Việt ANN Artificial Neural Network -
API Application Programming Interface
BER Band Energy Ratio
BIC Bayesian Information Criterion Tiêu chí thông tin Bayes
CART Classification And Regression Tree
DCT Discreet Cosine Transform
-DDK Driver Development Kit Gói
FFT Fast Fourier Transform
GFAR Global False Alarm Rate
GMDR Global Missed Detection Rate
GMM Gaussian Markov Model
HMM Hidden Markov Model
ID3 Iterative Dichotomiser
KNN K Nearest Neighbour
LPC Linear Predictive Coding
LSF Line Spectral Frequencies
LSP Line Spectral Pairs
MFCC Mel Frequency Cepstral Coefficients
MICA International Research Institute
PCA Principal Component Analysis
PLP Perceptual Linear Prediction
RAM Random Access Memory
SC Spectral Centroid
SVM Support Vector Machine
ZCR Zero Crossing Rate
Trang 9DANH M C CÁC B Ụ Ả NG
B d u dùng cho h ng giám sát holi th ng v sinh 5
B ng 2 K t qu phát hi n s ki n c a h ng giám sát ho th ng v sinh 6
B d u c a h li thnh v và phân lo i s ki n âm 6
B ng 4 T l báo ng sai và dò nh m c a h thnh v , phân lo i s ki n 8
B d u ti ng súng n 9li B ng 6 T l dò nh m và báo ng sai trong nghiên c u c a Cheung-Fat CHAN 12
B ng 7 K t qu phân lo i nh c 14
B ng 8 S các s ki c trích ra theo t ng ng 14
Bng c n thu âm 24
B ng 10 Danh sách các s ki n c n thu âm 26
B ng 11 K t qu chu n b CSDL ti ng nói 31
B ng 12 K t qu c s d ng trong các mô hình phân lo i 41
B ng 13 K t qu hu n luy n m -ron v i các mô hình phân lo i 53
B ng 14 K t qu ki m tra ch ng 03 b phân lo i trên d u ki m th 53 li B ng 15 B ng t ng h p k t qu phân lo i cho l p C i 53
B ng 16 Các thông s ph n ánh ch ng phân lo i cho 3 mô hình 54
B ng 17 Giá tr tín hi c t kênh 1 60
B ng 18 Giá tr tín hi c t kênh 2 61
Bn dùng c a t ng kh i phân lo i 62
B ng 20 Tên và th t các thành ph n có trong véc- 86
Ba các tham s c u hình h ng ch y th th c trên C++ 88
Trang 10DANH M C CÁC HÌNH V Ụ Ẽ , Đ Ồ THỊ
Hình 1 Tháp nhu c u Maslow 1
h th ng giám sát hong v sinh 5
h th ng phát hi n s ki n âm b ng 7
c x lý chính c a phân h phát hi n và phân lo i s ki n 8
h th ng phát hi n ti ng súng 9
Hình 6 T l l i c a h ng phát hi n ti th u ki n khác nhau 10
h th ng phân lo i c a Cheung-Fat CHAN 11
Hình 8 Thu t toán quy nh phân lo i ti ng nói / ti ng / âm n n 12
h th ng phân bi t th lo i nh c 13
Hình 10 K t qu phân lo i c a h ng phân bi th c dùng phân lo i ti ng nói / ti ng 15
Hình 11 Mô hình phân lo i các s ki ng / bng 16
u mô hình phát hi n s ki n âm b ng 18
Hình 13 Các thành phn trong h ng phát hi n s ki n âm 19th h th ng phát hi n s ki n âm 20
Hình 15 K thu t phân i s d ng phân t lo ng 24
Hình 16 B n v m t b ng phòng thu 28
Hình 17 B n v ph i c nh phòng thu 28
Hình 18 Thu t toán x lý trích ch t c 33
nh t n s c t không (0) 34
c tính toán PLP 35
Hình 21 Ví d nh tr ng tâm ph 36
Hình 22 Ví d nh t n s nh ph 36
Hình 23 Ví d v nh Roll Off 37
Hình 24 Ví d v b l c Mel 38
Hình 25 Phân chia d i t tính BER 39
a các thành ph n chính t 40
Hình 27 Xáo tr n b d lin luy n, ki m tra 42
Hình 28 Ví d v mô hình cây quy nh 43
Trang 11Hình 31 Ví d v phân l p dùng mô hình K- NN 48
Hình 32 Ví d v phân tách l p s d ng mô hình SVM 49
Hình 33 Ví d v chu i Markov 50
Hình 34 Ví d v mô hình Markov n 50
kh i h th ng phân lo i s ki c xây d ng 55
Hình 36 T ch c l p c a các c u trúc d lin 56
Hình 37 T chc các l p ph u khi n 57
c chính trong thu t toán thu âm 58
thu t toán thu âm 59
a hai tín hi u ng th i t hai kênh thu âm 61
Hình 41 Các thành ph n liên quan t i quá trình trích ch 63
s thu t toán trích ch 64
Hình 43 K t qu i chi m d ng 66
Hình 44 C u trúc t p tin ch a mô hình cây quy nh 67
Hình 45 Mô hình Simulink c a m - n) 68
Hình 46 Mô hình Simulink c ma -ron (chi ti 68t) Hình 47 C u trúc t p tin ch a mô hình m -ron 69
71
72
Hì 74
Hình 51 Mô hình truy n t i k t qu phân lo i thông qua ZeroMQ 75
Hình 52 K t qu phân lo c truy n t i qua ZeroMQ 76
Hình 53 Mô hình m r ng s ng thread x lý t i t ng kh i ch 78
Hình 54 Mô hình xây d ng b phân lo 79
Hình 55 Mô hình tái s d ng m t ph n h ng ho c s d ng k t h p h ng v i các th th phân h ngoài 79
c th c hi xây d ng mô hình phân lo lu 84
Trang 12vô cùng quan trong u Maslow , v s c khe
c x p vào n c thang th hai, sau nh ng nhu c u t i thi u mang tính ch t ph c
v m c tiêu t n t n Nói theo cách ci Vic kh e là
Trang 13 Vi t Nam, m c dù v c khi cao tuc s là v n
u dân s i thì vi c nghiên
cc khi cao tuc quan tâm
c t su t sinh gi i m c sinh thay th (theo s u c a t li cu c t ng
u tra dân s và nhà su t sinh c a Vi t Nam t -2009 liên t c gi m v m c 2.03 con/ph n ) Th c tr ng trên khi n các nhà chuyên môn
d ng dân s Vit Nam s nh vào khon th
Trang 14n u kinh t c s phát tri n cao thì s nh i ph thu c s ngày m t
t o s c ép cho ln kinh t
B i nh i làm lua ch n nghiên c u v nghiên
c u phân lo ng dng y t , v này là m t ph n trong khuôn kh tài Nghiên c ứ u, ứ ng d ng công ngh thông tin trong xây ụ ệ
d ng h ự ệ thố ng giám sát, h ỗ trợ chăm sóc bệ nh nhân t ại phòng điề u tr thông ị minha vii
Trang 15CHƯƠNG 1 T NG QUAN Ổ
M c tiêu c a lu u và ng d ng vi c phân lo i ti trong ng
ng y t Tuy nhiên qua th i gian nghiên c i th c hi n nh n th y các k t qu có th c m r a nên lu d ng li m t s yêu cu sau:
- Phân lo i ti ng nói / phi ti ng nói (t m g i là ti ng)
- Nghiên cu các mô hình phân lo i âm thanh và l a chn mô hình phù h p
- T c trin khai mô hình phân lo i vào th c t
Vic nghiên c u v phân loc th c hi k th a các
k t qu nghiên c u c a Ti Nguyng thi
có thêm m t s c m r ng nh phù h p v ng c n nghiên
c ng thc t
1.2 Các nghiên c u v phân lo i âm thanh ứ ề ạ
u, gi i quy t bài toán phân lo t ra, ta có
th m l i m t s các k t qu nghiên c u trên th gi có th h c t p nh ng ý
ng, kinh nghi m phù h p
Trang 161.2.1 H th ng phân lo i âm thanh ng d ng trong y t
1.2.1.1 H ng giám sát ho ệ thố ạt độ ng v sinh s d ng âm thanh [23] ệ ử ụ
M c tiêu: ụ H ng này giúp phân lo i các s kiên âm hay có khi làm v sinh cá th
m, r a tay, x c b n c u, ti u ti n và ti ng th dài
D ữ liệu: nghiên c b ng sau:
B ng 1 li d u dùng cho h thng giám sát ho ng v sinh
Hoạt động Số mẫu Thời gian (s)
Trích chọn đặc trưng phân loại + hoạt động vệ sinhBáo cáo tổng kết
Xuất tự động báo cáo ngày Micro
i trong phòng hay không
- N u phát hi n th i và có s ki n âm t n âm thanh s
Trang 17- Các k t qu này s i theo n cho vi c theo dõi ti thông tin v sau.
Kết quả thực hi n: ệ
B ng 2 K t qu phát hi n s kin c a h thng giám sát ho ng v sinh
Loại âm thanh Tỉ lệ chính xác (%)
D ữ liệu:
B ng 3 li d u c a h thnh v và phân lo kii s n âm
Trang 18- H tholl Off, Centroid
- S ki c phát hi n ti p t i phân lo i ti ng bình
ng / bng b ng mô hình GMM
Vic phân loi và nh n d ng t i các máy tr c tiHình 4
Trang 19Hình 4 c x lý chính c a phân h phát hi n và phân lo i s kin
K t qu ế ả thực hiện: th ng g m hai phân h nh phát hi n
s ki n âm và phân h phân lo i âm thanh K t qu ho ng c a h thc
giá b các thông s v T l dò nh m toàn h th ng (GMDR) và t l báo
ng sai toàn h th ng ( GFAR) Kt qu c cho B ng 4
B ng 4 T l ng sai và dò nhm ca h thnh v , phân lo i s kin
Trang 20- D u v li ting t ng: nhà ga, sân bay, sàn giao d ch, phòng trin lãm, sân v ng, ch ng cho các âm thanh t trong ch là dài nh t v i 797 giây V i m i lo i ti ng t ng, bên nghiên c u gi l i 75 giây ph c v cho vi c hu n luy n, d u còn l li i dùng ki m tra.
Khung 1
Khung N
Trích chọn đặc trưng
Trích chọn đặc trưng
Xác suất là tiếng súng Xác suất là tiếng khác Xác suất là tiếng súng Xác suất là tiếng khác
Xác suất là tiếng súng ( tổng hợp )
Xác suất là tiếng khác ( tổng hợp )
Quyết định phân loại (0.5s)
Trang 21- T ng h p k t qu phân lo i trong kho nh kt
Trang 22o Mid-Level Crossing Rate
o Peak and Valley Count Rate
o LPC
- n hu n luy c gán nhãn các l p: âm thanh n n, ti i, ti t o mô hình phân lo i ba l p âm thanh liên quan Ngoài ra, các âm thanh c a m i lo
hu n luy n mô hình ti ng nói b ng / ting và ti ng
ng b t ng / ti u cùng là HMM
- n hong, sau khi trích tr
t tính xác suc phân lo i vào t ng l nh p nh
Trang 23có xu t m t lu t quy u qu c a h th ng Mã gi mô
t thut toán quy
Hình 8 Thu t toán quy nh phân lo i ti ng nói / ti ng / âm n n
t là xác su n âm thanh là ti ng nói, ti ng
và âm thanh n quyn âm thanh
là ti quynh ting và BBH / BBN là
quy n âm là âm thanh n n
Kết quả thực hiện:
B ng 6 T l dò nh ng sai trong nghiên c u c a Cheung- Fat CHAN
SNR Phát hiện tiếng nói bất
thường
Phát hiện tiếng động bất
thường FAR (%) MRD (%) FAR (%) MRD (%)
Trang 241.2.2.3 H ng phát hi n s n âm b ệ thố ệ ự kiệ ất thườ ng ph c v c u h [7] ụ ụ ứ ộ
H ng này giúp phân bi t các tình huth ng / b t phân lo i các tình hu ng vô thanh và h u thanh v i m t hi n ra các s
ki n có kh m h phát hi n các âm thanh gây ra b i chính s ki i vi c ph n
ng c V c l y t kho ng 30 b phim b ng
ting Anh, hai mô hình phân lo chính xác c a phân lo i vào kho cho bi t, vi c phân lo i các âm h u thành
s d i t n s ng d i t n Bark hay tr ng tâm ph có k t qu t i v i phân lo i các âm vô thanh, h thng t
qu phân i cao v i vi c s d lo ph ng d i t n Bark
Trang 255 c phân thành hai nhóm riêng bi ph c v m c
n luy n và ki m tra
6 Vic hun luy n hay ki c t h c hi n nh mô hình m ng N - ron
Kết quả thực hiện:
- B ng sau th hi n k t qu phân lo i c a h th i v i 4 lo i nh c khác nhau:
B ng 7 K t qu phân lo i nhc
Kết quả phân loại của hệ thống Rock Classical Soul/R&B C&W Phân loại
1.2.4 H th ng phân lo i âm thanh [4]
M c tiêu:ụ H ng có th phân chia th c 61 lo ng
xu hi n vt chính xác kho ng 24% M t s ng c nh mà h ng quan tâm th
D ữ liệu: Bao g m các b n ghi dài t n 30 phút m i t p Các t p tin d u li
c nh g n các máy ghi âm i thc hin thu
Các bước x ửlý:
- M c qua c a s t 50% so v n
- V i m n âm s ích ch n 16 h s MFCC tr
Trang 26K t qu ế ả thực hi nệ : T l phân lo a h th lot s i âm có t l ph không (0)
Hình 10 Kt qu phân loi ca h thng phân bi ng phân lo i ti ng nói / ti
Trang 271.3 Xác định mục tiêu và phương hướng nghiên c u phân lo i s ứ ạ ự kiện âm
1.3.1 Yêu c u ch
Lunghiên c u t p trung vào vi c phát hi n / phân lo i các s ki n liên quan t i i
u tr thông minh, v ng có
m u này dn vi c n thi t ph i xây d ng b phân lo i s kic n
ng, bng theo ngu n g c t i hay t v t Có th hình dung c phân Hình 11
Hình 11 Mô hình phân loi các s king / bng
Khái ni m ti ng nói b ng / ting bc hi ki n bình
ng mc hing h p còn l i):
- Ting nói b ng: Ti ng nói b c hi u là nh ng âm thanh do con
i phát ra, là ph n ng c c nh ng b ng trong tâm, sinh lý Ting nói bc phân lo i thành các d ên r / Ho / Nôn e /
H m nh / Mê s ng
- Ting bng: Ting bng ít
c xng x y ra do s m t cân b ng / tr ng
ng, gây ra các ng
Trang 28 m ti ng nói là ch các ti ng xu t phát t i t o ra Bài toán phân lot ra không bao hàm v nh n di n các ti ng nói b ng mà
s b ng c a nó th hi n ng a c a câu nói, ví d u tôi v
Vi c phát hi n d a trên ng c dành cho các kh i x lý khác trong giai
Bên c nh các yêu c u v m t ch u mang tính k thu t c n chú ý
n trong khi thi t k
- Tính nh, tin cc thù h ng là h th tr i trong vi c giám sát các
hong t th m nhi m tr ng trách khi ít s giám sát c i h n ch N nh c a h thng không cao thì bên tri n khai khó có th bi c hay x c s c m t cách
u này d n t i ch giám sát c a h ng không tr th
m b, m c dù h th ng có th ho
k t lu n c a h ng không phù h p v i các s ki n th c t di n ra t th ng
tr giám sát c a h th ng b suy gi m Chính vì v y, yêu c u n
nh và tin c y là y u t th c s quan tr i v i h th c xây d ng
- Tính linh ho t, m m d o: u h ng khác, khi thi t k th
hi n s ki n âm b ng, ta c n tính linh ho t hay m m d o c a h thng Tính ch t này th hi n kh i nhanh, d dàng c a h th ng khi các y u t i hay th m chí có nh i trong c các b
vi c n c nhc phép hay c vi c n i dung thông tin
c truy n t i sai có th gây ra nh ng h u qu n gi ng
c xem xét tính nh hay tin c y c a h thu tính b o m t chú tr ng
Trang 29nhii vi c xem xét các y u t ng có ngu n g c t i v i mc
p vào h th ng trái phép
Ngoài các yêu c u k n ph i có s quan tâm nh nh tu ki n ràng
bu c liên quan t i th i gian phát tri n hay v kinh t trong quá trình thi t k , b i l m t
h thc thi t k m b o hong ti gian nghiên c u, xây d ng hay v n hành quá l n so v i l i thì khó có th ng vào ng th
Tiền xử lý
Trích chọn đặc trưng
PCA
Xáo trộn + Phân tách CSDL
Huấn luyện
Lựa chọn đặc trưng
Chất lượng tốt?
Kết thúcCóKhông
Hình 12 u mô hình phát hi n s kin âm bng
Nhim v c a t ng ph n c th này là:
Trang 30- Chu lin b d u: Thu th p d u liên quan t li i bài toán phân loi cn gi i quy t.
- Ti n x lý: Ti n hành lo i b n âm thanh có l n trong d u không phù h li p
vn âm thanh v min giá tr phù h tránh gây li trong quá trình trích ch
- Trích ch c ng khung th i gian khác nhau
c l p dành cho hu n luy n và ki m b o m t ph
chính xác c a mô hình
- Hun luy u và cùng phân lc phân lo
ng, kh i hu n luy n s i t li u vào
- Quá trình tìm ki d ng ln khi k t qu phân lo t yêu c u
ng h p này, d li c chu n b t t, không c n trích ch n l i
1.3.4 H th ng phân lo i s ki n âm
vào vi c nghiên c u các h th ng phân lo i và phát hi n s ki n ph
có th khái quát m t h th ng phát hi n s ki n âm bao g m các thành ph n sau:
Hình 13 Các thành phn trong h thng phát hi n s kin âm
Trang 31 th ng vào hong th c t , h th ng c n ph i có thành ph n riêng ph c v cho
vi c thu th p d u phân tán và truy n thông t li m thu th p phân tán v trung tâm, t
c mô hình thi t k xu
Hình 14 th h ng phát hi n s kin âm Ho ng c a h th ng phân lo i âm thanh c mô t chi ti:
1 c thu th p t micro và chuy n thành tín hi u s kh i thu th p âm thanh
2 B n x lý có nhi m v l ti c nhiu và phát hi n các s ki n âm
3 N U s ki n âm xu t hi n, k nh truy c thi t l p t các kh i thu th p d u v li trung tâm thông qua khi truy n / nhân d u li
4 T i trung tâm, âm thanh nh c trís ch chc trvào kh i phân lo i ti ng nói/ti ng
5 N U k t qu phân lo i t c (4) là ti ng, kh i phân lo i ti ng s có nhi m v ng hay bng
6 N U k t qu phân lo i t c (4) là ti ng nói, kh i phân lo i ti ng nói và ti ng kêu
s thc hin cha mình
Thu th p
âm thanh
Truy n d liu
Nh n d liu Ti n x lý
Thu th p
âm thanh
Truy n d liu Ti n x lý
Trích chn
Phân lo i ti ng nói / ting kêu
chép, c nh
báo
Kh i x lý phân tán
Kh i x lý
t p trung
Phân loi ting nói / ting
Trang 327 K t qu phát hi n ti ng / ti ng kêu / ti ng / ti ng
ng bnh Kh i này có nhi m v k t h p các thông tin t nhi u ngu n khác nhau, các khung th i gian khác nhau t
nh c nh báo
h th ng này, vi c x lý phân lo i âm thanh ch y c th c hi n t i kh i trung tâm,
u này có th làm h th ng b quá t i n r ng s ng các kh i thu th p d li u
T n th nghi m, vi c x lý t p trung
s giúp cho vi c th nghi m di i m t nhi u th i gian nâng c p cho t ng h x lý n m phân tán nhi m khác nhau Vic
c kh i cho phân h x lý t p trung giúp ta có nh ng cân nh c k
ng trong vi c thi t k h th ng sao cho h th c th nghi m có tính m m d o, có
Trang 33CHƯƠNG 2 XÂY D NG CSDL ÂM THANH Ự
t, y u t quan tr ng khi th c hi n phân lo d li u Tùy vào
u vào và mô hình hu n luy n, ta s có các mô hình phân lo i khác nhau, s cho các
k t qu nhi u lúc khác nhau v i cùng m t d liu này d n t i
vi c ph i l a ch n d lin luy n th mô hình thu
c ho ng t t trong th c t
có th c d li u vào cho quá trình hu n luy n th t t c tiên ph i có là
vi c l a ch n âm thanh phù h h ng hoth c trong th c t thì nh ng âm thanh này ph n âm thanh g n v ng hong ca
h ng nhth u tr thông minh Ta s l t gi i quy t v thu th p d u v các lo i âm thanh có th xu t hi li u tr thông minh
2.1 Định nghĩa bộ cơ sở ữ ệ d li u
2.1.1 d li u ti ng nói
V i ti ng, ta c n thu d u t nhi li ng thu khác nhau v gii tính,
l a tu i, vùng mi c s nhi t tình t nhi u cá nhân t i vi n nghiên c u MICA,
vic chu n b CSDL ti ng nói lu nên thu n l c các CSDL sau:
Trang 34lc coi la nh ng s vi c b ng, n u vi c này di n ra h ng ngày mà không có s
ki m soát c a chính quy n thì có th c rng
u này cho th y, vi c phân lo i ti ng hay bng còn tùy thuc vào phu tr tài ng ti, ting bc gi i h n các s ki ng gi a
Trang 35- c lên kim loi
- c lên g
- i
- c
Theo [29] Hình 15
Hình 15 K thut phân loi s d ng phân t ng
Trang 36 v ng xuyên có va ch m v
cng này trong khi nghiên c u v ting bng
T danh sách các s v t k trên, ta lit kc các loi va ch m ph bi B ng , 10
v i m i lo i va ch m này , ta phân thành 6 lo m
nh cao 40cm (trên gh 120cm cao
i c cao 160cm (v t b ng, v t b ném
xu ng cao th c mô ph ng b ng vi c v n t c lúc va ch l n)
D ki n m i lo i d li u B ng 10 s thu 12 l y v i 164 lo i s có kho ng 1968 s
ki n ti ng S ng s ki i nhi u, con s d u li
d ki n thu s kho ng 1000 l ng v i kho ng 8 phút d u li
Trang 37B ng 10 Danh sách các s kin c n thu âm
C c KL ố Thìa KL Đũa KL C c nh a ố ự Bát nh a ự Đĩa nhựa Thìa nh a ự C c TT ố Bát TT Đĩa TT Cốc sứ
Trang 382.2 Thực hi n xây d ng b CSDL ti ng nói / tiệ ự ộ ế ếng động
2.2.1 Các y u t ng t i quá trình thu âm
Vinh các y u t ng t i quá trình thu âm là th c s c n thi t, b i có
2.2.2 Chu n b v t ch t, h t ng ph c v thu âm
- có th n hành thu âm v i chti ng t t, Vi
d ng m t phòng thu âm t i tòa nhà B1 v i thi t k Hình 16 và Hình 17
Trang 39Hình 16 B n v m t bng phòng thu Hình 17 B n v ph i cnh phòng thu
- Mua s m v t d t o CSDL ting: Nh m ti t ki n chi phí c tài, ngu n v t d ng t a cá nhân Do s ng này còn h n ch c trin
i t n xu thu mua các hàng ph ph u tiên
n là làng g m Bát Tràng Vi n t n xu t tìm ki v t b i loth t tiêu chu n th m m
ng và chng vm b o cho vi giúp cho nhóm th c hi n ti t kic rt nhi u chi phí nghiên c u
2.2.3 K ho ch th c hi n thu CSDL âm thanh
Vi c l p k ho c thu âm th c s c n thi các y u t i, s v c ph i
h p v i nhau m t cách nh p nhàng, tránh các sai sót không c n thi t trong quá trình thu âm
Trang 40o S d ng CSDL ti nghiên c u c m xúc
2.2.4 Quá trình thu âm
Hi n t i vi c thu âm vc th c hi n t i Vi n MICA M t s kinh nghi m có
- Trong khi mô t u ki n kích ho t các ti ng kêu b i nghiên
c t s ng c a y u t tâm lý làm cho m t s loi
c thu th ng h ng ho, ti ng nôn e và ting kêu do mê s ng Ví d : S r t d b h i ph i mùi h t tiêu, do tâm lý bi t r i tham gia thu rt khó b h u ki n kích thích này
- Nhii ng i khi c di n l i các tình hu ng b t
ng c , vì nhi u lo i ti ng phát ra bu i di n ph i trong hoàn cu bng v, hoi tham gia không có kinh nghi m di n xu t các tình hung bng này