Nhận dạng hoạt động gõ tay thông qua phân tích tín hiệu quang phổ cận hồng ngoại (NIRS) dùng giải thuật hồi quy

v TÓM TT Trong nhng thp k gần đơy, các nghiên cu v vic não giao tip máy tính phc v cho mc đích chẩn đoán vƠ phc hi chc năng không ngng phát trin. Oxy trên vỏ nƣo vƠ lu lng máu trên các vùng ca nƣo ngi có th đo bằng phng pháp không xơm nhp ậ quang ph cn hng ngoi fNIRS (functional Near InfraRed Spectroscopy). Trong đ tƠi nƠy, ngi thực hin xây dựng gii thut đ nhn dng mt ngi đang gõ tay trái hay tai phi dựa trên tín hiu nƣo đo đc. D liu còn nhiu thu thp t nhiu kênh s đi qua b tin x lý dùng b lọc Savitzky- Golay đ có đc tín hiu phẳng hn. Đc tính ca tín hiu sau lọc trong quá trình gõ tay trái và phi đc trích ra thông qua hi quy đa thc. H s hi quy tng ng vi lng tp trung oxy- hemoglobin s đc dùng cho vic nhn dng. Sau cùng, công c vector h tr - SVM đc áp dng đ huấn luyn và nhn dng tay trái hay tay phi đang đc gõ. Song song đó, mng n-ron nhân to cũng đc s dng đ huấn luyn và nhn dng, cho thấy tín hiu qu ca các đc trng đƣ có. Các kt qu thí nghim trên 3 ngi vi nhiu lần gõ tay đƣ cho thấy đ tin cy ca gii thut đƣ đ xuất. vi ABSTRACT Researches of human Brain Computer Interface (BCI) for the objective of diagnosis and rehabilitation have been recently increased. Cerebral oxygenation and blood flow on particular regions of human brain can be measured using a non-invasive technique ậ fNIRS (functional Near Infrared Spectroscopy). In this thesis, a study of recognition algorithm will be described for recognition whether one taps his/her left hand or right hand. Data with noises and artifacts collected from a multi-channel system will be pre-processed using a Savitzky- Golay filter for getting more smoothly data. Characteristics of the filtered signals during left and right hand tapping process will be extracted using a polynomial regression algorithm. Coefficients of the polynomial, which correspond to Oxygen- Hemoglobin (Oxy- Hb) concentration, will be applied for the recognition of hand tapping. Then Support Vector Machines (SVM) will be employed to validate the obtained coefficient data for hand tapping recognition. In addition, for the objective of comparison, Artificial Neural Networks (ANN) was also applied to recognize hand tapping side with the same topology. Experimental results have been done many trials on 3 subjects to illustrate the effectiveness of the proposed method. vii MC LC Trang Quyt định giao đ tài i Lý lịch khoa học ii Li cam đoan iii Li cm n iv Tóm tắt v Abstract vi Mc lc vii Danh sách bng ix Danh sách hình x Chng 1 TNG QUAN 1 1.1 Tng Quan V Lĩnh Vực Nghiên Cu 1 1.2 Mc Đích Ca Đ Tài 2 1.3 Nhim V Và Gii Hn Ca Đ Tài 2 1.3.1 Nhim V 2 1.3.2 Gii Hn 3 1.4 Phng Pháp Nghiên Cu 3 1.5 Tóm Tắt Đ Tài 3 Chng 2 C S LÝ THUYT 5 2.1 Phng Pháp Tái Hin Hình nh Và Tín Hiu Nƣo Ngi 5 2.1.1 Phng pháp EEG 5 2.1.2 Phng Pháp MRI 7 2.1.3 Phng Pháp Quang Ph Cn Hng Ngoi fNIRS 8 2.2 C S Lý Thuyt 10 Chng 3 THU THP D LIU NÃO NGI S DNG K THUT QUANG PH CN HNG NGOI - fNIRS 15 3.1 Các Vùng Chc Năng Nƣo Ngi 15 3.2 Thit Bị Và Tín Hiu fNIRS 17 3.2.1 Thit Bị 17 3.2.2 Tín Hiu fNIRS 19 3.3 Thit Lp Thí Nghim Thu D Liu Cho Hot Đng Gõ Tay 21 Chng 4 TIN X LÝ D LIU 25 4.1 B Lọc Savitzky ậ Golay 25 4.2 Áp Dng B Lọc Trên Tín Hiu NIRS 31 Chng 5 TRệCH ĐC TRNG DÙNG HI QUY ĐA THC 36 5.1 Mô Hình Hi Quy Tuyn Tính Nhiu Bin 36 5.2 Mô Hình Hi Quy Đa Thc 38 viii 5.3 Tính Chất c Lng Bình Phng Ti Thiu 40 5.4 Trích Đc Trng Dùng Hi Quy Đa Thc Trên Tín Hiu NIRS 40 Chng 6 THUT TOÁN NHN DNG PR- SVM 48 6.1 Siêu Phẳng - Hyperplane 48 6.2 SVM Tuyn Tính 49 6.3 Các Điu Kin Karush-Kuhn-Tucker (KKT) 50 6.4 Gii Thut SMO 51 6.5 Thut Toán Nhn Dng PR - SVM 53 Chng 7 THUT TOÁN NHN DNG PR-ANN 58 7.1 Mng Lan Truyn Ngc 58 7.2 Thut Toán Nhn Dng PR-ANN 61 Chng 8 KT LUN 65 8.1 Kt Lun 65 8.2 Hng Phát Trin Đ Tài 66 TÀI LIU THAM KHO 67 PH LC 69 ix DANH SÁCH BNG Bng 3. 1. D liu đo đc trong 1.4 giơy đầu tiên trên bán cầu não trái khi gõ tay trái trên kênh 1 20 Bng 5. 1. Tp d liu đ tìm các h s hi quy 37 Bng 6. 1. Sắp xp các h s hi quy t các kênh (2, 5, 6, 9 và 12, 15, 16, 19) trong mt lần gõ tay 54 Bng 6. 2. Gii thut kim tra chéo- nhn dng gõ tay phi và trái 55 Bng 6. 3. Đ chính xác thu đc trên ch th th 1 vi thut toán PR- SVM 55 Bng 6. 4. Đ chính xác thu đc trên ch th th 2 vi thut toán PR- SVM 56 Bng 6. 5. Đ chính xác thu đc trên ch th th 3 vi thut toán PR- SVM 56 Bng 7. 1. Gii thut cp nht trọng s cho mng lan truyn ngc 3 lp 61 Bng 7. 2. Kt qu trên ch th 1 vi thut toán PR- ANN 63 Bng 7. 3. Kt qu trên ch th 2 vi thut toán PR- ANN 63 Bng 7. 4. Kt qu trên ch th 3 vi thut toán PR- ANN 63 Bng 8. 1. Đ chính xác trung bình trên các ch th vi thut toán PR-SVM 65 Bng 8. 2. Đ chính xác trung bình trên các ch th vi thut toán PR-ANN 65 x DANH SÁCH HÌNH Hình 1. 1. Tóm tắt các phng pháp đo tín hiu não 1 Hình 1. 2. Sự thay đi Hemoglobin (Hb): Oxy-Hb, deOxy-Hb, total-Hb 2 Hình 2. 1. B trí đin cực trong phép đo EEG[2] 5 Hình 2. 2. Bn loi sóng c bn trong phép đo EEG : sóng delta, theta, alpha, beta [3] 6 Hình 2. 3. Quá trình tác đng lên nguyên t hydro trong phng pháp MRI [4] 7 Hình 2. 4. nh MRI có đc theo phng pháp T1 vƠ T2 (t trái sang) [5] 8 Hình 2. 5. Di bc sóng t tia Gamma đn vô tuyn 8 Hình 2. 6. Tác đng tia cn hng ngoi vào vỏ não 9 Hình 2. 7. Ph hấp th hemoglobin đi vi các bc sóng khác nhau 9 Hình 2. 8. Đng thẳng hi quy có đc trên nƣo trái (đng lin xanh) và não phi (đng nét đt đỏ) khi gõ tay trái (a)) và gõ tay phi (b)) 12 Hình 2. 9. Biu din vector SVM ca đáp ng huyt đng thu đc t NIRS (a)) và mô hình phân loi SVM ca d liu NIRS (b)) 13 Hình 2. 10. D liu fNIRS thô vi các loi nhiu (đng mƠu đỏ). Nhiu vt (trái) và nhiu Gauss (phi) 13 Hình 2. 11. Tín hiu NIRS có artifact (đng màu xanh) và tín hiu đƣ loi bỏ nhiu (đng mƠu đỏ) bằng phng pháp đ xuất trong [16] 14 Hình 3. 1. Phân chia các thùy trên vỏ não 15 Hình 3. 2. Vị trí vùng điu khuyn chuyn đng motor control [17] 16 Hình 3. 3. Các chc năng liên quan trong vùng motor control 16 Hình 3. 4. Máy fNIRS : FOIRE-3000 17 Hình 3. 5. Các kiu b trí Holder khác nhau 17 Hình 3. 6. Các thành phần ca Holder khi tháo ri 18 Hình 3. 7. B trí Holder vƠ các đầu đo (a)) cho thí nghim trên máy FOIRE-3000 cùng phần mm fNIRS (b)). 18 Hình 3. 8. Thit lp các thông s trên máy fNIRS dùng phần mm fNIRS 19 Hình 3. 9. Tín hiu OxyHb, DeOxyHb, và TotalHb ca kênh 1 trong 1,4 giơy đầu tiên 21 Hình 3. 10. B trí các đầu đo trên hai bán cầu não ca ch th tham gia thí nghim 21 Hình 3. 11. Hot đng gõ tay trong thí nghim 22 Hình 3. 12. Giao thc thi gian cho mt lần gõ tay 22 Hình 3. 13. Vị trí các đầu đo (đầu phát ậ đỏ, đầu thu - xanh ), kênh đo trên khu vực motor control ca bán cầu não trái 23 Hình 3. 14. Vị trí các đầu đo, kênh đo (mƠu vƠng) trên khu vực motor control ca bán cầu não phi 23 Hình 3. 15. Các kênh 2, 5, 6, 9 trên bán cầu não trái và 12, 15, 16, 19 trên bán cầu não phi đc chọn đ lấy d liu 23 xi Hình 3. 16. Tín hiu thu đc t các kênh 2, 5, 6, 9 trên bán cầu não trái 24 Hình 3. 17. Tín hiu thu đc t các kênh 12, 15, 16, 19 trên bán cầu não phi 24 Hình 4. 1. Làm phẳng tín hiu vi bc ca đa thc lần lt d =0, 1, 2 25 Hình 4. 2. Đáp ng biên đ ca lọc Savitzky- Golay vi ca s N=5, bc d= 3 30 Hình 4. 3. Đáp ng biên đ ca lọc Savitzky- Golay vi ca s N=11, bc d= 3 30 Hình 4. 4. Đáp ng biên đ ca lọc Savitzky- Golay vi ca s N=11, bc d= 5 31 Hình 4. 5. Tín hiu kênh 6 trc và sau khi lọc vi b lọc Savitzky- Golay có ca s 5, bc 3 32 Hình 4. 6. Tín hiu kênh 6 trc và sau khi lọc vi b lọc Savitzky- Golay có ca s 11, bc 3 32 Hình 4. 7. Phân tích tín hiu sau lọc. Các đng nét đt mƠu đen th hin sự phân chia vùng tín hiu theo thi gian khi thực hin mt lần gõ tay. Trong khi đó đng màu lc là sự th hin tng ng vic tăng vƠ gim oxy-Hb trên lý thuyt 33 Hình 4. 8. Áp dng đi vi tín hiu trên các kênh  não trái. Tín hiu gc ậ Origin signal, tín hiu đc làm phẳng Smooth signal 34 Hình 4. 9. Áp dng đi vi tín hiu trên các kênh  não phi 34 Hình 4. 10. Tín hiu NIRS thô (đng lin xanh) và tín hiu sau lọc (đng nét đt đỏ). Các gai nhọn đt bin - artifacts (hai gai đin hình đc khoanh tròn) bị loi bỏ bi b lọc Savitzky-Golay ca s 11 35 Hình 5. 1. Hi quy tín hiu theo đa thc bc 3 41 Hình 5. 2. Hi quy tín hiu theo đa thc bc 5 41 Hình 5. 3. Hi quy tín hiu theo đa thc bc 15 42 Hình 5. 4. Hi quy tín hiu theo đa thc bc 20 42 Hình 5. 5. Đng tín hiu lý tng ca oxy-Hb khi có kích thích. 43 Hình 5. 6. Đng cong tín hiu sau khi hi quy trên các kênh trong lần gõ tay trái 45 Hình 5. 7. Đng cong tín hiu sau khi hi quy trên các kênh trong lần gõ tay phi 45 Hình 5. 8. Đng cong tín hiu sau khi hi quy trên các kênh trong lần gõ tay trái (2) 46 Hình 5. 9. Đng cong tín hiu sau khi hi quy trên các kênh trong lần gõ tay phi (2) 46 Hình 6. 1. Các đng phân chia hai tp d liu mang đc tính khác nhau 48 Hình 6. 2. Các siêu phẳng H 1 và H 2 phân chia các mu tích cực và th đng thành 2 lp khác nhau 49 Hình 6. 3. S đ khi thut toán nhn dng PR-SVM 53 Hình 6. 4. Phân loi đc trng gõ tay dựa vào các siêu phẳng trong gii thut SVM 54 Hình 6. 5. Giao thc gõ tay trong mt thí nghim. Trong mt lần thí nghim ch th gõ tay trái 10 lần và tay phi 10 lần theo giao thc thi gian trong hình 3.12 54 xii Hình 7. 1. Cấu trúc n-ron sinh học: cell body, axon, synaptic 58 Hình 7. 2. Cấu trúc c bn ca t bào thần kinh 59 Hình 7. 3. Mô hình perceptron mt n-ron 59 Hình 7. 4. HƠm bc 59 Hình 7. 5. Hàm sigmoid 59 Hình 7. 6. Hàm double sigmoid 59 Hình 7. 7. Mng lan truyn ngc vi 3 lp 60 Hình 7. 8. S đ thut toán nhn dng PR-ANN 62 Hình 7. 9. Cấu trúc mng n ron trong thut toán nhn dng PR-ANN: 48 nút lp ngõ vào, 100 nút lp ẩn và 2 nút ngõ ra 62 Chng 1. Tng Quan 1 Chngă1 TNG QUAN 1.1 Tng Quan V LnhăVực Nghiên Cu Trong nhng thp k gần đơy, rất nhiu thành tựu đƣ đc gt hái trong lĩnh vực tái to hình nh và nhn dng thần kinh trên nƣo ngi. Hot đng nƣo đc th hin qua kt qu ca các k thut khác nhau nh : fNIRS (functional Near- Infrared Spectroscopy) ậ máy chc năng quang ph cn hng ngoi, EEG (ElectroEncephaloGraphy), MEG (Magnetic EncephaloGraphy), MRI (Magnetic Resonance Imaging). Hình 1. 1. Tóm tắt các phng pháp đo tín hiu não fNIRS đƣ vƠ đang tr thành mt k thut thun li cho các mc đích thí nghim não. K thut không xâm nhp này s dng phng pháp phát các tia cn hng ngoi vƠo nƣo đ đo huyt đng nƣo cũng nh phát hin th tích máu vƠ lng oxy thay đi. Chng 1. Tng Quan 2 Nói mt cách khác, fNIRS đo sự thay đi oxy-hemoglobin và deoxy- hemoglobin trên b mt não. Khi có mt kích thích xy ra trong não, chẳng hn nh suy nghĩ, vn đng,… thì lng huyt đng thay đi tng ng trên vùng não đm nhn chc năng tng ng. Tín hiu quang ph cn hng ngoi NIRS đc biu din theo 3 thành phần oxy-hemoglobin và deoxy-hemoglobin, và total hemoglobin là sự kt hp ca 2 thành phần trên. Hình 1.2 là mt ví d v tín hiu NIRS. Hình 1. 2. Sự thay đi Hemoglobin (Hb): Oxy-Hb, deOxy-Hb, total-Hb Rất nhiu nhà nghiên cu v khoa học thần kinh trên th gii đƣ bị cun hút bi k thut NIRS, nhng  Vit Nam, đơy vn là mt vấn đ khá mi. Nhiu công trình đƣ đc công b trên các tp chí, hi nghị v các khía cnh khác nhau dựa trên k thut quang ph cn hng ngoi. Vic ng dng các k thut hin đi đ giúp con ngi, đc bit lƠ ngi khuyt tt tăng cng kh năng giao tip và hòa nhp vi cuc sng xung quanh, cũng nh thực hin chẩn đoán đ cha bnh ngƠy cƠng đc chú trọng. Do đó, các phng pháp không xơm nhp ngày càng th hin vai trò quan trọng ca mình, trong đó có k thut fNIRS. 1.2 Mc ĐíchăCaăĐ Tài Xây dựng gii thut đ thông qua tín hiu nƣo đo đc có th phân tích và nhn dng đc hot đng bán cầu não và gõ tay ca con ngi. 1.3 Nhim V Và Gii Hn CaăĐ Tài 1.3.1 Nhim V Tìm hiu v b lọc Savitzky- Golay, gii thut hi quy theo đa thc, vector h tr - SVM, mng n-ron nhân to (mng lan truyn ngc). Xây dựng thí nghim vƠ đo tín hiu não s dng máy fNIRS FOIRE- 3000. [...]... t đỏ) khi gõ tay trái (a)) và gõ tay ph i (b)) ng nét Oxy-Hb và deOxy-Hb còn có th đ c dùng trực ti p v i gi i thu t SVM đ nh n d ng ho t đ ng gõ tay [14] Tín hi u t tất c các kênh đ c xem nh lƠ ngõ vào c a h nh n d ng SVM đ phân ra thành hai l p t ng ng v i gõ tay trái và gõ tay ph i Tín hi u NIRS đ c thu th p trên 5 ch th v i hai ho t đ ng : gõ ngón tay vƠ t ng t ng chuy n đ ng tay trái, tay ph i... khác liên quan đ n ngón tay Dựa trên h s góc c a đ ng thẳng thu đ c t h i quy tuy n tính, ta có th phân bi t đ c là tay trái hay tay ph i đang đ c gõ [13] D li u thu đ c trong 11 Ch ng 2 C S Lý Thuy t các lần gõ tay trái, ph i trên các kênh đ c ti n x lý bằng lọc, sau đó h i quy tuy n tính đ tìm ra các h s góc Các h s nƠy lƠ c s so sánh cho ho t đ ng gõ tay trái và ph i B lọc Savitzky-Golay đ c dùng trong... V i d li u đƣ phẳng h n, h i quy tuy n tính đ c áp d ng K t qu h i quy tuy n tính có đ c là h s c a đ ng thẳng t ng ng v i tín hi u có đ c khi gõ tay trái hay tay ph i So sánh sự khác nhau gi a các h s h i quy trên các kênh lƠ c s đ phân bi t m t ch th đang gõ tay trái hay tay ph i V i k t qu so sánh có đ c, tác gi (ng i thực hi n đ tài) cho thấy rằng, v i m t ng i thu n tay ph i thì ho t đ ng c a nƣo... ng Quan Áp d ng c s lý thuy t đƣ có, nh n d ng ho t đ ng gõ tay (gõ tay trái hay tay ph i) thông qua phân tích tín hi u não t d li u thu đ c 1.3.2 Gi i H n X lý d li u không trực tuy n Thí nghi m thực hi n là gõ tay và chỉ đo trên vùng nƣo đi u khi n chuy n đ ng Chỉ thực hi n trên 3 ng 1.4 Ph i ngăPháp Nghiên C u Thu th p d li u: Sự thay đ i oxy-Hb trên vùng đi u khi n ho t đ ng c a nƣo đ c thu v dùng. .. c thí nghi m, ch th s ti n hành gõ tay - nâng (1) phần t bƠn tay đ n khu u tay (bàn tay và cẳng tay) và h (2) xu ng nh trong hình 3.11 2 1 Hình 3 11 Ho t đ ng gõ tay trong thí nghi m Vi c gõ tay trái ho c ph i đ c thực hi n theo m t giao th c bao g m 20 giây nghỉ (Rest), 20 giây gõ tay (Task), 20 giây nghỉ (Rest) Đi u nƠy có nghĩa lƠ ch th ng i nghỉ trong 20 giây, gõ tay kho ng 10 lần trong 20 giơy,... d ng đ thực hi n phân tích : Phân tích Wavelet đ x lý tín hi u và tách lấy đ c tr ng, m ng n -ron nhằm thực hi n ch c năng nh n d ng Các đ c tr ng chính là các h s trích đ c t bi n đ i wavelet đ c dùng đ phân lo i M ng n ron truy n thẳng đa l p v i m t l p ngõ vào, m t l p ẩn và m t l p ngõ ra đ c s d ng Ngõ vào c a m ng chính là các h s t bi n đ i wavelet đƣ nói Ngõ ra lƠ các l p phân lo i mong mu... Chẳng h n v i m t ng d ng liên quan đ n tín hi u nƣo vƠ đòi hỏi x lý th i gian thực thì vi c áp d ng nh [12] s rất khó khăn Vi c dựa vào các h s góc có đ c t h i quy tuy n tính đ nh n d ng ho t đ ng gõ tay có đ chính xác không cao vì trong m i lần thực hi n gõ tay, giá trị c a h s l i thay đ i H SVM đ c áp d ng trực ti p v i ngõ vào là oxy-Hb và deoxy- Hb [14] đòi hỏi s l ng ngõ vào rất nhi u, không ti... tĩnh vƠ t o ra ra tín hi u RF Hình 2.3 miêu t quá trình tác đ ng lên nguyên t hydro Hình 2 3 Quá trình tác đ ng lên nguyên t hydro trong ph ng pháp MRI [4] Tín hi u RF phát ra t các nguyên t hydro khi chúng quay v h ng ban đầu ph thu c vƠo đ m nh c a tr ng t M i tín hi u RF s đ c phân tích b i máy tính dựa trên c ng đ c a chúng hay các tiêu chuẩn khác Các tín hi u nƠy sau đó đ c chuy n qua nh xám Có 2... deoxyHb (3.3) 3.2.2 Tín Hi u fNIRS Đ thu tín hi u fNIRS, ta có th thi t l p các thông s v giao th c (protocol) thí nghi m, vị trí các kênh gi a các đầu phát vƠ đầu thu Đầu thu Đầu phát Kênh đo Vùng đi u khi n chuy n đ ng (não ph i) Hình 3 8 Thi t l p các thông s trên máy fNIRS dùng phần m m fNIRS Ví d trên hình 3.8  Protocol đ c thi t l p cho thí nghi m gõ tay : 20 giây nghỉ, 20 giây gõ tay, 20 giây nghỉ... tính toán th i gian di chuy n và chi u dài di chuy n c ng v i phân tích th ng kê cho ra m c đ thích nghi c a vi c học t ng ng Nh n di n ch c năng nƣo thông qua phơn tích wavelet tín hi u fNIRS và m ng n -ron [11] fNIRS là m t trong nh ng ph ng pháp có giá trị đ nh n d ng nhi m v c a não Trong bài báo này, tác gi gi i thi u k thu t phân tích tín hi u fNIRS và cho thấy rằng t n t i các đ c tr ng khác nhau . nghim vƠ đo tín hiu não s dng máy fNIRS FOIRE- 3000. Chng 1. Tng Quan 3 Áp dng c s lý thuyt đƣ có, nhn dng hot đng gõ tay (gõ tay trái hay tay phi) thông qua phân tích tín hiu. nhn dng hot đng gõ tay [14]. Tín hiu t tất c các kênh đc xem nh lƠ ngõ vào ca h nhn dng SVM đ phân ra thành hai lp tng ng vi gõ tay trái và gõ tay phi. Tín hiu NIRS đc. tng ng vi tín hiu có đc khi gõ tay trái hay tay phi. So sánh sự khác nhau gia các h s hi quy trên các kênh lƠ c s đ phân bit mt ch th đang gõ tay trái hay tay phi. Vi kt