Tạp chí Tin học Điều khiển học, T.29, S.3 (2013), 277–284 XÁC ĐỊNH HEMATOCRIT SỬ DỤNG MẠNG NEURAL ĐƯỢC HUẤN LUYỆN ONLINE DỰA TRÊN MÁY HỌC CỰC ĐỘ HUỲNH TRUNG HIẾU, HỒ ĐẮC QUÁN Khoa Công nghệ Thông tin, Đại học Cơng nghiệp Tp HCM Tóm tắt Hematocrit (HCT) tỉ lệ phần trăm thể tích hồng cầu so với thể tích máu Đây yếu tố ảnh hưởng lớn đến trình đo glucose sử dụng thiết bị cầm tay Trong báo tác giả trình cách tiếp cận để đo HCT từ cung dòng điện tạo phản ứng hóa học q trình đo glucose thiết bị cầm tay Phương pháp đề xuất dựa mạng neural nhân tạo huấn luyện online dựa máy học cực độ (Extreme Learning Machine - ELM) Những kết thực nghiệm cho thấy, phương pháp đề nghị cho kết khả quan so sánh với phương pháp trước Từ khóa Hematocrit; mạng nơron; máy học cực độ; huấn luyện online; đo glucose Abstract Hematocrit (HCT) is the volume percentage of red blood cells in the whole blood This is the most highly influencing factor in glucose measurement using handheld devices In this paper, we present a new approach to estimate hematocrit from the transduced current curve which is produced by chemical reaction on electrochemical biosensors used in glucose measurement Our method utilizes the single-hidden layer feedforward neural network trained by online sequential extreme learning machine The experimental results are given to show high level of accuracy of the proposed method Key words Hematocrit; neural network, extreme learning machine; online sequential training; glucose measurement GIỚI THIỆU Hematocrit (HCT) thông số quan trọng y học chẳng hạn phẫu thuật lọc máu (hemodialysis) [1-2] Nó xem dấu hiệu bệnh thiếu máu (anemia, khả vận chuyển Oxy máy giảm) HCT mức thấp HCT mức cao dấu hiệu bệnh polycythaemia Ngoài ra, yếu tố ảnh hưởng lớn đến kết đo glucose thiết bị cầm tay [3-5] Giá trị glucose đo có xu hướng lệch lớn giá trị HCT mức thấp lệch thấp giá trị HCT mức cao Việc xác định giá trị HCT thực phương pháp ly tâm, thiết bị phân tích chuyên dụng, dielectric spectroscopy [6], số kỹ thuật khác Tuy nhiên hầu hết phương pháp phức tạp và/hoặc yêu cầu thiết bị chuyên dụng, đặc biệt áp dụng thiết bị cầm tay ∗ Bài báo thực với hỗ trợ từ trường Đại học Quốc gia Chonnam, Hàn Quốc, Viện nghiên cứu BioIT, Công ty GlucoDr 278 HUỲNH TRUNG HIẾU, HỒ ĐẮC QUÁN Việc xác định giá trị HCT từ cung dòng điện (Transduced Current Curve) sử dụng mạng neural truyền thẳng đề xuất báo trước [7] Một mạng neural truyền thẳng tổng quát bao gồm lớp nhập, lớp ẩn lớp xuất Tuy nhiên, người ta chứng minh rằng, mạng truyền thẳng với lớp ẩn (Single Hidden Layer Feedforward Neural Network-SLFN) xấp xỉ hàm biên định với hình dạng [8] hàm kích hoạt chọn cách thích hợp Do đó, nghiên cứu tập trung vào mạng neural truyền thẳng lớp ẩn (SLFN) Thông thường, huấn luyện mạng neural dựa tiếp cận giảm gradient, thuật toán huấn luyện phổ biến cho mạng neural dựa tiếp cận giảm gradient thuật tốn lan truyền ngược (Backpropagation), trọng số mạng cập nhật từ lớp xuất đến lớp nhập Thuật tốn thường hội tụ chậm, dễ dàng gặp phải vấn đề tối ưu cục (Local Minima) hay khớp (Overfitting) Mặc dù có nhiều cải tiến, đến thời điểm hầu hết thuật toán huấn luyện dựa giảm gradient chậm yêu cầu nhiều bước lặp Một thuật toán huấn luyện hiệu đề xuất gần huấn luyện SLFN máy học cực độ (Extreme Learning Machine -ELM) [9-12] Trong ELM, trọng số lớp nhập độ dịch lớp ẩn gán giá trị ngẫu nhiên, sau trọng số lớp xuất xác định phép tính ma trận đơn giản dựa nghịch đảo ma trận lớp ẩn Thuật tốn khắc phục số nhược điểm thuật toán lan truyền ngược tối ưu cục bộ, tốc độ học, epochs Trong nghiên cứu trước, SLFN dùng xác định HCT huấn luyện dạng offline Trong báo nhóm tác giả tiếp tục phát triển phương pháp xác định HCT từ cung dòng điện sử dụng SLFN huấn luyện dạng online Các đặc trưng đầu vào (Input Features) cho mạng neural lấy mẫu từ cung dòng điện tạo di chuyển ion đến điện cực Các ion tạo phản ứng hóa học với enzyme q trình đo glucose sử dụng glucose sensor (Electrochemical Glucose Biosensor) Bố cục báo tổ chức: Mục trình bày thuật tốn huấn luyện online cho SLFN dựa máy học cực độ (ELM) Phương pháp xác định HCT sử dụng ELM huấn luyện online mô tả Mục 3, Mục trình bày kết thực nghiệm Và cuối kết luận HUẤN LUYỆN ONLINE CHO MÁY HỌC CỰC ĐỘ Mạng neural sử dụng phổ biến nhiều ứng dụng khác [13] Có nhiều kiến trúc mạng khác nghiên cứu phát triển Tuy nhiên người ta chứng minh mạng neural truyền thẳng với lớp ẩn đơn tạo biên phân loại với hình dạng xấp xỉ hàm hàm kích hoạt chọn cách thích hợp [8] Do đó, mạng lớp ẩn ứng dụng phổ biến Kiến trúc tiêu biểu mạng neural lớp ẩn với d nút lớp nhập, N nút lớp ẩn C nút lớp xuất mơ tả Hình Giả sử w m = [wm1 , wm2 , , wmd ] vector trọng số kết nối từ lớp nhập đến nút ẩn thứ m, bm độ dịch (bias) a i = [ai1 , ai2 , , aiN ]T vector trọng số kết nối từ lớp ẩn đến nút xuất thứ i vector ngõ xuất o j tương ứng với vector nhập x j xác định N w m · x j + bm ), x ∈ IRd , aim f (w oji = m=1 (1) XÁC ĐỊNH HEMATOCRIT SỬ DỤNG MẠNG NEURAL ĐƯỢC HUẤN LUYỆN ONLINE 279 Hình Kiến trúc tiêu biểu mạng neural lớp ẩn (SLFN) f (·) hàm kích hoạt nút ẩn, w m · x => tích vơ hướng vector w m x xj , t j )|j = 1, , n}, mục đích q trình huấn luyện mạng Cho tập mẫu S = {(x tìm trọng số, bao gồm w , a b để tối ưu hàm mục tiêu Thơng thường, hàm mục tiêu chọn bậc định nghĩa sau n E= n oj − tj j=1 N = w m · x j + bm ) − t j a ∗m f (w j=1 (2) m=1 Một thuật toán huấn luyện hiệu phát triển gần máy học cực độ hay ELM (Extreme Learning Machine) Nó dựa ý tưởng thay xác định tất trọng số mạng trình lặp lại, trọng số lớp nhập độ dịch chọn ngẫu nhiên trọng số lớp xuất xác định bước đơn Rõ ràng, mạng với N nút ẩn xấp xỉ N mẫu với lỗi 0, nghĩa tồn trọng số w , a b cho N tj = a∗m f (w w m · xj + bm ), j = 1, 2, , N (3) m=1 Phương trình viết lại sau HA = T , (4) a1 , a , , a N ] H gọi ma trận ngõ xuất lớp ẩn, T = [tt1 , t , , t n ]T A = [a Trong [9], tác giả chứng minh ma trận H khả đảo số mẫu tập huấn luyện số nút ẩn hàm kích hoạt khả vi Trong trường hợp số nút ẩn nhỏ số mẫu huấn luyện ma trận trọng số xuất A xác định ma trận giả đảo H với chọn lựa ngẫu nhiên trọng số nhập độ dịch Các kết chứng minh [9] Như vậy, thuật giải ELM tóm tắt sau - Gán giá trị ngẫu nhiên cho trọng số nhập độ dịch (bias) nút ẩn - Tính ma trận ngõ xuất lớp ẩn H - Xác định trọng số xuất cách sử dụng phương trình sau ˆ = H †T , A (5) 280 HUỲNH TRUNG HIẾU, HỒ ĐẮC QUÁN đó, H † gọi ma trận giả đảo H Như vậy, trọng số mạng xác định bước đơn giản khơng cần tính tốn bước lặp thuật tốn giảm gradient Nó khắc phục nhược điểm chọn lựa hệ số tốc độ học, epochs, khởi động giá trị ban đầu, Đặc biệt, thuật toán cho thời gian huấn luyện nhanh 3.1 XÁC ĐỊNH HCT SỬ DỤNG ONLINE ELM Các đặc trưng ngõ nhập Trong nghiên cứu này, đặc trưng ngõ vào cho mạng neural điểm liệu lấy mẫu từ cung dòng điện tạo phản ứng hóa học xảy trình đo glucose sử dụng cảm biến sinh học điện hóa (Electrochemical Biosensor) Trong q trình đo glucose sử dụng cảm biến sinh học điện hóa (Electrochemical Biosensor - thiết bị cầm tay sử dụng), glucose oxydase enzyme cảm biến sinh học (GOD) xúc tác phản ứng oxy hóa glucose tạo gluconic axit hydrogen peroxide (H2 O2 ) Sau đó, oxy hóa trở lại trạng thái ban đầu giải phóng electron Electron di chuyển điện cực tạo thành dòng điện Glucose+O2 +GO/FAD −→ Gluconic acid+H2 O2 +GO/FADH2 GO/FADH2 +Ferricinium+ −→ GO/FAD+Ferricinium Ferricinium −→ Ferricinium+ + e− Hình Cung dịng điện 14 giây Một cung dòng điện tạo 14 giây Hình Rõ ràng, liệu giây không chứa nhiều thơng tin cho việc tính HCT, xem “thời gian ủ” (Incubation Time) để chờ phản ứng hóa học thực Trong nghiên cứu này, ta tập trung vào phần thứ cung dòng điện giây sau Trong đoạn thời gian giây sau, cung dòng điện lấy mẫu với tần số 10Hz tạo thành điểm liệu trình bày Hình Như vậy, có 59 điểm liệu sử dụng đặc trưng ngõ vào cho mạng neural để xác định HCT Gọi mẫu thứ j x j = [xj1 , xj2 , , xj59 ] Sử dụng SLFN để xác định HCT với vector đặc trưng ngõ vào x đề nghị số nghiên cứu trước [7], nhiên báo trước, mạng neural huấn luyện dạng offline Trong báo tác giả phát triển ứng dụng mạng neural huấn luyện dạng online xác định HCT XÁC ĐỊNH HEMATOCRIT SỬ DỤNG MẠNG NEURAL ĐƯỢC HUẤN LUYỆN ONLINE 281 Hình Các điểm liệu lấy mẫu cung dòng điện 3.2 Thuật giải huấn luyện cho SLFN Dựa ý tưởng ELM, tiếp cận huấn luyện online gọi máy học cực độ online (Online Sequential Extreme Learning Machine, OS-ELM) đưa Liang cộng [14], giả thiết H T H nonsingular, giả đảo H xác định H T H )−1H T H † = (H (6) Thay vào (5), ta có ˆ = (H H T H )−1H T T A (7) Bây giờ, ta bắt đầu tìm luật học trình huấn luyện online Bắt đầu với tập xj , t j )|j = 1, , n0 }, trọng số lớp xuất xác định liệu huấn luyện S = {(x T A = L −1 H T 0, (8) h1 , h , , h n0 ]T Đối với tập huấn luyện L = H T0 T , T = [tt1 , t , , t n0 ]T H = [h xj , t j )|j = n0 + 1, , n0 + n1 }, trọng số lớp xuất tính gồm n1 mẫu tiếp theo, S = {(x −1 T T T H0 T0 T0 H0 H0 H0 , (9) = L −1 A1 = H1 T1 H1 H1 H1 T1 hn0 +1h n0 +2 h hn0 +n1 ]T Hai với L = L + H T1 H , T = [ttn0 +1t n0 +2 ttn0 +n1 ]T H = [h số hạng cuối (9) viết lại H0 H1 T T0 = H T0 T + H T1 T = L 0A + H T1 T T1 Khi (9) viết lại T T − H 1A ) L0A + H T1 T ) = A + L −1 A = L −1 (L H (T Trong trường hợp tổng quát với nk mẫu huấn luyện, k−1 xt , t j )|j = S k = {(x k ni + 1, , i=0 ni }, i=0 282 HUỲNH TRUNG HIẾU, HỒ ĐẮC QUÁN trọng số lớp xuất A k cập nhật L k = L k−1 + H Tk H k , (10) T T k − H kA k−1 ), A k = A k−1 + L −1 k H k (T (11) T k = [tt t k−1 i=0 ni +1t k−1 i=0 ni +1h t k−1 i=0 ni +2 tt k−1 i=0 h ni +2 h k i=0 ni ] T h H k = [h h h k i=0 ni ] T Như vậy, thuật toán huấn luyện online mơ tả sau • Giai đoạn khởi tạo: xj , t j )|j = 1, 2, , n0 } ta thực bước sau: Ứng với tập huấn luyện khởi tạo S = {(x - Gán giá trị ngẫu nhiên cho trọng số lớp nhập w độ dịch b - Xác định ma trận xuất lớp ẩn H - Xác định ma trận L = H T0 H - Xác định A sử dụng công thức (8) • Giai đoạn cập nhật trọng số: k−1 xj , t j )|j = Ứng với tập mẫu huấn luyện S k = {(x k ni } ta thực ni + 1, , i=0 i=0 bước sau: - Xác định ma trận H k - Xác định ma trận Lk sử dụng công thức (10) - Cập nhật ma trận trọng số A k sử dụng công thức (11) KẾT QUẢ THỰC NGHIỆM Dữ liệu thực nghiệm của báo lấy từ 199 mẫu máu tình nguyện viên Mỗi mẫu máu chia làm phần, phần đầu dùng để xác định giá trị hematocrit xác phương pháp ly tâm, phần thứ dùng để xác định cung dịng điện Hình Trong phần cung dòng điện sau “thời gian ủ”, 59 điểm liệu lấy mẫu với tần số 10Hz Phân bố giá trị hematocrit xác có dạng Hình 4, với giá trị trung bình 36.02 độ lệch 6.39 Tập liệu sau chia làm phần gồm 40% cho huấn luyện 60% cho đánh giá (testing) Các đặc trưng ngõ nhập chuẩn hóa đoạn [0, 1] Thuật giải thực mơi trường Matlab 7.0 Độ xác đánh giá dựa đại lượng RMSE (Root Mean Square Error) định nghĩa RM SE = n n (ooj − t j )2 , (12) j=1 đó, o j giá trị xuất xác định từ mạng neural, t j giá trị đo xác, n số mẫu đánh giá Kết trung bình 50 lần thử trình bày Bảng Từ Bảng ta XÁC ĐỊNH HEMATOCRIT SỬ DỤNG MẠNG NEURAL ĐƯỢC HUẤN LUYỆN ONLINE 283 Hình Phân bố giá trị hematocrit thu thập thấy số nút ẩn huấn luyện online số nút ẩn trường hợp offline, nhiên độ xác huấn luyện online cao huấn luyện offline Chú ý rằng, trường hợp huấn luyện online cho phép ta tiếp tục huấn luyện hệ thống trình sử dụng để nâng cao hiệu Bảng So sánh RMSE phương pháp online offline KẾT LUẬN Hematocrit (HCT) yếu tố đóng vai trị quan trọng y khoa, đặc biệt trình đo glucose thiết bị cầm tay Đối với thiết bị cầm tay tính thuận tiện nhỏ gọn nó, ta đo hematocrit cách sử dụng phương pháp truyền thống ly tâm, mà đo từ cung dòng điện tạo trình thực phản ứng glucose enzyme tráng biosensor Trong báo này, tác giả tiếp tục phát triển nghiên cứu sử dụng mạng neural xác định HCT từ cung dòng điện với mạng neural huấn luyện online Kết thực nghiệm cho thấy với kiến trúc mạng, độ xác huấn luyện online xấp xỉ cách huấn luyện offline Và với cách huấn luyện online cho phép ta tiếp tục huấn luyện q trình sử dụng từ nâng cao hiệu hệ thống Bước nghiên cứu giảm ảnh hưởng HCT (được xác định từ cung dịng điện) q trình đo glucose thiết bị cầm tay TÀI LIỆU THAM KHẢO [1] J Z Ma, J Ebben, H Xia, and A J Collins, Hematocrit level and associated mortality in hemodialysis patients, J Amer Soc Nephrol 10 (1999) 610–619 [2] A Aris, J M Padro, J O Bonnin, and J M Caralps, Prediction of hematocrit changes in open-heart surgery without blood transfusion, J Cardiovasc Surg 25 (6) (Nov-Dec 1984) 545–548 284 HUỲNH TRUNG HIẾU, HỒ ĐẮC QUÁN [3] R F Louie, Z Tang, D V Sutton, J H Lee, G J Kost, Point of care glucose testing: effects of critical variables, influence of reference instruments, and a modular glucose meter design, Arch Pathol Lab Med 124 (2000) 257–266 [4] Z Tang, J H Lee, R F Louie, G J Kost, D V Sutton, Effects of different hematocrit levels on glucose measurements with handheld meters for point of care testing, Arch Pathol Lab Med 124 (2000) 1135–1140 [5] E S Kilpatrick, A G Rumley, H Myin, The effect of variations in hematocrit, mean cell volume and red blood count on reagent strip tests for glucose, Ann Clin Biochem 30 (1993) 485–487 [6] E F Treo, C J Felice, M C Tirado, M E Valentinuzzi, and D O Cervantes, Hematocrit measurement by dielectric spectroscopy, IEEE Transactions on Biomedical Engineering 25 (1) (2005) 124–127 [7] Blinded [8] G.-B Huang, Learning capability and storage capacity of two-hidden-layer feedforward networks, IEEE Transactions on Neural Networks 14 (2) (2003) 274–281 [9] G.-B Huang, Q.-Y Zhu, C.-K Siew, Extreme learning machine: theory and applications, Neurocomputing 70 (2006) 489–501 [10] Q.-Y Zhu, A K Qin, P N Suganthan, G.-H Huang, Evolutionary extreme learning machine, Pattern Recognition 38 (2005) 1759–1763 [11] H T Huynh and Y Won, Small number of hidden units for elm with two-stage linear model, IEICE Trans on Information and Systems E91-D (4) (April 2008) [12] H T Huynh, J Kim, and Y.Won, An improvement of extreme learning for compact single hidden layer feedforward neural networks, International Journal of Neural System 18 (5) (2008) 433–441 [13] H T Huynh, J Kim, and Y Won, Performance comparison of slfn training algorithms for dna microarray classification, Advances in Experimental Medicine and Biology 696 (2011) 135–143 [14] N.-Y Liang, G.-H Huang, P Saratchandran, and N Sundararajan, A fast and accurate online sequential learning algorithm for feedforward networks, IEEE Trans on Neural Networks 17 (2006) 1411–1423 Ngày nhận 24 - - 1013 Nhận lại sau sửa ngày 02 - - 2013 ... HCT SỬ D? ?NG ONLINE ELM C? ?c đ? ?c tr? ?ng ngõ nh? ??p Trong nghiên c? ??u này, đ? ?c tr? ?ng ngõ vào cho m? ?ng neural điểm liệu lấy mẫu từ cung d? ?ng điện tạo phản ? ?ng hóa h? ?c xảy q tr? ?nh đo glucose sử d? ?ng c? ??m... phư? ?ng pháp x? ?c đ? ?nh HCT từ cung d? ?ng điện sử d? ?ng SLFN huấn luyện d? ?ng online C? ?c đ? ?c tr? ?ng đầu vào (Input Features) cho m? ?ng neural lấy mẫu từ cung d? ?ng điện tạo di chuyển ion đến điện c? ? ?c C? ?c. .. kh? ?c ph? ?c số nh? ?? ?c điểm thuật toán lan truyền ng? ?? ?c tối ưu c? ? ?c bộ, t? ?c độ h? ?c, epochs Trong nghiên c? ??u trư? ?c, SLFN d? ?ng x? ?c đ? ?nh HCT huấn luyện d? ?ng offline Trong báo nh? ?m t? ?c giả tiếp t? ?c phát