Hiện nay, việc ứng dụng mạng Neuron nhân tạo hỗ trợ chẩn đoán bệnh lý đang ngày càng phổ biến nên việc cải thiện các chỉ tiêu chất lượng cho các mạng này như độ chính xác chẩn đoán, tốc độ hội tụ của quá trình huấn luyện mạng vốn phụ thuộc vào việc xác định số Neuron trong lớp ẩn cho mạng chẩn đoán đang được quan tâm đặc biệt. Để góp phần giải quyết vấn đề này, bài viết sẽ trình bày việc sử dụng phương pháp thay đổi số Neuron trong lớp ẩn của mạng.
Kỹ thuật Điện tử – Vật lý – Đo lường CẢI THIỆN HIỆU QUẢ MẠNG NEURON HỖ TRỢ CHẨN ĐOÁN BỆNH DA LIỄU BẰNG PHƯƠNG PHÁP THAY ĐỔI SỐ NEURON TRONG LỚP ẨN Nguyễn Thị Thủy*, Đinh Văn Quang, Đỗ Văn Thanh, Huỳnh Lương Nghĩa Tóm tắt: Hiện nay, việc ứng dụng mạng Neuron nhân tạo hỗ trợ chuẩn đoán bệnh lý ngày phổ biến nên việc cải thiện tiêu chất lượng cho mạng độ xác chẩn đốn, tốc độ hội tụ trình huấn luyện mạng vốn phụ thuộc vào việc xác định số Neuron lớp ẩn cho mạng chẩn đốn quan tâm đặc biệt Để góp phần giải vấn đề này, báo trình bày việc sử dụng phương pháp thay đổi số Neuron lớp ẩn mạng Từ khóa: Mạng Neuron nhân tạo; Lớp ẩn ĐẶT VẤN ĐỀ Trong nhiều cơng trình nghiên cứu ứng dụng mạng Neuron nhân tạo gần điển báo [1], đưa kết luận rằng: “Phân loại cách sử dụng mơ hình mạng Neuron nhân tạo cho thấy tỷ lệ phần trăm thành công tốt Mạng Neuron nhân tạo đa lớp truyền thẳng (MLP: multi-layer perceptron networks) thử nghiệm cho toán phân loại bệnh lý dựa thông tin triệu chứng, ảnh chụp y tế kết phân tích xét nghiệm,… phù hợp để sử dụng chẩn đốn y học (hình 1) Hình Chẩn đốn y tế sử dụng mạng Neuron MLP[4] Thông thường đầu vào mạng triệu chứng – thuộc tính bệnh lý ghi nhận phương thức khác đầu kết chẩn đoán khẳng định thực tế dùng để luyện (dạy) mạng Nói chung, mạng cho kết chấp nhận đầu vào lớn dẫn đến giảm độ xác tăng thời gian xử lý (hội tụ chậm hơn) Để giải vấn đề này, nhiều giải pháp đề xuất chọn lựa cấu trúc tối ưu mạng Neuron nhân tạo, giảm số lượng kích thước thuộc tính đầu vào, chọn thuật tốn luyện mạng thích hợp,… Cũng nhằm mục đích này, ý tưởng phương pháp thay đổi số Neuron lớp ẩn mạng Neuron nhân tạo hỗ trợ chẩn đoán bệnh lý xuất phát từ việc xem xét thành phần thuộc tính đầu vào Mạng Cụ thể tham số/thuộc tính đầu vào - vốn thu nhận phương pháp đo lường y sinh khác - tương ứng với cấp cấu trúc thể như: thể → quan chức → mô → tế bào → phân tử sinh học, phân loại bảng sau: 144 N T Thủy, …, H L Nghĩa, “Cải thiện hiệu mạng Neuron … số Neuron lớp ẩn.” Nghiên cứu khoa học công nghệ Bảng Mức cấu trúc thể phương pháp chẩn đoán tương ứng Số cấp độ Mức cấu trúc Phương pháp chẩn đoán Cấp thể Thu thập triệu chứng ho, đau, sốt… Đo Mạch đập, nhiệt độ, huyết áp,… Cấp quan chức Chẩn đoán chức (ECG, EEG, EMG,…) Cấp mơ CT, MRI, PET SPECT, kính hiển vi nano, phương pháp thử phân tích Cấp độ tế bào: loại tế bào Cấp độ phân tử sinh học Một cách trực giác thấy, thuộc tính đầu vào nhiều, phức tạp số Neuron lớp ẩn mạng phải thay đổi để cho việc chẩn đoán đạt kết xác Như vậy, vừa để kiểm tra tính xác đáng hiệu phương pháp nêu vừa để cải thiện chất lượng mạng chẩn đoán số bệnh da liễu, nghiên cứu áp dụng phương pháp gán thay đổi số Neuron lớp ẩn mạng Neuron nhân tạo hỗ trợ chẩn đoán bệnh da liễu XÂY DỰNG MẠNG NEURON NHÂN TẠO HỖ TRỢ CHẨN ĐOÁN BỆNH DA LIỄU VỚI ĐẦU VÀO LÀ CÁC THUỘC TÍNH BỆNH LÝ 2.1 Để thiết kế mạng Neuron trước tiên phải chọn sở liệu phù hợp Trong trường hợp xét ta chọn sở liệu bệnh da liễu Dermatology Data Set gồm ma trận: ma trận đầu vào cột tương ứng với thông số đặc trưng ghi điện tim đồ bệnh nhân (DermatologyInputs) ma trận đầu cột tương ứng với loại bệnh chuẩn đoán bệnh nhân (DermatologyTarget) lấy từ kho sở liệu trực tuyến Đại học Wisconsin [9], tạo vào năm 1998 tác giả Nilsel Ilter từ Đại học Gazi Altay Guvenir từ đại học Bilkent Thổ Nhĩ Kỳ Đây liệu phản ánh đầy đủ yếu tố đặc trưng – triệu chứng bệnh da liễu Hơn nữa, Việt Nam chưa có liệu để phục vụ cho việc chẩn đoán Cơ sở liệu chứa ghi triệu chứng lâm sàng mô bệnh học thu từ 366 bệnh nhân với 34 thơng số đặc trưng (thuộc tính đầu vào) liên kết với loại bệnh lý da liễu chẩn đoán (đầu ra) 2.2 Trước dùng để luyện Mạng Neuron, sở liệu cần xử lý sơ Các bệnh lí chẩn đốn liệu gồm có (bảng 2): Bảng Các loại bệnh da liễu chẩn đoán Mã lớp Tên bệnh Số trường hợp 01 Vẩy nến 112 02 Viêm da tiết bã 61 03 Lichen planus (bệnh hắc lào) 72 04 Pityriocation rosea (phát ban – hồng ban lan tỏa ) 49 05 Viêm da mãn tính 52 06 Pityriocation rubra pilaris (bệnh sùi mào gà) 20 Tạp chí Nghiên cứu KH&CN quân sự, Số Đặc san Hội thảo Quốc gia FEE, 10 - 2020 145 Kỹ thuật Điện tử – Vật lý – Đo lường Ngoài ra, liệu chuẩn hóa cách xác định giá trị phần trăm thuộc tính so với giá trị tuyệt đối lớn cho nằm khoảng [0,1] thuộc tính khơng xác định bị loại bỏ Như vậy, sau xử lý sơ bộ, sở liệu dùng để luyện mạng gồm ma trận: ma trận dermatologyInputs có kích thước 34 x 366 ứng với 34 thuộc tính 366 mẫu-bản ghi, ma trận dermatologyTargets với kích thước x 366 ứng với loại bệnh chẩn đoán 366 mẫu-bản ghi Các thuộc tính (TT) bao gồm nhóm: Thuộc tính lâm sàng 1: Ban đỏ 2: Tróc vảy(bong tróc) 3: Phân chia vùng(đặc điểm bệnh sùi mào gà) 4: Mẩn ngứa 5: Koebner (tổn thương da vị trí chấn thương) 6: Sẩn đa giác 7: Sẩn nang 8: Liên quan đến niêm mạc miệng 9: Liên quan đến đầu gối khuỷu tay 10: Liên quan đến da đầu 11: Tiền sử gia đình, (0 1) 34: Tuổi Thuộc tính mơ bệnh học 12: Hắc tố melanin(tế bào biểu bì tạo sắc tố) khơng kiểm soát 13: Xâm nhập bạch cầu(tế bào ưa eosin) 14: Sự xâm nhập PNL 15: Xơ hóa nhú hạ bì 16: Exocytosis 17: Acanthosis(tăng sản lượng bì-làm dày da) 18: Hyperkeratosis (tăng sừng) 19: Parakeratosis (sự lưu giữ hạt nhân sừng) 20: Clubbing of the rete ridges (rãnh rete- mô sẹo thiếu chốt rete dễ dàng bong ra) 21: Độ giãn RETE 22: Lớp biểu bì mỏng suprapapillary 23: Mụn mủ, bóng nước 24: Munro microabcess (tập hợp bạch cầu trung tính lớp sừng) 25: Khu trú hypergranulosis 26: Sự biến lớp hạt 27: Không bào tổn thương lớp 28: Spongiosis (nhiễm trùng-phù lớp biểu bì) 29: Saw-tooth appearance of retes(sự xuất rete-răng cưa) 30: Xuất nang sừng 31: Parakeratosis parifaticular (quanh nang nông) 32: Viêm nhiễm đơn nhân 33: Thâm nhiễm giống bang 2.3 Dựa sở liệu xử lý tiến hành xây dựng Mạng Neuron nhân tạo đa lớp (MLP) hỗ trợ chẩn đoán bệnh da liễu Dựa sở liệu xử lý tiến hành xây dựng mạng Neuron nhân tạo đa lớp truyền thẳng (MLP) hỗ trợ chẩn đoán bệnh rối loạn nhịp tim Một mạng MLP tổng quát mạng có n (n≥2) tầng (thơng thường tầng đầu vào khơng tính đến): gồm 146 N T Thủy, …, H L Nghĩa, “Cải thiện hiệu mạng Neuron … số Neuron lớp ẩn.” Nghiên cứu khoa học công nghệ tầng đầu (tầng thứ n) (n-1) tầng ẩn Hình Mạng Neuron MLP Kiến trúc mạng MLP tổng qt mơ tả sau: Đầu vào vector ( , , , ) không gian p chiều, đầu vector ( , , , ) không gian q chiều Đối với tốn phân loại, p kích thước mẫu đầu vào, q số lớp cần phân loại Đầu Neuron tầng trước đầu vào Neuron thuộc tầng liền sau Hoạt động mạng MLP sau: tầng đầu vào Neuron nhận tín hiệu vào xử lý (tính tổng trọng số, gửi tới hàm truyền) cho kết (là kết hàm truyền); kết truyền tới Neuron thuộc tầng ẩn thứ nhất; Neuron tiếp nhận tín hiệu đầu vào, xử lý gửi kết đến tầng ẩn thứ 2;…; trình tiếp tục Neuron thuộc tầng cho kết Xác định số Neuron tầng ẩn: Câu hỏi chọn số lượng Neuron tầng ẩn mạng MLP khó, phụ thuộc vào tốn cụ thể vào kinh nghiệm nhà thiết kế mạng Càng nhiều nút ẩn mạng nhiều đặc tính liệu huấn luyện mạng nắm bắt, thời gian học tăng nên việc xác định số Neuron tầng ẩn cho xác phù hợp quan trọng Để bảo đảm tính khoa học giản tiện việc xây dựng khảo sát mạng, công cụ Neural Network Toolbox phần mềm MATLAB sử dụng Như vậy, để phù hợp với mục đích nghiên cứu đặt ra, ta chọn Mạng Neuron có cấu trúc sau (hình 3): Hình Mạng Neuron hai lớp MLP Cụ thể, với 34 Neuron lớp đầu vào, lớp ẩn sigmoid với số lượng Neuron lớp ẩn 25 Neuron, đầu ứng với loại bệnh chẩn đoán 2.4 Dữ liệu chẩn đốn chuẩn hóa bệnh nhân từ ma trận DermatologyInputs ma trận DermatologyTargets áp dụng để huấn luyện mạng MLP thiết kế Dữ liệu phân chia cách phù hợp thành nhóm liệu đào tạo (60%), kiểm tra (20%), xác thực (20%) Mạng luyện phương pháp lan truyền ngược gradient liên hợp Kết thu từ trình luyện mạng trình bày hình 4, hình bảng Tạp chí Nghiên cứu KH&CN quân sự, Số Đặc san Hội thảo Quốc gia FEE, 10 - 2020 147 Kỹ thuật Điện tử – Vật lý – Đo lường Hình Kết xác thực tốt Hình Chỉ số mơ hình mạng Neuron tốt Bảng Tỷ lệ thành cơng mơ hình phân loại bệnh da liễu Tỷ lệ thành công [%] 99.7 Tỷ lệ thất bại (%) 0.3 148 N T Thủy, …, H L Nghĩa, “Cải thiện hiệu mạng Neuron … số Neuron lớp ẩn.” Nghiên cứu khoa học công nghệ XÂY DỰNG MẠNG NEURON NHÂN TẠO HỖ TRỢ CHẨN ĐOÁN BỆNH DA LIỄU VỚI SỐ NEURON TRONG LỚP ẨN CỦA MẠNG LÀ KHÁC NHAU 3.1 Với mục đích xác định tầm quan trọng việc xác định số Neuron lớp ẩn cách so sánh kết luyện mạng trường hợp có số Neuron lớp ẩn khác nên ta trì cấu trúc mạng (số lớp, số tế bào thần kinh đầu vào đầu ra), nghĩa giữ nguyên mạng hình thay đổi số Neuron lớp ẩn 3.2 Như phân tích, sở liệu chẩn đốn chuẩn hóa bệnh nhân từ ma trận DermatologyInputs ma trận DermatologyTargets áp dụng để huấn luyện mạng MLP thiết kế Dữ liệu phân chia cách phù hợp thành nhóm liệu đào tạo (60%), kiểm tra (20%), xác thực (20%) Mạng luyện phương pháp lan truyền ngược gradient liên hợp Ngoài ra, liệu chia thành nhóm liệu đào tạo (70%), kiểm tra (15%), xác thực(15%) Kết kiểm tra đánh giá hiệu Mạng Neuron chẩn đoán bệnh da liễu cho trường hợp thay đổi số Neuron Neuron lớp ẩn đưa bảng sau đây: Bảng Kết kiểm tra đánh giá hiệu mạng Neuron chẩn đoán bệnh da liễu cho trường hợp thay đổi số Neuro lớp ẩn Kết đào tạo mạng Trường Số Neuron Tỷ lệ thành Hiệu suất xác Chu kỳ hợp công [%] thực tốt hội tụ lớp ẩn Kết luyện mạng 25 98.4 0.0057921 47 theo thiết kế chia 51 98.6 0.0019347 23 liệu luyện 85 99.5 0.00098301 22 mạng(60/20/20) Kết luyện mạng 90 99.7 0.00049447 28 theo thiết kế chia 350 99.5 0.00080694 22 liệu luyện 220 99.2 0.010493 16 mạng(70/15/15) KẾT QUẢ VÀ THẢO LUẬN Kết đào tạo mạng neuron chẩn đoán bệnh da liễu phương pháp thay đổi số Neuron lớp ẩn cho thấy: Mơ hình mạng MLP chẩn đốn bệnh da liễu có độ xác độ hội tụ tương đương với kết nhận [1], phù hợp cho sử dụng chuẩn đoán y học Kết luyện mạng theo thiết kế chia liệu luyện mạng trường hợp đem lại hiệu tương đối tốt, nhiên, tăng số Neuron lớp ẩn thành 85 ta thu kết tốt so với số Neuron lớp ẩn ban đầu 25 với thời gian hội tụ giảm xuống Điều cho ta thấy việc chọn số lớp ẩn quan trọng Kết luyện mạng theo thiết kế chia liệu luyện mạng trường hợp với số Neuron lớp ẩn 90 thu kết mong đợi : Tỷ lệ thành công cao, lên tới 99.7% ,chu kì hội tụ nhanh, kết xác thực tốt Từ bảng cho ta thấy, với số Neuron lớp ẩn 90 luyện mạng theo cách thiết kế chia liệu luyện mạng trường hợp với số Neuron lớp ẩn 85 luyện mạng theo cách thiết kế chia liệu luyên mạng trường hợp cho kết thành công tốt nhất, thời gian chu kỳ hội tụ tối ưu Qua trường hợp giúp ta nhận thấy việc xác định số Neuron lớp ẩn quan trọng để có kết luyện mạng thời gian hội tụ tối ưu Nhiếu số Tạp chí Nghiên cứu KH&CN quân sự, Số Đặc san Hội thảo Quốc gia FEE, 10 - 2020 149 Kỹ thuật Điện tử – Vật lý – Đo lường Neuron lớp ẩn quá dễ dẫn đến kết chẩn đốn thiếu độ xác Nếu số Neuron lớp ẩn định dựa độ phức tạp thuộc tính đầu vào hiệu cải thiện tốt Kết nghiên cứu áp dụng cho việc chẩn đoán bệnh lý khác KẾT LUẬN Bài báo đề xuất phương pháp thay đổi số Neuron lớp ẩn nhằm hỗ trợ việc chẩn đoán bệnh da liễu Kết mô kết luyện mạng theo thiết kế chia liệu luyện mạng xác minh tính khả thi phương pháp đề xuất Kết luyện mạng theo thiết kế chia liệu luyện mạng ban đầu số Neuron lớp ẩn ban đầu 25, sau tăng lên số Neuron lớp ẩn 90 cho ta kết tốt Tỷ lệ thành cơng cao, lên tới 99.7%, chu kì hội tụ nhanh, kết xác thực tốt Kết nghiên cứu áp dụng cho việc chẩn đốn bệnh lý với triệu chứng/thuộc tính đặc trưng bệnh thu nhận mức cấu trúc thể khác TÀI LIỆU THAM KHẢO S Kajan, D Pernecký, J Goga “Application of neural network in medical diagnostics” Deepa Rao, Sujuan Zhao “Prediction of Breast cancer” (2012) https://gsm672.wikispaces.com/Prediction+of+Breast+cancer, last visit: 5/14/18 Q K Al-Shayea “Artificial neural networks in medical diagnosis” International Journal of Computer Science Issues, 2011, 8.2: 150-154 [5] S Kajan “GUI for classification using multilayer perceptron network”, Technical Computing Prague, 2009 [6] F Amato, et al “Artificial neural networks in medical diagnosis” Journal of Applied Biomedicine, 2013, 11.2: 47-58 ISSN 1214-0287 [7] Kornel Papik, et al “Application of neural networks in medicine — a review” Med Sci Monit, 1998; 4(3): 538-546 [8] Huynh Luong Nghia, Dinh Van Quang, Nguyen Thi Thuy “Pathological diagnosis Neuron network with inputs corresponding with structure levels of the body” Journal of Military Science and Technology,2018, 11.17: 72-78 ISSN 1859 - 1043 [9] UCI: “Machine Learning Repository” [online] http://archive.ics.uci.edu/ml/ [1] [2] [3] [4] ABSTRACT PERFORMANCE IMPROVEMENT OF DIAGNOSTIC NEURON NETWORK FOR DERMATOLOGY BY METHOD OF CHANGE THE NUMBER OF NEURON IN A HIDDEN LAYER Currently, the application of artificial Neuron networks to support pathological diagnosis is increasingly popular, so the improvement of performance characteristics for these networks such as diagnostic accuracy, convergence speed of training process network, which depends on the determination the number of Neurons in the hidden layer for the diagnostic network is particularly interested To contribute to solving this problem, the method of change the number of Neuron in a hidden layer of the network will be presented in this paper Keywords: Artificial Neuron networks; Hidden layer Nhận ngày 16 tháng năm 2020 Hoàn thiện 05 tháng 10 năm 2020 Chấp nhận đăng ngày 05 tháng 10 năm 2020 Địa chỉ: Khoa Điện tử viễn thông, Trường Đại học Điện lực, số 235 Đường Hoàng Quốc Việt, Hà Nội * Email: thuyepu76@gmail.com 150 N T Thủy, …, H L Nghĩa, “Cải thiện hiệu mạng Neuron … số Neuron lớp ẩn.” ... đáng hiệu phương pháp nêu vừa để cải thiện chất lượng mạng chẩn đoán số bệnh da liễu, nghiên cứu áp dụng phương pháp gán thay đổi số Neuron lớp ẩn mạng Neuron nhân tạo hỗ trợ chẩn đoán bệnh da liễu. .. đoán bệnh da liễu cho trường hợp thay đổi số Neuron Neuron lớp ẩn đưa bảng sau đây: Bảng Kết kiểm tra đánh giá hiệu mạng Neuron chẩn đoán bệnh da liễu cho trường hợp thay đổi số Neuro lớp ẩn Kết... hành xây dựng Mạng Neuron nhân tạo đa lớp (MLP) hỗ trợ chẩn đoán bệnh da liễu Dựa sở liệu xử lý tiến hành xây dựng mạng Neuron nhân tạo đa lớp truyền thẳng (MLP) hỗ trợ chẩn đoán bệnh rối loạn