HD3 trần ngọc tiến nghiên cứu một số ứng dụng của mạng thần kinh nhân tạo trong nhận dạng số viết tay và phát hiện nguy cơ mắc bệnh

BỘ CÔNG THƯƠNG TRƯỜNG ĐẠI HỌC CÔNG NGHIỆP HÀ NỘI KHOA CƠ KHÍ - - ĐỒ ÁN TỐT NGHIỆP CHỦ ĐỀ: NGHIÊN CỨU MỘT SỐ ỨNG DỤNG CỦA MẠNG THẦN KINH NHÂN TẠO TRONG NHẬN DẠNG SỐ VIẾT TAY VÀ PHÁT HIỆN NGUY CƠ MẮC BỆNH Giáo viên hướng dẫn: TS Trần Ngọc Tiến Sinh viên thực hiện: Nguyễn Văn Tài 2018605136 Lê Quang Huy 2018603975 Hà Ngọc Khánh 2018601385 Khóa : 13 Hà Nội - 2022 LỜI NĨI ĐẦU Hiện nhận thấy từ trí tuệ nhân tạo, học máy, học sâu ngày phổ biến giới Có thể nhận thấy chúng nơi, lĩnh vực sống y tế, giao thông,giải trí,…v.v Những ứng dụng trí tuệ nhân tạo giúp người làm việc cách dễ dàng hay thay tồn sức lao động người môi trường làm việc nguy hiểm Chúng giúp người làm việc mà người tự thực di chuyển vật có khổi lượng lớn, nơi chưa khám phá, v.v Một ứng dụng trí tuệ nhân tạo nhận diện đối tượng nhà khoa học quan tâm Và nhận diện chữ số viết tay đạt lượng lớn nhu cầu ngành thị giác máy tính Chúng ta thực cách tiếp cận tốt xác để nhận diện dự đốn chữ số viết thủ cơng từ đến Bên cạnh nhận diện đối tượng, dự đốn bệnh ứng dụng vơ quan trọng mạng nơ ron Dự đoán trước khả mắc bệnh giúp tăng khả điều trị, giảm chi phí nhiều vấn đề phát sinh khác Do nhóm em xin đề xuất đề tài: “Nghiên cứu ứng dụng mạng lưới thần kinh nhân tạo nhận dạng chữ số viết tay phát nguy mắc bệnh” Chúng em xin cảm ơn giúp đỡ tận tình thầy Trần Ngọc Tiến suốt thời gian thực vừa qua Mặc dù cố gắng nhiên báo cáo nhóm khó tránh khỏi thiếu sót q trình thực Chúng em mong nhận ý kiến đóng góp thầy để chúng em đầy đủ hoàn thiện Hà Nội, ngày tháng năm 2022 MỤC LỤC LỜI NÓI ĐẦU MỤC LỤC DANH MỤC HÌNH ẢNH CHƯƠNG TỔNG QUAN VỀ TRÍ TUỆ NHÂN TẠO 1.1 Lịch sử phát triển trí tuệ nhân tạo 1.1.1 Trí tuệ nhân tạo 13 1.1.2 Học máy 22 1.1.3 Học sâu .27 1.2 Đặt vấn đề 32 1.3 Tập liệu .33 1.4 Phương pháp nghiên cứu 34 1.5 Phạm vi, giới hạn nghiên cứu 35 CHƯƠNG CƠ SỞ LÝ THUYẾT 36 2.1 Artificial neural network (ANN) 36 2.2 Cơ sở toán học 38 2.2.1 Lan truyền tiến(Feedforward) 38 2.2.2 Lan truyền ngược ( Backpropagation ) .42 2.2.3 Xử lí ảnh 48 2.3 Áp dụng sở lý thuyết vào toán .49 2.3.1 Cơ sở toán học toán nhận diện chữ số 49 2.3.2 Cơ sở toán học toán dự đoán nguy mắc bệnh 54 2.4 Thực toán 58 CHƯƠNG CHẾ TẠO VÀ GIA CÔNG 62 3.1 Tính tốn, thiết kế 62 3.2 Chế tạo gia công giá đỡ .64 3.2.1 Đầu kẹp điện thoại 64 3.2.2 Chân đế để bàn 65 3.2.3 Tay kẹp điện thoại 66 3.2.4 Gá kẹp điện thoại 67 3.3 Tổng kết 69 CHƯƠNG LẬP TRÌNH, THỬ NGHIỆM VÀ ĐÁNH GIÁ HỆ THỐNG .70 4.1 Giới thiệu phần mềm sử dụng 70 4.2 Lập trình tốn .71 4.2.1 Bài toán 1: Nhận diện chữ số viết tay .71 4.2.2 Bài toán : Dự đoán xác suất mắc bệnh người dựa số sức khỏe cụ thể 94 4.3 Thử nghiệm đánh giá hệ thống 114 KẾT LUẬN 121 DANH MỤC TLTK 122 PHỤ LỤC 125 DANH MỤC HÌNH ẢNH Hình 1-1 Warren McCulloch (phải) Walter Pitts (trái) Hình 1-2 John Von Neumann Alan Turing 10 Hình 1-3 Google's AlphaGo beats Go master Lee Se-dol .12 Hình 1-4 Hồi quy tuyến tính 15 Hình 1-5 Thuật tốn phân cụm 16 Hình 1-6 AI mua sắm .17 Hình 1-7 AI GPS 17 Hình 1-8 AI Robotics .18 Hình 1-9 AI tron quản lí nhân 18 Hình 1-10 AI chăm sóc sức khỏe .19 Hình 1-11 AI Nơng nghiệp 19 Hình 1-12 AI trị chơi .20 Hình 1-13 AI hệ thống lái xe tự động Tesla 20 Hình 1-14 AI mạng xã hội 21 Hình 1-15 AI tiếp thị 22 Hình 1-16 Arthur Samuel 22 Hình 1-17 Xe điện tự lái TESLA 26 Hình 1-18 Trợ lý ảo SIRI 27 Hình 1-19 Sơ đồ đơn giản mạng nơ ron .28 Hình 1-20 Cấu trúc mạng nơ-ron tích chập 30 Hình 1-21 Tập liệu MNIST 34 Hình 2-1 Mạng nơ-ron nhân tạo đơn giản 36 Hình 2-2 Mơ hình ANN 37 Hình 2-3 Mạng thần kinh nơ-ron .39 Hình 2-4 Mơ hình tổng qt mạng nơ-ron nhân tạo 39 Hình 2-5 Hàm ReLU(X) 40 Hình 2-6 Hàm softmax 41 Hình 2-7 Hàm sigmol 41 Hình 2-8 Thuật tốn GD 46 Hình 2-9 Các trường hợp learning_rate 47 Hình 2-10 Số lần lặp lại(Epoch) bước theo trười hợp learming_rate 47 Hình 2-11 Khơng gian màu BGR 48 Hình 2-12 Sơ đồ mạng nơ ron toán nhận diện chữ số 49 Hình 2-13 Sơ đồ mạng nơ ron toán dự đoán nguy mắc bệnh 54 Hình 3-1 Chân kẹp điện thoại để bàn 62 Hình 3-2 Giá đỡ điện thoại tripod kẹp chân 62 Hình 3-3 Bản vẽ gá kẹp điện thoại 63 Hình 3-4 Đầu kẹp điện thoại .64 Hình 3-5 Chân đế kẹp điện thoại .65 Hình 3-6 Giá đỡ điện thoại kẹp đa 66 Hình 3-7 Tay kẹp điện thoại 66 Hình 3-8 Ảnh chụp chiều ngang gá điện thoại 67 Hình 3-9 Ảnh chụp mặt trước gá điện thoại .67 Hình 3-10 Bản vẽ lắp tay kẹp điện thoại 68 Hình 3-11 Gá kẹp điện thoại vị trí tối đa 69 Hình 4-1 Biểu tượng Python .70 Hình 4-2 Phần mềm Pycharm 71 Hình 4-3 Ảnh chụp từ điện thoại 76 Hình 4-4 Ảnh sau Convert 77 Hình 4-5 Ảnh lưu vào thư viện 79 Hình 4-6 Ảnh sau resize tăng cường độ sáng 81 Hình 4-7 Kết thu 82 Hình 4-8 Kết chạy chương trình 93 Hình 4-9 Kêt chạy thực tế 94 Hình 4-10 Bảng liệu số xét nghiệm máu 95 Hình 4-11 Giao diện chương trình dự đốn 113 Hình 4-12 Kết sau chạy chương trình 113 Hình 4-13 Kết thử nghiệm hệ số learning_rate toán nhận diện số .114 Hình 4-14 Kết chạy lần thứ với 20000 liệu 115 Hình 4-15 Kết chạy lần thứ hai với 20000 liệu 116 Hình 4-16 Kết chạy lần thứ với 200000 liệu .117 Hình 4-17 Kết chạy lần thứ hai với 200000 liệu 118 Hình 4-18 Kết chạy lần thứ ba với 200000 liệu 119 Hình 4-19 Kết chạy lần thứ tư với 200000 liệu 120 Hình -0-1:Giao diện phần mềm DROICAM 125 Hình 0-2: DROICAM truyền liệu từ camera điện thoại sang máy tính .126 CHƯƠNG TỔNG QUAN VỀ TRÍ TUỆ NHÂN TẠO 1.1 Lịch sử phát triển trí tuệ nhân tạo Trí tuệ nhân tạo (AI- Artificial intelligence) ngành học trẻ có tuổi đời 80 năm, tập hợp khoa học, lý thuyết kỹ thuật (bao gồm logic toán học, thống kê, xác suất, sinh học thần kinh tính tốn, khoa học máy tính) nhằm mục đích bắt chước khả nhận thức người Được bắt đầu cần thiết Chiến tranh giới thứ hai, phát triển có liên quan mật thiết với máy tính khiến máy tính thực nhiệm vụ ngày phức tạp mà trước giao cho người Tuy nhiên, tự động hóa cịn xa so với trí thông minh người theo nghĩa chặt chẽ, điều khiến tên bị số chuyên gia phê bình Giai đoạn cuối trình nghiên cứu họ (một AI "mạnh", tức khả bối cảnh hóa vấn đề chuyên ngành khác theo cách hồn tồn tự chủ) hồn tồn khơng thể so sánh với thành tựu (AI "yếu" "vừa phải", hiệu trình đào tạo họ chiến trường) Lịch sử phát triển trí tuệ nhân tạo chia làm giai đoạn: Giai đoạn 1(1940-1960): Sự đời AI bối cảnh điều khiển học Giai đoạn từ năm 1940 đến năm 1960 đánh dấu mạnh mẽ kết hợp phát triển cơng nghệ (trong Chiến tranh giới thứ hai động lực thúc đẩy) mong muốn hiểu cách kết hợp hoạt động máy móc sinh vật hữu lại với Đối với Norbert Wiener, nhà tiên phong điều khiển học, mục đích để thống lý thuyết tốn học, điện tử tự động hóa thành "một lý thuyết tồn điều khiển truyền thơng, động vật máy móc" Ngay trước đó, mơ hình Hình 1-1 Warren McCulloch (phải) Walter Pitts (trái) lbl13.place(x = 720, y =200) lbl14.place(x = 720, y =230) lbl15.place(x = 720, y =260) lbl16.place(x = 720, y =290) lbl17.place(x = 870, y =140) lbl18.place(x = 870, y =170) lbl19.place(x = 870, y =200) lbl20.place(x = 870, y =230) lbl21.place(x = 870, y =260) lbl22.place(x = 870, y =290) lbl23.place(x = 1020, y =140) lbl24.place(x = 1020, y =170) lbl25.place(x = 1020, y =200) lbl26.place(x = 1020, y =230) lbl27.place(x = 1020, y =260) lbl28.place(x = 1020, y =290) lbl29.place(x = 1170, y =140) lbl30.place(x = 1170, y =170) lbl31.place(x = 1170, y =200) lbl32.place(x = 1170, y =230) UTG.place(x = 800, y =370) UTTT.place(x =800, y =400) UTVH.place(x =800, y =430) 112 acc_UTG.place(x = 1120, y =370) acc_UTTT.place(x = 1120, y =400) acc_UTVH.place(x = 1120, y =430) lbl4.place(x = 860, y=340) accuracy.place( x = 1100, y =340) # hiển thị thực thi app root.mainloop() Kết chạy chương trình Hình 4-11 Giao diện chương trình dự đốn Hình 4-12 Kết sau khi113 chạy chương trình 4.3Thử nghiệm đánh giá hệ thống Trong toán số 1: Kết chạy chương trình với hệ số learning rate khác nhau: Hình 4-13 Kết thử nghiệm hệ số learning_rate toán nhận diện số Từ bảng kết ta thấy với learning rate 1, số lần lặp 300 độ xác tập trainning cao tốn dự đốn chữ số ta sử dụng số Trong tốn số 2: ❖ Ban đầu nhóm tạo tập liệu với 20000 liệu Lần chạy thứ với thơng số • Learning rate : 0.5 • Số lần lặp: 300 • Số lớp ẩn: 50 114 Hình 4-14 Kết chạy lần thứ với 20000 liệu Ta thu • loss_UTG 0.6930486288738151 • loss_UTTT 0.6930528832966404 • loss_UTVH 0.6928909507245145  loss_trungbinh ~ 0.7  Đồ thị giảm mạnh sau khoảng 20 lần chạy, nhiên lossfunction mức cao dẫn tới độ xác thấp Lần chạy thứ hai với thông số • Learning rate : 0.3 • Số lần lặp: 500 • Số lớp ẩn : 50 115 Hình 4-15 Kết chạy lần thứ hai với 20000 liệu Ta thu được: • loss_UTG 0.6932923897717506 • loss_UTTT 0.6931881292766071 • loss_UTVH 0.6931070157283328 Kết luận: Kết gần không thay đổi, tượng OVERFITING lượng liệu đầu vào chưa đủ để mơ hình học hỏi đưa dự đốn nên độ xác tập test gần thiện tập trainning thiện ❖ Tập liệu với 200000 liệu Lần chạy thứ • Learning rate : 0.5 116 • Số lần lặp: 300 • So lớp ẩn: 50 Hình 4-16 Kết chạy lần thứ với 200000 liệu Ta thu được: • loss_UTG 0.30091290913139657 • loss_UTTT 0.18005818845174035 • loss_UTVH 0.21728261379970168  loss_trungbinh ~ 0.23  Nhận xét bất ổn đồ thị, bước nhảy lớn, hàm mát cịn cao Lần chạy thứ hai với thơng số • Learning rate : 0.3 • Số lần lặp: 500 117 • Số lớp ẩn : 50 Hình 4-17 Kết chạy lần thứ hai với 200000 liệu Ta thu được: • loss_UTG 0.21887631457600604 • loss_UTTT 0.22512184338267985 • loss_UTVH 0.10624281743795591  loss_trungbinh ~ 0.18  Nhận xét bất ổn đồ thị, bước nhảy lớn, hàm mát cịn cao Lần chạy thứ ba với thơng số • Learning rate : 0.2 • Số lần lặp: 600 • Số lớp ẩn : 50 118 Hình 4-18 Kết chạy lần thứ ba với 200000 liệu Ta thu được: • loss_UTG 0.25021847407790776 • loss_UTTT 0.09382886568315578 • loss_UTVH 0.10912298641795942  loss_trungbinh :0.15  => Nhận xét bất ổn đồ thị, bước nhảy cao mức độ giảm ổn định hơn, lossfunction mức tương đối Lần chạy thứ tư với thơng số • Learning rate : 0.1 • Số lần lặp: 900 • Số lớp ẩn : 20 119 Hình 4-19 Kết chạy lần thứ tư với 200000 liệu Ta thu được: • loss_UTG : 0.16323042318539596 • loss_UTTT : 0.09406318927201206 • loss_UTVH: 0.10231265537894242  loss_trungbinh ~ 0.116  Đồ thị giảm ổn định, bước nhảy số lần lặp phù hợp, lossfunction mức nhỏ đủ để độ xác đạt mức cao 120 KẾT LUẬN Trong báo cáo này, chúng em xây dựng mạng nơ-ron nhân tạo dựa nguyên lí làm việc nơ-ron thần kinh não người ứng dụng mạng nơ-ron nhận diện chữ số viết tay dự đoán nguy mắc bệnh Tuy nhiên, nhiều điều để khai thác từ mạng nơ-ron nhân tạo có khơng gian nghiên cứu tuyệt vời với tiềm ứng dụng rộng lớn 121 DANH MỤC TLTK [1] C M Bishop, "Pattern Recognition and Machine Learning," Springer, no ISBN 978-0-387-31073-2, 2006 [2] D Poole, A Mackworth and R Goele, "Computational Intelligence: A Logical New York," Oxford university press, no ISBN 978-0-19510270-3, 1998 [3] E R M a S Padmini, "Automatic text classifiers for text," Information Retrieval, no 1, p 87–118, Jan 2002 [4] P M a H Tirri, "Bayesian case-based reasoning with neural," Proceedings of the IEEE International conference on Neural Nerwork ’93, p 422–427, 1993 [5] A S a R S V Tam, "A comparative study of centroidbased, neighborhood-based and statistical approaches for effective document categorization," Proceedings of the 16th International Conference on Pattern Recognition, p 235–238, 2002 [6] S u s W P P Cichosz, Warsaw, Poland, Polish: Wydawnictwa NaukowoTechniczne Warszawa, 2000 [7] V N Vapnik, "The Nature of Statistical Learning Theory," Springer, 1995 [8] T Joachims, "Text categorization with support vector machines: Learning with many relevant features," European Conference on Machine, p 137–142, 1998 122 [9] G Reina, "A muti-sensor robotic platform for ground mapping and etimation beyound the visible spectrum," Precision Agriculture, Vols doi:10.1007/s11119-018-9605-2, pp 423-444, 2018 [10] A Survey of Chabot Systems through a Loebner Prize Competition(PDF), Retrieved 28 June 2019 [11] Vaughan Liwen; Mike Thelwall, "Search engine coverage bias: evidence and possible causes," Information Processing & Management, no doi:10.1016/S0306-4573(03)00063-3, pp 693-707, 2004 [12] Guo Y , Liu Y , Oerlemans A , et al, "Deep learning for visual understanding: A review," Neurocomputing, pp 27-48, 2016 [13] Chun-Xia Z , Nan-Nan J I , Guan-Wei W, "Restricted Boltzmann Machines," Chinese Journal of Engineering Mathematics, 2015 [14] Hinton G E , Osindero S , Teh Y W , " A Fast Learning Algorithm for Deep Belief Nets," Neural Computation, vol 18(7), pp 1527-1554, 2014 [15] Goodfellow I J , Pouget-Abadie J , Mirza M , et al, "Generative Adversarial Networks," Advances in Neural Information Processing Systems, vol 3, pp 2672-2680, 2014 [16] McCulloch WS, Pitts WH, "A logical calculus of the ideas immanent in," Bull Math Biophys, vol 5, p 115–133, 1943 [17] McClelland JL, Rumelhart DE, editors, Explorations in parallel distributed, Cambridge, Massachusetts: MIT Press, 1986 123 [18] Anderson JD, Rosenfeld E, editors, Neurocomputing: foundations of research., Cambridge, Massachusetts: MIT Press, 1988 [19] Hebb DO, The organization of behavior., New York: Wiley, 1949 [20] Marr D, "Approaches to biological information processing," Science 1975, p 875–876 [21] Kohonen T, "Self-organization and associative memories," Springer, 1984 [22] Kohonen T, "The self-organizing map," Proceedings IEEE 1990, vol 78, pp 1464-1480 [23] Carpenter GA, Grossberg S, "The ART of adaptive pattern recognition by a self-organizing neural network," Computer 1988, vol 21, pp 77-88 [24] Carpenter GA, Grossberg S, "A massively parallel architecture for a self-organizing neural pattern recognition machine," in Pattern recognition by self-organizing neural networks, Cambridge, MA, MIT Press, 1991 [25] "Artificial Intelligence Algorithms: All you need to know," 29 2021 [Online] Available: https://www.edureka.co/blog/artificial- intelligence-algorithms/#Ensemble%20Learning%20Algorithms [26] "History of Artificial Intelligence," [Online] https://www.coe.int/en/web/artificial-intelligence/history-of-ai 124 Available: PHỤ LỤC ❖ Dựa ngưỡng số tìm hiểu ta dùng đoạn code sau để tạo bảng liệu import numpy as np #Với hai ngưỡng Min Max số RBG #Tạo mảng random có giá trị số thực từ tới có kích thước 200000x1 a = np.random.uniform(3,7,(200000,1)) #Lưu mảng thành file text np.savetxt("trainning1.txt", a, fmt = "%0.2f") print(a) ❖ Để kết nối webcam máy tính với camera điện thoại nhóm em sử dụng phần mềm DROICAM Hình -0-1:Giao diện phần mềm DROICAM Droicam ứng dụng đa phương tiện, biến điện thoại thành webcam máy tính thơng minh Với độ phân giải cao, cho hình ảnh sắc nét mượt mà 125 Hình 0-2: DROICAM truyền liệu từ camera điện thoại sang máy tính Tiện ích DROICAM • Ứng dụng dành cho thiết bị di động máy tính để bàn kết nối với Wi-Fi cáp USB • DROICAM hỗ trợ nhiều độ phân giải, cụ thể 360p, 480p, 540p 720p, 1080p 4K Ngoài chất lượng video , điều chỉnh tốc độ khung hình chất lượng âm video • DROICAM cho phép phóng to thu nhỏ, thực việc cách di chuyển lăn chuột nhấn phím nóng • Tự động lấy nét tự động phơi sáng điện thoại thông minh tiếp tục hoạt động ứng dụng DroiCam ƯU ĐIỂM • Phát video độ nét cao • Hỗ trợ chức hình cảm ứng • Hỗ trợ khả bàn phím chuột • Nhiều tính tùy chỉnh NHƯỢC ĐIỂM • Phụ thuộc vào kết nối Wi-Fi 126 ... nhân tạo nhận dạng chữ số viết tay phát nguy mắc bệnh? ?? Vì mạng thần kinh nhân tạo (Artificial Neural Network- ANN) nhận diện chữ số viết tay đưa dự đoán khả mắc bệnh từ số người sử dụng cung... giúp bệnh nhân bác sĩ có giải pháp làm giảm nguy mắc bệnh hay phương án điều trị thích hợp Từ vấn đề trên, nhóm xin đề xuất nội dung nghiên cứu là: ? ?Nghiên cứu ứng dụng mạng lưới thần kinh nhân tạo. .. mạng nơ ron Dự đoán trước khả mắc bệnh giúp tăng khả điều trị, giảm chi phí nhiều vấn đề phát sinh khác Do nhóm em xin đề xuất đề tài: ? ?Nghiên cứu ứng dụng mạng lưới thần kinh nhân tạo nhận dạng