Giải pháp học thích ứng trên nền tảng mạng học sâu ứng dụng nhận dạng đối tượng tham gia giao thông TT

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC DUY TÂN GIẢI PHÁP HỌC THÍCH ỨNG TRÊN NỀN TẢNG MẠNG HỌC SÂU ỨNG DỤNG NHẬN DẠNG ĐỐI TƯỢNG THAM GIA GIAO THÔNG Chuyên ngành Mã số : Khoa học máy tính : 9480101 TĨM TẮT LUẬN ÁN TIẾN SĨ KHOA HỌC MÁY TÍNH ĐÀ NẴNG - NĂM 2022 Cơng trình hoàn thành Trường Đại học Duy Tân Phản biện 1: Phản biện 2: Phản biện 3: Luận án bảo vệ trước Hội đồng chấm luận án họp vào lúc ngày tháng năm Có thể tìm hiểu luận án tại: - Thư viện Q́c gia Việt Nam Trung tâm Thông tin tư liệu Trường Đại học Duy Tân MỞ ĐẦU Trí tuệ nhân tạo hay trí thơng minh nhân tạo trí tuệ biểu diễn hệ thống nhân tạo Ngày nay, trí tuệ nhân tạo xuất khắp nơi, ứng dụng văn phịng, hệ thớng trả lời tự động, quản lý giao thông thông minh, quản lý nhà thông minh…Cùng với phát triển hệ thớng phần cứng máy tính, trí tuệ nhân tạo có bước phát triển vượt bậc, ứng dụng ngày sâu rộng lĩnh vực đời sớng xã hội Trí tuệ nhân tạo tập trung vào phát triển giải thuật, ứng dụng hỗ trợ người việc định tự định trình nhận biết thu nạp liệu Một hướng nghiên cứu nhà khoa học, tập đồn cơng nghệ hàng đầu nhắm đến nhận dạng đối tượng, hành động đối tượng người (Human Action Recognition), như: hệ thống giám sát an ninh, hệ thống điều khiển từ xa thao tác, hệ thống hỗ trợ người mù, hệ thớng phân tích liệu thể thao, robot tự động, xe ô tô tự lái [Hariyono, 2017], [Dollar, 2012], Stewart, 2016,], [Van-Dung Hoang, 2012] Đã có nhiều nghiên cứu đưa nhiều phương pháp khác để phát triển trí tuệ nhân tạo (giải thuật heurictis, giải thuật tiến hóa, giải thuật Support Vector Machine, giải thuật Hidden Markov Model, phương pháp hệ chuyên gia, phương pháp mạng nơron, ), nhiên phương pháp truyền thống cần can thiệp người, địi hỏi lượng liệu phân tích, lưu trữ vơ lớn đưa đến độ xác khơng cao giới hạn số trường hợp nhận dạng định Để khắc phục hạn chế nói trên, trí tuệ nhân tạo nhận dạng đới tượng hành động sử dụng phương pháp học máy (Machine Learing), tập trung vào phương pháp học sâu (Deep Learing) Deep learning chủ đề AI bàn luận sôi Là phạm trù nhỏ Machine Learning, Deep Learning tập trung giải vấn đề liên quan đến mạng thần kinh nhân tạo nhằm nâng cấp công nghệ nhận diện giọng nói, nhận dạng hình ảnh xử lý ngôn ngữ tự nhiên Chỉ vài năm, Deep Learning thúc đẩy tiến đa dạng lĩnh vực nhận biết vật (Object Perception), dịch tự động (Machine Translation), nhận diện giọng nói, … vấn đề khó khăn với nhà nghiên cứu trí tuệ nhân tạo Tuy nhiên, giải tốn tương đới lớn khoa học đại AI, Deep Learning tồn nhiều hạn chế cần phải khắc phục nghiên cứu: - Thứ nhất, để tạo hệ thớng có khả nhận dạng đa dạng đối tượng, Deep Learning cần lượng liệu đầu vào khổng lồ để máy tính học hỏi Quy trình nhiều thời gian cần xử lý lớn mà có hệ thống máy chủ cỡ lớn làm - Thứ hai, Deep Learning chưa thể nhận biết thứ phức tạp, ví dụ mới liên hệ thông thường xã hội Chúng gặp khó khăn cần nhận biết thứ tương tự Lý chưa có kỹ thuật đủ tớt để trí tuệ nhân tạo rút kết luận cách logic Bên cạnh đó, cịn nhiều thách thức việc tích hợp kiến thức trừu tượng vào hệ thống Machine Learning, ví dụ thơng tin vật gì, dùng để làm gì, người ta hay dùng Nói cách khác, Machine Learning chưa có kiến thức thơng thường người Câu hỏi đặt để hệ thớng Machine Learning có thể, học hỏi tri thức, chọn lọc cập nhật kiến thức phù hợp tự xây dựng tập liệu có tính ràng buộc, xâu chuỗi người Hướng nghiên cứu Adaptive Learning [Chandra, 2016], [Chatzilari, 2016], [Wang, 2017], [Zhang, 2017], [Liu, 2017], [Zhang, 2016] giải pháp nhằm cải tiến hạn chế Deep Learing, khai phá vấn đề mà Deep Leaning chưa làm Một mơ hình Adaptive Learning hồn chỉnh cho phép hệ thớng auto robot có khả tự học hỏi, tự thông minh mô theo hoạt động não người Sự thông minh hệ thống tăng lên theo thời gian theo q trình hoạt động thiết bị Hệ thớng tự động chọn lọc liệu cho phù hợp, tự huấn luyện lại mơ hình tự cập nhật thay mơ hình cũ Trong khn khổ nội dung nghiên cứu luận án Tiến sĩ, nghiên cứu sinh tiến hành nghiên cứu thực nghiệm phương tiện xe tự lái (ADAS) nhằm mơ cho q trình hoạt động autorobot Đối tượng nhận dạng phương tiện tự lái đối tượng tham gia giao thông như: phương tiện giao thông khác (xe máy, xe ô tô, xe tải, xe khách, ), người bộ, biển báo giao thơng, lịng đường, lề đường, CHƯƠNG TỔNG QUAN VỀ TRÍ TUỆ NHÂN TẠO 1.1 Trí tuệ nhân tạo Trên giới có nhiều định nghĩa khác trí tuệ nhân tạo hay cịn gọi AI (Artificial Intelligence), cụ thể: • Về tổng quan, trí tuệ nhân tạo trí tuệ biểu diễn hệ thống nhân tạo Thuật ngữ thường dùng để nói đến máy tính có mục đích khơng định ngành khoa học nghiên cứu lý thuyết ứng dụng trí tuệ nhân tạo • Bellman (1978) định nghĩa: trí tuệ nhân tạo tự động hoá hoạt động phù hợp với suy nghĩ người, chẳng hạn hoạt động định, giải tốn, … • Rich anh Knight (1991) cho rằng: Trí tuệ nhân tạo khoa học nghiên cứu xem làm để máy tính thực cơng việc mà người cịn làm tớt máy tính Mỗi khái niệm, định nghĩa có điểm riêng, để đơn giản hiểu trí tuệ nhân tạo ngành khoa học máy tính Nó xây dựng tảng lý thuyết vững ứng dụng việc tự động hóa hành vi thơng minh máy tính Giúp máy tính có trí tuệ người như: biết suy nghĩ lập luận để giải vấn đề, biết giao tiếp hiểu ngơn ngữ, tiếng nói, biết học tự thích nghi 1.2 Nghiên cứu nước quốc tế 1.2.1 Trong nước Ở nước ta, từ thập kỷ 90 đến năm đầu kỷ 20, lĩnh vực nghiên cứu trí tuệ nhân tạo đặc biệt lĩnh vực xử lý ảnh nhận dạng, có tham gia nhà nghiên cứu tiếng PGS.TS Ngô Quốc Tạo, PGS TS Đỗ Năng Toàn, PGS TS Lương Chi Mai… Có thể kể đến cơng trình nghiên cứu tiếng có tính ứng dụng cao nhận dạng chữ viết [Dang Ngoc Duc, 2003], [P A Phuong, 2008], chữ viết tay tiếng Việt [Phạm Anh Phương, 2009], [Ngô Q́c Tạo, 2004], nhận dạng giọng nói, nhận dạng mặt người [Lam Thanh Hien , 2012], [Lê Thanh Hà, 2006], [Đỗ Năng Tồn, 2011], mơ thể người [Pham Ngoc Hung, 2017]…đa số nghiên cứu công trình cơng bớ sử dụng khai phá giải thuật truyền thớng SVM , RandomForest, mơ hình Markov ẩn, mạng noron nhân tạo,…Những nghiên cứu tiền đề tảng quan trọng cho sinh viên, học viên cao học nghiên cứu sinh tham khảo, phát triển thành cơng trình nghiên cứu lớn Song song với việc cơng bớ cơng trình, nhà khoa học xuất nhiều ấn phẩm, sách chuyên khảo lĩnh vực xử lý ảnh, nhận dạng đối tượng Sau thập kỷ kỷ 20, với phát triển trí tuệ nhân tạo phần cứng máy tính cho phép lĩnh vực học máy (machine learning) nhận dạng đối tượng phát triển mạnh mẽ Tuy nhiên nước ta, năm đầu, nghiên cứu mạng nơron nhân tạo, mạng học sâu nhân chập (Convolution Neural Network) cịn sơ khai, chưa có nghiên cứu nước lĩnh vực cụ thể Các nghiên cứu công bố hầu hết nghiên cứu sinh người Việt Nam nước Từ năm 2015 trở lại đây, bắt đầu xuất nhóm nghiên cứu như: Đại học Bách khoa Hà Nội [Quang, 2018], [Pham Ngoc Hung, 2017], Đại học Tơn Đức Thắng, Đại học Q́c gia TP Hồ Chí Minh, Đại học Duy Tân – Đà Nẵng,…có nhiều cơng bớ tạp chí uy tín q́c tế ISI, Scopus Ngồi nhóm nghiên cứu viện Lab trường đại học lớn, nhiều cơng trình nghiên cứu độc lập cơng bớ, đổi bật nghiên cứu xe ô tô tự hành, robot, nhận dạng hành động người, phân loại đối tượng, [Van-Dung Hoang, 2018], [Tri-Cong Pham, 2018], [Van-Dung Hoang, 2018],…hỗ trợ lĩnh vực y tế, giao thơng, nơng nghiệp q́c phịng 1.2.2 Quốc tế Lịch sử phát triển trí tuệ nhân tạo học máy có từ lâu Từ năm 1950, Alan Turing mô biểu diễn trí thơng minh máy Đến năm 1955, John McCarthy, nhà khoa học máy tính khoa học nhận thức Mỹ lần đưa khái niệm Trí tuệ nhân tạo, mà theo có nghĩa môn khoa học kĩ thuật chế tạo máy thơng minh Một năm sau đó, ơng đứng tổ chức Hội nghị Dartmouth, hội nghị chủ đề Các chuyên gia đến từ nhiều trường đại học công ty khác Carnegie Mellon University, Massachusetts Institute of Technology IBM tham gia hội nghị Từ đó, khái niệm “Trí tuệ nhân tạo” sử dụng rộng rãi Trải qua nhiều giai đoạn khác nhau, trí tuệ nhân tạo nói chung lĩnh vực học máy nói riêng ngày phát triển, nghiên cứu khai phá nhiều giải thuật quan trọng như: Support vector machine, Random Forest, Neural network, K-mean, Decision tree, Booting, Hog…đây giải thuật tảng cho phát triển giải thuật ứng dụng nhận dạng, phân loại đối tượng, xử lý số liệu,…Cùng với phát triển phần cứng máy tính, giai đoạn từ sau năm 1998, DeepLearning, với mạng nơron nhân chập (Convolution neural network) – thành phần Machine learning có bước phát triển vượt bậc, tạo nhiều sản phẩm ứng dụng đời sống xã hội [Jiao, 2019], [Jiang, 2019], [Chowdhary, 2020], [Zhao, 2019], [Wu, 2020] Một người tiên phong lĩnh vực cụ thể Yann LeCun Với LeNet mạng CNN lâu đời tiếng Yann LeCun phát triển vào năm 1998s Cấu trúc LeNet gồm lớp (layer) (Convolution + maxpooling) lớp kết nối đầy đủ (fully connected layer) lớp xuất (output) lớp softmax, độ xác trình nhận dạng lên đến 99% Đến năm 2012, Alex Krizhevsky cộng nghiên cứu cho đời mơ hình AlexNet [Krizhevsky, 2012] AlexNet mạng CNN dành chiến thắng thi ImageNet LSVRC-2012 năm 2012 với tỷ lệ phần trăm lỗi đạt: 15.3% 26.2% AlexNet mạng CNN với số lượng tham số lớn (60 triệu) so với LeNet Tiếp theo sau mơ hình đề xuất, cải tiến tỷ lệ phần trăm lỗi, độ phức tạp mơ hình tăng lên, kiến trúc sâu Có thể kể đến mơ hình như: VggNet năm 2014, GoogleNet năm 2014, MicrosoftResNet năm 2015, Densenet năm 2016, …Song song với cải tiến kiến trúc mạng, mơ hình cho thực nghiệm huấn luyện nhận dạng hầu hết đới tượng có thực tế với độ xác cao, ví dụ với AlexNet nhận dạng phân loại 1.000 đới tượng khác Ngồi ra, nhiều cơng trình từ viện nghiên cứu, trường đại học giới công bớ, giải tốn cụ thể liên quan đến trí tuệ nhân tạo robotic, auto vehicle, …Mỗi lĩnh vực tiếp tục chia nhỏ theo cấp độ khác nhau, chuyên biệt giải trường hợp cụ thể tốn thực tế Ví dụ, đới với tốn Xe tơ tự lái phân thành trường hợp nghiên cứu [Paul, 2016]: - Bài tốn xe tơ tự lái nhận dạng phát đường - Bài tốn xe tô tự lái nhận dạng phát đối tượng tham gia giao thơng - Bài tốn xe tô tự lái nhận dạng biển báo giao thông - Bài tốn xe tơ tự lái tính tốn khoảng cách với đới tượng - Bài tốn xe tô tự lái phát dự báo hành động người - Bài tốn xe tơ tự lái phát chướng ngại vật, Đến thời điểm tại, nói trí tuệ nhân tạo sử dụng mạng học sâu nhân chập tiến bước dài đường “thông minh”, nhiên vách ngăn lớn chưa thể vượt qua, khả “tự thơng minh” Các nhà khoa học tích cực nghiên cứu giải pháp cho phép hệ thớng có khả tự học, tự cải thiện trí thơng minh khả người Đó hướng khai phá mà mục tiêu luận án nghiên cứu hướng đến, góp phần nhỏ bé đường chinh phục đỉnh cao trí tuệ nhân tạo CHƯƠNG 2: NHẬN DẠNG ĐỐI TƯỢNG BẰNG HỌC SÂU Nội dung Chương tập trung nghiên cứu đánh giá thực nghiệm hiệu mạng CNN toán nhận dạng đối tượng thiết bị AV ngữ cảnh giao thơng Tập trung vào tốn dự đốn hành động người toán phân loại phương tiện giao thơng 2.1 Bài tốn dự đốn hành động người 2.1.1 Bài toán Trong tất đới tượng xuất q trình di chuyển xe tự lái, việc nhận dạng đối tượng người xem khó khăn độ phức tạp nhận dạng, phạm vi di chuyển quỹ đạo di chuyển người Chính vậy, khả dự đốn xác hành động người tốc độ đưa cảnh báo đặt lên hàng đầu nhằm giải tốn với độ xác cao, đảm bảo an toàn cho người phương tiện Qua nghiên cứu thực tế ta thấy rằng, có nhiều trường hợp người khác tựu chung lại có trường hợp cụ thể là: người sang đường (crossing pedestrian), người đi dọc theo lề đường (walking pedestrian), người đứng chờ sang đường (waiting pedestrian); trường hợp đại diện bao quát cho tất trường hợp tương tác người xe ô tô tự lái xảy Khi người di chuyển (hoặc đứng yên) đường, đặc trưng thể rõ tư người bộ, vị trí người ngữ cảnh khung hình (đường, lề đường, mép đường, ); vậy, việc trích rút đặc trưng từ hình ảnh có người bộ, sử dụng đặc trưng để huấn luyện liệu phục vụ cho việc dự đoán nhận dạng hành động người thực 2.1.2 Giải pháp Giải pháp đề xuất gồm bước: (i) Huấn luyên mơ hình phân loại người thơng qua tư người sử dụng đặc trưng trích xuất từ mơ hình CNN (Hình 2.1); (ii) Từ hình ảnh trích xuất từ camera AV di chuyển đường, thứ tự xử lý sau: xác định người bộ, trích xuất vùng quan tâm (ROI), trích xuất đặc trưng ROI dự đốn hành động người ROI (Hình 2.2) Để trích xuất đặc trưng, sử dụng mơ hình CNN AlexNet [Krizhevsky, 2012] Để xác định người bộ, sử dụng giải thuật ACF [Dollar, 2009], [Dollar, 2012], [Dollar, 2014] để huấn luyện, dự đoán hành động người sử dụng mơ hình phân loại SVM Hình 2.1 Tiến trình trích xuất đặc trưng với mơ hình CNN từ tập liệu hình ảnh Hình 2.2 Tiến trình dự đốn hành động người Thiết bị Camera sử dụng trình thực nghiệm có độ phân giải từ 02 Megapixel trở lên, độ phân giải ảnh thu thập tối thiểu từ 72 dpi 2.1.3 Thực nghiệm 2.1.3.1 Trích xuất đặc trưng huấn luyện mơ hình phân loại Q trình thực nghiệm với 3,000 ảnh sử dụng trích xuất đặc trưng mơ hình CNN Các hình ảnh xử lý (chọn lọc cắt thành khung ảnh phù hợp) từ video thực tế đường phố sưu tầm Internet Các đặc trưng sử dụng để huấn luyện mơ hình phân loại SVM Bảng 2.2 hiển thị tập liệu trích xuất đặc trưng huấn luyện 90% sớ lượng hình ảnh tập liệu sử dụng cho huấn luyện 10% lại sử dụng để đánh giá 2.1.3.2 Xác định người dự đoán hành động người Với hình ảnh thực tế thu từ thiết bị camera AV, sau xác định người với giải thuật ACF, kết xử lý hình 2.3 Trong trường hợp này, nhiều người xuất khung 12 Hình 2.5 Các giá trị trọng số lọc lớp tích chập Lớp bao gồm 64 lọc kích thước 7x7, lọc kết nới với ba kênh đầu vào hình ảnh RGB (ii) Kết nhân chập: Hình ảnh mẫu đưa vào mạng thơng qua lọc tích chập liệu thu hiển thị thành phần khác biệt với hình ảnh RGB ban đầu với kết đặc trưng khác nhau, tạo 13 nhiều đặc trưng phương tiện Giá trị đầu tập hợp chập có chứa giá trị tiêu cực, giá trị chuẩn hóa điều chỉnh tuyến tính (Hình 2.6) (a) (b) (c) Hình 2.6 Một sớ kết tích chập tuyến tính hiệu chỉnh tuyến tính cho hình ảnh đầu vào xe mơ tơ (a) Đầu 64 lần chập lớp chập đầu tiên, (b) Giá trị hiệu chỉnh tuyến tính sau lớp chập đầu tiên, (c) Đầu 64 mẫu lớp chập thứ hai 2.3.2.3 Nhận dạng chủng loại phương tiện Dựa kết thực nghiệm, ba phương pháp khác đánh giá tập liệu mẫu Bảng 2.4 Các phương pháp bao gồm: (i) Các phương pháp truyền thống HOG SVM; (ii) Mạng CNN; (iii) Mạng CNN kết hợp với tăng cường liệu Độ xác phương pháp HOG SVM tập liệu mẫu 89,31% Chi tiết kết nhận dạng thể Bảng 2.6 Độ xác đánh giá phương pháp CNN dựa liệu gốc đạt trung bình 90,10%, thể Bảng 2.7 14 Đánh giá độ xác phương pháp CNN dựa gia tăng liệu đạt trung bình 95,59%, thể Bảng 2.8 Trong nghiên cứu này, đánh giá mô hình CNN đề xuất theo cách tiếp cận truyền thớng khác dựa mơ tả tính HOG phân loại SVM Kết so sánh thể Hình 2.7 Hình 2.7 So sánh kết phương pháp HOG+SVM, mơ hình CNN CNN với tăng cường liệu 15 CHƯƠNG PHÁT TRIỂN KỸ THUẬT HỌC THÍCH ỨNG TRONG NHẬN DẠNG ĐỐI TƯỢNG 3.1 Bài toán giải pháp tổng quan Nội dung nghiên cứu Chương đề xuất giải pháp dựa học thích ứng mơ hình CNN Phương pháp đề xuất tự động cập nhật mơ hình nhận dạng thay mơ hình cũ cách thu thập tập liệu trực tiếp trình hoạt động bình thường ADAS, tiến hành huấn luyện, so sánh độ xác cập nhật mơ hình Nhiệm vụ cập nhật liệu tập trung vào mẫu liệu giớng với mẫu huấn luyện trước Mục đích giải pháp cập nhật mơ hình mơ hình thích ứng hơn, đạt độ xác cao Trong phương pháp học tập thích ứng, hệ thớng nhận dạng có khả tự học bổ sung liệu, mà không cần chuyên gia gán nhãn liệu Đặc biệt, với công nghệ lưu trữ trực tuyến ngày phát triển, hạ tầng giải pháp đường truyền liệu tảng (5G, Cloud data, ) việc lữu trữ, cập nhật liệu trực tuyến giải khó khăn mơ hình đề xuất Giải pháp đề xuất bao gồm 05 giai đoạn chính: (1) Phát nhận biết đối tượng với độ tin cậy thấp; (2) Theo dõi đối tượng n khung hình tiến trình để xác định chúng có phải đới tượng quan tâm hay khơng (3) Trường hợp đối tượng nhận dạng với độ chắn cao: gán nhãn Positive (cùng loại đối tượng) cho mẫu liệu tương ứng với độ xác thấp theo dõi (tracking) trình trước Trong trường hợp đới tượng xác định đối tượng quan tâm, tiến hành dán nhãn Negative cho tất mẫu theo dõi n khung hình trước đó; (4) Khởi tạo tập liệu huấn luyện dựa kết hợp có chọn lọc liệu huấn luyện trước liệu (5) Huấn luyện lại cập nhật mơ hình so sánh có độ xác cao Tiến hành thí nghiệm để so sánh kết mơ hình đề xuất mơ hình PDNet sớ phương pháp đại AlexNet Vgg Các kết thử nghiệm chứng minh phương pháp đề xuất 16 cung cấp độ xác cao mơ hình tự học theo thời gian Mặt khác, giải pháp học tập thích ứng đề xuất áp dụng cho mơ hình nhận dạng truyền thớng mơ hình AlexNet Vgg để cải thiện độ xác 3.2 Kiến trúc tổng quan hệ thống Ý tưởng chung học tập thích ứng cho mơ hình nhận dạng sử dụng cơng nghệ CNN minh họa Hình 3.1 Hệ thớng nhận dạng áp dụng cho loại đối tượng khác Tuy nhiên, để thuận tiện việc phân tích phương pháp đề xuất, chúng tơi áp dụng cho toán phân loại phương tiện biển báo giao thông để minh họa cho giải pháp đề xuất Có hai mơ hình CNN sử dụng phương pháp này, mơ hình IONet để phát phương tiện biển báo giao thông mơ hình PDNet để xác định độ tin cậy nhận dạng đới tượng Hình 3.1 Mơ hình tổng qt hệ thống Mô tả vấn đề: Giả sử huấn luyện hai mơ hình CNN ban đầu, IONet PDNet Trong śt hành trình đường, ADAS sử dụng mơ hình để nhận biết phương tiện, biển báo giao thông đưa định phù hợp Tuy nhiên, trình xử lý nhận dạng, có sớ trường hợp hệ thớng nhận diện phương tiện biển báo giao 17 thông với độ tin cậy thấp Tình h́ng xảy hệ thống gặp phải liệu không giống với tập liệu đào tạo thông tin không đầy đủ Dữ liệu không giống với liệu gốc bị nhiễu thường khoảng cách xa, phương tiện biển báo giao thông bị che khuất vật thể khác, biển báo bị cong vênh mờ, phương tiện di chuyển điều kiện thiếu ánh sáng, mưa, tuyết, độ rung chuyển động, Đây thời điểm để bắt đầu học tập thích ứng Hệ thớng lưu trữ hình ảnh có điểm tin cậy thấp (IO) tiếp tục theo dõi (tracking) đối tượng Quá trình theo dõi nhằm xác định trường hợp: (i) Mất đối tượng; (ii) Không phải đối tượng; (iii) Xác định đối tượng Khi lượng liệu tập Positive Data Negative Data đủ lớn, tác vụ huấn luyện lại mơ hình CNN xử lý Mơ hình huấn luyện chọn so sánh với mơ hình huấn luyện trước đó, mơ hình tớt sử dụng để cập nhật mơ hình nhận dạng hệ thớng Q trình học tập thích ứng diễn liên tục śt q trình làm việc ADAS Sau cập nhật, mô hình CNN nhận dạng đới tượng xác 3.3 Kết thực nghiệm Mơ hình thực nghiệm hệ thớng thiết bị có cấu hình tương đới thấp, tương ứng với cấu hình trang bị cho phương tiện xe tự lái thực tế, thể bảng 3.1 Bảng 3.1 Cấu hình thiết bị Thiết bị CPU GPU RAM HDD Cấu hình I3 3.6 GHz Geforce 1060 Gb 16 Gb SSD 160 Gb Kết thực nghiệm cho thấy có nhiều thay đổi độ xác mơ hình so sánh kết nhận dạng phương tiện biển báo giao thơng mơ hình ban đầu (PDNet-Vehicle0, PDNet-TrafficSign0) mơ hình đào tạo lại (PDNet-Vehicle1, PDNet-TrafficSign1 PDNet-Vehicle2, PDNet-TrafficSign2) trình huấn luyện lại tập liệu Retrain (70% liệu sử dụng lại từ mơ hình huấn 18 luyện trước 30% liệu thu nhận từ trình xác định độ tin cậy theo vết đới tượng), hiển thị Hình 3.2 Kết thực nghiệm chứng minh tính hiệu so sánh kết thử nghiệm phương pháp đề xuất chúng tơi sớ mơ hình lý tưởng phương pháp học sâu, chẳng hạn Alexnet Vgg Kết ban đầu cho thấy mơ hình PDNet mang lại độ xác thấp so với mơ hình AlexNet Vgg Tuy nhiên, sau q trình học tập thích ứng, mơ hình PDNet mang lại độ xác cao so với mơ hình AlexNet Vgg ban đầu (Hình 3.3) Tớc độ xử lý mơ hình AlexNet Vgg chậm so với mơ hình PDNet, mơ hình PDNet có kích thước hình ảnh đầu vào nhỏ (64 × 64), mơ hình AlexNet Vgg có kích thước hình ảnh lớn (227 × 227 224 × 224) Phương pháp học tập thích ứng đề xuất chúng tơi áp dụng cho mơ hình AlexNet, Vgg, kết cho thấy mơ hình Adap-AlexNet1, Adap-AlexNet2 Adap-Vgg1, Adap-Vgg2 (sau đào tạo lại) mang lại độ xác cao so với AlexNet0 Vgg0 ban đầu (Hình 3.4) Kết minh họa đồ thị Hình 3.3, Hình 3.4 cho thấy mơ hình sử dụng để đào tạo, q trình học tập thích ứng cải thiện mơ hình ban đầu để mang lại độ xác tiệm cận tới đa theo thời gian Hình 3.2 So sánh độ xác sau huấn luyện lại mơ hình nhận dạng Phương tiện Biển báo giao thông 19 Hình 3.3 So sánh kết cách tiếp cận đề xuất phương pháp khác Hình 3.4 So sánh kết cách áp dụng phương pháp học thích ứng với mơ hình AlexNet Vgg CHƯƠNG TỐI ƯU HÓA BỘ SIÊU THAM SỐ TRONG HỌC THÍCH ỨNG 4.1 Bài tốn tối ưu siêu tham số Trong giai đoạn nay, nghiên cứu trí tuệ nhân tạo nói chung hệ thớng tự động nói riêng tập trung vào việc nghiên cứu, xây dựng giải pháp tới ưu hóa mơ hình học máy tham sớ mơ hình Trong đó, lên hai xu hướng lựa chọn mơ hình - Model selection (CNN, ANN, LSTM , Segment, ) lựa chọn 20 tham sớ mơ hình - Model hyperparametersselection Tuy nhiên, khuôn khổ luận văn nghiên cứu, không sâu vào phương pháp lựa chọn mơ hình huấn luyện mà tập trung vào mơ hình CNN cụ thể với việc tới ưu hóa tham sớ mơ hình Trong nội dung nghiên cứu Chương Chương 3, ta nhận thấy tất mơ hình CNN huấn luyện với 02 loại tham số bản: Tham số huấn luyện (Optimization hyperparameters) - Learning rate: - Mini-Batch Size - Number of Epochs Tham số mơ hình (Model hyperparameters) - Number of hidden units - First hidden layer - Number of layers Tham sớ mơ hình định thay đổi mơ hình CNN q trình huấn luyện mơ hình CNN khơng có thay đổi Vì vậy, để giải tốn thích ứng giải thuật, tham sớ ta tìm giải pháp tới hóa tham sớ huấn luyện 4.2 Tổng quan giải pháp Mơ hình huấn luyện giải pháp đề xuất kế thừa từ mơ hình đề xuất Chương Phương pháp đề xuất tạo đóng góp cách thay đổi khối chức Retrained PDNet minh họa Hình 3.1 Chức HyperNet thêm vào phép tìm kiếm siêu tham sớ cho mơ hình huấn luyện, giúp cải thiện hiệu độ xác nhận dạng Siêu tham sớ thích hợp tìm kiếm tự động phương pháp Bayes Phương pháp tổng thể đề xuất trình bày Hình 4.1 21 Hình 4.1 Mơ hình đề xuất tổng thể Ta thấy rằng, liệu thu thập trình chuyển động ADAS liên tục thay đổi làm Tuy nhiên, tham số cấu trúc mô hình CNN tham sớ q trình huấn luyện lại mơ hình CNN khơng có thay đổi Do lý thuyết, cần phải thay đổi kiến trúc mơ hình CNN tham sớ huấn luyện để đảm bảo chúng phù hợp với tập liệu Tuy nhiên, giải pháp học thích ứng đề xuất tập trung vào huấn luyện lại mô hình nhận dạng, kế thừa 'thơng minh' từ mơ hình trước Do đó, việc tìm kiếm thay đổi kiến trúc mơ hình CNN khơng đề xuất Giải pháp tập trung vào việc tìm kiếm siêu tham sớ quan trọng q trình huấn luyện, phù hợp với tập liệu thu nhận 4.3 Kết thực nghiệm Có nhiều thay đổi độ xác mơ hình so sánh kết nhận dạng phương tiện biển báo giao thơng mơ hình ban đầu (PDNet-Vehicle0và PDNet-TrafficSign0) mơ hình tới ưu (PDNetVehicle1, PDNet-TrafficSign1 PDNet-Vehicle2, PDNet-TrafficSign2) hiển thị Hình 4.2 22 Hình 4.2 So sánh độ xác kết nhận dạng mơ hình PDNetVehicle PDNet-TrafficSign Đặc biệt, việc áp dụng thuật tốn Bayes để tìm kiếm siêu tham sớ mơ hình làm cho độ xác mơ hình PDNet AlexNet, Vgg cao so với mơ hình tương tự nêu chương đánh giá tập liệu Kết so sánh thể Bảng 4.1 23 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN Kết luận Kết nghiên cứu thể chương luận án, chứng minh khẳng định thơng qua cơng trình nghiên cứu cơng bớ các hội thảo, tạp chí uy tín nước q́c tế Luận án hồn thành nội dung nghiên cứu theo mục tiêu đề Trong đó, bật đóng góp: (1) Tìm hiểu tổng qt hóa vai trị tảng thiếu giải thuật học máy truyền thống Các nghiên cứu nước quốc tế thời gian gần trí tuệ nhân tạo, học máy, kỹ thuật nhận dạng đối tượng học sâu kỹ thuật học thích ứng (2) Nội dung nghiên cứu chương chứng minh kỹ thuật mạng học sâu Thông qua thực nghiệm mô thiết bị ADAS tham gia giao thông, cho thấy khả nhận dạng hiệu mơ hình CNN huấn luyện Kết nghiên cứu chương tiền đề để xây dựng mơ hình tổng thể hệ thớng ADAS có khả tự học thơng theo thời gian (3) Đóng góp bật luận án đề xuất mơ hình tổng thể cho giải pháp học thích ứng Thơng qua hoạt động mơ hình ADAS, chứng minh khả tự học, tự nhận dạng hệ thống autorobot theo mô hoạt động não người Cùng với thích ứng cập nhật liệu thực tế cách tự động, giải pháp đề xuất cịn cho phép hệ thớng thay đổi, thích ứng với siêu tham sớ (hyperparameter) huấn luyện phù hợp với liệu thu nhận Chính nhờ kết hợp đó, tạo nên mơ hình hồn chỉnh cho giải pháp học thích ứng hệ thống autorobot tương lai (4) Thông qua trình thực nghiệm nội dung nghiên cứu, tác giả thu thập xây dựng liệu nhiều đối tượng khác như: tập liệu thực tế người bộ, tập liệu tư người bộ, tập liệu số biển báo giao thông, tập liệu phương tiện giao thông Các tập liệu tác giả thu thập trực tiếp 24 trình di chuyển thực tế xe ô tô thu thập từ video thực tế từ internet Do trường hợp liệu phục vụ q trình thực nghiệm khơng có sẵn (bao gồm tập liệu tiếng cơng bớ) tập liệu ảnh luận án tác giả tự thu thập trực tiếp trình di chuyển thực tế xe ô tô thu thập từ video thực tế từ internet (5) Tuy nhiên, đạt nhiều kết đáng khích lệ cịn sớ vấn đề cần giải nhằm hồn thiện chứng minh tính hiệu mơ hình học thích ứng: - Sớ lượng đới tượng thực nghiệm cịn ít, chưa bao qt hết nhiều trường hợp đối tượng khác Số lượng ảnh tập liệu chưa nhiều độ xác mơ hình nhận dạng cịn thấp - Một sớ giá trị tham sớ phục vụ q trình huấn luyện đề xuất mặc định, chưa chứng minh giá trị mang lại hiệu cao (Ví dụ: giá trị sớ lượng ảnh N bắt đầu trình huấn luyện lại mơ hình, tỷ lệ % liệu ảnh tập liệu trước sử dụng lại cho huấn luyện mơ hình sau, ) - Sớ lượng tham sớ đưa vào để tới ưu hóa cịn (06 tham số), miền giá trị siêu tham sớ mang tính ước lượng thơng qua thực nghiệm, chưa chứng minh cụ thể khoảng giá trị cần tìm kiếm Hướng phát triển Mơ hình đề xuất thể giải pháp học thích ứng thiết bị ADAS, nhiên ta nhận thấy khả tiềm tàng việc tiếp tục nghiên cứu phát triển theo hướng: - Mở rộng đối tượng nhận dạng nhằm đa dạng khả hệ thống ADAS phát triển thành hệ thớng autorobot hồn thiện có khả học thích ứng đới tượng - Đánh giá tìm kiếm giá trị thích hợp thay giá trị cớ định q trình huấn luyện mơ hình học thích ứng Mở rộng miền tham sớ tìm kiếm nhằm gia tăng khả lựa chọn tham số phù hợp cho q trình huấn luyện lại mơ hình tương ứng với tập liệu Đồng thời, nghiên cứu phương án giảm độ phức tạp 25 trình tìm kiếm siêu tham sớ mơ hình đề xuất, giảm thời gian nâng cao hiệu suất xử lý - Trong mơ hình đề xuất, q trình học thích ứng diễn liên tục làm cho tập liệu huấn luyện ngày tăng nhanh số lượng Vì vậy, vấn đề đặt xây dựng giải pháp tinh gọn, chọn lọc liệu tập liệu huấn luyện nhằm loại bỏ mẫu liệu dễ, ưu tiên học mẫu liệu khó, giúp cho mơ hình giảm thời gian huấn luyện, nâng cao độ xác chất lượng q trình học thích ứng - Xây dựng liệu hồn chỉnh, quy mơ với nhiều loại đới tượng phục vụ q trình huấn luyện ban đầu mơ hình học thích ứng DANH SÁCH CÁC CƠNG TRÌNH KHOA HỌC ĐÃ CÔNG BỐ LIÊN QUAN ĐẾN LUẬN ÁN Các cơng bố 1.1 "Pedestrian action prediction based on deep features extraction of human posture and traffic scene," in Asian Conference on Intelligent Information and Database Systems, 2018, pp 563-572 1.2 "Pedestrian activity prediction based on semantic segmentation and hybrid of machines," Journal of Computer Science and Cybernetics, vol 34, pp 113-125, 2018 1.3 "Vehicle Categorical Recognition for Traffic Monitoring in Intelligent Transportation Systems," in Asian Conference on Intelligent Information and Database Systems, 2019, pp 670-679 1.4 "Adaptive Learning Based on Tracking and ReIdentifying Objects Using Convolutional Neural Network," Neural Processing Letters, vol 50, pp 263-282, 2019 1.5 "Hyperparameter optimization for improving recognition efficiency of an Adaptive learning system", IEEE Access, vol 08, pp.160569 - 160580, 2020 Các công bố liên quan 2.1 "A solution based on combination of RFID tags and facial recognition for monitoring systems," in 2018 5th NAFOSTED Conference on Information and Computer Science (NICS), 2018, pp 384-387 2.2 "Personal Identification Based on Deep Learning Technique Using Facial Images for Intelligent Surveillance Systems," International Journal of Machine Learning and Computing, vol 9, 2019 2.3 "Meta-analysis of computational methods for breast cancer classification," International Journal of Intelligent Information and Database Systems, vol 13, 2020 2.4 "Deep Feature Extraction for Panoramic Image Stitching," in Asian Conference on Intelligent Information and Database Systems, 2020, pp 141-151 ... động autorobot Đối tượng nhận dạng phương tiện tự lái đối tượng tham gia giao thông như: phương tiện giao thông khác (xe máy, xe ô tô, xe tải, xe khách, ), người bộ, biển báo giao thơng, lịng... dụng sensor phương tiện giao thông phục vụ đọc liệu, giải pháp sử dụng kết nối đồng phương tiện giao thông tảng mạng internet (internet of things),… Tuy nhiên, nhiều giải pháp thực tế dừng lại... khơng cần có tham gia người Có nhiều giải pháp đưa đối với hệ thống giám sát hỗ trợ định quản lý giao thông thông minh (Intelligent Transportation Systems - ITS) như: giải pháp sử dụng sensor