Trong bài viết này, nhóm sử dụng cơ sở dữ liệu thử nghiệm được thu thập từ hệ thống mô hình đề xuất diện tích 3 m × 3 m để phân tích và đánh giá hiệu suất các phân loại máy học bằng phần mềm mô phỏng Weka. Nhóm so sánh độ chính xác lỗi định vị, tỷ lệ chính xác và tỷ lệ tái hiện. Kết quả cho thấy lỗi định vị trung bình khi áp dụng thuật toán máy học khoảng 85,4 % (hay 0,087 m) với 96 thể hiện (instances).
Kỷ yếu Hội nghị KHCN Quốc gia lần thứ XIII Nghiên cứu ứng dụng Công nghệ thông tin (FAIR), Nha Trang, ngày 8-9/10/2020 DOI: 10.15625/vap.2020.00227 ĐÁNH GIÁ HIỆU SUẤT CÁC PHÂN LOẠI MÁY HỌC CHO BÀI TOÁN ĐỊNH VỊ XE Văn Khánh Hưng, Huỳnh Khả Tú, Nguyễn Quang Phú, Nguyễn Văn Sinh, Lý Tú Nga Khoa Công nghệ thông tin, Trường Đại học Quốc tế - Đại học Quốc gia TP HCM cuti2668@gmail.com, hktu@hcmiu.edu.vn, nqphu@hcmiu.edu.vn, nvsinh@hcmiu.edu.vn, ltnga@hcmiu.edu.vn TÓM TẮT: Hệ thống định vị nhà (ILS) ngành kiểm tra quan trọng lĩnh vực nghiên cứu phát triển Nó đóng vai trị quan trọng hệ thống định vị toàn cầu (GPS) cho phép định vị ngồi trời bao gồm độ xác Tuy nhiên, GPS dùng cấu trúc nơi người sống khơng có đường truyền thẳng ăngten tàu vũ trụ, liệu tín hiệu bị suy hao hấp thụ, nhiễu tán xạ Sự xác định vị xe nhà quan trọng số ứng dụng hỗ trợ theo dõi sinh hoạt sức khỏe người Các phân loại máy học (ML) giảm thiểu hiệu biến đổi liệu cảm biến tiếng ồn điều kiện môi trường triển khai Vì vậy, nhóm thiết kế triển khai hệ thống định vị nhà giao tiếp qua thiết bị Zigbee dựa báo cường độ tín hiệu thu để thu thập vị trí tọa độ x y thông qua thiết kế phần mềm hệ thống cấu trúc mạng lưới Chiếc xe đóng vai trị thiết bị di chuyển dễ dàng kiểm tra vị trí, tương tác slaves master Trong báo này, nhóm sử dụng sở liệu thử nghiệm thu thập từ hệ thống mơ hình đề xuất diện tích m × m để phân tích đánh giá hiệu suất phân loại máy học phần mềm mô Weka Nhóm so sánh độ xác lỗi định vị, tỷ lệ xác tỷ lệ tái Kết cho thấy lỗi định vị trung bình áp dụng thuật toán máy học khoảng 85,4 % (hay 0,087 m) với 96 thể (instances) Từ khóa: MQTT, Zigbee, zigbee2mqtt, phân loại máy học, định vị nhà I GIỚI THIỆU Hệ thống định vị nhà (ILS) chế định vị thiết kế hoạt động định vị môi trường nhà Các thiết bị sử dụng ngành điều tra khác có dùng mạng WiFi Bluetooth Tuy nhiên, chi phí lớn khoảng cách tín hiệu [1] dẫn đến hiệu dự đoán lỗi giải pháp không tốt Với phát triển hệ thống, nhiều ứng dụng xuất tiếp xúc người với công nghệ nhà, cyborg/robot hướng dẫn, ghế lăn tự động hệ thống cứu hộ cứu thương Trong báo này, cấu trúc mạng lưới cung cấp tính linh hoạt cao áp dụng cho hệ thống Zigbee, phương pháp đo ba cạnh (trilateration) số cường độ tín hiệu thu áp dụng để tính tốn định vị mục tiêu [8] Bài viết chia thành năm phần Phần I, cơng trình nghiên cứu lý thuyết bản, khái niệm cấu trúc liên kết Zigbee ứng dụng máy học XBee Phần II tập trung vào cách thiết kế triển khai hệ thống phần cứng Phần III giới thiệu mơ hình hệ thống Trong phần IV, thí nghiệm hệ thống đánh giá thảo luận Phần cuối kết luận định hướng nghiên cứu tới II NGHIÊN CỨU LIÊN QUAN Trước tiên, Sugano cộng [8] giới thiệu mạng cảm biến không dây dựa tiêu chuẩn ZigBee Hệ thống tự động ước tính khoảng cách nút cảm biến cách đo báo cường độ tín hiệu thu [2] số nút cảm biến thích hợp Bên cạnh đó, Tariq cộng [6] thử nghiệm đề xuất huấn luyện liệu thu thập modem XBee 802.15.4, truyền phép đo đến nút trung tâm xử lý hậu kỳ định vị người cách áp dụng thuật toán phân loại máy học Random Forest, AdaBoostM1 Nghiên cứu gần nhóm [10] giải thành cơng số lượng hạt trung bình tối thiểu sử dụng cho tái lấy mẫu khoảng cách Kullback-Leibler (KLD) lọc đa phần tử cách tìm lỗi ràng buộc (bound error) kết hợp thuật toán máy học Support Vector Machine (SVM) ngơn ngữ lập trình Python Nhóm triển khai mơ hình kiến trúc để thu thập lưu trữ giá trị lỗi lần lặp vào sở liệu Ứng dụng sử dụng cho huấn luyện trực tuyến Đóng góp nhóm bao gồm: Thứ nhất, thiết kế triển khai xe định vị nhà với bốn nút cảm biến theo tiêu chuẩn Zigbee Hệ thống thiết kế với chi phí giá rẻ tiêu thụ thấp, sản phẩm coi lựa chọn người tiêu dùng Hơn nữa, sản phẩm phải phần cứng nguồn mở đơn giản để thiết lập phát triển dự án Thứ hai, thu thập phép đo dựa vào báo chất lượng đường truyền, báo giá trị cường độ tín hiệu thu, tọa độ x y từ bốn cảm biến lắp đặt phịng diện tích m × m Thứ ba, xử lý liệu cảm biến bước thứ hai cách áp dụng phần mềm Weka [7] giúp hỗ trợ lựa chọn thuật toán máy học tối ưu nhằm đánh giá hiệu suất định vị xe Thứ tư, phân tích hiệu suất thuật tốn phân loại máy học độ xác định vị, lỗi khoảng cách trung bình, tỷ lệ xác tỷ lệ tái III CẤU TRÚC PHẦN CỨNG Thiết kế phần cứng sản phẩm bao gồm ba môđun: Zigbee CC2530, USB dongle Raspberry Pi ĐÁNH GIÁ HIỆU SUẤT CÁC PHÂN LOẠI MÁY HỌC CHO BÀI TOÁN ĐỊNH VỊ XE 672 A Zigbee CC2530 Zigbee kỹ thuật theo tiêu chuẩn IEEE 802.15.4 cho giao thức truyền thông không dây mức cao sở mạng PAN (Personal Area Network) Ưu điểm phương thức ứng dụng yêu cầu kết nối an toàn, tốc độ truyền liệu thấp nguồn pin có tuổi thọ cao Hệ thống thiết kế môđun ZigBee CC2530 + PA 2.4 GHz công suất 2.5 mW, sử dụng chip cao tần CC2530 hãng ES Đây mơđun truyền sóng 2.4 GHz xa dùng giao tiếp SPI, xem Hình Hình Hệ thống Zigbee Để đánh giá liệu vị trí, nhóm đề xuất phương pháp đo ba cạnh: sử dụng khoảng cách để ước tính vị trí mục tiêu mặt phẳng hai chiều phương pháp đo ba cạnh Phương pháp đo ba cạnh cách đo khoảng cách từ ba điểm không thẳng hàng biết mặt phẳng Khoảng cách tính ba ăngten Các ăngten có đường kính đạt tới vị trí điểm ba chu vi định vùng giới hạn vị trí mục tiêu Khi biết vị trí khoảng cách r từ điểm (a, b) nằm đường tròn theo phương trình (1) ( ) ( ) (1) Nếu biết ba khoảng cách từ ba điểm khác nhau, thành lập ba phương trình đường trịn phương trình (1) tốn giải Q trình khái qt hóa cho tốn không gian ba chiều Gọi rA, rB, rC khoảng cách từ ba điểm: B (d, 0), C (p, q), phương trình (1) triển khai (2) ( ( ) ) (3) ( ) (4) Bằng cách trừ phương trình (2) phương trình (1), tọa độ x y tính sau ( ) √ ( (5) ( ) ) (6) B USB dongle CC2531 CC2531 thu phát ZigBee theo tiêu chuẩn IEEE 802.15.4 với CPU 8051 thiết bị USB chip Hình Vì thiết bị có cổng lập trình, nhóm tích hợp chương trình tùy chỉnh có chức tập trung Zigbee C Raspberry Pi Model B Raspberry Pi, xem Hình 1, thiết bị có kích thước thẻ nhớ giá rẻ, cắm vào hình máy tính Tivi, sử dụng bàn phím chuột thơng thường Đây thiết bị nhỏ có khả cho phép người lứa tuổi trải nghiệm máy tính biết cách lập trình ngơn ngữ Scratch Python Bên cạnh đó, khả làm thứ mà người lập trình mong muốn lướt trình duyệt xem phim độ nét cao, kết xuất bảng tính, xử lý văn chơi trò chơi [4] MQTT giao thức nhắn tin nhanh tối ưu hóa cho mạng băng thông thấp hạn chế Phương pháp giúp gửi lệnh (commands) để giám sát đầu ra, đọc xuất liệu từ nút cảm biến dễ dàng thiết lập liên hệ nhiều thiết bị [3] Văn Khánh Hưng, Huỳnh Khả Tú, Nguyễn Quang Phú, Nguyễn Văn Sinh, Lý Tú Nga 673 Để truyền xuất thông tin chủ đề (topic) cụ thể đến máy chủ hoạt động đối tác thứ ba gửi tin nhắn MQTT Đối tác này, sau chuyển tiếp chi tiết cho khách hàng đăng ký trước Chủ đề hiểu định tuyến phân cấp tệp Khách hàng đăng ký đơn lẻ chủ đề phân cấp sử dụng ký tự đại diện để đăng ký theo nhiều cấp độ, xem Hình Hình Hoạt động truyền nhận MQTT IV MƠ HÌNH HỆ THỐNG Mosquitto Broker Zigbee2mqtt hai phần mềm cài đặt Raspberry Pi npm Nodejs Mơ hình hệ thống cài đặt áp dụng phần mềm npm Nodejs để vận hành Zigbee2mqtt giao tiếp với điều khiển Zigbee qua thiết bị ngoại vi USB, xem Hình Việc giúp điều khiển thiết bị Zigbee thông qua giao thức Zigbee xuất hay đăng ký Mosquitto Broker máy chủ lọc tin nhắn xuất Ngoài ra, laptop Raspberry Pi phải kết nối với định tuyến, có địa IP, để truyền tin nhắn Windows Raspberry Pi Giả sử tất thiết bị chuẩn bị sẵn sàng, muốn xuất thơng báo để bật đèn nút Zigbee, nội dung xuất tin nhắn với chủ đề zigbee2mqtt/0x00124b00071a060f/set thơng tin BẬT (ON) Sau đó, tin nhắn chuyển đến Raspberry thông qua mạng LAN Wifi đến Mosquitto Broker để lọc tiếp tục gửi đến Zigbee2mqtt, chủ đề đăng ký có dạng sau: -t zigbe2mqtt/[Device’s eui64 name]/set -m "ON" Sau đó, tin nhắn nhận điều khiển Zigbee Chủ xuất tới Zigbee Con (Node) mà có tên dạng eui64 trùng khớp với [Device’s eui64 name] chủ đề xuất Ngay lập tức, đèn bật [5] Hệ thống điều khiển xe giới thiệu Hình Giả sử tin nhắn điều khiển xe gửi đến Mosquitto Broker từ Laptop Khối Zigbee2mqtt nhận tin nhắn truyền vào mã Python Mã lọc tin nhắn gửi tin nhắn phù hợp Nó BẬT TẮT bốn đầu đặt mã Sau đó, đầu chuyển đổi từ 3,3 V sang V để bảo vệ Raspberry khỏi cố điện mà tăng tốc độ điều khiển cho động thông qua L198N Cầu điều khiển động kép L298N H-Bridge thành phần xe điều khiển từ xa, Raspberry Pi điều khiển tất động gửi tín hiệu để theo dõi hướng tốc độ động Thiết bị cấp nguồn cho động tín hiệu điều chế độ rộng xung (PWM), xem Hình Hình Hệ thống điều khiển xe Một L198N 5V cần có để giải tương thích nguồn 3,3 V cho Raspberry Pi Việc cần chuyển đổi nguồn thay đổi 3,3 V đến V; V xuống 3,3 V để cung cấp nguồn điện tương thích Hình Mặt xe điều khiển 674 ĐÁNH GIÁ HIỆU SUẤT CÁC PHÂN LOẠI MÁY HỌC CHO BÀI TOÁN ĐỊNH VỊ XE Hình Mặt xe điều khiển Cuối cùng, mơ hình khối ngun mẫu xe điều khiển từ xa tạo Hình Hình V KẾT QUẢ THỰC NGHIỆM Trước tiên, nhóm thiết kế giao diện phần mềm để thu thập số chất lượng đường truyền (LQI) theo dõi xe, (Hình 6), cho bốn nút bố trí phịng diện tích m m (Hình 7) Kế tiếp, khoảng cách vị trí xe tính theo phương trình (5) (6) Hình Quỹ đạo xe giá trị số đường truyền Nhóm xếp hệ thống nút cảm biến theo dạng hình chữ nhật để mơ mơi trường làm việc phịng, khoảng cách từ nút chủ đến điều phối mét 30 giây Hình Cách bố trí Zigbee phòng Văn Khánh Hưng, Huỳnh Khả Tú, Nguyễn Quang Phú, Nguyễn Văn Sinh, Lý Tú Nga 675 Thiết lập thơng số thuật tốn Nhóm thực tất phân loại máy học nghiên cứu với giá trị tham số mặc định sử dụng từ tài liệu Weka Trong đó, nhóm thử thuật toán đề cập Bảng Bảng 2, tham số mặc định tìm thấy tài liệu Weka [9] Dữ liệu cấu trúc mạng hệ thống thiết kế gồm thuộc tính: thời gian, tọa độ x y lớp (Class) Tổng số thể 96 Nhóm thiết lập mặc định số batchsize 100 cho tất phân loại máy học tỷ lệ phần trăm phân chia liệu 70 Trong thuật tốn tìm kiếm Logistic thiết lập theo mặc định mơ hình hồi quy Logistic đa phương thức với ước Ridge Thuật tốn tìm kiếm tuyến tính đặt thiết lập theo mặc định với hệ số kNN=1 Với thuật toán IBK Randomizabler Filter Calssifier thiết lập theo lọc IBK nêu mặc định thông số RandomProjection Thuật tốn PART, thơng số minnumObj chọn Đối với thuật toán Random Forest, số lần lặp chọn 10 độ sâu không giới hạn Nhóm đánh giá trường hợp kết xác thực chéo 10 lần (cross-validation) liệu phân tách 70 % (được cho dấu ngoặc đơn), với liệu trung bình lần chạy Trước tiên, nhóm so sánh hiệu suất định vị độ xác sai số khoảng cách trung bình tính cách tính tổng tất lỗi định vị, xem Bảng Và đánh giá trung bình tỷ lệ xác tỷ lệ tái cho Bảng Bảng Độ xác trung bình lỗi định vị lần Thuật tốn Độ xác % Phương sai (σ) [m] Logistic 80,46 0,4546 0,1237 (83,61) (6,1696) (0,1134) IBK 84,11 0,8620 0,0922 (85,34) (1,4911) (0,2833) Randomizable Filter Classifier 83,59 1,3533 0,0949 (85,34) (1,4928) (0,0902) PART 80,46 2,0 0,1101 (81,03) (1,724) (0,1106) Random Forest 83,59 1,3533 0,1086 (81,03) (1,724) (0,1178) Lỗi Phương sai (σ) 0,0037 (0,0239) 0,0040 (0,3324) 0,0064 (0,0070) 0,0074 (0,0044) 0,0014 (0,0102) Bảng đánh giá độ xác lỗi lần chạy Khẳng định hiệu suất độ xác lỗi thuật toán Randomizable Filter Classifier tốt so với thuật tốn khác Tỷ lệ xác tỷ lệ tái thuật toán Randomizable Filter Classifier tốt so với thuật toán khác, xem Bảng (trang kế tiếp) Bảng Tỷ lệ xác tỷ lệ tái lần Thuật toán Logistic IBK Randomizable Filter Classifier PART Random Forest Tỷ lệ xác [%] 80,32 (84,65) 84,17 (86,47) 83,85 (87,67) 80,62 (82,75) 83,52 (81,75) Tỷ lệ tái [%] 80,47 (83,65) 84,1 (85,35) 83,6 (85,35) 80,5 (81,05) 83,6 (81,05) VI KẾT LUẬN Nhóm đề xuất phương pháp điều khiển thiết bị thơng qua hệ thống Zigbee định vị thiết bị với nút điều phối theo tiêu chuẩn Zigbee Bên cạnh đó, áp dụng phần mềm Weka đánh giá hiệu suất thuật toán theo phân loại máy học độ xác định vị, lỗi khoảng cách trung bình, tỷ lệ xác tỷ lệ tái Hệ thống mở rộng áp dụng tăng số phòng áp dụng ứng dụng điện thoại điều khiển xe Trong tương lai, nhóm áp dụng lọc đa phần tử kết hợp với thuật tốn tối ưu để cải thiện độ xác lỗi TÀI LIỆU THAM KHẢO [1] Gutierrez Pascual, M D., “Indoor Location Systems Based on Zigbee Networks”, Bachelor’s Thesis Information Technology, 2012 [2] Ash, J and L Potter, “Sensor network localization via received signal strength measurements with directional antennas”, In Proceedings of the 2004 Allerton Conference on Communication, Control, and Computing, pp 1861-1870, 2004 [3] Rouse, M., MQTT (MQ Telemetry Transport), retrieved 17 January, 2020, from https://internetofthingsagenda.techtarget.com/definition/MQTT-MQ-Telemetry-Transport, 2015 676 ĐÁNH GIÁ HIỆU SUẤT CÁC PHÂN LOẠI MÁY HỌC CHO BÀI TOÁN ĐỊNH VỊ XE [4] Upton, E., Raspberry Pi Model B+ on sale now at $35, retrieved September 15th, 2019, from https://www.raspberrypi.org/blog/raspberry-pi-3-model-bplus-sale-now-35/, 2018 [5] Kanters, K., Zigbee2mqtt, retrieved September 15th, 2019, from https://www.zigbee2mqtt.io/, 2012 [6] Tariq, O B., Lazarescu, M T., Iqbal, J., & Lavagno, L., “Performance of machine learning classifiers for indoor person localization with capacitive sensors”, Ieee Access, Vol.5, pp.12913-12926, 2017 [7] Hall, M., Frank, E., Holmes, G., Pfahringer, B., Reutemann, P., & Witten, I H., “The WEKA data mining software: an update”, ACM SIGKDD explorations newsletter, Vol.11, No.1, pp.10-18, 2009 [8] Sugano, M., Kawazoe, T., Ohta, Y., & Murata, M., “Indoor Localization System using RSSI Measurement of Wireless Sensor Network based on ZigBee Standard”, Wireless and Optical Communications, Vol 538, pp.1-6, 2006 [9] Witten, I H., Frank, E., & Mark, A Hall, and Christopher J Pal, “Data Mining: Practical machine learning tools and techniques”, Acm Sigmod Record, Vol.31, No.1, pp.76-77, 2016 [10] Ly-Tu, N., Vo-Phu, Q., & Le-Tien, T., “Using Support Vector Machine to Monitor Behavior of an Object Based WSN System”, In Proceedings of the International Conference on Computer Science, Applied Mathematics and Applications, Springer, pp.174-185, 2019 APPLIED WEKA TO EVALUATE THE PERFORMANCE OF MACHINE LEARNING CLASSIFIERS FOR INDOOR CAR LOCALIZATION Van Khanh Hung, Huynh Kha Tu, Nguyen Quang Phu, Nguyen Van Sinh, Ly Tu Nga ABSTRACT: Indoor-Location-Systems (ILS) is a significant examination branch in R&D (Research-and-Development) area It had an extreme significance after the existence of Global Positioning System (GPS) that permits outdoor location including an exact accuracy Nevertheless, GPS is not usable in structures where humans live, since no clear line-of-sight between antenna and spacecraft, the signal-data is distorted by absorption, interference and diffraction Accurate car localization is important for several applications, such as assisted living and health monitoring Machine learning (ML) classifiers can effectively mitigate sensor data variability and noise due to deployment-specific environmental conditions Therefore, we design and implement ILS to manipulate Zigbee devices with a computer based on RSSI (Received Signal Strength Indicator) values for collected the coordinator x and y location based on our mess topology with our designed GUI Here, the car is played a role in the master device because it is movable easily to check the location and response between slaves and the master In this paper, we use our experimental data collected from our proposal system in a m × m room to comparatively analyze the performance of Weka collection ML classifiers We compare the localization accuracy, precision, and recall Our experiments show that the best algorithm is about 85.4 % and 0.087 m average localization error with 96 instances ... điện tương thích Hình Mặt xe điều khiển 674 ĐÁNH GIÁ HIỆU SUẤT CÁC PHÂN LOẠI MÁY HỌC CHO BÀI TỐN ĐỊNH VỊ XE Hình Mặt xe điều khiển Cuối cùng, mơ hình khối ngun mẫu xe điều khiển từ xa tạo Hình...ĐÁNH GIÁ HIỆU SUẤT CÁC PHÂN LOẠI MÁY HỌC CHO BÀI TOÁN ĐỊNH VỊ XE 672 A Zigbee CC2530 Zigbee kỹ thuật theo tiêu chuẩn IEEE 802.15.4 cho giao thức truyền thông không... https://internetofthingsagenda.techtarget.com/definition/MQTT-MQ-Telemetry-Transport, 2015 676 ĐÁNH GIÁ HIỆU SUẤT CÁC PHÂN LOẠI MÁY HỌC CHO BÀI TOÁN ĐỊNH VỊ XE [4] Upton, E., Raspberry Pi Model B+ on sale now at $35, retrieved