Hình 4 .4 Thực nghiệm với phƣơng pháp học sâu
Hình 4.5 Hình ảnh minh họa kết quả thực tế
42
Nhận diện vật thể robot cần gắp là sạc điện thoại bằng thuật toán YOLO:
- Bƣớc 1: Xây dựng CSDL vật thể ảnh sạc điện thoại. - Bƣớc 2: Gán nhãn cho hình ảnh vật thể.
- Bƣớc 3: Huấn luyện bằng thuật tốn YOLO độ chính xác ~96%, tính tốn
tọa độ của vật phát hiện đƣợc [21].
Hình 4.5. Thuật tốn YOLO phát hiện vật thể gắp của robot
- Bƣớc 4: Chuyển tọa độ của vật từ vision sang tọa độ của robot.
- Bƣớc 5: Tiến hành gắp vật, vị trí thả vật tƣơng ứng với tín hiệu điều khiển
bằng cử chỉ tay (cử chỉ up thả giỏ 1, cử chỉ down thả giỏ 2, cử chỉ high thả giỏ 3, cử chỉ zero chỉ gắp vật và không thả).
4.4 Kết quả đánh giá
Với kết quả thu đƣợc từ hai mơ hình huấn luyện sử dụng ba phƣơng pháp khác nhau trên cùng một bộ CSDL ảnh chất lƣợng tốt và đã đƣợc tiền xử lý cũng nhƣ gán nhãn cẩn thận, tôi đƣa ra kết luận nhƣ sau: Với bài toán nhận diện cử chỉ tay sử dụng phƣơng pháp học máy truyền thống áp dụng một số kỹ thuật xử lý ảnh nhận diện vùng da cho đƣợc kết quả tốt hơn với
43
phƣơng pháp học máy truyền thống xử lý ảnh thông thƣờng chuyển về thang độ xám, tuy nhiên với các phƣơng pháp học máy truyền thống rất khó có thể chọn đƣợc các đặc trƣng hiệu quả bởi lƣợng nhiễu trong dữ liệu trong nhiều trƣờng hợp rất lớn. Từ đó tơi tiến hành đánh giá với phƣơng pháp học sâu thì nhận thấy kết quả có ƣu thế vƣợt trội so với các phƣơng pháp học máy truyền thống, tại đây học sâu giúp đơn giản hóa q trình huấn luyện mơ hình nhận dạng khi không yêu cầu sự tham gia của ngƣời huấn luyện trong q trình trích chọn đặc trƣng, đồng thời cho phép tái sử dụng các mơ hình đã huấn luyện trƣớc để giảm thời gian cài đặt giải pháp cho các bài toán nhận dạng mới. Với kết quả thời gian đào tạo ta nhận thấy với thuật tốn học sâu có thời gian đào tạo toàn bộ lƣợng dữ liệu là khá lớn 684giây, các thuật tốn học máy thơng thƣờng giao động từ khoảng 100~200giây, tuy nhiên sau khi đào tạo thì thời gian kiểm tra ảnh của thuật tốn học sâu khơng có chênh lệch đáng kể với thời gian trung bình 0.6giây/ảnh, các thuật toán học máy truyền thống 0.2~0.58%. Thông tin tổng quan về kết quả đạt đƣợc của ba phƣng pháp khác nhau trong việc nhận diện cử chỉ tay cũng đƣợc thể hiện trong biểu đồ 4.3 dƣới đây.
- Mask: áp dụng kỹ thuật xử lý ảnh nhận diện vùng da.
- No mask: không áp dụng kỹ thuật xử lý ảnh nhận diện vùng da.
44
Hình 4.7. Biểu đồ thể hiện thời gian tiền xử lý - đào tạo của các thuật tốn AI
Hình 4.8. Biểu đồ thể hiện thời gian dự đoán ảnh của các thuật toán AI
Với tỷ lệ độ chính xác cao 95.5% của phƣơng pháp CNN với thời gian dự đoán ảnh 0.6s/image đáp ứng đƣợc yêu cầu hệ thống đặt ra , tôi tiến hành ứng dụng phƣơng pháp trên kết hợp với robot tay máy thông minh với tỷ lệ nhận dạng vật thể cần gắp chính xác là 96.8% bằng phƣơng pháp YOLO. Hệ thống chạy ổn định và hoạt động đúng bài toán đặt ra với yêu cầu điều khiển robot gắp và thả vật (sạc điện thoại) vào giỏ tƣơng ứng với cử chỉ up thả vật vào giỏ 1, cử chỉ down thả vật vào giỏ 2, cử chỉ high thả vật vào giỏ 3, cử chỉ zero chỉ gắp vật và không thả.
45
KẾT LUẬN VÀ HƢỚNG PHÁT TRIỂN
Luận văn đã trình bày các kiến thức tổng quan về thị giác máy và trí thơng minh nhân tạo kết hợp với hệ thống điều khiển robot. Nhờ áp dụng những kỹ thuật học máy và học sâu khác nhau luận văn đã đánh giá đƣợc hiệu năng ứng dụng theo từng thuật tốn. Từ những phân tích, đánh giá, luận văn đã đƣa ra đƣợc một số nội dung chính dƣới đây:
Kết quả đạt đƣợc:
- Thực hiện tốt chức năng: nhận dạng cử chỉ bàn tay, nhận diện vật cần
gắp cho robot tay máy.
- Nghiên cứu lý thuyết các thuật toán AI. - Nghiên cứu lý thuyết xử lý ảnh
- Xây dựng giải thuật nhận dạng cử chỉ bàn tay hoạt động thành công - Xây dựng đƣợc giải thuật nhận dạng điều khiển robot
- Thực hiện hồn thiện mơ hình AI-Vision kết nối với robot tay máy 4
bậc tự do. Hệ thống chạy đảm bảo đáp ứng yêu bài toán đƣa ra.
Hạn chế:
- Chƣa hoạt động tốt trong môi trƣờng nhiễu nhiều vật thể. - Thời gian đào tạo dữ liệu cao.
Hƣớng phát triển của đề tài:
Từ những mặt hạn chế của đề tài, để đề tài hoạt động tốt hơn và có thể áp dụng vào thực tế tơi sẽ tiếp tục nghiên cứu sâu hơn để tối ƣu hóa hệ thống về độ chính xác và thời gian xử lý, bên cạnh đó tơi cũng sẽ phát triển hƣớng nghiên cứu với nhiều cử chỉ con ngƣời hơn để điều khiển và tƣơng tác với robot một cách linh hoạt hơn.
TÀI LIỆU THAM KHẢO
Tài liệu tiếng Anh:
[1] Yu Sun, Yuan Liu, Guan Wang, and Haiyan Zhang, “Deep Learning for Plant Identification in Natural Environment”, School of Information Science and Technology, Beijing Forestry University,
Beijing 100083, China 22 May 2017.
[2] MihainDaniel RADU, Ilona Madalina COSTEA, Valentin Alexandru STAN, “Automatic Traffic Sign Recognition Artificial Inteligence - Deep Learning Algorithm”, 25-27 June 2020.
[3] Wun-Hwa Chen, Sheng-Hsun Hsu , Hwang-Pin Shen, “Application of SVM and ANN for intrusion detection”, National Taiwan University, No. 1, Section 4, Roosevelt Road, Taipei 106, Taiwan
Accepted 29 March 2004.
[4] Durgesh K. Srivastava, Lekha Bhambh, “Data classification using support vector machine”, Journal of Theoretical and Applied Information Technology 12(1):1-7, february 2010.
[5] N. Dalal and B. Triggs. ”Histograms of oriented gradients for human detection”, IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR'05), 20-25 June 2005
[6] Shyava Tripathi, Rishi Kumar, “Image Classification using small Convolutional Neural Network”, International Conference on Cloud
Computing, Data Science & Engineering (Confluence), DOI:
10.1109/CONFLUENCE.2019.8776982, 2019.
[7] K. Sobottka, I. Pitas, “Extraction of facial regions and features using color and shape information”, Computer Science, Proceedings of
13th International Conference on Pattern Recognition, 25 August 1996.
[8] A. Shimada, T. Yamashita and R - I. Taniguchi, “Hand gesture based TV control system - towards both user - & machine-friendly gesture applications”, in Proceedings of the 19th Korea-Japan Joint
Workshop on Frontiers of Computer Vision (FCV '13), ISBN: 121–
126, February 2013.
[9] Zhi-hua Chen, Jung-Tae Kim, Jianning Liang, Jing Zhang and Yu- Bo Yuan. “Real-Time Hand Gesture Recognition Using Finger Segmentation”. The Fundamental Research Funds for the Central Universities, ISSN: 1923-4007, 3(7), 36-43, 2014.
[10] Lifan Fei, Jin He.” A three-dimensional Douglas–Peucker algorithm and its application to automated generalization of DEMs”,
International Journal of Geographical Information, Science,
23(6):703-718, 10.1080, June 200.
[11] Vincent Mühler, “Simple Hand Gesture Recognition using OpenCV and JavaScript”, Medium, ISBN: 978-604-93-8961-0, 3-16, Sep 5,
2017.
[12] Chao Hy Xiang Wang, Mrinal K. Mandal, Max Meng and Donglin Li, "Efficient Face and Gesture Recognition Techniques for Robot Control", CCECE, 1757-1762, Sep 5, 2017.
[13] AsanterabiMalima, ErolOzgur and Mujdat Cetin, "A Fast Algorithm for Vision-Based Hand Gesture Recognition for Robot Control", IEEE International Conference on Computer Vision, 2006.
[14] Harish Kumar Kaura, VipulHonrao, SayaliPatil, PravishShetty, "Gesture Controlled Robot using Image Processing", IJARAI 2013,
Volume 2 No 5, Page 69-77, 2013.
[15] Amiraj Dhawan, Anuradha Bhat, Soumya Sharma, Harish Kumar Kaura, "Automated Robot with Object Recognition and Handling Features", IJECSE Volume 2, Number 3, Page 861-873, 2013.
Tài liệu tiếng Việt:
[16] Nguyễn Văn Dũng, “Nhận dạng bàn tay điều khiển robot di động”,
luận văn đại học, Đại học Bách Khoa TP.Hồ Chí Minh, 2005.
[17] Nguyễn Thị Phƣơng Hà, “Lý thuyết điều khiển hiện đại”, nhà xuất bản đại học quốc gia TP.Hồ Chí Minh, 2007.
[18] Lê Việt Dũng, “Nghiên cứu kỹ thuật nhận dạng bàn tay ngƣời”, Luận
văn tốt nghiệp, Học viện Cơng nghệ Bƣu chính Viễn thơng, 2013.
Các website đã tham khảo:
[19] lzane/Fingers-Detection-using-OpenCV-and-Python:
https://github.com/lzane/Fingers-Detection-using-OpenCV-and- Python
[20] Amarlearning/Finger-Detection-and-Tracking:
https://github.com/amarlearning/Finger-Detection-and-Tracking [21] Opencv python nhận dạng cử chỉ tay:
https://github.com/dabhisharad13/Hand-gesture-recognition-using- OpenCv-and-Cnn