xây dựng trung tâm xử lý cho tòa nhà thông minh trên hệ thống nhúng linux

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH LUẬN VĂN THẠC SĨ NGUYỄN ĐÌNH TUẤN XÂY DỰNG TRUNG TÂM XỬ LÝ CHO TÒA NHÀ THÔNG MINH TRÊN HỆ THỐNG NHÚNG LINUX S K C 0 9 NGÀNH: KỸ THUẬT ĐIỆN TỬ - 605270 S KC 0 Tp Hồ Chí Minh, tháng năm 2014 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH  LUẬN VĂN THẠC SĨ NGUYỄN ĐÌNH TUẤN XÂY DỰNG TRUNG TÂM XỬ LÝ CHO TÒA NHÀ THÔNG MINH TRÊN HỆ THỐNG NHÚNG LINUX NGÀNH: KỸ THUẬT ĐIỆN TỬ - 605270 Tp Hồ Chí Minh, tháng 04 năm 2014 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH  LUẬN VĂN THẠC SĨ NGUYỄN ĐÌNH TUẤN XÂY DỰNG TRUNG TÂM XỬ LÝ CHO TÒA NHÀ THÔNG MINH TRÊN HỆ THỐNG NHÚNG LINUX NGÀNH: KỸ THUẬT ĐIỆN TỬ - 605270 Hướng dẫn khoa học TS LƯU THANH TRÀ Tp Hồ Chí Minh, tháng 04 năm 2014 LÝ LỊCH CÁ NHÂN I LÝ LỊCH SƠ LƯỢC: Họ & tên: Nguyễn Đình Tuấn Giới tính: Nam Ngày, tháng, năm sinh: 14/04/1985 Nơi sinh: Tp.HCM Quê quán: Tp.HCM Dân tộc: Kinh Chỗ riêng địa liên lạc: 200/13A Lê Văn Việt, Quận 9, Tp.HCM Điện thoại quan: 083.8810173 Điện thoại nhà riêng: 0836030873 Fax: E-mail: nguyendinhtuan@vnpti.vn II QUÁ TRÌNH ĐÀO TẠO: Trung học chuyên nghiệp: Hệ đào tạo: Thời gian đào tạo từ ……/…… đến ……/ …… Nơi học (trường, thành phố): Ngành học: Đại học: Hệ đào tạo: Chính quy Thời gian đào tạo từ: 09/2003 đến 06/2008 Nơi học (trường, thành phố): Đại học Giao Thông Vận Tải – CSII Tp.HCM Ngành học: Kỹ thuật viễn thông Tên đồ án, luận án môn thi tốt nghiệp: Nghiên cứu giao thức báo hiệu ứng dụng mạng viễn thông Ngày & nơi bảo vệ đồ án, luận án thi tốt nghiệp: 04/2008 – Trường Đại học Giao Thông Vận Tải – CSII Tp.HCM Người hướng dẫn: TS Trần Xuân Trường i III QUÁ TRÌNH CÔNG TÁC CHUYÊN MÔN KỂ TỪ KHI TỐT NGHIỆP ĐẠI HỌC: Thời gian Nơi công tác 09/2008 - Đài điều khiển vệ tinh - Bình Dương Công việc đảm nhiệm Kỹ sư khai thác Tp Hồ Chí Minh, ngày 14 tháng 04 năm 2014 Người khai ký tên Nguyễn Đình Tuấn ii LỜI CAM ĐOAN Tôi cam đoan công trình nghiên cứu Các số liệu, kết nêu luận văn trung thực chưa công bố công trình khác Tp Hồ Chí Minh, ngày 14 tháng 04 năm 2014 (Ký tên ghi rõ họ tên) Nguyễn Đình Tuấn iii CẢM TẠ Sau thời gian dài học tập nghiên cứu, cuối hoàn thành luận tốt nghiệp Đây thời điểm tốt để bày tỏ lòng biết ơn đến Thầy, Cô người thân tận tình giúp đỡ, động viên tôi, chăm sóc suốt trình thực luận Đầu tiên, xin chân thành gửi lời cảm ơn đến Thầy TS Lưu Thanh Trà – Trường Đại Học Bách khoa Tp.HCM, thầy hướng dẫn, tận tình giúp đỡ, động viên tinh thần cho suốt trình làm chuyên đề 1, chuyên đề luận tốt nghiệp Xin tỏ lòng biết ơn đến hai giáo viên phản biện Cô PGS.TS Phạm Hồng Liên Cô TS Nguyễn Thị Lưỡng – Trường Đại học Sư phạm Kỹ thuật Tp.HCM tận tình hướng dẫn để chỉnh sửa luận văn cách hợp lý Xin chân thành cảm ơn đến gia đình tôi: ba, má chị an ủi, động viên, tận tình chăm sóc lúc gặp khó khăn sức khỏe Và cuối cùng, xin cảm ơn Anh/Chị bạn bè đồng nghiệp Đài Điều khiển Vệ tinh Bình Dương hỗ trợ tạo điều kiện tốt thời gian cho hoàn thành kịp đồ án Xin chân thành cảm ơn! Tp Hồ Chí Minh, ngày 14 tháng 04 năm 2014 Nguyễn Đình Tuấn iv TÓM TẮT Hệ thống xử lý cho tòa nhà thông minh bắt đầu nghiên cứu xây dựng vào năm 1980, kết đạt gặp nhiều hạn chế hoạt động độc lập, điều khiển không trao đổi thông tin với nhau, quản lý giám sát chung, cồng kềnh đặc biệt giá thành cao Mục tiêu đề tài xây dựng hệ thống khắc phục nhược điểm Trong đề tài, trung tâm xử lý xây dựng kít Raspberry Pi nhỏ gọn, giá thành thấp, sử dụng thuật toán nhận dạng khuôn mặt Fisherfaces, huấn luyện để phân biệt người dùng kiểm soát vào cách thông minh, với kết hợp công nghệ web thời gian thực (tương tác sở liệu MySQL) cho phép điều khiển hệ thống cách linh hoạt thiết bị PC, máy tính bảng hay điện thoại thông minh v Hình 3.11 cho thấy hai khuôn mặt điển hình tái tạo lại Khuôn mặt phía bên trái (Hình 3.11a) xây dựng lại tốt dựng lên từ người biết, khuôn mặt phía bên phải (Hình 3.11b) xây dựng lại xấu dựng lên từ người chưa biết từ người biết đến với điều kiện ánh sáng/biểu cảm khuôn mặt/hướng khuôn mặt chưa biết đến Hình 3.11 Ảnh tái tạo khuôn mặt Để tính toán giống khuôn mặt tái tạo với khuôn mặt ảnh đầu vào ta sử dụng hàm getSimilarity() trình bày phần trước để so sánh hai ảnh, với giá trị thu nhỏ 0,3 có nghĩa hai ảnh giống Đối với Eigenfaces, có vector riêng cho khuôn mặt, việc xây dựng lại có xu hướng làm việc tốt ta sử dụng ngưỡng so sánh 0,5, Fisherfaces có vector riêng cho người, việc xây dựng lại không tốt so với Eigenfaces ta sử dụng ngưỡng cao hơn, chẳn hạn khoảng 0.7 Trang 84 Bây ta xuất id khuôn mặt cần nhận dạng Phương pháp nhận dạng khuôn mặt phương pháp thẩm định khuôn mặt đáng tin cậy điều kiện định mà ta huấn luyện cho Vì vậy, để có độ nhận dạng xác tốt, ta cần phải đảm bảo tập huấn luyện người bao hàm đầy đủ điều kiện ánh sáng, nét mặt, góc độ tất trường hợp xảy Giai đoạn tiền xử lý mặt giúp giảm số khác biệt điều kiện ánh sáng hướng khuôn mặt quay mặt phẳng (nếu người nghiêng đầu qua trái qua phải), khác biệt khác khuôn mặt quay theo chiều khác (nếu người quay đầu qua trai hay phải) hoạt động tốt có tập huấn luyện 3.2 Hệ thống máy chủ web thời gian thực 3.2.1 Mô hình hệ thống Hình 3.12 Mô hình thiết kế hệ thống máy chủ Webserver thời gian thực để điều khiển thiết bị điều khiển vào Trang 85 3.2.2 Nguyên lý Hệ thống máy chủ Raspi webserver thời gian thực xây dựng Java, sử dụng NodeJS [28] giao thức websocket (Socket.IO [29]) giúp điều khiển thiết bị dễ dàng Giao diện điều khiển viết HTML5 kết hợp CSS jQuery Khi Client yêu cầu kết nối với Server, lúc này, server gửi cho client thông tin thông tin thiết bị, thông tin lịch sử (được truy vấn từ sở liệu MySQL) đồng thời gửi giao diện điều khiển cho client Việc trao đổi thông tin socket.io đảm nhiệm, truyền theo thời gian thực Điều thích hợp cho hệ thống có nhiều người sử dụng Nó đảm bảo có nhiều client (người dùng) kết nối đến server quan sát tất thông tin trao đổi server với client khác Nhờ viết web, nên ta truy xuất điều khiển hệ thống cách linh hoạt, ta điều khiển thông qua webbrowser PC điện thoại hay máy tính bảng nơi đâu có kết nối Internet Trang 86 3.3 Phát triển hệ thống nhúng Raspberry 3.3.1 Kết Hình 3.13 Hệ thống nhận điện khuôn mặt Raspberrypi Trang 87 Hình 3.14 Giao diện chương trình hoạt động iPad Hình 3.15 Giao diện điều khiển Trang 88 Hình 3.16 Chức thêm thiết bị Hình 3.17 Giao diện điều khiển vào (nhận dạng chứng thực) Trang 89 Hình 3.18 Chứng thực không thành công Hình 3.19 Một số người dùng khác (1) Trang 90 Hình 3.20 Một số người dùng khác (2) Hình 3.21 Lịch sử nhận dạng xác thực Trang 91 3.3.2 Hoạt động Sau thu thập liệu ảnh, huấn luyện máy PC ta sở liệu khuôn mặt Cơ sở liệu chép vào Raspi để thực tham chiếu việc nhận dạng khuôn mặt Với thẻ nhận dạng khuôn mặt (face recognition - Hình 3.17) Để thực nhận dạng, hệ thống sau khởi động xong (đèn khởi động màu xanh dương sáng, kèm âm thanh) người dùng nhấn vào nút thực thi Lúc này, ta làm theo giọng nói dẫn hệ thống (được phát loa) Khi đèn trạng thái sáng (màu đỏ), thị hệ thống xử lý, trình xử lý cập nhật theo thời gian thực hiển thị giao diện đồ họa Khi đèn xác nhận sáng (màu xanh lá) thị việc nhận dạng thành công Lịch sử nhận dạng xác thực lưu vào sở liệu MySQL (Hình 3.21) Ta xóa lịch sử nút Clear all Hình 3.22 Bảng điều khiển Với thẻ điều khiển (control panel - Hình 3.15) Người dùng thêm thiết bị thông qua nút Add devices, hộp thoại Hình 3.16 lên để ta điền vào thông tin cần thiết Vì lý tiết kiệm thời gian chi phí, nên đề tài thực tượng trưng khả điều khiển thiết bị Trang 92 thông qua web thời gian thực việc thay bảng điều khiển (Hình 3.22) thành “thiết bị” Khi nút 1, 2, 3, thành nút tắt mở thiết bị, led hiển thị trạng thái thiết bị Tất thiết bị, trạng thái lưu vào sở liệu MySQL Trang 93 CHƯƠNG KẾT LUẬN Trải qua thời gian thực Chuyên đề 1, Chuyên đề Luận văn “Xây dựng trung tâm xử lý cho tòa nhà thông minh hệ thống nhúng Linux”, bước đầu thực đề tài gặp nhiều khó khăn, tìm hiểu hệ thống nhúng linux, lý thuyết nhận dạng ảnh tình trạng sức khỏe Tuy nhiên hỗ trợ, động viên tận tình Thầy Lưu Thanh Trà đầu tư thân, đến luận văn tốt nghiệp hoàn thành đạt yêu cầu đề 4.1 Đánh giá kết Đối với nhận dạng điều khiển vào ra: Số lượng tập ảnh huấn luyện 638 ảnh (của bốn người, dung lượng 1.3G), số lượng tập ảnh kiểm tra 400 ảnh, tất thu thập camera 5Mega pixel Raspberry với điều kiện chiếu sáng khác nhau, biểu khuôn mặt, hướng khuôn mặt Toàn tập huấn luyện xử lý huấn luyện máy tính laptop, với cấu hình CPU core i7, 2.0GHz, Ram 4GB, đạt tốc độ xử lý huấn luyện nhanh với thời gian 30s Cơ sở liệu sau huấn luyện có dung lượng thấp (642.3KB) Tập kiểm tra nhận dạng hệ thống Raspberry với cấu hình CPU ARM 700MHz, Ram 512MB, nhớ SD 8GB, cho kết nhận dạng ổn định tin cậy Tuy nhiên cấu hình thấp, nên tốc độ (bắt đầu tính từ khởi động chương trình, đọc ảnh, xử lý nhận dạng ảnh) không nhanh, trung bình khoảng 7s cho ảnh Trang 94 Đối với việc điều khiển thiết bị web thời gian thực, cho tốc độ điều khiển tốt, đáp ứng nhanh, thực thiết bị PC hay điện thoại, máy tính bảng Ưu điểm phương pháp có nhiều người sử dụng lúc, ta thấy trạng thái hoạt động hệ thống mà chờ hết thời gian làm tươi (refesh) trang web 4.2 Hướng phát triển đề tài Để phát triển đề tài lớn hơn, từ kết đạt cần phải giải vấn đề mang tính ứng dụng hoàn chỉnh với tiêu chí sau:  Tiến hành tối ưu hóa để nâng cao tốc độ xử lý hệ thống nhúng với tốc độ CPU thấp  Thực huấn luyện trực tiếp kit, làm tăng tính linh động hơn, tăng khả tương tác người với máy  Thực mở rộng với nhận dạng ảnh 3D (sử dụng camera stereo) kết hợp với số phương pháp bảo mật khác để tăng độ tin cậy cho hệ thống  Có thể ứng dụng Robot nhận dạng, hay thực gương thông minh, áp dụng thêm việc nhận dạng biểu cảm khuôn mặt  Tiếp tục phát triển chức lại tòa nhà thông minh Trang 95 TÀI LIỆU THAM KHẢO TIẾNG VIỆT Hồ Anh Thắng, Giải pháp tổng thể tối ưu hệ thống tự động tòa nhà sử dụng BMS Siemens, 2012 TIẾNG NƯỚC NGOÀI Gerhart, J., Home Automation & Wiring 1999: McGraw-Hill Professional Harper, R., Inside the Smart Home 2003: Springer 278 Mann, W.C., Smart Technology for Aging, Disability, and Independence: The State of the Science 2005: John Wiley and Sons 379 M&T, Automation today 2008(1,2): p 40 Jaseman, The MagPi May 2012(1): p Goodwin, S., Smart Home Automation with Linux and Raspberry Pi 2013: Apress 317 Breuning, S Using MySQL on a Raspberry Pi 2014; Available from: http://raspberrywebserver.com Mobberley, C Raspberry Pi MongoDB Installation Oct, 2013; Available from: http://c-mobberley.com/wordpress/2013/10/14/raspberry-pi-mongodbinstallation-the-working-guide/ 10 Hunter, T Installing Redis on Debian as a Service 2013; Available from: https://thomashunter.name/blog/installing-redis-on-debian/ 11 Sinopoli, J., Smart Building Systems for Architects, Owners, and Builders 2010: Elsevier Inc 12 Bosdogianni, M.P.a.P., Image Processing: The Fundamentals 1999 13 Kaehler, G.B.a.A., Learning OpenCV: Computer Vision with the OpenCV Library 2008: O’Reilly Media, Inc 186-190 14 Szeliski, R., Computer Vision: Algorithms and Applications 2010 15 Maydt, R.L.a.J., An Extended Set of Haar-like Features for Rapid Object Detection Proceedings of the IEEE Transactions on ICIP, 2002 1: p 900903 16 Jones, P.V.a.M.J., Rapid Object Detection using a Boosted Cascade of Simple Features Proceedings of the IEEE Transactions on CVPR 2001 1: p 511-518 Trang 96 17 Chiara Turati, V.M.C., F S., and Leo, I., Newborns face recognition: Role of inner and outer facial features 2006: p 297–311 18 Kanade, T., Picture processing system by computer complex and recognition of human faces 1973 19 Brunelli, R., Poggio, T , Face Recognition through Geometrical Features European Conference on Computer Vision (ECCV) 1992: p 792–800 20 Turk, M., and Pentland, A , Eigenfaces for recognition Journal of Cognitive Neuroscience 1991: p 71–86 21 P.N Belhumeur, J.H.a.D.K., Eigenfaces vs Fisherfaces: Recognition using class specific linear projection Proceedings of the IEEE Transactions on PAMI, 1997 19(7): p 711–720 22 Wiskott, L., Fellous, J., Krüger, N., Malsburg, C., Face Recognition By Elastic Bunch Graph Matching 1997: p 775–779 23 Messer, K.e.a., Performance Characterisation of Face Recognition Algorithms and Their Sensitivity to Severe Illumination Changes 2006: p 1– 11 24 Ahonen, T., Hadid, A., and Pietikainen, M , Face Recognition with Local Binary Patterns Computer Vision 2004: p 469–481 25 Farid, M.M., Pattern Classification, by Richard O Duda, Peter E Hart, and David G Stork Journal of Classification, 2001 18(2): p 273 26 Martinez, A.a.K., A , PCA versus LDA IEEE Transactions on Pattern Analysis and Machine Intelligence 2001 23(2): p 228-233 27 Jain, R.a.A.K., Small sample size effects in statistical pattern recognition: Recommendations for practitioneers IEEE Transactions on Pattern Analysis and Machine Intelligence, 1991 13: p 252-264 28 Teixeira, P., Professional Node.js: Building JavaScript-Based Scalable Software 2013: John Wiley & Sons, Inc 29 Rai, R., Socket.IO Real-time Web Application Development 2013: Packt Publishing Trang 97