(Luận văn thạc sĩ hcmute) xây dựng trung tâm xử lý cho tòa nhà thông minh trên hệ thống nhúng linux

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH LUẬN VĂN THẠC SĨ NGUYỄN ĐÌNH TUẤN XÂY DỰNG TRUNG TÂM XỬ LÝ CHO TỊA NHÀ THƠNG MINH TRÊN HỆ THỐNG NHÚNG LINUX S K C 0 9 NGÀNH: KỸ THUẬT ĐIỆN TỬ - 605270 S KC 0 Tp Hồ Chí Minh, tháng năm 2014 Luan van BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH  LUẬN VĂN THẠC SĨ NGUYỄN ĐÌNH TUẤN XÂY DỰNG TRUNG TÂM XỬ LÝ CHO TÒA NHÀ THÔNG MINH TRÊN HỆ THỐNG NHÚNG LINUX NGÀNH: KỸ THUẬT ĐIỆN TỬ - 605270 Tp Hồ Chí Minh, tháng 04 năm 2014 Luan van BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH  LUẬN VĂN THẠC SĨ NGUYỄN ĐÌNH TUẤN XÂY DỰNG TRUNG TÂM XỬ LÝ CHO TỊA NHÀ THƠNG MINH TRÊN HỆ THỐNG NHÚNG LINUX NGÀNH: KỸ THUẬT ĐIỆN TỬ - 605270 Hướng dẫn khoa học TS LƯU THANH TRÀ Tp Hồ Chí Minh, tháng 04 năm 2014 Luan van Luan van Luan van LÝ LỊCH CÁ NHÂN I LÝ LỊCH SƠ LƯỢC: Họ & tên: Nguyễn Đình Tuấn Giới tính: Nam Ngày, tháng, năm sinh: 14/04/1985 Nơi sinh: Tp.HCM Quê quán: Tp.HCM Dân tộc: Kinh Chỗ riêng địa liên lạc: 200/13A Lê Văn Việt, Quận 9, Tp.HCM Điện thoại quan: 083.8810173 Điện thoại nhà riêng: 0836030873 Fax: E-mail: nguyendinhtuan@vnpti.vn II QUÁ TRÌNH ĐÀO TẠO: Trung học chuyên nghiệp: Hệ đào tạo: Thời gian đào tạo từ ……/…… đến ……/ …… Nơi học (trường, thành phố): Ngành học: Đại học: Hệ đào tạo: Chính quy Thời gian đào tạo từ: 09/2003 đến 06/2008 Nơi học (trường, thành phố): Đại học Giao Thông Vận Tải – CSII Tp.HCM Ngành học: Kỹ thuật viễn thông Tên đồ án, luận án môn thi tốt nghiệp: Nghiên cứu giao thức báo hiệu ứng dụng mạng viễn thông Ngày & nơi bảo vệ đồ án, luận án thi tốt nghiệp: 04/2008 – Trường Đại học Giao Thông Vận Tải – CSII Tp.HCM Người hướng dẫn: TS Trần Xuân Trường i Luan van III QUÁ TRÌNH CƠNG TÁC CHUN MƠN KỂ TỪ KHI TỐT NGHIỆP ĐẠI HỌC: Thời gian Nơi công tác 09/2008 - Đài điều khiển vệ tinh - Bình Dương Cơng việc đảm nhiệm Kỹ sư khai thác Tp Hồ Chí Minh, ngày 14 tháng 04 năm 2014 Người khai ký tên Nguyễn Đình Tuấn ii Luan van LỜI CAM ĐOAN Tơi cam đoan cơng trình nghiên cứu tơi Các số liệu, kết nêu luận văn trung thực chưa công bố cơng trình khác Tp Hồ Chí Minh, ngày 14 tháng 04 năm 2014 (Ký tên ghi rõ họ tên) Nguyễn Đình Tuấn iii Luan van CẢM TẠ Sau thời gian dài học tập nghiên cứu, cuối tơi hồn thành luận tốt nghiệp Đây thời điểm tốt để tơi bày tỏ lịng biết ơn đến Thầy, Cô người thân ln tận tình giúp đỡ, động viên tơi, chăm sóc tơi suốt q trình thực luận Đầu tiên, xin chân thành gửi lời cảm ơn đến Thầy TS Lưu Thanh Trà – Trường Đại Học Bách khoa Tp.HCM, thầy ln hướng dẫn, tận tình giúp đỡ, động viên tinh thần cho suốt trình làm chuyên đề 1, chuyên đề luận tốt nghiệp Xin tỏ lòng biết ơn đến hai giáo viên phản biện Cô PGS.TS Phạm Hồng Liên Cô TS Nguyễn Thị Lưỡng – Trường Đại học Sư phạm Kỹ thuật Tp.HCM tận tình hướng dẫn để tơi chỉnh sửa luận văn cách hợp lý Xin chân thành cảm ơn đến gia đình tơi: ba, má chị ln an ủi, động viên, tận tình chăm sóc tơi lúc tơi gặp khó khăn sức khỏe Và cuối cùng, xin cảm ơn Anh/Chị bạn bè đồng nghiệp Đài Điều khiển Vệ tinh Bình Dương hỗ trợ tạo điều kiện tốt thời gian cho tơi hồn thành kịp đồ án Xin chân thành cảm ơn! Tp Hồ Chí Minh, ngày 14 tháng 04 năm 2014 Nguyễn Đình Tuấn iv Luan van TÓM TẮT Hệ thống xử lý cho tịa nhà thơng minh bắt đầu nghiên cứu xây dựng vào năm 1980, kết đạt gặp nhiều hạn chế hoạt động độc lập, điều khiển không trao đổi thơng tin với nhau, khơng có quản lý giám sát chung, cồng kềnh đặc biệt giá thành cao Mục tiêu đề tài xây dựng hệ thống khắc phục nhược điểm Trong đề tài, trung tâm xử lý xây dựng kít Raspberry Pi nhỏ gọn, giá thành thấp, sử dụng thuật tốn nhận dạng khn mặt Fisherfaces, huấn luyện để phân biệt người dùng kiểm soát vào cách thông minh, với kết hợp công nghệ web thời gian thực (tương tác sở liệu MySQL) cho phép điều khiển hệ thống cách linh hoạt thiết bị PC, máy tính bảng hay điện thoại thơng minh v Luan van Hình 3.11 cho thấy hai khn mặt điển hình tái tạo lại Khn mặt phía bên trái (Hình 3.11a) xây dựng lại tốt dựng lên từ người biết, khuôn mặt phía bên phải (Hình 3.11b) xây dựng lại xấu dựng lên từ người chưa biết từ người biết đến với điều kiện ánh sáng/biểu cảm khuôn mặt/hướng khn mặt chưa biết đến Hình 3.11 Ảnh tái tạo khn mặt Để tính tốn giống khuôn mặt tái tạo với khuôn mặt ảnh đầu vào ta sử dụng hàm getSimilarity() trình bày phần trước để so sánh hai ảnh, với giá trị thu nhỏ 0,3 có nghĩa hai ảnh giống Đối với Eigenfaces, có vector riêng cho khn mặt, việc xây dựng lại có xu hướng làm việc tốt ta sử dụng ngưỡng so sánh 0,5, Fisherfaces có vector riêng cho người, việc xây dựng lại khơng tốt so với Eigenfaces ta sử dụng ngưỡng cao hơn, chẳn hạn khoảng 0.7 Trang 84 Luan van Bây ta xuất id khuôn mặt cần nhận dạng Phương pháp nhận dạng khuôn mặt phương pháp thẩm định khuôn mặt đáng tin cậy điều kiện định mà ta huấn luyện cho Vì vậy, để có độ nhận dạng xác tốt, ta cần phải đảm bảo tập huấn luyện người bao hàm đầy đủ điều kiện ánh sáng, nét mặt, góc độ tất trường hợp xảy Giai đoạn tiền xử lý mặt giúp giảm số khác biệt điều kiện ánh sáng hướng khuôn mặt quay mặt phẳng (nếu người nghiêng đầu qua trái qua phải), khác biệt khác khn mặt quay theo chiều khác (nếu người quay đầu qua trai hay phải) hoạt động tốt có tập huấn luyện 3.2 Hệ thống máy chủ web thời gian thực 3.2.1 Mơ hình hệ thống Hình 3.12 Mơ hình thiết kế hệ thống máy chủ Webserver thời gian thực để điều khiển thiết bị điều khiển vào Trang 85 Luan van 3.2.2 Nguyên lý Hệ thống máy chủ Raspi webserver thời gian thực xây dựng Java, sử dụng NodeJS [28] giao thức websocket (Socket.IO [29]) giúp điều khiển thiết bị dễ dàng Giao diện điều khiển viết HTML5 kết hợp CSS jQuery Khi Client yêu cầu kết nối với Server, lúc này, server gửi cho client thông tin thông tin thiết bị, thông tin lịch sử (được truy vấn từ sở liệu MySQL) đồng thời gửi giao diện điều khiển cho client Việc trao đổi thông tin socket.io đảm nhiệm, truyền theo thời gian thực Điều thích hợp cho hệ thống có nhiều người sử dụng Nó đảm bảo có nhiều client (người dùng) kết nối đến server quan sát tất thông tin trao đổi server với client khác Nhờ viết web, nên ta truy xuất điều khiển hệ thống cách linh hoạt, ta điều khiển thơng qua webbrowser PC điện thoại hay máy tính bảng nơi đâu có kết nối Internet Trang 86 Luan van 3.3 Phát triển hệ thống nhúng Raspberry 3.3.1 Kết Hình 3.13 Hệ thống nhận điện khn mặt Raspberrypi Trang 87 Luan van Hình 3.14 Giao diện chương trình hoạt động iPad Hình 3.15 Giao diện điều khiển Trang 88 Luan van Hình 3.16 Chức thêm thiết bị Hình 3.17 Giao diện điều khiển vào (nhận dạng chứng thực) Trang 89 Luan van Hình 3.18 Chứng thực khơng thành cơng Hình 3.19 Một số người dùng khác (1) Trang 90 Luan van Hình 3.20 Một số người dùng khác (2) Hình 3.21 Lịch sử nhận dạng xác thực Trang 91 Luan van 3.3.2 Hoạt động Sau thu thập liệu ảnh, huấn luyện máy PC ta sở liệu khuôn mặt Cơ sở liệu chép vào Raspi để thực tham chiếu việc nhận dạng khuôn mặt Với thẻ nhận dạng khn mặt (face recognition - Hình 3.17) Để thực nhận dạng, hệ thống sau khởi động xong (đèn khởi động màu xanh dương sáng, kèm âm thanh) người dùng nhấn vào nút thực thi Lúc này, ta làm theo giọng nói dẫn hệ thống (được phát loa) Khi đèn trạng thái sáng (màu đỏ), thị hệ thống xử lý, trình xử lý cập nhật theo thời gian thực hiển thị giao diện đồ họa Khi đèn xác nhận sáng (màu xanh lá) thị việc nhận dạng thành công Lịch sử nhận dạng xác thực lưu vào sở liệu MySQL (Hình 3.21) Ta xóa lịch sử nút Clear all Hình 3.22 Bảng điều khiển Với thẻ điều khiển (control panel - Hình 3.15) Người dùng thêm thiết bị thơng qua nút Add devices, hộp thoại Hình 3.16 lên để ta điền vào thơng tin cần thiết Vì lý tiết kiệm thời gian chi phí, nên đề tài thực tượng trưng khả điều khiển thiết bị Trang 92 Luan van thông qua web thời gian thực việc thay bảng điều khiển (Hình 3.22) thành “thiết bị” Khi nút 1, 2, 3, thành nút tắt mở thiết bị, led hiển thị trạng thái thiết bị Tất thiết bị, trạng thái lưu vào sở liệu MySQL Trang 93 Luan van CHƯƠNG KẾT LUẬN Trải qua thời gian thực Chuyên đề 1, Chuyên đề Luận văn “Xây dựng trung tâm xử lý cho tịa nhà thơng minh hệ thống nhúng Linux”, bước đầu thực đề tài gặp nhiều khó khăn, tìm hiểu hệ thống nhúng linux, lý thuyết nhận dạng ảnh tình trạng sức khỏe Tuy nhiên hỗ trợ, động viên tận tình Thầy Lưu Thanh Trà đầu tư thân, đến luận văn tốt nghiệp hoàn thành đạt yêu cầu đề 4.1 Đánh giá kết Đối với nhận dạng điều khiển vào ra: Số lượng tập ảnh huấn luyện 638 ảnh (của bốn người, dung lượng 1.3G), số lượng tập ảnh kiểm tra 400 ảnh, tất thu thập camera 5Mega pixel Raspberry với điều kiện chiếu sáng khác nhau, biểu khn mặt, hướng khn mặt Tồn tập huấn luyện xử lý huấn luyện máy tính laptop, với cấu hình CPU core i7, 2.0GHz, Ram 4GB, đạt tốc độ xử lý huấn luyện nhanh với thời gian 30s Cơ sở liệu sau huấn luyện có dung lượng thấp (642.3KB) Tập kiểm tra nhận dạng hệ thống Raspberry với cấu hình CPU ARM 700MHz, Ram 512MB, nhớ SD 8GB, cho kết nhận dạng ổn định tin cậy Tuy nhiên cấu hình thấp, nên tốc độ (bắt đầu tính từ khởi động chương trình, đọc ảnh, xử lý nhận dạng ảnh) khơng nhanh, trung bình khoảng 7s cho ảnh Trang 94 Luan van Đối với việc điều khiển thiết bị web thời gian thực, cho tốc độ điều khiển tốt, đáp ứng nhanh, thực thiết bị PC hay điện thoại, máy tính bảng Ưu điểm phương pháp có nhiều người sử dụng lúc, ta thấy trạng thái hoạt động hệ thống mà chờ hết thời gian làm tươi (refesh) trang web 4.2 Hướng phát triển đề tài Để phát triển đề tài lớn hơn, từ kết đạt cần phải giải vấn đề mang tính ứng dụng hồn chỉnh với tiêu chí sau:  Tiến hành tối ưu hóa để nâng cao tốc độ xử lý hệ thống nhúng với tốc độ CPU thấp  Thực huấn luyện trực tiếp kit, làm tăng tính linh động hơn, tăng khả tương tác người với máy  Thực mở rộng với nhận dạng ảnh 3D (sử dụng camera stereo) kết hợp với số phương pháp bảo mật khác để tăng độ tin cậy cho hệ thống  Có thể ứng dụng Robot nhận dạng, hay thực gương thông minh, áp dụng thêm việc nhận dạng biểu cảm khuôn mặt  Tiếp tục phát triển chức cịn lại tịa nhà thơng minh Trang 95 Luan van TÀI LIỆU THAM KHẢO TIẾNG VIỆT Hồ Anh Thắng, Giải pháp tổng thể tối ưu hệ thống tự động tòa nhà sử dụng BMS Siemens, 2012 TIẾNG NƯỚC NGOÀI Gerhart, J., Home Automation & Wiring 1999: McGraw-Hill Professional Harper, R., Inside the Smart Home 2003: Springer 278 Mann, W.C., Smart Technology for Aging, Disability, and Independence: The State of the Science 2005: John Wiley and Sons 379 M&T, Automation today 2008(1,2): p 40 Jaseman, The MagPi May 2012(1): p Goodwin, S., Smart Home Automation with Linux and Raspberry Pi 2013: Apress 317 Breuning, S Using MySQL on a Raspberry Pi 2014; Available from: http://raspberrywebserver.com Mobberley, C Raspberry Pi MongoDB Installation Oct, 2013; Available from: http://c-mobberley.com/wordpress/2013/10/14/raspberry-pi-mongodbinstallation-the-working-guide/ 10 Hunter, T Installing Redis on Debian as a Service 2013; Available from: https://thomashunter.name/blog/installing-redis-on-debian/ 11 Sinopoli, J., Smart Building Systems for Architects, Owners, and Builders 2010: Elsevier Inc 12 Bosdogianni, M.P.a.P., Image Processing: The Fundamentals 1999 13 Kaehler, G.B.a.A., Learning OpenCV: Computer Vision with the OpenCV Library 2008: O’Reilly Media, Inc 186-190 14 Szeliski, R., Computer Vision: Algorithms and Applications 2010 15 Maydt, R.L.a.J., An Extended Set of Haar-like Features for Rapid Object Detection Proceedings of the IEEE Transactions on ICIP, 2002 1: p 900903 16 Jones, P.V.a.M.J., Rapid Object Detection using a Boosted Cascade of Simple Features Proceedings of the IEEE Transactions on CVPR 2001 1: p 511-518 Trang 96 Luan van 17 Chiara Turati, V.M.C., F S., and Leo, I., Newborns face recognition: Role of inner and outer facial features 2006: p 297–311 18 Kanade, T., Picture processing system by computer complex and recognition of human faces 1973 19 Brunelli, R., Poggio, T , Face Recognition through Geometrical Features European Conference on Computer Vision (ECCV) 1992: p 792–800 20 Turk, M., and Pentland, A , Eigenfaces for recognition Journal of Cognitive Neuroscience 1991: p 71–86 21 P.N Belhumeur, J.H.a.D.K., Eigenfaces vs Fisherfaces: Recognition using class specific linear projection Proceedings of the IEEE Transactions on PAMI, 1997 19(7): p 711–720 22 Wiskott, L., Fellous, J., Krüger, N., Malsburg, C., Face Recognition By Elastic Bunch Graph Matching 1997: p 775–779 23 Messer, K.e.a., Performance Characterisation of Face Recognition Algorithms and Their Sensitivity to Severe Illumination Changes 2006: p 1– 11 24 Ahonen, T., Hadid, A., and Pietikainen, M , Face Recognition with Local Binary Patterns Computer Vision 2004: p 469–481 25 Farid, M.M., Pattern Classification, by Richard O Duda, Peter E Hart, and David G Stork Journal of Classification, 2001 18(2): p 273 26 Martinez, A.a.K., A , PCA versus LDA IEEE Transactions on Pattern Analysis and Machine Intelligence 2001 23(2): p 228-233 27 Jain, R.a.A.K., Small sample size effects in statistical pattern recognition: Recommendations for practitioneers IEEE Transactions on Pattern Analysis and Machine Intelligence, 1991 13: p 252-264 28 Teixeira, P., Professional Node.js: Building JavaScript-Based Scalable Software 2013: John Wiley & Sons, Inc 29 Rai, R., Socket.IO Real-time Web Application Development 2013: Packt Publishing Trang 97 Luan van Luan van ... THÀNH PHỐ HỒ CHÍ MINH  LUẬN VĂN THẠC SĨ NGUYỄN ĐÌNH TUẤN XÂY DỰNG TRUNG TÂM XỬ LÝ CHO TỊA NHÀ THƠNG MINH TRÊN HỆ THỐNG NHÚNG LINUX NGÀNH: KỸ THUẬT ĐIỆN TỬ - 605270 Tp Hồ Chí Minh, tháng 04 năm... ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH  LUẬN VĂN THẠC SĨ NGUYỄN ĐÌNH TUẤN XÂY DỰNG TRUNG TÂM XỬ LÝ CHO TỊA NHÀ THƠNG MINH TRÊN HỆ THỐNG NHÚNG LINUX NGÀNH: KỸ THUẬT ĐIỆN TỬ - 605270 Hướng... dùng hệ thống nhúng linux Trang Luan van CHƯƠNG CƠ SỞ LÝ THUYẾT 2.1 Cơ sở lý thuyết trung tâm xử lý cho tịa nhà thơng minh 2.1.1 Mơ hình tổng quan Tịa nhà thơng minh liên quan đến việc xây dựng