(Luận văn thạc sĩ) xây dựng trung tâm xử lý cho tòa nhà thông minh trên hệ thống nhúng linux

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH LUẬN VĂN THẠC SĨ NGUYỄN ĐÌNH TUẤN XÂY DỰNG TRUNG TÂM XỬ LÝ CHO TỊA NHÀ THƠNG MINH TRÊN HỆ THỐNG NHÚNG LINUX S K C 0 9 NGÀNH: KỸ THUẬT ĐIỆN TỬ - 605270 S KC 0 Tp Hồ Chí Minh, tháng năm 2014 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH  LUẬN VĂN THẠC SĨ NGUYỄN ĐÌNH TUẤN XÂY DỰNG TRUNG TÂM XỬ LÝ CHO TỊA NHÀ THƠNG MINH TRÊN HỆ THỐNG NHÚNG LINUX NGÀNH: KỸ THUẬT ĐIỆN TỬ - 605270 Tp Hồ Chí Minh, tháng 04 năm 2014 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH  LUẬN VĂN THẠC SĨ NGUYỄN ĐÌNH TUẤN XÂY DỰNG TRUNG TÂM XỬ LÝ CHO TỊA NHÀ THƠNG MINH TRÊN HỆ THỐNG NHÚNG LINUX NGÀNH: KỸ THUẬT ĐIỆN TỬ - 605270 Hướng dẫn khoa học TS LƯU THANH TRÀ Tp Hồ Chí Minh, tháng 04 năm 2014 CẢM TẠ Sau thời gian dài học tập nghiên cứu, cuối hồn thành luận tốt nghiệp Đây thời điểm tốt để bày tỏ lịng biết ơn đến Thầy, Cơ người thân ln tận tình giúp đỡ, động viên tơi, chăm sóc tơi suốt q trình thực luận Đầu tiên, tơi xin chân thành gửi lời cảm ơn đến Thầy TS Lưu Thanh Trà – Trường Đại Học Bách khoa Tp.HCM, thầy ln hướng dẫn, tận tình giúp đỡ, động viên tinh thần cho tơi suốt q trình làm chuyên đề 1, chuyên đề luận tốt nghiệp Xin tỏ lòng biết ơn đến hai giáo viên phản biện Cô PGS.TS Phạm Hồng Liên Cô TS Nguyễn Thị Lưỡng – Trường Đại học Sư phạm Kỹ thuật Tp.HCM tận tình hướng dẫn để chỉnh sửa luận văn cách hợp lý Xin chân thành cảm ơn đến gia đình tơi: ba, má chị an ủi, động viên, tận tình chăm sóc tơi lúc tơi gặp khó khăn sức khỏe Và cuối cùng, xin cảm ơn Anh/Chị bạn bè đồng nghiệp Đài Điều khiển Vệ tinh Bình Dương ln hỗ trợ tạo điều kiện tốt thời gian cho tơi hồn thành kịp đồ án Xin chân thành cảm ơn! Tp Hồ Chí Minh, ngày 14 tháng 04 năm 2014 Nguyễn Đình Tuấn iv MỤC LỤC Trang tựa Trang QUYẾT ĐỊNH GIAO ĐỀ TÀI LÝ LỊCH CÁ NHÂN i LỜI CAM ĐOAN iii CẢM TẠ iv TÓM TẮT v MỤC LỤC vi DANH SÁCH CÁC HÌNH x DANH SÁCH CÁC BẢNG xiii CHƯƠNG 1: TỔNG QUAN 1.1 Tổng quan nhà thông minh 1.2 Mục đích đề tài 1.3 Nhiệm vụ giới hạn đề tài 1.4 Phương pháp nghiên cứu CHƯƠNG 2: CƠ SỞ LÝ THUYẾT 2.1 Cơ sở lý thuyết trung tâm xử lý cho tịa nhà thơng minh 2.1.1 Mơ hình tổng quan 2.1.2 Một số chức tòa nhà thông minh 2.1.2.1 Hệ thống điều hịa khơng khí (HVAC) 2.1.2.2 Kiểm soát vào 10 2.1.2.3 Điều khiển ánh sáng tiết kiệm lượng 10 2.1.3 Các giao thức sử dụng cho tịa nhà thơng minh 11 2.1.3.1 X10 11 2.1.3.2 UPB 12 2.1.3.3 INSTEON 12 2.1.3.4 Z-Wave 12 vi 2.1.3.5 ZigBee 13 2.1.4 Lựa chọn giao thức 13 2.1.5 Socket.IO 14 2.1.6 Mơ hình điều khiển vào dựa Socket.IO 16 2.2 Cơ sở lý thuyết xử lý ảnh 17 2.2.1 Ảnh số 17 2.2.2 Điểm ảnh 18 2.2.3 Mức xám ảnh 18 2.2.4 Histogram 19 2.2.5 Cân histogram 19 2.3 Biến đổi hình học ảnh 22 2.3.1 Dịch chuyển ảnh (Translation) 22 2.3.2 Dịch chuyển xoay ảnh 23 2.3.3 Xoay tỉ lệ 23 2.3.4 Phép biến đổi Affine 24 2.4 Làm mịn ảnh 26 2.4.1 Bộ lọc chuẩn hóa 26 2.4.2 Bộ lọc Gaussian 26 2.4.3 Bộ lọc trung vị 27 2.4.4 Bộ lọc Bilateral 27 2.5 Nhận dạng ảnh 28 2.6 Phát đối tượng 30 2.6.1 Phát khuôn mặt 30 2.6.1.1 Phân loại theo đợt (Cascade Classification) 31 2.6.1.2 Các đặc trung Haar-like 33 2.6.1.3 Tăng cường (Boosting) 36 2.6.1.4 AdaBoost 37 vii 2.6.1.4.1 2.6.1.5 Thuật toán AdaBoost [16] 38 Huấn luyện Cascade 40 2.6.1.5.1 Thuật toán huấn luyện 40 2.6.1.5.2 Minh họa thuật toán huấn luyện Cascade 41 2.6.1.6 Các phân loại tăng cường nối tiếp 42 2.7 Nhận dạng khuôn mặt 43 2.8 Một số thuật tốn nhận dạng khn mặt 45 2.8.1 Phương pháp Eigenfaces 45 2.8.2 Fisherfaces 48 2.8.3 Biểu đồ tần suất mẫu nhị phân cục (LBP) 51 CHƯƠNG 3: THIẾT KẾ HỆ THỐNG ĐIỀU KHIỂN VÀO RA TRÊN HỆ THỐNG NHÚNG LINUX 57 3.1 Nhận dạng khuôn mặt 57 3.1.1 Phân tích giải thuật 57 3.1.2 Phát khuôn mặt 58 3.1.2.1 Chuyển đổi sang ảnh xám: 60 3.1.2.2 Thay đổi kích thước ảnh 60 3.1.2.3 Cân histogram 61 3.1.2.4 Phát khuôn mặt 61 3.1.3 Xử lý liệu khuôn mặt 64 3.1.3.1 Phát đôi mắt 65 3.1.3.2 Các vùng tìm kiếm đôi mắt 66 3.1.3.3 Chuyển đổi hình học 71 3.1.3.4 Cân histogram riêng biệt cho bên trái bên phải khuôn mặt 73 3.1.3.5 Làm mịn 75 3.1.3.6 Mặt nạ hình eclipse 76 3.1.4 3.1.4.1 Xây dựng sở liệu 77 Thu thập ảnh khuôn mặt 77 viii 3.1.4.2 3.1.5 Nhận dạng khuôn mặt 82 3.1.5.1 3.2 Huấn luyện 81 Thẩm định khuôn mặt: 83 Hệ thống máy chủ web thời gian thực 85 3.2.1 Mơ hình hệ thống 85 3.2.2 Nguyên lý 86 3.3 Phát triển hệ thống nhúng Raspberry 87 3.3.1 Kết 87 3.3.2 Hoạt động 92 CHƯƠNG 4: KẾT LUẬN 94 4.1 Đánh giá kết 94 4.2 Hướng phát triển đề tài 95 TÀI LIỆU THAM KHẢO 96 ix CHƯƠNG TỔNG QUAN 1.1 Tổng quan nhà thông minh [1] Trong nhiều năm khoảng kỷ 19, nhà thông minh nét đặt trưng tác phẩm khoa học viễn tưởng, dần trở thành thực kể từ năm đầu kỷ 20 sản phẩm điện gia dụng sản xuất hàng loạt từ công nghệ thông tin bùng nổ mạnh mẽ [2, 3] Các ý tưởng cho hệ thống cho nhà tự động bắt nguồn từ Hội chợ giới vào năm 1930 hội chợ Chicago (1930), New York (1939)[4] Năm 1966, Jim Sutherland, kỹ sư làm việc cho Westinghouse Electric, phát triển hệ thống nhà tự động có tên gọi “ECHO IV”, dự án riêng ơng khơng thương mại hóa Ngơi nhà “wired home” xây dựng vào năm 1960 người Mỹ có sở thích đặc biệt, bị giới hạn cơng nghệ lúc Thuật ngữ “smart home” đưa Hiệp hội Nhà Mỹ vào năm 1984 [3] Ngày nay, nhà thông minh khái niệm phổ biến Ngơi nhà thơng minh hiểu nhà sử dụng thiết bị điện tử tự động hoàn toàn bán tự động thay người việc quản lý, điều khiển thiết bị có ngơi nhà Đèn tự động bật sáng có người bước vào phịng, tự động sưởi ấm, đánh thức chủ nhà trước pha sẵn cà phê, vòi nước tự động xả ngắt, điều khiển hệ thống điện nhà từ xa, quản lý, theo dõi lượng tiêu thụ…đó tiện ích ngơi nhà thơng minh [5] Trang a) Tòa nhà lượng mặt trời - Dubai, b) Nhà máy nước hình bong bóng - Tây Ban Nha, c) Tòa nhà One & Ortakoy – Istanbul, d) Tháp nước chọc trời - Sudan Hình 1.1 Các tịa nhà thơng minh tiếng giới Tại Việt Nam nay, khơng cịn khó để nhìn thấy tịa nhà sử dụng thiết bị thơng minh từ trung tâm thương mại, tịa nhà lớn đến hộ gia đình Một số tịa nhà thông minh bật Việt Nam thời gian qua Tịa nhà VTC online (Hai Bà Trưng, Hà Nội), Petro Vietnam Tower (Lê Duẩn – TpHCM) hay Bitexco Financial Tower (Quận – TpHCM), Keangnam Hanoi Landmark Tower (Từ Liêm – Hà Nội) Các thiết bị hệ thống cho tịa nhà thơng minh Việt Nam phần lớn hãng nước cung cấp Siemens (Đức), Schneider (Pháp), TAC (Mỹ), Nara controls (Hàn Quốc), Mitshubishi (Nhật) có BKAV Smarthome công ty Việt nam sản xuất thiết bị Tuy nhiên khoảng 50% thiết bị phần lớn hoạt Trang Hình 3.11 cho thấy hai khn mặt điển hình tái tạo lại Khn mặt phía bên trái (Hình 3.11a) xây dựng lại tốt dựng lên từ người biết, khn mặt phía bên phải (Hình 3.11b) xây dựng lại xấu dựng lên từ người chưa biết từ người biết đến với điều kiện ánh sáng/biểu cảm khuôn mặt/hướng khuôn mặt chưa biết đến Hình 3.11 Ảnh tái tạo khn mặt Để tính tốn giống khn mặt tái tạo với khn mặt ảnh đầu vào ta sử dụng hàm getSimilarity() trình bày phần trước để so sánh hai ảnh, với giá trị thu nhỏ 0,3 có nghĩa hai ảnh giống Đối với Eigenfaces, có vector riêng cho khn mặt, việc xây dựng lại có xu hướng làm việc tốt ta sử dụng ngưỡng so sánh 0,5, Fisherfaces có vector riêng cho người, việc xây dựng lại khơng tốt so với Eigenfaces ta sử dụng ngưỡng cao hơn, chẳn hạn khoảng 0.7 Trang 84 Bây ta xuất id khuôn mặt cần nhận dạng Phương pháp nhận dạng khuôn mặt phương pháp thẩm định khuôn mặt đáng tin cậy điều kiện định mà ta huấn luyện cho Vì vậy, để có độ nhận dạng xác tốt, ta cần phải đảm bảo tập huấn luyện người bao hàm đầy đủ điều kiện ánh sáng, nét mặt, góc độ tất trường hợp xảy Giai đoạn tiền xử lý mặt giúp giảm số khác biệt điều kiện ánh sáng hướng khuôn mặt quay mặt phẳng (nếu người nghiêng đầu qua trái qua phải), khác biệt khác khuôn mặt quay theo chiều khác (nếu người quay đầu qua trai hay phải) hoạt động tốt có tập huấn luyện 3.2 Hệ thống máy chủ web thời gian thực 3.2.1 Mơ hình hệ thống Hình 3.12 Mơ hình thiết kế hệ thống máy chủ Webserver thời gian thực để điều khiển thiết bị điều khiển vào Trang 85 3.2.2 Nguyên lý Hệ thống máy chủ Raspi webserver thời gian thực xây dựng Java, sử dụng NodeJS [28] giao thức websocket (Socket.IO [29]) giúp điều khiển thiết bị dễ dàng Giao diện điều khiển viết HTML5 kết hợp CSS jQuery Khi Client yêu cầu kết nối với Server, lúc này, server gửi cho client thông tin thông tin thiết bị, thông tin lịch sử (được truy vấn từ sở liệu MySQL) đồng thời gửi giao diện điều khiển cho client Việc trao đổi thông tin socket.io đảm nhiệm, truyền theo thời gian thực Điều thích hợp cho hệ thống có nhiều người sử dụng Nó đảm bảo có nhiều client (người dùng) kết nối đến server quan sát tất thơng tin trao đổi server với client khác Nhờ viết web, nên ta truy xuất điều khiển hệ thống cách linh hoạt, ta điều khiển thông qua webbrowser PC điện thoại hay máy tính bảng nơi đâu có kết nối Internet Trang 86 3.3 Phát triển hệ thống nhúng Raspberry 3.3.1 Kết Hình 3.13 Hệ thống nhận điện khn mặt Raspberrypi Trang 87 Hình 3.14 Giao diện chương trình hoạt động iPad Hình 3.15 Giao diện điều khiển Trang 88 Hình 3.16 Chức thêm thiết bị Hình 3.17 Giao diện điều khiển vào (nhận dạng chứng thực) Trang 89 Hình 3.18 Chứng thực khơng thành cơng Hình 3.19 Một số người dùng khác (1) Trang 90 Hình 3.20 Một số người dùng khác (2) Hình 3.21 Lịch sử nhận dạng xác thực Trang 91 3.3.2 Hoạt động Sau thu thập liệu ảnh, huấn luyện máy PC ta sở liệu khuôn mặt Cơ sở liệu chép vào Raspi để thực tham chiếu việc nhận dạng khuôn mặt Với thẻ nhận dạng khn mặt (face recognition - Hình 3.17) Để thực nhận dạng, hệ thống sau khởi động xong (đèn khởi động màu xanh dương sáng, kèm âm thanh) người dùng nhấn vào nút thực thi Lúc này, ta làm theo giọng nói dẫn hệ thống (được phát loa) Khi đèn trạng thái sáng (màu đỏ), thị hệ thống xử lý, trình xử lý cập nhật theo thời gian thực hiển thị giao diện đồ họa Khi đèn xác nhận sáng (màu xanh lá) thị việc nhận dạng thành công Lịch sử nhận dạng xác thực lưu vào sở liệu MySQL (Hình 3.21) Ta xóa lịch sử nút Clear all Hình 3.22 Bảng điều khiển Với thẻ điều khiển (control panel - Hình 3.15) Người dùng thêm thiết bị thơng qua nút Add devices, hộp thoại Hình 3.16 lên để ta điền vào thơng tin cần thiết Vì lý tiết kiệm thời gian chi phí, nên đề tài thực tượng trưng khả điều khiển thiết bị Trang 92 thông qua web thời gian thực việc thay bảng điều khiển (Hình 3.22) thành “thiết bị” Khi nút 1, 2, 3, thành nút tắt mở thiết bị, led hiển thị trạng thái thiết bị Tất thiết bị, trạng thái lưu vào sở liệu MySQL Trang 93 CHƯƠNG KẾT LUẬN Trải qua thời gian thực Chuyên đề 1, Chuyên đề Luận văn “Xây dựng trung tâm xử lý cho tịa nhà thơng minh hệ thống nhúng Linux”, bước đầu thực đề tài gặp nhiều khó khăn, tìm hiểu hệ thống nhúng linux, lý thuyết nhận dạng ảnh tình trạng sức khỏe Tuy nhiên hỗ trợ, động viên tận tình Thầy Lưu Thanh Trà đầu tư thân, đến luận văn tốt nghiệp hoàn thành đạt yêu cầu đề 4.1 Đánh giá kết Đối với nhận dạng điều khiển vào ra: Số lượng tập ảnh huấn luyện 638 ảnh (của bốn người, dung lượng 1.3G), số lượng tập ảnh kiểm tra 400 ảnh, tất thu thập camera 5Mega pixel Raspberry với điều kiện chiếu sáng khác nhau, biểu khuôn mặt, hướng khn mặt Tồn tập huấn luyện xử lý huấn luyện máy tính laptop, với cấu hình CPU core i7, 2.0GHz, Ram 4GB, đạt tốc độ xử lý huấn luyện nhanh với thời gian 30s Cơ sở liệu sau huấn luyện có dung lượng thấp (642.3KB) Tập kiểm tra nhận dạng hệ thống Raspberry với cấu hình CPU ARM 700MHz, Ram 512MB, nhớ SD 8GB, cho kết nhận dạng ổn định tin cậy Tuy nhiên cấu hình thấp, nên tốc độ (bắt đầu tính từ khởi động chương trình, đọc ảnh, xử lý nhận dạng ảnh) khơng nhanh, trung bình khoảng 7s cho ảnh Trang 94 Đối với việc điều khiển thiết bị web thời gian thực, cho tốc độ điều khiển tốt, đáp ứng nhanh, thực thiết bị PC hay điện thoại, máy tính bảng Ưu điểm phương pháp có nhiều người sử dụng lúc, ta thấy trạng thái hoạt động hệ thống mà chờ hết thời gian làm tươi (refesh) trang web 4.2 Hướng phát triển đề tài Để phát triển đề tài lớn hơn, từ kết đạt cần phải giải vấn đề mang tính ứng dụng hồn chỉnh với tiêu chí sau:  Tiến hành tối ưu hóa để nâng cao tốc độ xử lý hệ thống nhúng với tốc độ CPU thấp  Thực huấn luyện trực tiếp kit, làm tăng tính linh động hơn, tăng khả tương tác người với máy  Thực mở rộng với nhận dạng ảnh 3D (sử dụng camera stereo) kết hợp với số phương pháp bảo mật khác để tăng độ tin cậy cho hệ thống  Có thể ứng dụng Robot nhận dạng, hay thực gương thông minh, áp dụng thêm việc nhận dạng biểu cảm khuôn mặt  Tiếp tục phát triển chức lại tòa nhà thông minh Trang 95 TÀI LIỆU THAM KHẢO TIẾNG VIỆT Hồ Anh Thắng, Giải pháp tổng thể tối ưu hệ thống tự động tòa nhà sử dụng BMS Siemens, 2012 TIẾNG NƯỚC NGOÀI Gerhart, J., Home Automation & Wiring 1999: McGraw-Hill Professional Harper, R., Inside the Smart Home 2003: Springer 278 Mann, W.C., Smart Technology for Aging, Disability, and Independence: The State of the Science 2005: John Wiley and Sons 379 M&T, Automation today 2008(1,2): p 40 Jaseman, The MagPi May 2012(1): p Goodwin, S., Smart Home Automation with Linux and Raspberry Pi 2013: Apress 317 Breuning, S Using MySQL on a Raspberry Pi 2014; Available from: http://raspberrywebserver.com Mobberley, C Raspberry Pi MongoDB Installation Oct, 2013; Available from: http://c-mobberley.com/wordpress/2013/10/14/raspberry-pi-mongodbinstallation-the-working-guide/ 10 Hunter, T Installing Redis on Debian as a Service 2013; Available from: https://thomashunter.name/blog/installing-redis-on-debian/ 11 Sinopoli, J., Smart Building Systems for Architects, Owners, and Builders 2010: Elsevier Inc 12 Bosdogianni, M.P.a.P., Image Processing: The Fundamentals 1999 13 Kaehler, G.B.a.A., Learning OpenCV: Computer Vision with the OpenCV Library 2008: O’Reilly Media, Inc 186-190 14 Szeliski, R., Computer Vision: Algorithms and Applications 2010 15 Maydt, R.L.a.J., An Extended Set of Haar-like Features for Rapid Object Detection Proceedings of the IEEE Transactions on ICIP, 2002 1: p 900903 16 Jones, P.V.a.M.J., Rapid Object Detection using a Boosted Cascade of Simple Features Proceedings of the IEEE Transactions on CVPR 2001 1: p 511-518 Trang 96 17 Chiara Turati, V.M.C., F S., and Leo, I., Newborns face recognition: Role of inner and outer facial features 2006: p 297–311 18 Kanade, T., Picture processing system by computer complex and recognition of human faces 1973 19 Brunelli, R., Poggio, T , Face Recognition through Geometrical Features European Conference on Computer Vision (ECCV) 1992: p 792–800 20 Turk, M., and Pentland, A , Eigenfaces for recognition Journal of Cognitive Neuroscience 1991: p 71–86 21 P.N Belhumeur, J.H.a.D.K., Eigenfaces vs Fisherfaces: Recognition using class specific linear projection Proceedings of the IEEE Transactions on PAMI, 1997 19(7): p 711–720 22 Wiskott, L., Fellous, J., Krüger, N., Malsburg, C., Face Recognition By Elastic Bunch Graph Matching 1997: p 775–779 23 Messer, K.e.a., Performance Characterisation of Face Recognition Algorithms and Their Sensitivity to Severe Illumination Changes 2006: p 1– 11 24 Ahonen, T., Hadid, A., and Pietikainen, M , Face Recognition with Local Binary Patterns Computer Vision 2004: p 469–481 25 Farid, M.M., Pattern Classification, by Richard O Duda, Peter E Hart, and David G Stork Journal of Classification, 2001 18(2): p 273 26 Martinez, A.a.K., A , PCA versus LDA IEEE Transactions on Pattern Analysis and Machine Intelligence 2001 23(2): p 228-233 27 Jain, R.a.A.K., Small sample size effects in statistical pattern recognition: Recommendations for practitioneers IEEE Transactions on Pattern Analysis and Machine Intelligence, 1991 13: p 252-264 28 Teixeira, P., Professional Node.js: Building JavaScript-Based Scalable Software 2013: John Wiley & Sons, Inc 29 Rai, R., Socket.IO Real-time Web Application Development 2013: Packt Publishing Trang 97 ... dùng hệ thống nhúng linux Trang CHƯƠNG CƠ SỞ LÝ THUYẾT 2.1 Cơ sở lý thuyết trung tâm xử lý cho tòa nhà thơng minh 2.1.1 Mơ hình tổng quan Tịa nhà thơng minh liên quan đến việc xây dựng tích hợp hệ. .. THÀNH PHỐ HỒ CHÍ MINH  LUẬN VĂN THẠC SĨ NGUYỄN ĐÌNH TUẤN XÂY DỰNG TRUNG TÂM XỬ LÝ CHO TỊA NHÀ THƠNG MINH TRÊN HỆ THỐNG NHÚNG LINUX NGÀNH: KỸ THUẬT ĐIỆN TỬ - 605270 Tp Hồ Chí Minh, tháng 04 năm... ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH  LUẬN VĂN THẠC SĨ NGUYỄN ĐÌNH TUẤN XÂY DỰNG TRUNG TÂM XỬ LÝ CHO TỊA NHÀ THƠNG MINH TRÊN HỆ THỐNG NHÚNG LINUX NGÀNH: KỸ THUẬT ĐIỆN TỬ - 605270 Hướng