Xây dựng hệ thống xác thực khuôn mặt ứng dụng Face API vào hệ thống trung tâm dữ liệu

TRƯỜNG ĐẠI HỌC LẠC HỒNG              KHOA CÔNG NGHỆ THÔNG TIN - - BÁO CÁO NGHIÊN CỨU KHOA HỌC ĐỀ TÀI: XÂY DỰNG HỆ THỐNG XÁC THỰC KHUÔN MẶT ỨNG DỤNG FACE API VÀO HỆ THỐNG TRUNG TÂM DỮ LIỆU NGUYỄN TẤN PHƯỚC BIÊN HỊA, THÁNG 11/2018 TRƯỜNG ĐẠI HỌC LẠC HỒNG KHOA CƠNG NGHỆ THÔNG TIN - - BÁO CÁO NGHIÊN CỨU KHOA HỌC              ĐỀ TÀI: XÂY DỰNG HỆ THỐNG XÁC THỰC KHUÔN MẶT ỨNG DỤNG FACE API VÀO HỆ THỐNG TRUNG TÂM DỮ LIỆU Sinh viên thực hiện: NGUYỄN TẤN PHƯỚC Giáo viên hướng dẫn: ThS Nguyễn Minh Sơn BIÊN HÒA, THÁNG 11/2017 I LỜI CẢM ƠN Em xin chân thành cảm ơn tất giảng viên trường Đại Học Lạc Hồng, thầy cô khoa Công Nghệ Thông Tin giảng dạy hướng dẫn chúng em suốt thời gian chúng em theo học trường Em xin gởi lời cảm ơn đến ThS Nguyễn Minh Sơn, giáo viên tận tình hướng dẫn chúng em hồn thành đề tài nghiên cứu khoa học Em xin cảm ơn thầy, khoa Cơng Nghệ Thơng Tin có ý kiến đóng góp buổi báo cáo tiến độ Ngoài em xin cảm ơn thầy Nguyễn Vũ Duy Quang, giáo viên chủ nhiệm lớp 14CN111 giáo viên phản biện tận tình giúp em hồn thành báo cáo cách tốt nhất, lời cảm ơn gửi đến bạn lớp tồn thể gia đình người thân giúp đỡ, động viên chúng em trình thực đề tài Với vốn kiến thức hạn chế điều kiện khách quan không cho phép, đề tài em khó tránh khỏi thiếu sót chưa đáp ứng đầy đủ yêu cầu Do em hy vọng tiếp tục nhận ý kiến đóng góp hướng dẫn quý thầy để đề tài em hồn thiện Em xin chân thành cảm ơn Biên Hòa, tháng 11 năm 2018 Sinh viên thực Nguyễn Tấn Phước II MỤC LỤC LỜI CẢM ƠN I MỤC LỤC II DANH MỤC BẢNG V DANH MỤC HÌNH V DANH MỤC TỪ VIẾT TẮT VII PHẦN MỞ ĐẦU 1 Lý chọn đề tài Tình hình nghiên cứu 2.1 Ngoài nước .1 2.2 Trong nước .2 Mục tiêu nghiên cứu Đối tượng phạm vi nghiên cứu 4.1 Đối tượng nghiên cứu 4.2 Phạm vi nghiên cứu Phương pháp nghiên cứu Những đóng góp vấn đề mà đề tài chưa thực 6.1 Những đóng góp .3 6.2 Những vấn đề chưa thực Kết cấu đề tài Chương : Tổng quan đề tài 1.1 Tổng quan nhận dạng khuôn mặt 1.2 Tổng quan Raspberry Pi 1.2.1 Giới thiệu tổng quan Raspberry Pi 1.2.2 Một số ứng dụng chạy Raspberry Pi 1.2.3 Cấu tạo phần cứng Raspberry Pi 1.2.4 Raspberry Pi model B+ 1.2.4.1 Thông số kĩ thuật 1.2.4.2 Chân pin GPIO Raspberry Pi model B+ 1.2.5 Các hệ điều hành chạy Raspberry Pi 1.3 Tổng quan hệ điều hành Windows 10 IoT Core 10 1.3.1 Hệ điều hành Windows 10 IoT Core 10 1.3.2 Ứng dụng Universal cho Windows 10 IoT Core 11 1.3.3 So sánh Windows 10 IoT Core với số hệ điều hành khác 12 1.3.3.1 So sánh Windows 10 cho IoT với Windows 10 PC Windows 10 Mobile 12 1.3.3.2 So sánh Windows 10 IoT với Raspbian Raspberry Pi 13 III 1.4 Điện toán đám mây Microsoft Azure 14 1.4.1 Tổng quan Microsoft Azure 14 1.4.2 Các thành phần Microsoft Azure 15 1.4.3 Azure Services Cognitive 15 1.4.4 Tổng quan Face API Services 16 1.4.4.1 Face Detection 16 1.4.4.2 Face Recognition 17 1.5 Giới thiệu số công cụ sử dụng đề tài 19 1.5.1 Microsoft Visual Studio 2017 19 1.5.2 Windows 10 IoT Dashboard Manager 19 1.5.3 Windows IoT Remote Client 19 1.6 Tiêu chuẩn Tier cho trung tâm liệu 19 1.6.1 Tiêu chuẩn Tier ? 19 1.6.2 Những yêu cầu đạt chuẩn Tier cho trung tâm liệu 19 1.7 Tiểu kết 20 Chương : Xây dựng hệ thống cửa nhận diện khuôn mặt sử dụng Face API 21 2.1 Một số công cụ cần thiết sử dụng đề tài 21 2.2 Tín hiệu đầu vào hệ thống cửa nhận diện khuôn mặt 22 2.2.1 Microsoft Lifecam HD 3000 23 2.2.2 Bàn phím, chuột 23 2.2.3 Nút nhấn mở cửa 23 2.3 Tín hiệu đầu hệ thống cửa nhận diện khuôn mặt 23 2.3.1 Màn hình, loa 23 2.3.2 Khóa chốt điện từ 24 2.3.3 Một số thiết bị hỗ trợ khác 24 2.4 Phần process hệ thống cửa nhận diện khuôn mặt 24 2.4.1 Đăng kí tài khoản Microsoft Azure lấy Key Face API 24 2.4.2 Quy trình thêm thành viên vào hệ thống cửa nhận diện khuôn mặt 26 2.4.2.1 Thu thập liệu hình ảnh khn mặt người dùng 27 2.4.2.2 Phương pháp thêm thành viên vào hệ thống cửa 27 2.4.3 Xác thực khn mặt từ hình ảnh chụp người dùng 29 2.4.4 Xây dựng chương trình đóng mở cửa nhận diện khn mặt 30 2.5 Tiểu kết 31 Chương : Xây dựng hệ thống cửa vật lý nhận diện khuôn mặt 32 3.1 Một số loại khóa cửa thị trường 32 3.2 Xây dựng mơ hình vật lý hệ thống cửa nhận diện khuôn mặt 33 3.3 Q trình thực mơ hình hệ thống cửa vật lý nhận diện khuôn mặt 34 IV 3.3.1 Nạp chương trình nhận diện khn mặt mơ hình cửa vật lý 35 3.3.2 Thêm người dùng mơ hình cửa vật lý 37 3.4 Ðộ xác hệ thống cửa vật lý nhận diện khuôn mặt 37 3.5 Những lợi thế, điểm mạnh đề tài khả áp dụng vào thực tế 38 3.6 Tiểu kết 39 KẾT LUẬN 40 TÀI LIỆU THAM KHẢO 41 V DANH MỤC BẢNG Bảng 1-1 Các thông số kĩ thuật Raspberry Pi model B Bảng 1-2 So sánh vài thuộc tính hệ điều hành Windows 10 ba tảng PC, Mobile thiết bị IoT Bảng 1-3 So sánh vài thuộc tính hai hệ điều hành Windows 10 IoT Core Raspbian Raspberry Pi Bảng 3-1 Danh sách thiết bị sử dụng mơ hình cửa vật lý Bảng 3-2 Thông tin liệu người dùng lưu hệ thông Bảng 3-3 Thông tin liệu người dùng khơng có hệ thống DANH MỤC HÌNH Hình 1-1 Raspberry Pi model B Hình 1-2 Hệ thống thủy sinh thơng minh Hình 1-3 Bộ RasPiLaspe Hình 1-4 Máy pha cà phê tự động Hình 1-5 Mơ hình kiến trúc phần cứng Raspberry Pi Hình 1-6 Mạch Raspberry Pi model B+ Hình 1-7 Sơ đồ chân pin GPIO Raspberry Pi model B+ Hình 1-8 Giao diện hệ điều hành Windows 10 IoT Core Hình 1-9 Nền tảng Universal Windows Application Microsoft Hình 1-10 Giao diện tinh chỉnh tảng ARM để kết nối tới Raspberry Pi Hình 1-11 Giao diện Properties Project Hình 1-12 Mơ hình thành phần Microsoft Azure Hình 1-13 Danh sách nhóm API Microsoft Cognitive Services Hình 1-14 Chế độ matchPerson việc tìm kiếm khn mặt tương tự Hình 1-15 Danh sách “Bạn bè” gom nhóm Hình 2-1 Sơ đồ hệ thống cửa nhận diện khn mặt VI Hình 2-2 Giao diện lập trình Visual Studio 2017 Hình 2-3 Giao diện Windows 10 IoT Core Dashboard Hình 2-4 Giao diện Windows IoT Remote Client Hình 2-5 Hình ảnh Microsoft Lifecam HD 3000 Hình 2-6 Khóa chốt điện từ 12VDC Hình 2-7 Module Relay Hình 2-8 Key Face API Microsoft Azure Hình 2-9 Liên kết Endpoint sử dụng điểm cuối khu vực Southeast Asia Hình 2-10 Endpoint đường dẫn vị trí đăng ký Hình 2-11 Code gán Key Face API đường dẫn Endpoint Hình 2-12 Hình ảnh người dùng chụp từ camera laptop Hình 2-13 Danh sách thư mục hình ảnh thu thập từ thầy khoa Hình 2-14 Giao diện Command Line Windows 10 IoT Core Hình 2-15 Upload hình ảnh người dùng Windows Device Portal Hình 2-16 Thư mục chứa hình ảnh khn mặt người dùng thẻ nhớ SD Hình 2-17 Code xử lý nhận diện khn mặt từ hình ảnh người dùng Hình 2-18 Code xử lý đóng \ mở cửa có xác thực khn mặt người dùng Hình 3-1 Một số loại khóa cửa thơng dụng khóa số Hình 3-2 Khóa cửa vân tay khóa thẻ từ Hình 3-3 Mơ hình hệ thống cửa vật lý nhận diện khn mặt Hình 3-4 Giao diện Properties cùa chương trình Hình 3-5 Giao diện chương trình mơ hình hệ thống cửa vật lý Hình 3-6 Giao diện quản lý ứng dụng Windows Device Portal Hình 3-7 Thử nghiệm người dùng mơ hình cửa vật lý VII DANH MỤC TỪ VIẾT TẮT IoT Internet of Things API Application Programming Interface FPGA Field Programmable Gate Array PCA Principal Compoment Analysis OEM Original Equipment Manufacturer BCM Broadcom GPIO General Purpose Input / Output ARM Advance Risc Machine CPU Central Processing Unit GPU Graphics Processing Unit UWP Universal Windows Application IDE Integrated Development Enviroment NOC Network Operations Centers MRTG Multi Router Traffic Grapher NMS Network Management System UPS Uninterruptible Power Supply BMS Building Management System SD Secure Digital IP Internet Protocol I/O Input / Output PHẦN MỞ ĐẦU Lý chọn đề tài Trong xã hội đại ngày đặc biệt ngành công nghiệp 4.0 với xu hướng IoT tồn giới ngày phát triển, địi hỏi tổ chức, doanh nghiệp phải chuyển để hội nhập phát triển thời đại 4.0 Và sản phẩm cơng nghệ có khả nhận diện khuôn mặt giái pháp mà tổ chức, doanh nghiệp quan tâm hàng đầu Ví dụ:  Một cơng ty khởi nghiệp Nga NtechLab đánh bại Google thi nhận diện khn mặt MegaFace  Facebook sử dụng tính nhận diện khn mặt, tính thơng báo có post ảnh họ lên Facebook  Công ty Ant Financial Trung Quốc mắt hệ thống tốn sử dụng cơng nghệ nhận diện khuôn mặt nhà hàng bán đồ ăn nhanh thành phố Hàng Châu, tỉnh Chiết Giang Sau Raspberry Pi đưa thị trường Microsoft bày tỏ ủng hộ cách cung cấp phiên Windows 10 hồn tồn miễn phí cho thiết bị này, điều khiến cho cộng đồng lập trình có nhiều ý tưởng việc phát triển sản phẩm IoT phục vụ cho nhu cầu sống qua việc kết hợp Raspberry Pi Windows 10 IoT Core xuất Công nghệ nhận diện khuôn mặt lĩnh vực nằm xu cách mạng công nghiệp 4.0 Để bắt kịp với xu với mong muốn tạo sản phẩm có khả hỗ trợ người việc nhận dạng khuôn mặt đồng thời giúp tác giả tiếp cận với tảng cộng nghệ IoT, tác giả mong muốn thực đề tài với tên là: “Xây dựng hệ thống xác thực khuôn mặt ứng dụng Face API vào hệ thống trung tâm liệu” Windows 10 IoT Core Face API ? Sẽ trình bày mục sau Tình hình nghiên cứu Trước phát triển mạnh mẽ công nghệ với trí tuệ nhân tạo, thuật tốn nhận diện khn mặt ngày xác áp dụng rộng rãi vào đời sống Các nhà nghiên cứu bắt đầu dành nhiều thời gian cho việc nghiên cứu công nghệ nhận diện khuôn mặt Trong phần này, tác giả trình bày qua số nghiên cứu công nghệ nhận diện khuôn mặt diễn ngồi nước 2.1 Ngồi nước Tình hình giới xu hướng IoT nói chung giải pháp công nghệ nhận diện khn mặt nói riêng phát triển áp dụng rộng rãi toàn cầu nhằm đáp ứng nhu cầu ngành công nghiệp 4.0 Trong báo [1], nhóm tác giả đề xuất máy học phần cứng tăng tốc độ thời gian thực tế phát xâm nhập mạng, kết thự nghiệm FPGA đạt băng tần 409,6 Gbps với phát xâm nhập mạng nhanh công suất thấp dựa số điểm chuẩn 28 Hình 2-14: Giao diện Command Line Windows 10 IoT Core Bước 2: Sau gõ đường dẫn bước 1, tạo thư mục lệnh: mkdir + tên thư mục, tên thư mục tên người dùng Bước 3: Sau tạo thư mục (tên người dùng) đường dẫn thư mục tạo, tiến hành tạo file có txt bất kì, ví dụ: mkdir abc.txt Vì giao diện Windows Device Portal muốn upload hình ảnh lên thư mục tạo bước phải có file bất kì, để trống khơng upload hình ảnh Bước 4: Truy cập vào Windows Device Portal địa chỉ, ví dụ: 192.168.1.24:8080 (trong 192.168.1.24 địa ip Raspberry Pi, port local host 8080) Vào Apps  File explorer  Pictures  Facial Recognition Door Whitelist  phuoc Hình 2-15: Upload hình ảnh người dùng Windows Device Portal 29 Tiến hành upload hình ảnh từ thư mục chứa hình ảnh khn mặt người dùng PC Laptop Sau chạy chương trình hệ thống cửa nhận diện khơn mặt, lúc danh sách thành viên cập nhật vào hệ thống  Phương pháp thứ hai gồm ba bước: Bước 1: Rút thẻ nhớ SD từ Raspberry Pi chuyển sang đầu đọc thẻ nhớ PC \ Laptop Bước 2: Vào Data (J:)  USERS DefaultAccount  Pictures  Facial Recognition Door Whitelist Sau tạo thư mục (tên người dùng), tiến hành copy hình ảnh khn mặt người dùng có sẵn PC \ Laptop vào thư mục tạo thẻ nhớ SD Hình 2-16: Thư mục chứa hình ảnh khn mặt người dùng thẻ nhớ SD Bước 3: Gắn thẻ nhớ SD trở lại vào Raspberry Pi 3, sau chạy chương trình hệ thống cửa nhận diện hn mặt, lúc danh sách thành viên cập nhật vào hệ thống Trong hai phương pháp nêu trên, tác giả sử dụng phương pháp thứ hai cho việc thêm thành viên vào hệ thống cửa 2.4.3 Xác thực khuôn mặt từ hình ảnh chụp người dùng Sau đoạn chương trình xử lý nhận diện khn mặt từ hình ảnh người dùng #region Face recognition public async Task FaceRecognizeAsync(StorageFile imageFile) { var recogResult = new List(); if(!FaceApiUtils.ValidateImageFile(imageFile)) { throw new FaceRecognitionException(FaceRecognitionExceptionType.InvalidImage); } // Phát tất khuôn mặt ảnh var faceIds = await DetectFacesFromImage(imageFile); // Xác định tất khuôn mặt người var identificationResults = await _faceApiClient.IdentifyAsync(WhitelistId, faceIds); // Thêm tên người dùng xác định vào danh sách kết foreach (var result in identificationResults) 30 { if(result.Candidates.Length > 0) { var personName = _whitelist.GetPersonNameById(result.Candidates[0].PersonId); Debug.WriteLine("Face ID Confidence: " + Math.Round(result.Candidates[0].Confidence * 100, 1) + "%"); recogResult.Add(personName); } } return recogResult; } #endregion Hình 2-17: Code xử lý nhận diện khn mặt từ hình ảnh người dùng 2.4.4 Xây dựng chương trình đóng mở cửa nhận diện khn mặt Sau chương trình đóng mở cửa hệ thống nhận diện khuôn mặt người dùng # private async Task DoorbellPressed() { AnalysingVisitorGrid.Visibility = Visibility.Visible; // Danh sách lưu trữ khách truy cập công nhận bỡi Oxford Face API List recognizedVisitors = new List(); // Xác nhận webcam khởi động oxford sẵn sáng if (webcam.IsInitialized() && initializedOxford) { StorageFile image = await webcam.CapturePhoto(); try { // Oxford xác định xem khách truy cập có nằm danh sách trắng trả true hay không recognizedVisitors = await OxfordFaceAPIHelper.IsFaceInWhitelist(image); } catch (FaceRecognitionException fe) { switch (fe.ExceptionType) { // Không bị lỗi bắt dạng nhận diện khn mặt khơng có khn mặt phát hình ảnh case FaceRecognitionExceptionType.NoFaceDetected: Debug.WriteLine("WARNING: No face detected in this image."); break; } } catch (FaceAPIException faceAPIEx) 31 { Debug.WriteLine("FaceAPIException in IsFaceInWhitelist(): " + faceAPIEx.ErrorMessage); } catch { // Lỗi chung Điều xảy khơng có khách truy cập ủy quyền danh sách cho phép Debug.WriteLine("WARNING: Oxford just threw a general expception."); } if(recognizedVisitors.Count > 0) { // Nếu tất khách truy cập công nhận, mở khóa cửa: UnlockDoor(recognizedVisitors[0]); } else { // Nếu không, thông báo cho khách họ không hệ thống nhận dạng await speech.Read(SpeechContants.VisitorNotRecognizedMessage); } } Hình 2-18: Code xử lý đóng \ mở cửa có xác thực khuôn mặt người dùng Khi người dùng nhận diện khuôn mặt trước hệ thống cửa, camera chụp hình người dùng chuyển đến thư mục người dùng chứa hình ảnh khuôn mặt lên đám mây Face API, lúc Face API so khớp, tính tốn vả xử lý hình ảnh khn mặt Sau Face API trả kết xác thực khuôn mặt người dùng, hệ thống cửa thơng báo: "Welcome you go to Lac Hong University! " + Tên người dùng + "! I will open the door for you" mở cửa, khơng hệ thống cửa thông báo: "Sorry! I don't recognize you So i am not open the door." khóa cửa 2.5 Tiểu kết Qua chương 2, tác giả xây dựng hệ thống nhận diện khuôn mặt, từ việc đăng kí tài khoản Microsoft Azure để lấy key Face API, Endpoint, xây dựng chương trình xác thực khn mặt xây dựng chương trình đóng \ mở cửa hệ thống nhận diện khuôn mặt người dùng Sang chương 3, tác giả tiến hành xây dựng mơ hình vật lý hệ thống cửa nhận diện khn mặt 32 Chương : Xây dựng hệ thống cửa vật lý nhận diện khuôn mặt Sau xây dựng xong chương trình nhận diện khn mặt chương chạy thử nghiệm thành công Ở chương này, tác giả giới thiệu mốt số loại khóa cửa thị trường để phân tích, so sánh, từ đưa đánh giá cách tổng quan Sau tiến hành lắp ráp hệ thống cửa nhận diện khuôn mặt, cho sản phẩm hoàn thiện đưa kiến nghị 3.1 Một số loại khóa cửa thị trường Trên thị trường nay, có nhiều loại khóa cửa thơng dụng phổ biến loại khóa cửa thường thấy hộ gia đình, cao cấp có loại khóa cửa vân tay hay khóa thẻ từ sử dụng chủ yếu hộ chung cư cao cấp, tịa nhà cho th Nhìn chung loại khóa cửa chun dụng mơi trường, khó đáp ứng nhiều môi trường sử dụng khác Sau đây, tác giả xin giới thiệu sơ lược loại khóa cửa  Khóa cửa thơng thường khóa cửa số Khóa cửa thơng thường chủ yếu sử dụng chìa khóa để mở cửa Các loại khóa cửa thơng dụng như: khóa cửa tay gạt, khóa chốt, khóa bấm Khóa cửa số sử dụng mật mã số để mở khóa Hình 3-1: Một số loại khóa cửa thơng dụng khóa số  Khóa cửa vân tay khóa thẻ từ Khóa cửa vân tay loại khóa dùng dấu vân tay để mở khóa Khóa thẻ từ loại khóa dùng thẻ từ để mở khóa Hình 3-2: Khóa cửa vân tay khóa thẻ từ 33 3.2 Xây dựng mơ hình vật lý hệ thống cửa nhận diện khn mặt Mơ hình hệ thống cửa vật lý nhận diện khuôn mặt tác giả bao gồm nguyên vật liệu phần cứng: nguyên liệu làm cửa gỗ, khóa điện từ 12v, Microsoft Lifecam HD 3000, loa, hình điều khiển, Raspberry Pi 3, module relay, số thiết bị hỗ trợ khác Sau đây, tác giả xin trình bày bảng danh sách thiết bị sử dụng để xây dựng mô hình hệ thống cửa vật lý nhận diện khn mặt Stt Tên thiết bị Số lượng Đơn vị mua Màn hình inch HDMI LCD Cái 1.250.000 VND 1.250.000 VND Raspberry Pi Model B+ Cái 1.050.000 VND 1.050.000 VND Microsoft Lifecam HD 3000 Cái 845.000 VND 845.000 VND Mơ hình cửa gỗ Cái 800.000 VND 800.000 VND Khóa chốt điện từ 12V DC Cái 450.000 VND 450.000 VND Loa Soundmax A150 Cái 320.000 VND 320.000 VND Thẻ nhớ SD Ultra 16gb class 10 48MB/s Cái 250.000 VND 250.000 VND Module Relay Cái 28.000 VND 28.000 VND Đầu chuyển Domino Cái 5.000 VND 10.000 VND Tổng giá tiền Đơn giá Thành tiền 5.013.000 VND Bảng 3-1: Danh sách thiết bị sử dụng mơ hình cửa vật lý Với danh sách thiết bị mà tác giả trình bày, việc triển khai, lắp đặt dễ dàng với tổng giá thành thiết bị để xây dựng nên mơ hình hệ thống cửa khơng q cao so với loại khóa cửa bán trường Tuy nhiên, giá thành thiết bị mang tính chất tham khảo giá thời điểm mà tác giả đặt mua Để có nhìn tổng quan chi tiết, sau tác giả xin giới thiệu mơ hình hệ thống cửa vật lý nhận diện khn mặt 34 Hình 3-3: Mơ hình hệ thống cửa vật lý nhận diện khn mặt Chương trình hệ thống cửa nhận diện khuôn mặt chạy Raspberry Pi 3, từ Raspberry Pi kết nối tới hình điều khiển, nguồn điện, loa camera Khóa điện từ kết nối tới module relay từ module relay kết nối tới chân pin GPIO Raspberry Pi Giao diện hình điều khiển hệ thống cửa nhận diện khn mặt gồm có: danh sách hình ảnh người dùng, nút “Add User” thêm người dùng mới, nút nhấn “Doorbell” để mở cửa, nút nhấn “Shutdown” để tắt hệ thống Khi người dùng nhấn nút “Doorbell” để mớ cửa, camera mặt trước cửa chụp hình ảnh khn mặt người dùng, sau hệ thống cửa xử lý hình ảnh khn mặt người dùng nhận diện khớp với hình ảnh thành viên lưu hệ thống chân pin GPIO trả giá trị cho module relay từ module relay tác động lên khóa điện từ để mở cửa 3.3 Q trình thực mơ hình hệ thống cửa vật lý nhận diện khuôn mặt Trong đề tài, tác giả giới thiệu số loại khóa cửa nay, loại khóa có tính năng, ưu khuyết điểm riêng Tác giả chọn khóa điện từ để xây dựng hệ thống cửa vật lý nhận diện khn mặt điểm sau đây: - Khóa điện từ có thiết kế nhỏ gọn với kích thước 20 x 3.6 x 4.3 cm giúp cho việc dễ lắp đặt vào mơ hình cửa gỗ - Kết hợp cơng tác từ nên đóng cửa khóa - Với chất liệu hộp kim nhôm điên áp có 12v nên độ an tồn cao sử dụng - Chỉ thực chức đóng \ mở nên phù hợp với hệ thống cửa mà tác giả xây dựng Việc chọn vật liệu làm cửa gỗ giúp cho tác giả dễ dàng thi công, lắp đặt, cửa gỗ giúp tránh việc nhiễu điện tích hợp thiết bị điện khác hệ thống cửa Hình 3-3 cửa gỗ nên trọng lượng thấp giúp cho việc di chuyển dễ dàng so với loại cửa kim loại sắt, thép 35 Về việc lắp ráp triển khai mơ hình, tác giả tính tốn đo đạt cho thiết bị phần cứng nằm hệ thống cửa để dễ dàng kết nối thiết bị, quản lý hệ thống, mang lại tính thẩm mỹ cao di chuyển dễ dàng 3.3.1 Nạp chương trình nhận diện khn mặt mơ hình cửa vật lý Sau xây dựng xong mơ hình hệ thống cửa vật lý nhận diện khuôn mặt, tác giả tiến hành thử nghiệm chạy chương trình nhận diện khn mặt lên hệ thống Mặc định khởi động hệ điều hành Windows 10 IoT Core Raspberry Pi có giao diện Hình 1-8, để chương trình nhận diện khn mặt tác giả làm chương trình mặc định khởi động cần có vài thao tác sau: Đầu tiên mở chương trình nhận diện khn mặt Visual Studio 2017 PC \ Laptop Chọn Properties  Debug Hình 3-4: Giao diện Properties cùa chương trình Để kết nối từ xa từ PC \ Laptop đến Raspberry Pi lớp mạng, tác giả chọn Debug  tảng ARM  Remote Machine Phần Start action tích vào Allow local network loopback cho phép tìm kiếm địa IP lớp mạng Phần Start options: - Target device chọn Remote Machine - Remote Machine gõ địa IP Raspberry Pi (Vd: 10.108.4.146 địa IP Raspberry Pi) - Authentication Mode chọn Universal (Unencrypted Protocol), chương trình nhận diện khn mặt tác giả ứng dụng UWP tảng Windows 10 IoT Core Sau chọn xong phần Properties, tác giả tiến hành chạy chương trình mơ hình hệ thống cửa vật lý nhận diện khn mặt 36 Hình 3-5: Giao diện chương trình mơ hình hệ thống cửa vật lý Để chương trình nhận diện khn mặt mặc định chạy khởi động hệ thống, tác giả truy cập vào đường dẫn 10.108.4.146:8080 nhập Username Password (khi download cài đặt hệ điều hành Windows 10 IoT Core công cụ Windows 10 IoT Core Dashboard yêu cầu nhập tên Username Password) để vào giao diện Windows Device Portal (giao diện web cho phép quản lý thiết bị kết nối từ xa lớp mạng) Hình 3-6: Giao diện quản lý ứng dụng Windows Device Portal Với 10.108.4.146 địa IP Raspberry Pi port local host 8080 Sau thao tác Hình 3-4 chương trình nhận diện khn mặt cài đặt vào phần Apps giao diện Windows Device Potal Vào Apps  Apps manager  chương trình FacialRecognitionDoor (là chương trình nhận diện khn mặt) tích vào Actions chọn Start, lúc chương trình nhận diện khuôn mặt mặc định chạy khởi động hệ thống cửa 37 3.3.2 Thêm người dùng mơ hình cửa vật lý Việc thêm người dùng chạy chương trình nhận diện khn mặt PC Laptop dễ dàng thêm người dùng vào mơ hình hệ thống cửa vật lý tự hai phương pháp mà tác giả nêu 2.4.2.2 Sau thêm người dùng vào hệ thống cửa, tác giả chụp thêm số hình ảnh trực tiếp từ hệ thống cửa cách giao diện hình điều khiển mục danh sách người dùng, tác giả chọn người dùng cần thêm hình ảnh khn mặt sau người dùng cần ngồi đối diện trước camera hệ thống cửa tiến hành chụp lấy hình ảnh khn mặt bình thường 3.4 Ðộ xác hệ thống cửa vật lý nhận diện khuôn mặt Trước đưa đánh giá độ xác hệ thống cửa nhận diện khn mặt mơ hình vật lý, tác giả xin giới thiệu tổng quan tập liệu mà tác giả tiến hành thử nghiệm Tổng số người nhận diện khn mặt 10 người Trong đặc điểm người nhận diện nam, độ tuổi từ 20 đền 60, tóc đen ngắn, 10 người có người đeo kính, da vàng mơi trường lấy hình ảnh khn mặt phịng thí nghiệm B304 với điều kiện ánh sáng bật tất đèn phòng Tác giả tiến hành thử nghiệm lấy ngẫu nhên người số 10 người để thử nghiệm Stt Tên người dùng Số lần nhận diện Đúng Sai Tỉ lệ Hậu 10 10 10/10 Trình 10 9/10 Khánh 10 9/10 Khử 10 8/10 Phước 10 9/10 Bảng 3-2: Thông tin liệu người dùng lưu hệ thống Sau tiến hành thử nghiệm, từ kết Bảng 3-2 tác giả đánh giá độ xác mơ hình hệ thống cửa vật lý 90% Để có kết độ xác 90%, với mơi trường thực phịng thí nghiệm B304, ánh sáng đảm bảo tốt, người dùng phải ngồi thẳng nhìn đối diện vào cửa trước gắn camera tiến hành nhận diện khuôn mặt Và cách để đánh giá độ xác hệ thống cửa nhận diện khn mặt 38 Hình 3-7: Thử nghiệm người dùng mơ hình cửa vật lý Ngồi cách đánh giá trên, tác giả muốn giới thiệu thêm cách khác tập liệu 10 người khơng có hệ thống, tác giả lấy ngẫu nhiên người, đặc điểm người có nét tương đồng với thành viên lưu hệ thống, sau tiến hành thử nghiệm nhận diện người Stt Tên người dùng Số lần nhận diện Đúng Sai Tỉ lệ Hiếu 10 2/10 Nam 10 2/10 Thuận 10 10 0/10 Bảng 3-3: Thông tin liệu người dùng khơng có hệ thống Từ kết Bảng 3-3, tác giả nhận thấy tỉ lệ xác nhận diện người lạ khơng có hệ thống 13% 3.5 Những lợi thế, điểm mạnh đề tài khả áp dụng vào thực tế Theo số liệu thống kê IDC Group số lượng thiết bị, đồ vật kết nối Internet vào khoảng 50 tỉ thiết bị qua thấy đề tài tác giả góp phần nhỏ vào ứng dụng tảng IoT phát triển công nghiệp 4.0 Với việc thực đề tài xây dựng hệ thống cửa nhận diện khuôn mặt, tác giả tiếp xúc, học hỏi ứng dụng công nghệ tảng IoT vào đời sống Trong thời đại ngành công nghiệp 4.0, với phát triển vượt bậc công nghệ đặc biệt lĩnh vực công nghệ thông tin, sinh viên ngành công nghệ thông tin, tác giả nhận thấy có lợi điểm mạnh việc ứng dụng học vào thực tế mà điển hình đề tài xây dựng hệ thống cửa nhận diện khuôn mặt tác giả ứng dụng vào thực tiễn 39 Đề tài xây dựng hệ thống cửa nhận diện khuôn mặt đề tài ứng dụng tảng IoT sử dụng rộng rãi thực tế, cụ thể như: đặt hệ thống cửa phòng trung tâm liệu, phòng học, phòng làm việc, phòng họp nơi cần đảm bảo an ninh cao Việc triển khai lắp đặt hệ thống cửa nhận diện khuôn mặt tác giả dễ dàng nhanh chóng Tuy nhiên để hệ thống hoạt động tốt, lâu bền, đảm bảo an toàn, an ninh cao cần phải thỏa số tiêu chí như: - Hệ thống mạng, điện, điều hịa, phịng cháy chữa cháy phải đáp ứng tốt Đặc biệt hệ thống mạng điện phải chạy liên tục 24/24, hệ thống tác giả ứng dụng tảng IoT nên cần phải có kết nối Internet nguồn điện dự phòng đảm bảo việc hệ thống cửa ln khóa - Hệ thống camera giám sát cảnh báo có phát xâm nhập - Đặt hệ thống cửa vị trí khơ ráo, thống mát giúp hệ thống tránh cố như: rò rỉ điện, hư hỏng thiết bị - Vì hệ thống cửa nhận diện khuôn mặt, nên hệ thống nhận diện người dùng để có độ xác cao cần phải có đủ điều kiện ánh sáng bên hệ thống cửa 3.6 Tiểu kết Qua chương này, tác giả phân tích nhận xét tổng quan loại khóa cửa so với hệ thống cửa nhận diện khuôn mặt mà tác giả thực hiện, trình bày việc xây dựng mơ hình hệ thống cửa vật lý nhận diện khn mặt Đánh giá độ xác 90% hệ thống cửa chạy thử nghiệm Từ đó, tác giả nêu ưu điểm tính khả thi việc triển khai hệ thống cửa nhận diện khuôn mặt vào đời sống 40 KẾT LUẬN Kết đạt được: Qua trình nghiên cứu đề tài “Xây dựng hệ thống xác thực khuôn mặt ứng dụng Face API vào hệ thống trung tâm liệu”, tác giả đạt số kết sau:  Nắm thông số kĩ thuật Raspberry Pi Model B+, hiểu thao tác hệ điều hành Windows 10 IoT Core  Thực số phương pháp thu thập liệu khn mặt người dùng từ camera, từ hình ảnh có sẵn  Ứng dụng kết số báo nhận diện khuôn mặt vào đề tài  Huấn luyện liệu hình ảnh khn mặt người dùng nhận diện khuôn mặt ứng dụng dịch vụ Face API Microsoft  Sau trình tìm hiểu dịch vụ Face API, tác giả đưa cách đánh giá độ xác nhận diện khn mặt người dùng Dựa vào đó, tác giả cịn so sánh Face API với số công nghệ nhận diện khuôn mặt khác  Cuối cùng, tác giả ứng dụng nghiên cứu lại tạo sản phẩm ứng dụng hệ điều hành Windows 10 IoT Core dịch vụ Face API Đó sản phẩm mơ hình hệ thống cửa vật lý nhận diện khuôn mặt Định hướng phát triển tương lai:  Sẽ tìm giải pháp để tích hợp thêm phần mềm cảnh báo cho người dùng có phát xâm nhập vào hệ thống  Thu thập thêm nhiều hình ảnh khn mặt nhiều người theo nhiều thời gian không gian khác để có liệu khn mặt đủ lớn đồng thời nghiên cứu sâu thuật tốn Face API để cải thiện độ xác việc nhận diện khuôn mặt  Cải thiện sản phẩm để độ xác cao việc nhận dạng khuôn mặt người dùng  Sẽ ứng dụng kết nghiên cứu vào việc tạo sản phẩm ứng dụng vào thực tế: đặt hệ thống cửa nhận diện khn mặt phịng trung tâm liệu, phòng học, phòng họp, nơi cần đảm bảo an ninh 41 TÀI LIỆU THAM KHẢO [1] Huang, Hantao, Khalid, Rai Suleman, Liu, Wenye, Yu, Hao, „A Fast Online Sequential Learning Accelerator for IoT Network Intrusion Detection,” 2017 [Online] Available: http://libgen.io/scimag/index.php?s=A%20Fast%20Online%20Sequential%20L earning%20Accelerator%20for%20IoT%20Network%20Intrusion%20Detectio n [Geopend 25 04 2018] [2] Lê Hoàng, „Vnreview,” 19 03 2014 [Online] Available: https://vnreview.vn/tintuc-khoa-hoc-cong-nghe/-/view_content/content/1009561/facebook-co-congnghe-nhan-dien-khuon-mat-nhu-mat-nguoi [Geopend 07 10 2018] [3] Kaipeng Zhang, Zhanpeng Zhang, Zhifeng Li, Yu Qiao, „Joint Face Detection and Alignment using Multi-task Cascaded Convolutional Networks, IEEE Signal Processing Letters (SPL),” 2016 [Online] Available: https://kpzhang93.github.io/MTCNN_face_detection_alignment/index.html [Geopend 25 05 2018] [4] Yaniv Taigman, Ming Yang, Marc’Aurelio Ranzato, Lior Wolf, „DeepFace: Closing the Gap to Human-Level Performance in Face Verification,” 2014 [Online] Available: https://research.fb.com/publications/deepface-closing-thegap-to-human-level-performance-in-face-verification/ [Geopend 20 05 2018] [5] Nguyễn Thảo, „Sản phẩm nhận diện khuôn mặt xác 96% sinh viên,” 17 12 2017 [Online] Available: http://vietnamnet.vn/vn/giao-duc/guong-mattre/he-thong-nhan-dang-khuon-mat-bkface-418248.html [Geopend 01 11 2018] [6] Nam Phong, „Sinh viên FPT sáng tạo hệ thống điểm danh qua nhận dạng khuôn mặt,” 26 05 2018 [Online] Available: https://techinsight.com.vn/sinh-vien-fptsang-tao-he-thong-diem-danh-qua-nhan-dang-khuon-mat/ [Geopend 05 11 2018] [7] Yiting Sun, „Meet the Company That’s Using Face Recognition to Reshape China’s Tech Scene,” MIT Technology Review, 08 2017 [Online] Available: https://www.technologyreview.com/s/608598/when-a-face-is-worth-a-billiondollars/ [Geopend 20 10 2018] [8] Mai Anh, „Chng cửa thơng minh nhận diện khuôn mặt,” VnExpress, 21 09 2017 [Online] Available: https://sohoa.vnexpress.net/tin-tuc/dien-tu-giadung/chuong-cua-thong-minh-co-the-nhan-dien-khuon-mat-3644830.html [Geopend 20 06 2018] [9] RaspberryPi Việt Nam, „Những ứng dụng tuyệt vời từ Raspberry Pi,” 2017 [Online] Available: https://raspberrypi.vn/tin-tuc/nhung-ung-dung-tuyet-voi-turaspberry-pi-248.pi [Geopend 07 10 2018] 42 [10] raspberyypi.org, „Raspberry Pi Model B+,” [Online] Available: https://www.raspberrypi.org/products/raspberry-pi-3-model-b-plus/ [Geopend 01 10 2018] [11] ]Masato Sudo, „Windows IoT Facial Recognition Door,” 2015 [Online] Available: https://github.com/ms-iot/Facial-Recognition-Door [Geopend 10 05 2018] ... với tảng cộng nghệ IoT, tác giả mong muốn thực đề tài với tên là: ? ?Xây dựng hệ thống xác thực khuôn mặt ứng dụng Face API vào hệ thống trung tâm liệu? ?? Windows 10 IoT Core Face API ? Sẽ trình bày... CÔNG NGHỆ THÔNG TIN - - BÁO CÁO NGHIÊN CỨU KHOA HỌC              ĐỀ TÀI: XÂY DỰNG HỆ THỐNG XÁC THỰC KHUÔN MẶT ỨNG DỤNG FACE API VÀO HỆ THỐNG TRUNG TÂM DỮ LIỆU Sinh viên thực. .. cứu đề tài ? ?Xây dựng hệ thống xác thực khuôn mặt ứng dụng Face API vào hệ thống trung tâm liệu? ??, tác giả đạt số kết sau:  Nắm thông số kĩ thuật Raspberry Pi Model B+, hiểu thao tác hệ điều hành