Tìm hiểu ARcore và xây dựng ứng dụng mô phỏng makeup

ĐẠI HỌC QUỐC GIA THÀNH PHỐ HỒ CHÍ MINH TRƯỜNG ĐẠI HỌC CƠNG NGHỆ THƠNG TIN Tìm hiểu ARcore xây dựng ứng dụng mô makeup Môn: Đồ án Thành viên: Trần Xuân Liêm - 17520680 Giảng viên hướng dẫn: Nguyễn Công Hoan Lớp: SE122.L11.PMCL Tp Hồ Chí Minh,Tháng năm 2021 LỜI NÓI ĐẦU Lời đầu tiên, em xin bày tỏ lòng biết ơn sâu sắc đến thầy Nguyễn Công Hoan – Giảng viên hướng dẫn môn Đồ án - SE122.L11.PMCL, người đồng hành tận tình hướng dẫn cho em qua buổi thảo luận Chính nhờ giúp đỡ hết lịng thầy mà em hồn thiện được đồ án cách suôn sẻ Mặc dù kiến thức em hạn hẹp nên khơng thể tránh khỏi thiếu sót em cố gắng hoàn thiện đồ án thời hạn, hạn chế mắc lỗi Vì vậy,em mong đợi nhận ý kiến đóng góp quý báu từ thầy qua lắng nghe, tiếp thu để rút kinh nghiệm, tự sửa chữa, hoàn thiện thân tinh thần nghiêm túc, tự giác học hỏi Chân thành cảm ơn ! MỤC LỤC Giới thiệu đề tài .3 Các kiến thức/công nghệ tảng Xây dựng ứng dụng .6 3.1 Tổng quan khảo sát ứng dụng liên quan 3.2 Phân tích, thiết kế, cài đặt phần mềm 3.2.1.1 Phân tích, thiết kế yêu cầu phần mềm 3.2.2.1 Các bên liên quan – Stakeholders .7 3.2.2.2 Các actors mục tiêu 3.2.2.3 Các usecase .8 Mô tả tổng quan .8 3.2.2.3.1 Sơ đồ Use Case .9 3.2.2.3.2 Đặc tả Use Cases 3.2.2.4 Sơ đồ Sequence 13 3.2.2.4.1 Sơ đồ Sequence cho UC-1 – Cấp quyền camera 13 3.2.2.4.2 Sơ đồ Sequence cho UC-2 – Tìm kiếm gương mặt 13 3.2.2.4.3 Sơ đồ Sequence cho UC-3 – Chọn mẫu kính phù hợp với gương mặt 14 3.2.2.4.4 Sơ đồ Sequence cho UC-4 – Chụp hình sau thử kính.14 3.2.2.5 Sơ đồ Activity 14 3.2.2.5.1 Sơ đồ Activity cho UC-1 – Cấp quyền camera .14 3.2.2.5.2 Sơ đồ Activity cho UC-3 – Chọn mẫu kính phù hợp với gương mặt 14 3.2.2.5.3 Sơ đồ Activity cho UC-2 – Chụp hình .14 3.3 Các áp dụng Arcore SceneForm .15 Thiết kế Kiểm thử .15 Kết luận hướng phát triển .16 Tài liệu tham khảo .17 GIỚI THIỆU ĐỀ TÀI Tên đề tài: Phần mềm thử kính AR sử dụng công nghệ ARcore Lí chọn đề tài: Thực tế tăng cường (AR) công nghệ tiên tiến giới Đó lý cơng nghệ ứng dụng nhiều lĩnh vực đời sống với tốc độ nhanh chóng Điều khiến nhiều người chưa hiểu hết tầm quan trọng AR doanh nghiệp lợi ích mà đem lại Với phần mềm thử kính AR, em đem đến giải pháp cho người dùng mong muốn thử nhiều loại kính khác để chọn thích hợp với nhất, đồng thời giải pháp cho doanh nghiệp khách hàng họ thử qua sản phẩm trực tiếp mà không cần phải đến cửa hàng, điều giúp cải thiện trải nghiệm mua sắm khách hàng, tăng doanh thu cửa hàng Tổng quan vấn đề chính:  Bài tốn: Sử dụng cơng nghệ ARCore google để thiết kế phần mềm có tính ứng dụng sống cho xã hội  Giới hạn/phạm vi: Trang thiết bị trình xây dựng phần mềm, nguồn tài liệu tham khảo  Các nội dung nghiên cứu/thực hiện: Nghiên cứu quy trình nghiệp vụ áp dụng cơng nghệ AR công nghệ liên quan khác để triển khai phần mềm hoàn chỉnh  Kết hướng tới: Một phần mềm có giá trị sử dụng triển khai CÁC KIẾN THỨC/CÔNG NGHỆ NỀN TẢNG ARcore Introduction ARCore tảng Google dùng để trải nghiệm thực tế ảo tăng cường ARCore sử dụng API khác nhau, giúp điện thoại bạn cảm nhận mơi trường xung quanh, hiểu giới thực tương tác với thông tin giới thực Một số API có sẵn Android iOS phép chia sẻ trải nghiệm AR ARCore sử dụng khả để tích hợp nội dung ảo với giới thực thông qua camera điện thoại:  Motion tracking giúp điện thoại hiểu theo dõi vị trí so với giới thực  Environmental understanding giúp điện thoại phát kích cỡ vị trí tất bề mặt: ngang, dọc góc cạnh bề mặt mặt đất, mặt bàn hay tường  Light estimation giúp điện thoại ước lượng điều kiện ánh sáng môi trường ARcore ARcore thư viện giúp Developer tích hợp AR vơ phần mềm Vì thư viện open source nên khơng có chức cụ thể mà có chức đa dụng để triển khai AR tảng khác Các tính mà ARcore cung cấp cho developer:  Anchor: Khi ARcore update mơi trường xung quanh object có hiệu ứng trôi anchor giúp giữ object chỗ vị trí tương giới tại.Chúng ta dùng anchor để đảm bảo trải nghiệm cho người dùng tính chân thật phần mềm  Camera Config: hỗ trợ Developer chỉnh sửa camera, cung cấp thông tin CPU GPU.Lớp giúp Developer điều chỉnh khả nhận biết chiều sâu camera, FPS camera,  Plane:Lớp mặt phẳng ARcore tạo để Developer sử dụng định nghĩa mặt phẳng đời thực qua Camera  Config: Cho develop khả tinh chỉnh lại hiệu khác Arcore PlaneFindingMode, UpdateMode (chỉnh sửa hành vi Session.Update()),… XÂY DỰNG ỨNG DỤNG 3.1 Tổng quan khảo sát ứng dụng liên quan 3.1.1 Khảo sát Chplay, Appstore  Một số phần mềm dùng để khảo sát gồm có rounz, GlassOn Tuy nhiên phần mềm lại người dùng biết đến sử dụng 3.2 Phân tích, thiết kế, cài đặt phần mềm 3.2.1.1 Phân tích, thiết kế yêu cầu phần mềm 3.2.1.2 Yêu cầu chức Yêu cầu REQ-1 REQ-2 REQ-3 Trọng số ưu tiên Mô tả Phần mềm cho phép khách hàng thay đổi nhiều mẫu kính khác Phần mềm cho phép khách hàng phát gương mặt để áp dụng mẫu kính Phần mềm cho phép khách hàng chụp lại hình sau thiết kế 3.2.1.3 Yêu cầu phi chức Yêu cầu REQ-4 REQ-5 Trọng số ưu tiên Mô tả Người dùng cần có thiết bị tương thích với AR Người dùng phải có mạng để tải phần mềm từ CHplay 3.2.1.4 Yêu cầu giao diện Yêu cầu REQ-6 REQ-7 Trọng số ưu tiên Mô tả Phần mềm có nút để đổi sang mẫu kính khác Phần mềm phải có nút chụp lại hình thiết kế Đặc tả yêu cầu phần mềm 3.2.2.1 Các bên liên quan – Stakeholders Các bên liên quan (stakeholders) người có liên quan ảnh hướng tới yếu tố hình thành nên dự án Các bên liên quan đến đề tài bao gồm:  Người dùng 3.2.2.2 Các actors mục tiêu Actors Mục tiêu Use cases Người dùng Bật phần mềm cấp quyền camera UC-1 Người dùng Tìm kiếm gương mặt người dùng UC-2 Người dùng Chọn mẫu kính phù hợp với gương mặt UC-3 Người dùng Chụp hình sau thử kính UC-4 3.2.2.3 Các usecase Mơ tả tổng quan      UC-1: Cấp quyền camera – bắt đầu sử dụng phần mềm UC-2: Tìm kiếm gương mặt người dùng UC-3: Chọn mẫu kính phù hợp với gương mặt UC-4: Chụp hình sau thử kính 3.2.2.3.1 Sơ đồ Use Case 3.2.2.3.2 Đặc tả Use Cases Use case “Cấp quyền camera” Tên Use Case UC-1: Cấp quyền camera Tóm tắt Chức cấp quyền camera Dòng kiện chính Phần mềm hiển thị popup đòi quyền camera Người dùng chấp nhận cho quyền camera Phần mềm kiểm tra chạy chương trình 10 (Dịng kiện khác: Khơng cho quyền camera) Phần mềm khơng hoạt động Dịng kiện khác Không cho quyền camera Các yêu cầu đặc biệt Khơng có Trạng thái Phần mềm trước thực thiện use case Actor: Người dùng Trạng thái Phần mềm sau thực use case Người dùng cho phép quyền tiến hành sử dụng phần mềm Phần mềm hiển thị lỗi đòi lại quyền Điều kiện: khơng có Use case “Tìm kiếm gương mặt” Tên Use Case UC-2: Tìm kiếm gương mặt Tóm tắt Chức Tìm kiếm gương mặt Dịng kiện chính Phần mềm quét gương mặt người dùng Phần mềm phát gương mặt người dùng Phần mềm áp dụng mẫu kính chọn lên gương mặt người dùng Dịng kiện khác 1.: Khơng kiếm gương mặt: Phần mềm khơng áp dụng mẫu kính Các u cầu đặc biệt Khơng có Trạng thái Phần mềm trước thực thiện use case Actor: Người dùng Trạng thái Phần mềm sau thực use case Phát gương mặt áp dụng mẫu kính chọn Điều kiện: cấp quyền camera 11 Use case “Chọn mẫu kính phù hợp với gương mặt” Tên Use Case UC-3: Thay đổi mẫu kính Tóm tắt Khách hàng thay đổi mẫu kính để lựa chọn mẫu mà u thích Dịng kiện chính Người dùng chọn mẫu kính muốn thử Người dùng tiếp tục lướt qua mẫu khác Dòng kiện khác Khơng có Các u cầu đặc biệt Khơng có Trạng thái Phần mềm trước thực thiện use case Actor: Người dùng Trạng thái Phần mềm sau thực use case Người dùng chọn mẫu kính phù hợp với Điểm mở rộng Khơng có Điều kiện: Khơng có Use case “Chụp hình sau thử kính” Tên Use Case UC-4: Chụp hình sau thử kính Tóm tắt Khách hàng chụp hình sau thử mẫu kính thích Dòng kiện chính Khách hàng bấm nút chụp hình Phần mềm chụp hình lưu vào máy khách hàng 3.Khách hàng xem hình chụp folder máy Dịng kiện khác Khơng có Các u cầu đặc biệt Khơng có Trạng thái Phần mềm Actor: Khách hàng trước thực thiện Điều kiện: cấp quyền use case Trạng thái Phần mềm Khách hàng chụp hình có hình sau thực use folder khách hàng 12 case Điểm mở rộng Khơng có 3.2.2.4 Sơ đồ Sequence Các sơ đồ sequence cho số Use Case quan trọng 3.2.2.4.1 Sơ đồ Sequence cho UC-1 – Cấp quyền camera 13 3.2.2.4.2 Sơ đồ Sequence cho UC-2 – Tìm kiếm gương mặt 14 3.2.2.4.3 Sơ đồ Sequence cho UC-3 – Chọn mẫu kính phù hợp với gương mặt 15 3.2.2.4.4 Sơ đồ Sequence cho UC-4 – Chụp hình sau thử kính 16 3.2.2.5 Sơ đồ Activity 3.2.2.5.1 Sơ đồ Activity cho UC-1 – Cấp quyền camera 17 3.2.2.5.2 Sơ đồ Activity cho UC-3 – Chọn mẫu kính phù hợp với gương mặt 18 3.2.2.5.3 3.3 Sơ đồ Activity cho UC-2 – Chụp hình Các áp dụng chính Arcore SceneForm 3.3.1.1 Arcore  ar.core.AugmentedFace sử dụng để xác định gương mặt cung cấp phương thức liên quan đến vùng gương mặt  core.TrackingState để mô tả trạng thái theo dõi Arcore 19  ar.core.Config giữ cài đặt sử dụng để định cấu hình session mà Config.AugmentedFaceMode 3.3.1.2 SceneForm  ar.sceneform.rendering.ModelRenderable dùng để render mơ hình 3D cách gắn vào Node với thiết lập render (setRenderable(Renderable))  ar.sceneform.rendering.Renderable lớp sở để render không gian 3D cách gắn vào Node với thiết lập render (setRenderable(Renderable))  ar.sceneform.ux.AugmentedFaceNode sử dụng để hiển thị hiệu ứng gương mặt nhờ vào tính ARCore's AugmentedFace  ar.sceneform.ux.ArFragment dùng để triển khai ArFragment Không yêu cầu thêm quyền bổ sung sử dụng cấu hình mặc định cho ARCore THIẾT KẾ KIỂM THỬ 4.1 4.2 4.3 Môi trường kiểm thử Test laptop:  Android studio 3.5.1  Windows 10  Ram 8gb, chip I7-8750H Test Mobile:  Google Pixel có hỗ trợ AR  Camera trước khơng có lỗi  Phần mềm Arcore google cài đặt máy Kết thử nghiệm  Phần mềm chạy đầy đủ chức  Thử nghiệm theo usecase hồn tồn khơng có lỗi Kết sản phẩm:  Sản phẩm tương đối đầy đủ chức chính, muốn phân phối cần phải thêm số chức tiện dụng lưu 20 mẫu kính người dùng thích, địa điểm có bán mẫu kính cho người dùng,…  UI/UX nhìn đơn giản, dễ dàng tiếp cận  Phần mềm chạy mượt hệ máy hỗ trợ Arcore google KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 5.1 Kết đạt  Học tập cách sử dụng ARcore  Học tập nguyên lý thiết kế phần mềm AR  Học tập công nghệ SceneForm để phát triển phần mềm android  Phần mềm có giá trị sử dụng kể cho người 5.1.1.1 Hạn chế  Hạn chế thời gian tìm hiểu  Khơng có teamate để tìm hiểu sâu hệ thống  Khơng có tài liệu phổ thơng, tài liệu tìm hiểu cịn hạn chế  Khơng deploy lên Chplay khơng có đủ kinh phí  Phần mềm cịn tương đối sơ sài chưa thể gọi hoàn chỉnh 5.1.1.2 Hướng phát triển  Phát triển chức phụ giúp cải thiện trải nghiệm người dùng chức có giá trị kinh doanh doanh nghiệp bán kính  Hồn thiện chức để đảm bảo chất lượng sản phẩm, tối ưu việc nhận diện gương mặt (nhận diện hai gương mặt lúc)  Thêm nhiều mẫu sản phẩm vào phần mềm TÀI LIỆU THAM KHẢO 6.1 6.2 6.3 Arcore:  https://www.developers.google.com/ar/  https://developers.google.com/ar/develop/unity/quickstart-android SceneForm:  https://developers.google.com/sceneform Khác: 21  https://stackoverflow.com/ 22 ... thiệu đề tài .3 Các kiến thức/công nghệ tảng Xây dựng ứng dụng .6 3.1 Tổng quan khảo sát ứng dụng liên quan 3.2 Phân tích, thiết kế, cài đặt phần mềm... quan vấn đề chính:  Bài toán: Sử dụng công nghệ ARCore google để thiết kế phần mềm có tính ứng dụng sống cho xã hội  Giới hạn/phạm vi: Trang thiết bị trình xây dựng phần mềm, nguồn tài liệu tham... Arcore PlaneFindingMode, UpdateMode (chỉnh sửa hành vi Session.Update()),… XÂY DỰNG ỨNG DỤNG 3.1 Tổng quan khảo sát ứng dụng liên quan 3.1.1 Khảo sát Chplay, Appstore  Một số phần mềm dùng để