TÌM HIỂU ARCORE và xây DỰNG ỨNG DỤNG mô PHỎNG MAKEUP

ĐẠI HỌC QUỐC GIA TP HỒ CHÍ MINH TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN KHOA CÔNG NGHỆ PHẦN MỀM - Đồ án TÌM HIỂU ARCORE VÀ XÂY DỰNG ỨNG DỤNG MÔ PHỎNG MAKEUP Giảng viên hướng dẫn: ThS Nguyễn Công Hoan Sinh viên thực 18521279 Trần Thị Hà Phương 18520265 Lê Thị Hồng Diệu TPHCM, tháng năm 2021 Lời cảm ơn Đầu tiên, nhóm chúng em xin gửi lời cảm ơn đến tập thể quý thầy cô Trường Đại học Công nghệ Thông tin – Đại học Quốc gia Thành phố Hồ Chí Minh q thầy Khoa Cơng nghệ Phần mềm giúp chúng em có kiến thức tảng để thực đề tài Nhóm chúng em xin gửi lời cảm ơn tới thầy Nguyễn Cơng Hoan, người trực tiếp hướng dẫn nhóm thực đồ án, hướng dẫn tận tình đóng góp nhiều ý kiến q báu giúp chúng em hồn thành tốt báo cáo Trong thời gian thực đề tài, nhóm vận dụng kiến thức tảng tích lũy đồng thời kết hợp với việc học hỏi tiếp thu kiến thức Chúng em cố gắng vận dụng thu thập để hoàn thành đồ án tốt Tuy nhiên, q trình thực hiện, khơng tránh khỏi thiếu sót, chúng em mong nhận thơng cảm góp ý chân thành từ thầy Nhóm chúng em xin trân trọng cảm ơn Nhận xét giảng viên MỤC LỤC GIỚI THIỆU Giới thiệu chung Lý chọn đề tài Tìm hiểu AR ARCORE I Về AR (Augmented Reality) a AR gì? b Ứng dụng AR sống c Sự khác AR VR 10 d Ưu nhược điểm AR 10 e Các xu hướng phát triển AR tương lai 11 Về ARCore 12 a Tổng quan 12 b Các thiết bị hỗ trợ 12 c ARCore hoạt động nào? 12 d Tại lại chọn ARCore? 13 Một số công nghệ ARCore 14 a API độ sâu ARCore 14 b Công nghệ post-capture AR 16 c Công nghệ Augmented Faces 17 d Công nghệ Augmented Images 18 II Xây dựng ứng dụng mô makeup 18 Phát biểu toán 18 Khảo sát trạng 19 a Hiện trạng tin học 19 b Hiện trạng tổ chức: Không có 19 c Hiện trạng nghiệp vụ 19 3 Yêu cầu 20 Danh sách chức 22 a Chức truy cập camera 23 b Chức truy cập album 24 c Chức thay đổi độ sáng camera 25 d Chức trang điểm toàn 26 e Chức trang điểm phần 27 f Chức chụp hình 28 g Chức lưu hình 29 Phân tích 30 a Sơ đồ Use-case 30 Thiết kế 39 a Thiết kế kiến trúc 39 b Thiết kế giao diện 41 Xây dựng ứng dụng 46 a Chuẩn bị material 46 b Sử dụng material 48 c Đổi màu camera Universal Render Pipeline (URP) Post processing 49 Kiểm thử 50 III Kết luận 51 Môi trường phát triển môi trường triển khai 51 Kết thu 51 Khó khăn 53 Hướng phát triển 54 THAM KHẢO 55 GIỚI THIỆU Giới thiệu chung Công nghệ AR (Augmented Reality – Thực tế tăng cường) công nghệ phát triển mạnh mẽ gần Đa phần ứng dụng AR tích hợp di động AR công nghệ cho phép lồng ghép thông tin ảo vào giới thực, giúp người sử dụng tương tác với nội dung ảo thực tại, ví dụ như: chụp ảnh gắn kính, mũ, hiệu ứng vào Một số ứng dụng AR tiếng như: sốt trò chơi Pokemon Go năm 2016, tool chụp ảnh ứng dụng AR để gắn kính, mũ, tai thỏ message, snapchat, Lý chọn đề tài Với đề tài ứng dụng ARCore xây dựng ứng dụng makeup, chúng em muốn giúp người sử dụng có ảnh đẹp mà khơng cần tốn nhiều thời gian, công sức để trang điểm Điều đem đến giải pháp cho doanh nghiệp lĩnh vực marketing (không cần makeup cho người mẫu) Hệ thống có khả giúp tiệm tóc/ makeup việc tư vấn cho khách hàng I Tìm hiểu AR ARCORE Về AR (Augmented Reality) a AR gì? Augmented Reality (AR) cơng nghệ tích hợp vật thể ảo vào giới thực Với công nghệ AR, ta dễ dàng nhìn thấy khủng long dạo chơi công viên, Godzilla Kong đánh mái nhà, chiến pokemon đường phố,… nhiều thứ thú vị khác b Ứng dụng AR sống Công nghệ AR sử dụng rộng rãi Công nghệ truyền thông Đa phương tiện, mơ hình 3D, hệ thống thời gian thực, AI, … nhiều mảng khác Một ví dụ đơn giản AR – tìm thấy SmartPhone nàolà máy ảnh lọc ảnh ứng dụng Messenger, bạn chụp hình trang trí thêm tai thỏ, nanh cho ảnh Một số ứng dụng AR tiêu biểu thực tế như: Gatwick airport passenger: Ứng dụng hỗ trợ hướng cho khách hàng sân bay Gatw AR map điện thoại Gatwick airport passenger đoạt giải Sáng tạo dành cho thiết bị di động năm Ứng dụng di động năm Hình 1.1: Ứng dụng Gatwick airport passenger Ikea Place: Được xây dựng công nghệ ARKit Apple Ikea Place cho phép người dùng scan phòng đặt nội thất trang trí Ứng dụng giúp khách hàng Ikea dùng thử sản phẩm trước định mua hàng Hình 1.2: Ứng dụng Ikea Place Về mặt y tế, có số ứng dụng thú vị từ việc cho phép sinh viên y khoa đào tạo môi trường AR đến khám từ xa cho phép chuyên gia y tế tương tác với bệnh nhân Trong tình quan trọng, ứng dụng AR cung cấp thông tin thời gian thực đến khu vực điều trị để hỗ trợ kế hoạch chẩn đoán, phẫu thuật điều trị Điển hình thiết bị y tế cầm tay AccuVein sử dụng công nghê AR để quét mạng lưới tĩnh mạch bệnh nhân Hình 1.3: Thiết bị AcuuVein b Thiết kế giao diện i Danh sách hình Hình 2.4: Sơ đồ luồng hoạt động giao diện 41 STT Tên hình Ý nghĩa/Ghi chú Màn hình Màn hình vào ứng dụng Màn hình thay đổi độ sáng Thay đổi màu camera Màn hình trang điểm tồn Trang điểm cho khn mặt Màn hình trang điểm Trang điểm cho khn mặt phần 42 ii Mô tả chi tiết hình Màn hình Hình 2.5: Màn hình STT Thành phần Ý nghĩa/ Ghi chú Nút chụp hình Chụp hình Nút trang điểm tồn Vào hình chọn hiệu ứng Nút đổi màu Vào hình chọn màu Nút trang điểm Vào hình chọn hiệu ứng 43 Màn hình trang điểm Hình 2.6: Màn hình trang điểm STT Thành phần Ý nghĩa/ Ghi chú Nút chụp hình Chụp hình Nút quay lại Quay hình Nút phấn má Vào hình chọn phấn má Nút kẻ mắt Vào hình chọn hiệu ứng Nút phấn mắt Vào hình chọn phấn mắt Nút xăm hình Vào hình chọn hình xăm 44 Màn hình chọn hiệu ứng/màu/trang điểm Hình 2.7: Màn hình thành phần STT Thành phần Ý nghĩa/ Ghi chú Nút chụp hình Chụp hình Nút quay lại Quay hình Các nút thành phần Các loại material tương ứng với hình 45 Xây dựng ứng dụng a Chuẩn bị material Trong ARCore, có hai phương pháp để tự tạo material khớp với khuôn mặt người dùng chạy ứng dụng: ● Dùng FBX file cho mẫu 3D: ○ FBX chứa cấu trúc liên kết mặt lưới, tọa độ kết cấu UV hệ thống vùng khuôn mặt Để đảm bảo sản phẩm tương thích với ARCore, tệp FBX nên lưu theo mẫu ARCore cung cấp ● Dùng PSD file cho mẫu 2D: ○ PSD bao gồm bốn layer: ■ Mask (màu đen): Cho biết vị trí mắt, lỗ mũi miệng texture ■ Đường kẻ (màu xanh dương, vàng, xanh lá): Chỉ đặc điểm khuôn mặt người dùng phù hợp với kết cấu thời gian chạy app ■ UVs (màu trắng): Tập tam giác lưới kết cấu mặt 468 điểm ■ Nền: Một lớp màu xám trung tính để làm cho ba thành phần cịn lại rõ ràng mặt trực quan ○ Vì chủ đề đồ án trang điểm, không cần sử dụng model 3D nên nhóm em chọn sử dụng cách để xây dựng material 46 Hình 2.8: file PSD texture khn mặt Hình 2.9: file PSD texture khn mặt với material tự tạo 47 Từ texture tạo psd, cho vào định dạng material Unity kết hình Hình 2.10: Material tự tạo Unity b Sử dụng material Đối với 2D face material, nhóm em sử dụng phương pháp tô lên khuôn mặt lớp màu Lớp màu đắp kín khn mặt người dùng, giãn tương ứng với cử động, biểu cảm khn mặt Hình 2.11: Lớp màu khn mặt 48 Ngồi ra, model 3D sử dụng ARCoreFaceRegion Face Region tính dành riêng cho ARCore cung cấp thông tin cho "vùng" cụ thể khn mặt phát Các vùng bao gồm lơng mày trái/phải, mũi Hình 2.12: ARCore sử sụng Face Region c Đổi màu camera Universal Render Pipeline (URP) Post processing Unity hỗ trợ hiệu ứng post-processing để tăng chất lượng AR Camera ứng dụng ví dụ như: ● Lighting ● Brightness/Contrast ● Depth of field (độ focus camera) ● Color correction 49 ● Look up table: tính đổi màu thường sử dụng app trang điểm Hình 2.13: Look up table Bảng màu gốc (bên trái) - Bảng màu chỉnh sửa (bên phải) Kiểm thử a Nền tảng hỗ trợ Hệ điều hành Android 9.0 Pie (API 28) + thiết bị phải ARCore hỗ trợ Các bước cài đặt ● Bước 1: Tải file apk ● Bước 2: Cài đặt apk ● Bước 3: Cho phép ứng dụng truy cập camera hình ảnh thiết bị b Chi tiết kiểm thử ● Thông tin thiết bị: Redmi Note Pro 64GB ● Phiên Android: Android 10 ● RAM: GB ● CPU: nhân 2.32GHz ● Kết quả: Chạy ổn định, lỗi 50 III Kết luận Mơi trường phát triển môi trường triển khai a Môi trường phát triển ● Unity: Xây dựng ứng dụng android ● Visual Studio: Viết sửa file script ● Photoshop: Tạo sửa material b Môi trường triển khai Hệ điều hành Android 9.0 Pie (API 28) + phải ARCore hỗ trợ Kết thu Github ứng dụng: https://github.com/TTph18/arcore_facemakeup Màn hình mở ứng dụng, nhóm em thêm lớp face mesh xuất người dùng mở ứng dụng, để mô tả cách ARCore nhận diện vị trí khn mặt Hình 3.1: Màn hình 51 Hình 3.2: Thêm phấn má hồng & Hình 4.3: Thêm phấn má hồng, tàng nhan phấn mắt Hình 3.3: Thêm kẻ mắt 52 Hình 3.4: Thêm son mơi & Hình 3.5: Thêm son mơi, tàng nhang sticker Khó khăn ● Mơi trường Unity cịn mẻ nhóm, nên ứng dụng cịn nhiều phần cần tối ưu ● Unity build ứng dụng thường chậm Ứng dụng trang điểm sử dụng camera trước nên q trình xây dựng khơng thể coi preview nên lần chỉnh sửa phải build lại ứng dụng để coi kết ● Project Unity nặng, project có nhiều assets, package không push lên github 53 ● ARCore hỗ trợ cho dịng điện thoại định, nhóm em có điện thoại đủ điều kiện ● Vị trí vùng khn mặt ARCore vị trí tương đối nên đưa material vào mắt môi thấy rõ khoảng bị lệch ● Camera ARCore chất lượng kém, màu chỉnh độ sáng thường không kết mong muốn Hướng phát triển ● Cho người dùng chỉnh màu son môi/má hồng theo ý muốn ● Tính chồng material cho phép người dùng tự trang điểm ● Sử dụng material động 3D để tạo hiệu ứng sống động ● Tìm cách kiểm sốt tài ngun tối ưu 54 THAM KHẢO [1] Danh sách dòng máy ARCore hỗ trợ: https://developers.google.com/ar/devices [2] Ian Zhang, Product Manager, AR & Zeina Oweis, Product Manager, AR, ‘Unlock new use cases and increase developer velocity with the latest ARCore updates’, Google Developer Blog Tại: https://developers.googleblog.com/2021/05/unlock-use-cases-and-increasedeveloper-velocity-with-new-capabilities-in-arcore.html [3] Anuj Gosalia, ‘Updates to ARCore Help You Build More Interactive & Realistic AR Experiences’, Google Developer Blog Tại: https://developers.googleblog.com/2019/05/ARCore-IO19.html [4] Tài liệu ARCore Augmented Faces tại: https://developers.google.com/ar/develop/java/augmented-faces [5] Artsiom Ablavatski & Ivan Grishchenkom, ‘Real-Time AR Self-Expression with Machine Learning’, Google AI Blog Tại: https://ai.googleblog.com/2019/03/real-time-ar-self-expression-with.html [6] Plugin Unity Native Gallery yasirkula: https://github.com/yasirkula/UnityNativeGallery [7] Plugin Unity Native Camera yasirkula: https://github.com/yasirkula/UnityNativeCamera 55 ... thực áp dụng kịp thời thay đổi Hình 1.11: Các chữ “ảo” di chuyển theo thực thể thật II Xây dựng ứng dụng mơ makeup Phát biểu tốn Tầm nhìn Áp dụng kiến thức tìm hiểu ARCore để xây dựng ứng dụng trang... ARCore a Tổng quan ARCore tảng Google sử dụng để xây dựng ứng dụng AR Với nhiều API khác nhau, ARCore cho phép điện thoại bạn khả cảm nhận môi trường, hiểu tương tác với giới thực ARCore sử dụng. .. số ứng dụng AR tiếng như: sốt trò chơi Pokemon Go năm 2016, tool chụp ảnh ứng dụng AR để gắn kính, mũ, tai thỏ message, snapchat, Lý chọn đề tài Với đề tài ứng dụng ARCore xây dựng ứng dụng makeup,