Khóa luận tốt nghiệp Khoa học máy tính: Ứng dụng gợi ý thiết kế nội thất sử dụng công nghệ thực tại tăng cường và phát hiện đối tượng

Về nội dung nghiên cứu: Nghiên cứu phương pháp kết hợp thực tại tăng cường với phát hiện đối tượng để hỗ trợ người dùng trong việc trang trí nội thất.. Tuy nhiên, cần cải thiện thêm về p

DAI HỌC QUỐC GIA TP HO CHÍ MINH TRƯỜNG ĐẠI

HỌC CÔNG NGHỆ THONG TIN

KHOA KHOA HỌC MÁY TÍNH

DO MINH TUẦN

NGUYEN DINH QUYET

KHOA LUAN TOT NGHIEP

CỬ NHÂN NGANH KHOA HOC MAY TÍNH

TP HO CHi MINH, 2021

DAI HỌC QUOC GIA TP HO CHÍ MINH

TRUONG DAI HOC CONG NGHE THONG TIN

KHOA KHOA HOC MAY TINH

ĐỖ MINH TUAN - 16521545

NGUYEN ĐÌNH QUYẾT - 17520964

KHÓA LUẬN TỐT NGHIỆP

UNG DỤNG GOI Ý THIET KE NOI THAT SỬ

DUNG CONG NGHỆ THUC TAI TANG

CƯỜNG VA PHAT HIỆN DOI TƯỢNG

CỬ NHÂN NGANH KHOA HOC MAY TÍNH

GIANG VIEN HUGNG DAN

TS NGUYEN VINH TIEP

TP HO CHÍ MINH, 2021

DANH SÁCH HỘI ĐỒNG BẢO VỆ KHÓA LUẬN

Hội đồng chấm khóa luận tốt nghiệp, thành lập theo Quyết định số

ngày của Hiệu trưởng Trường Dai hoc Công nghệ Thong tin.

1 PGS.TS Lê Dinh Duy - Chủ tịch.

2 ThS Cáp Pham Đình Thăng - Thu ky.

3 TS Mai Tiến Dũng - Ủy viên.

ĐẠI HỌC QUỐC GIA TP HỒ CHÍ MINH CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM

TRƯỜNG ĐẠI HỌC

^ ^ = Độc Lập - Tự Do - Hanh Phúc

CÔNG NGHE THONG TIN

TP HCM, ngay thang nam

NHAN XET KHOA LUAN TOT NGHIEP

(CUA CAN BO HUGNG DAN)

Tén khóa luận:

UNG DỤNG GGI Ý THIET KE NOI THAT SỬ DỤNG

CONG NGHE THUC TAI TANG CUGNG

VA PHAT HIEN DOI TUGNG

Nhóm SV thực hiện: Cán bộ hướng dẫn:

Đỗ Minh Tuấn: 16521545 TS Nguyễn Vinh Tiệp

Nguyễn Dình Quyết: 17520964

Đánh giá Khóa luận:

1 Về cuõn báo cáo:

Số trang: G7 Số chương: 5

Số bảng số liệu: 4 Số hình vẽ: 36

Số tài liệu tham khảo: 27 Sản phẩm: 1

Một số nhận xét về hình thức cuốn báo cáo:

2 Về nội dung nghiên cứu:

Nghiên cứu phương pháp kết hợp thực tại tăng cường với phát hiện đối tượng

để hỗ trợ người dùng trong việc trang trí nội thất Tìm hiểu về công nghệ thực

tại tăng cường ARCore, công cụ phát triển game Unity và thư viện máy hoc

dành cho di động và các thiết bị nhúng Tensorflow lite Sử dụng thông tin từ

bounding box của phát hiện đối tượng tạo semantic map để xây dựng một bản

đồ điểm đại diện vật thể trong không gian 3 chiều.

3 Về chương trình ứng dụng:

Xây dựng ứng dụng trên điện thoại Android về trang trí nội thất có các chức

năng cơ bản về thực tại tăng cường như: tạo, di chuyển, xoay và xóa đồ vật ảo Ngoài ra, 4p dụng phát hiện đối tượng để hiểu thông tin ngữ nghĩa của căn

phòng và đưa ra gợi ý đồ nội thất cho người dùng Ứng dụng đã được đưa lên

Google Play Store Đánh giá của ứng dụng được lấy từ người dùng và nhận

được nhiều ý kiến đánh giá tốt về chức năng thực tại tăng cường Tuy nhiên,

cần cải thiện thêm về phần gợi ý đồ nội thất dựa trên phát hiện đối tượng để

có thể hỗ trợ người dùng nhiều hơn trong việc trang trí.

4 Về thái độ làm việc của sinh viên:

Điểm từng sinh viên:

Đỗ Minh Tuấn: /10

Nguyễn Dinh Quyết: /10

Người nhận xét

(Ký và ghi rõ họ tên)

ĐẠI HỌC QUỐC GIA TP HỒ CHÍ MINH CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM

TRƯỜNG ĐẠI HỌC

^ ^ ^ Độc Lập - Tự Do - Hạnh Phúc

CÔNG NGHE THONG TIN l

TP HCM, ngay thang năm

NHẬN XÉT KHÓA LUẬN TỐT NGHIỆP

(CỦA CÁN BỘ PHẢN BIỆN)

'Tên khóa luận:

UNG DUNG GOI Ý THIẾT KE NỘI THAT SỬ DUNG

CÔNG NGHỆ THUC TAI TANG CƯỜNG

VA PHAT HIEN DOI TUGNG

Nhóm SV thực hiện: Cán bộ phản biện:

Đỗ Minh Tuấn: 16521545 TS Mai Tiến Dũng

Nguyễn Dinh Quyết: 17520964

Đánh giá Khóa luận:

1 Về cuõn báo cáo:

Số trang: G7 Số chương: 5

Số bảng số liệu: 4 Số hình vẽ: 36

Số tài liệu tham khảo: 27 Sản phẩm: 1

Một số nhận xét về hình thức cuốn báo cáo:

Điểm từng sinh viên:

Đỗ Minh Tuấn: /10

Nguyễn Đình Quyết: /10

Người nhận xét

(Ký và ghi rõ họ tên)

LỜI CẢM ƠN

Lời đầu tiên, chúng em xin chân thành cảm ơn đội ngũ cán bộ, giáo viên,

công nhân viên trường Dai hoc Công nghệ thông tin Dac biệt là thầy Nguyễn

Vinh Tiệp đã cung cấp cho chúng em nhiều kiến thức và những bài học quý báu

để tạo điều kiện cho chúng em thực hiện khóa luận này Bên cạnh đó, chúng em

cũng cảm ơn Phòng Thi nghiệm Truyền thông Da phương tiện đã hỗ trợ chúng

em trong quá trình thực hiện khóa luận này.

Ngoài những kiến thức, kỹ năng đã tích góp được từ trước đến nay, chúng

em cũng đã cô gắng tìm hiểu thêm những kiến thức mới để hoàn thành khóa

luận này Trong quá trình thực hiện nếu có sai sót, mong thầy cô và các bạn góp

ý để chúng em có thể kịp thời sửa chữa, bổ sung Và đó cũng là hành trang để

giúp chúng em tự tin vào công việc sau này.

Xin chân thành cam ơnl

Đỗ Minh Tuấn - Nguyễn Đình Quyết

ĐẠI HỌC QUỐC GIA TP HỒ CHÍ MINH CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM

TRƯỜNG ĐẠI HỌC

^ ^ ^ Độc Lập - Tự Do - Hạnh Phúc

CÔNG NGHE THONG TIN l

DE CƯƠNG CHI TIẾT

TEN ĐỀ TAI: UNG DUNG GOI Y THIẾT KE NOI THAT SỬ

DUNG CONG NGHE THUC TAI TANG CUGNG VA PHAT

HIEN DOI TUGNG

TEN DE TAI TIENG ANH: A RECOMMENDATION TION FOR INTERIOR DESIGN USING AUGMENTED REAL- ITY AND OBJECT DETECTION

APPLICA-Cán bộ hướng dẫn: TS Nguyễn Vinh Tiệp

Thời gian thực hiện: Từ ngày /06/2020 đến ngày /01/2021

Sinh viên thực hiện:

Đỗ Minh Tuấn - 16521545 Lớp: KHMT2016.2

Nguyễn Dinh Quyết - 17520964 Lớp: KHMT2017

Nội dung đề tài:

Thực tại tăng cường (AR) là một công nghệ cho phép lồng ghép thông tin ảovào thế giới thực, được ứng dụng trong nhiều lĩnh vực như: giáo dục, giải trí,

y học, thương mại, Hiện nay, các ứng dụng AR xuất hiện ngày càng nhiều,trong đó có lĩnh vực trang trí nội thất như: IKEA Place, Houzz, Wayfair,

Nhờ ứng dụng AR trong nội thất mà người dùng có thể xem trước và thay đổi

cách bố trí cho phù hợp theo sở thích trước khi mua hàng Nhận thay đượclợi ích trên, nhóm sẽ xây dựng một ứng dụng giúp người dùng đặt thử nhữngmón đồ thông dụng trong nhà, đồng thời kết hợp với thuật toán phát hiện đối

tượng để nhận biết các đồ vật hiện có trong phòng từ đó khuyến nghị cách

bồ trí phù hợp hơn

e Mục tiêu: xây dựng ứng dụng thực tại tăng cường hỗ trợ người dùng

trong việc trang trí nội thất

e Phạm vi: ứng dụng gợi ý tự động hoặc cho phép người dùng đặt thủ công

các đồ vật ảo dựa trên hiện trạng của căn phòng

e Đối tượng: dựa trên ảnh đầu vào của các căn phòng để xác định bố cục

mặt phẳng của các đối tượng chính trong phòng như tường, trần, sàn

nhà, mặt bàn từ đó xác định các đối tượng trang trí cho phù hợp

e Phương pháp thực hiện:

1 Xác định các mặt phẳng chính trong căn phòng bao gồm: mặt sàn,

trần, tường và mặt bàn sử dụng công nghệ ARCore

2 Sử dụng thuật toán phát hiện đối tượng để xác định loại đồ vật trang

e Giai đoạn 1 (6/2020 - 9/2020): Tìm hiểu cách xác định mặt phẳng trong

ảnh và phát hiện đối tượng tương ứng trên mặt phẳng.

e Giai đoạn 2 (10/2020 - 11/2020): Xác định các mẫu thiết kế phù hợp với

căn phòng để đưa ra khuyến nghị trang trí cho phù hợp Xây dựng ứng dụng thực tại tăng cường để minh họa cho ý tưởng của hệ thống.

e Giai đoạn 3 (12/2020 - 01/2021): Viết báo cáo, đóng gói ứng dụng và lấy

ý kiến đánh giá người dùng

Phân công công việc:

Tên sinh viên Công việc

- Tìm hiểu đề tài

- Nghiên cứu và lập trình các chức năng lên quan

Đỗ Minh Tuấn đến phát hiện mặt phẳng và đối tượng trong ảnh.

- Thu thập ý kiến đánh giá của người dùng

- Viết báo cáo

2 Các công trình liên quan 9

11

22.1 Giới thiệu về Unity| 11

ỌiiaiiaaaaaáỶẳẳẢẢẮ 14

2.3 Mô hình SSD với MobileNet cho bài toán phát hiện đối tượng| 22

2.3.1 Giới thiệu bài toán phát hiện đối tượng 22

2.3.2_ Giới thiệu MobileNet| 25

5 Kết luận 62

5.1 Kết quả dat dude] Q Q TQ 62

5.2 Hướng phát triển đề tài Ặ 63

2.2.1 Công cụ phát triển game Unity| - 12

2.2.1(Minh họa việc đặt vật thể ảo lên mặt phẳng (bên trái) và các

điểm đặc trưng được thể hiện bằng các điểm nhỏ màu xanh cùng với phần mặt phẳng được thể hiện bằng lưới (bên phải)

2.3.2 Minh họa mô hình RCNN l|| 24 2.3.3 Minh họa mô hình YOLO [Sl|l 24 2.3.4 Minh họa depthwise convolution và pointwise convolution [27]} 25

2.3.5 Minh hoa kiến trúc mang SSD [öl| 28

2.3.6 SSD framework [15|) 0 00000000 02000000000 0008 29

3.3.4 Pipeline toàn bộ quá trình cải thiện mô hình phát hiện đối tượng

Danh sách bảng

2.2.1 So sánh công nghệ VR và AR HÌ

Danh mục các ký hiệu, chữ viết tắt

Ký hiệu, chữ viết tắt Tên day đủ

Tóm tắt

Ngày nay, thực tế ảo (Virtual Reality) và thực tế tăng cường (Augmented ality) đã và đang được ứng dụng ngày càng nhiều trong các lĩnh vực như quân

Re-sự, y tế, giáo dục, giải tri, Dé tài nay tập trung nghiên cứu và xây dựng ứng

dụng thực tế tăng cường kết hợp với phát hiện đối tượng để hiểu thông tin ngữ cảnh của căn phòng, hỗ trợ người dùng trong việc trang trí nội thất Ứng dụng

cho phép người dùng đặt thử các mô hình 3D đồ nội thất lên không gian căn

phòng thong qua hình ảnh thu được từ camera điện thoại Người dùng có thé

tự chọn các đồ vật hoặc sử dụng các gợi ý sắp xếp đồ có sẵn để trang trí phòng.

Trong quá trình thực hiện đề tài, chúng tôi đã tìm hiểu một số công nghệ như: Unity để xây dựng ứng dụng trên điện thoại, Google ARCore hỗ trợ phat hiện mặt phẳng và đặt các mô hình 3D Ngoài ra, chúng tôi còn áp dụng bài toán phát hiện đối tượng để hiểu thông tin căn phòng từ đó đưa ra những gợi ý

phù hợp trong việc trang trí nội thất.

Chương 1

Tổng quan

1.1 Giới thiệu đề tài

Nhà không chỉ là nơi để ở mà còn là nơi để mỗi người tận hưởng cuộc sống,

tận hưởng khoảng thời gian được tự do Vì vậy ngày càng có nhiều người quan

tâm đến việc chọn nhà và đồ nội thất trang trí sao cho phù hợp để có được một

ngôi nha vừa tiện nghi vừa mang lại cẩm giác thoải mái Có rất nhiều phong

cách thiết kế nhà từ cổ điển đến hiện đại, theo hướng phương Tây hay phương

Đông; mỗi phong cách đều có đồ nội thất tương ứng Những đồ nội thất nàyđược con người quan tâm đến từng chất liệu tạo thành, đảm bảo mang lại cảm

giác thoải mái, tiện nghi cho người sử dụng Do đó chúng có nhiều kiểu dáng

cũng như màu sắc khác nhau Ví dụ như sofa phải êm và bền, ghế thì phải đáp

ứng cho các mục đích như ngồi uống café hay làm việc, đèn phải đủ sáng và có

nhiều kiểu dáng, màu sắc Hình [1.1.1] va Hình [1.1.2] minh họa một số loại sofa,

ghế và đèn

Hành 1.1.1 Minh họa các loại soƒa

Hình 1.1.2 Minh họa các loại ghế (bên trái) va đờn trên trần nhà (bên phải)

Chính vì sự đa dạng của các loại đồ trang trí mà khách hàng sẽ gặp nhiều khókhăn trong việc lựa chọn đồ nội thất phù hợp với căn phòng Một đồ nội thấtphù hợp phải đáp ứng đủ các tiêu chí từ màu sắc đến kích thước và cả mục đích

sử dụng Tuy nhiên, việc di chuyển các đồ nội thất làm mất nhiều thời gian và công sức, chưa kể đến việc đồ nội thất có kích thước lớn và không phù hợp với

vị trí đã chọn Công nghệ thực tại tăng cường (Augmented Reality) giúp lồngghép thông tin ảo vào thế giới thực là một trong những sự hỗ trợ lớn cho con

người trong việc trang trí nội thất Người dùng có thể đặt thử các mô hình 3D

đồ nội thất lên không gian căn phòng để chọn màu sắc, kiểu dáng và vị trí sao

cho phù hợp Ngay càng có nhiều ứng dung AR trong trang trí nội thất trên các

thiết bị điện thoại, máy tính bảng (Hình 1.1.3) được phát triển giúp con người

đặt các mô hình 3D đồ nội thất lên không gian trong căn phòng

Hình 1.1.8 Minh hoa sử dụng AR trong trang trí nội thái L}

Tuy nhiên, các ứng dụng AR trong trang trí nội thất hiện nay chỉ giúp người

dùng đặt thử đồ nội thất một cách thủ công trong khi việc chọn lựa và tìm vị

trí phù hợp cho đồ vật lại tốn khá nhiều thời gian cho người dùng Trong khi

đó, việc lựa chọn đồ nội thất trang trí thường dựa trên cấu trúc hiện tại của căn

phòng và các đồ vật hiện có Dù mỗi người có một phong cách trang trí nhưng

luôn có những đồ vật sẽ đi kèm với nhau Hình[1.1.4|minh họa một số kiểu trang

trí nội thất Chúng tôi đã nhận ra một số quy luật trong việc trang trí dựa trên

việc tìm hiểu các cách trang trí dựa trên từng loại đồ vật như:

e Sofa: trước sofa là bàn và đối diện là tủ tivi

e Bàn: xung quanh bàn có thể đặt một cái ghế để ngồi làm việc hoặc nhiều

chế để làm bàn ăn, tùy theo từng loại bàn.

e Tranh: thường được treo trên những bức tường có nhiều không gian trống.

e Tủ quần áo, tủ sách: thường được đặt sát tường.

Dựa trên những quy luật đó, chúng tôi nhận ra là ta có thể đưa ra gợi ý cho

người dùng dựa trên cấu trúc căn phòng và những đồ nội thất hiện có Chính

vì vậy, chúng tôi đề xuất xây dựng một ứng dụng hỗ trợ trang trí nội thất một

cách tự động thông qua việc hiểu thông tin ngữ nghĩa của căn phòng để gợi ý một số cách thiết kế nội thất cho người dùng Để xác định được những đối tượng hiện có trong phòng cũng như đạt được mục đích hiểu thông tin ngữ nghĩa của

căn phòng chúng tôi đã chọn áp dụng thuật toán phát hiện đối tượng trong đề

tài này.

1.2 M6 tả bài toán

Bài toán chính sẽ bao gồm việc phát hiện mặt phẳng và đối tượng trong hình

ảnh thu được sau đó đặt mô hình 3D lên hình ảnh Hình mô tả đầu vào

và đầu ra của bài toán Cụ thể hơn, bài toán có đầu vào và đầu ra như sau:

e Dầu vào: Hình ảnh của căn phòng thu được từ camera điện thoại

e Dầu ra: Hình ảnh căn phòng đã được trang trí thêm một số mô hình 3D đồ

nội thất

AR + Phát

hiện đối

tượng

Hình 1.2.1 Mô tả bài toán

1.3 Pham vi và mục tiêu dé tài

1.3.1 Pham vi dé tai

Chúng tôi xây dung ứng dung với hai chức năng chính sau:

e Cho phép người dùng đặt thủ công các đồ vật ảo lên căn phòng.

e Dựa trên hiện trạng về các đồ vật có trong căn phòng, gợi ý tự động một

số cách trang trí phù hợp với căn phòng

1.3.2 Mục tiêu đề tài

Mục tiêu của khóa luận là xây dựng ứng dụng thực tại tăng cường trong trang

trí nội thất có kết hợp phát hiện đối tượng để hiểu yếu tố thông tin về mặt ngữ

cảnh của căn phòng.

1.4 Thách thức của dé tài

Một số thách thức của đề tài:

e Khả năng phát hiện mặt phẳng còn phụ thuộc vào ARCore, hoạt động

không tốt trong môi trường thiếu sáng hoặc ít hoa văn

e Tìm một thuật toán chuyển đổi thông tin 2D từ phát hiện đối tượng sang

thông tin 3D là điểm đại diện đối tượng.

1.5 Dong góp của đề tài

Một số đóng góp của khóa luận:

e Tạo được một ứng dụng trang trí nội thất với đầy đủ chức năng cơ bản về

tương tác đồ vật 3D

e Kết hợp mô hình phát hiện đối tượng vào ứng dụng thực tại tăng cường.

Cài đặt thuật toán tạo bản đồ điểm 3D đại diện cho đồ vật dựa vào phát

hiện đối tượng

1.6 Câu trúc luận văn

Khóa luận có bố cục bao gồm 5 chương:

e Chương 1 — Tổng quan: Giới thiệu tổng quan về bài toán, mục tiêu của

đề tài và các đóng góp chính của luận văn

e Chương 2 — Cac công trình liên quan: Trình bày các ứng dụng tương

tự, các kiến thức nền tảng và hướng tiếp cận đề tài

e Chương 3 - Ứng dụng gợi ý thiết kế nội thất: Mô tả chỉ tiết về ứng

dụng và giải quyết bài toán đã đặt ra

7

e Chương 4 — Thực nghiệm và đánh giá: Trình bày một số đánh giá thực

nghiệm dựa trên những khảo sát đã thu thập.

e Chương 5 — Kết luận: Trình bày kết quả đạt được sau khi xây dựng ứng

dụng và hướng phát triển trong tương lai.

Chương 2

Các công trình liên quan

2.1 Khảo sát các ứng dụng tương tự

Các ứng dụng AR trong trang trí nội thất được phát triển trên nhiều thiết bị

từ máy tính bảng đến điện thoại phù hợp với các nền tang từ iOS đến Android.Trong khóa luận này do xây dựng ứng dụng trên thiết bị điện thoại với nền tảng

Android nên chúng tôi đã tìm hiểu các ứng dụng AR trong trang trí nội thất

với điều kiện tương tự Các ứng dụng này được chia thành hai loại:

e Ứng dụng dùng để trang trí nội thất:

AR Home Designer

Hình 2.1.1 Minh họa viéc đặt đồ trong ting dung AR Home Designer

Homestyler

Hình 2.1.2 Minh họa tiệc đặt đồ trong ứng dụng Homestyler

Hình [2.1.1] và [2.1.9] lần lượt minh hoa cho hai ứng dung AR Home Designer

và Homestyler Hai ứng dụng này đều cho phép người dùng chọn và đặt nhiều

mô hình 3D của đồ nội thất lên không gian trong căn phòng Tuy nhiên số lượng

mô hình khá ít nên không có nhiều màu sắc, kiểu dáng cho người dùng lựa chọn

e Ứng dụng dùng để bán đồ nội thất:

Hình và lần lượt minh họa cho hai ứng dụng Houzz và ARize Haiứng dụng này cũng có chức năng đặt mô hình đồ nội thất 3D trong căn phòng

tương tự như hai ứng dụng trên Ngoài ra, do mục dich chủ yếu là để bán đồ nội

thất nên hai ứng dụng này còn cung cấp thêm thông tin giá của đồ được chọn

10

Houzz ARize

Hình 2.1.8 Minh hoa viéc đặt Hành 2.1.4 Minh hoa viéc đặt

đồ trong ứng dung Houzz đồ trong ứng dung ARize

Qua tìm hiểu và sử dung, chúng tôi thấy các ứng dung này đều có những chức năng cơ bản như: phát hiện mặt phẳng, cho phép đặt mô hình 3D đồ nội

thất, di chuyển và xoay Tuy nhiên các ứng dụng dùng để bán đồ nội thất chỉ cho phép chọn và đặt một đồ vật lên không gian trong khi ứng dụng dùng để

trang trí nội thất cho phép đặt nhiều đồ vật lên không gian cùng lúc Ngoài ra,các ứng dụng này chỉ sử dụng AR đơn thuần mà không áp dụng thêm các môhình học sâu hoặc các thuật toán khác Chính vì vậy, chúng tôi muốn xây dựng

một ứng dụng AR kết hợp với mô hình học sâu cho bài toán phát hiện đối tượng

để hiểu ngữ nghĩa của căn phòng và đưa ra gợi ý cho người dùng.

2.2 Tổng quan về Framework Unity và ARCore

2.2.1 Giới thiệu về Unity

Unity là một công cụ phát triển game đa nền tảng được phát triển bởi Unity Technologies Unity có thể chạy trên hệ điều hành Windows và Mac OS X Sản phẩm tạo ra từ Unity có thể chạy trên hầu hết các nền tảng Windows, Mac, Linux, iOS, Android Bên cạnh đó, Unity có khả năng phát triển game nền web

11

hỗ trợ hầu hết các trình duyệt chính Unity cung cấp công cụ dựng hình cho cả

hình ảnh 2D hoặc 3D, các công cụ vật lý (bao gồm tính toán và phát hiện va

cham), âm thanh, hình ảnh động, trí tuệ nhân tạo, tạo dòng dit liệu xử lý, quản

lý bộ nhớ, Nhờ đó, việc làm game cũng như tạo các ứng dụng trở nên đơn

giản hơn Các ứng dụng được tạo từ Unity có thể dễ dàng chuyển đổi sang các

hệ điều hành khác

Đối tượng hướng đến của Unity là cả các lập trình viên không chuyên và các

studio chuyên nghiệp, do vậy nó được thiết kế cho dễ sử dụng Unity cung cấpmột hệ thống toàn diện cho các công cụ từ thiết kế, soạn thảo mã nguồn, xâydựng công cụ tự động hóa đến trình sửa lỗi Công cụ này cho phép người dùng

xây dựng các phần plugin để gắn vào editor đồng thời cung cấp tính năng xem trước, cho phép nhà phát triển vừa kiểm lỗi, vừa thiết kế Ngôn ngữ lập trình

sử dụng trong Unity là C#.

unit

Hình 2.2.1 Công cu phát triển game Unity

12

Unity cho phép sử dụng mô hình từ các phần mềm đồ họa 3D nổi tiếng như:

Maya, Blender, Assets Store của Unity cung cấp một lượng lớn các model 3D

để hỗ trợ cho những người lập trình trong việc làm game cũng như các ứng

dụng Hình minh họa một số mô hình 3D đồ nội thất và Hình minhhoa một số mô hình 3D được sử dung trong game có trên Assets Store Ngoài

ra, Assets Store cũng có rất nhiều thư viện, plugin (miễn phí hoặc có phí) hỗ

trợ rất tốt cho các lập trình viên

Thttps:/ /assetstore.unity.com/packages/3d/props/furniture/toon-furniture-88740

15

Bảng 2.2.1 So sánh công nghệ VR va AR

Yêu tố so sánh Virtual Reality Augmented Reality

Thiết bị đi kèm Sử dụng kính thực tế ảo Không cần kính hỗ trợ

„ : Là thế giới ảo 100% nên chỉ | Dễ áp dụng vào thực tếKhả năng ấp dụng

` 2 phù hợp áp dụng ở các mang | do sử dung bối cảnh

vào thực tê

trải nghiệm, giải trí bên ngoài

Ít phổ biến do yêu cầu phải ee os

; P ` om ° ven “oh at Pho bién hon do chi can

Mức độ phổ biến coP an cung may tín " có điện thoại thông minh

Thực tại tăng cường - Augmented Reality (AR) là một công nghệ cho phép

người dùng nhìn thế giới thực với các đối tượng ảo được đặt chồng lên hoặc kếthợp với thế giới thực Các đối tượng ảo sẽ được tạo ra bởi hệ thống máy tính.Một hệ thống áp dụng công nghệ AR phải đáp ứng được 3 tính năng cơ bản:

e Phải kết hợp thế giới ảo vào thế giới thực.

e Dap ứng thời gian thực (real-time).

e Thể hiện một cách tự nhiên nhất các đối tượng ảo khi đặt chúng cạnh các

đối tượng ở thế giới thực

Khác với thực tại ảo (VR), khi mà người dùng hoàn toàn đấm chìm vào môi

trường ảo, thì với AR, người dùng vẫn còn nhận thức về thế giới thực (Hình

(2.2.4) Một số ứng dung AR còn cho phép người dùng tương tác trực tiếp với

đối tượng ảo ở bên ngoài thế giới thực, điều này khiến các ứng dụng AR trở nên

đa dạng và thú vị hơn.

AR được ứng dụng ở nhiều lĩnh vực, những ứng dụng đầu tiên là trong quân

sự, công nghiệp và y tế Từ năm 2012, công nghệ AR được mở rộng qua các lĩnh

#https:/

/assetstore.unity.com/packages/3d/environments/urban/cartoon-low-poly-city-pack-165358

#https://wikimobi.vn/ar-va-vr-la-gi-cach-ma-hai-khai-niem-nay-dang-thay-doi-the-gioi/

14

Hành 2.2.4 So sánh giữa Virtual Reality va Augmented Reality |

vực giải tri và thương mại Tới năm 2016, với su phát triển của các thiết bi cầm

tay, AR trở nên hữu ích khi ứng dụng vào giáo dục.

Quân sự Ngành quân sự luôn đi đầu trong việc sử dụng những tiến bộ công

nghệ mới nổi cho mục đích huấn luyện và tăng cường chiến đấu Quân đội đã

thực hiện công nghệ phủ sóng thời gian thực cho các phi công lái máy bay chiếnđấu của họ Tất cả các thông tin quan trọng (dữ liệu định hướng không gian,

nhắm mục tiêu, v.v.) được đặt lên trên tấm che của phi công, vì vậy họ khôngphải nhìn xuống bảng điều khiển của họ mọi lúc và nhận thức tình huống tốt

hơn nhiều Hình minh họa công nghệ AR được ứng dụng trong quân đội

*https://onetech.vn/blog/quan-doi-my-se-ung-dung-cong-nghe-ar-hololens-thuc-chien-nam-2021-9564

15

Hành 2.2.5 AR trong quân suff

Y tế Những doi mới trong công nghệ AR đã giúp cho việc chẩn đoán, phẫu thuật cũng như chữa trị bệnh nhân được chuẩn xác hơn Công nghệ AR còn

giúp mô hình hóa các bộ phận bên trong cơ thể, phát hiện khối u và xác định vị

trí của no giúp cho việc thực hành của các bác sĩ phẫu thuật trở nên thuận

tiện hơn Hình [2.2.6] minh họa công nghệ AR được ứng dụng trong y tế.

Shttps:/ /tourzy.vn/chia-se/chua-benh-bang-thuc-te-tang-cuong-ar

16

Giáo dục Với công nghệ phát triển ngày càng hiện đại, việc học tập trên

lớp học trải qua những thay đổi chóng mặt từ phương pháp đến cách thức Nao

bộ con người xử lý hình ảnh nhanh hơn nhiều so với các phương tiện khác như

văn bản hay ký tự số, đó là lý do mà thực tại tăng cường khiến cho môn học

trở nên thú vị và dễ hình dung hơn bao giờ hết Hinh [2.2.7] minh hoa công nghệ

AR được ứng dụng trong giáo dục.

Giải trí Bên cạnh những ứng dụng trong y tế, giáo dục, quân su, AR được

áp dụng nhiều trong ngành giải trí Trong số các trò chơi áp dụng công nghệ AR,

nổi tiếng nhất vẫn là Pokémon GO (Hình 2.2.8), trò chơi được cho ra mắt trên

toàn cầu vào tháng 7 năm 2016 Nó nhanh chóng trở thành một trong nhữngứng dụng được sử dụng nhiều nhất trên điện thoại ngay sau khi ra mắt, vượtqua cả kỷ lục trước đó được Candy Crush Saga nắm giữ Pokémon GO nhanhchóng trở thành nguồn lợi to lớn cho Nintendo - công ty sở hữu The Pokémon

Company.

Shttp://firecoals.com/Dich-vu

17

Trang trí nội thất Việc ứng dụng AR trong lĩnh vực trang trí nội thất có thể giúp người dùng có nhiều trải nghiệm thú vị Họ có thể trải nghiệm trước

không gian ngay cả khi nó chưa tồn tại Ngoài ra, các ứng dụng này còn hỗ trợ

nhiều trong việc kinh doanh nội thất online Hình [2.2.9] minh hoa AR được ứng

dụng trong trang trí nội that

Giới thiệu ARCore

ARCorel6| là một nền tảng của Google dùng để trải nghiệm thực tế ảo tăng cường ARCore sử dụng các API khác nhau, giúp điện thoại có thể cảm nhận

được môi trường xung quanh, hiểu được thế giới thực và tương tác với các thông

tin trong thế giới thực

ARCore sử dụng 3 khả năng chính để tích hợp nội dung ảo với thế giới thực

thông qua camera điện thoại:

e Theo dõi chuyển động (Motion tracking): giúp điện thoại hiểu và theo dõi

vị trí của nó so với thế giới thực

e Hiểu môi trường (Environmental understanding): giúp điện thoại phát hiện

được kích cỡ và vị trí của tất cả các bề mặt: ngang, dọc và các góc cạnh bềmặt như mặt đất, mặt bàn hay bức tường

e Ước tính ánh sáng(Light estimation): giúp điện thoại ước lượng được điều

kiện ánh sáng của môi trường.

ARCore được thiết kế để có thể hoạt động được trên nhiều loại điện thoại

Android chạy Android 7.0 (Nougat) trở lên.Về cơ bản, ARCore sẽ làm 2 việc:

theo dõi vị trí của thiết bị khi di chuyển và xây dựng hiểu biết của nó về thế

giới thực.

19

Công nghệ theo dõi chuyển động của ARCore sử dụng camera của điện thoại

để xác định các điểm quan trọng và theo dõi các điểm đó di chuyển theo thời

gian Khi điện thoại di chuyển, ARCore sử dụng một quy trình được gọi là bản

địa hóa và ánh xạ đồng thời (Simultaneous localization and mapping - SLAM)

để hiểu sự liên quan của vị trí điện thoại và thế giới xung quanh nó SLAM là

một phương pháp được sử dụng cho các phương tiện tự hành cho phép bạn xây

dựng bản đồ và bản địa hóa phương tiện của mình trong bản đồ đó cùng một

lúc Các kỹ sư có thể sử dụng thông tin từ bản đồ để thực hiện các nhiệm vụ

như tránh chướng ngại vật và lập kế hoạch đường đi.

ARCore phát hiện các điểm đặc trưng (feature point) trong hình ảnh thu được từ camera và sử dụng chúng để tính toán sự thay đổi vị trí của điện thoại.

Thông tin hình ảnh được kết hợp với các phép do quán tính từ IMU (Inertial

measurement unit) của thiết bị để ước tính vị trí và hướng (pose) của camera

điện thoại với thế giới thực Bằng cách căn chỉnh tư thế của máy ảnh ảo hiển

thị nội dung 3D với tư thế máy ảnh của thiết bị do ARCore cung cấp mà các

nội dung ảo có thể được hiển thị từ góc nhìn chính xác Hình ảnh ảo được hiển thị có thể được phủ lên trên hình ảnh thu được từ máy ảnh của thiết bị, làm cho nó xuất hiện như một thành phần của thế giới thực ARCore có thể phát

hiện thông tin về ánh sáng của môi trường và hiệu chỉnh màu sắc của hình ảnh

camera Nhờ đó các vật thể ảo có thể được chiếu sáng với cùng điều kiện của

môi trường xunh quanh chúng, làm tăng cảm giác chân thực.

20

Hình 2.2.10 Minh họa viéc đặt vat thể ảo lên mặt phẳng (bên trái) va các điểm đặc trưng được thể hiện bằng các điểm nhỏ mau xanh cùng uới phần mặt phẳng

được thể hiện bằng lưới (bên phải)

21

ARCore sử dụng hit test để thu tọa độ tương ứng (x, y) với màn hình điện

thoại Khi thực hiện, hit test sẽ trả về một feature point, ARCore sẽ tìm kiếm

các feature point xung quanh điểm đó và sử dụng thông tin này để ước tính các

góc của bề mặt tại feature point ban đầu Sau đó, ARCore sẽ trả về một pose

tính đến góc đó Pose có thể thay đổi khi ARCore cải thiện sự hiểu biết của nó

về môi trường xunh quanh Pose này được dùng để tạo anchor giúp đặt vật thể

ảo để đảm bảo ARCore theo dõi vị tí của vật thể ảo theo thời gian Mặt phẳng

và điểm là các đối tượng đặc biệt mà ARCore theo dõi theo thời gian Các vật thể ảo có thể được gắn với các đối tượng này để đảm bảo mối quan hệ giữa chúng vẫn ổn định ngay cả khi đi chuyển thiết bị.

2.3 Mo hình SSD với MobileNet cho bài toán

phát hiện đối tượng

2.3.1 Giới thiệu bài toán phát hiện đối tượng

Phát hiện đối tượng (object detection) đề cập đến khả năng của hệ thống

máy tính và phần mềm để định vị các đối tượng trong hình ảnh và xác định

từng đối tượng Object detection đã được sử dụng rộng rãi để phát hiện khuôn

mặt, phát hiện xe, đếm số người đi bộ, hệ thống bảo mật và xe không người lái

Hình mình họa đầu vào và đầu ra của một bài toán phát hiện đối tượng.

Các phương pháp giải quyết bài toán này được chia làm hai loại: tiếp cậndựa trên máy học và tiếp cận dựa trên học sâu Đối với cách tiếp cận dựa trênmáy học, trước tiên cần phải xác định các đặc trưng từ hình ảnh bằng một số

phương pháp như: Scale-invariant feature transform (SIFT)|I6| hoặc Histogram

of oriented gradients (HOG) featureslö| Sau đó sử dụng thêm một số kỹ thuật

phân lớp như thuật toán Support vector machine (SVM) để phân loại đối tượng.

Đối với cách tiếp cận dựa trên học sâu sẽ sử dụng các mang convolution neural

network để phát hiện đối tượng Các mạng này được chia làm hai loại: mạng

hai giai đoạn và mạng một giai đoạn Một số mạng hai gia đoạn như: Region

Proposals (R-CNNIBI, Fast R-CNN[|4], Faster R-CNNI2I|, cascade R-CNNH?])

sử dung giai đoạn dau để xác định các vùng có thể có một đối tượng và giai đoạn thứ hai để phân loại các đối tượng trong khu vực đó Hình minh họa quy trình tổng quan về hệ thống phát hiện đối tượng sử dụng thuật toán RƠNN.

Các mô hình này thường mang lại kết quả phát hiện đối tượng cao nhưng tốn

nhiều thời gian và tài nguyên tính toán

Mặt khác, các mạng một giai đoạn như: Single Shot MultiBox Detector

(55D)H5], You Only Look Once (YOLO)[I8] [20] [2] tạo ra dự đoán cho

các vùng trên toàn bộ hình ảnh chỉ trên một lần truyền ảnh duy nhất SSD vàYOLO đều đưa ra dự đoán dựa trên nhiều feature map SSD sẽ tạo ra một lưới

các ô vuông gọi là grid cells trên các feature map, mỗi 6 được gọi là một cell và

từ tâm của mỗi cell xác định một tập hợp các boxes mặc định (default boxes)

để dự đoán khung hình có khả năng bao quanh vật thể Còn YOLO sẽ phân

chia hình ảnh thành một mạng lưới (7 x 7) và dự đoán xác suất có đối tượng và

điểm trung tâm của đối tượng trong mỗi ô Hình minh họa quy trình của

thuật toán phát hiện đối tượng YOLO Các mô hình này nhẹ hơn các mô hình

hai giai đoạn nhưng lại có tốc độ nhanh và độ chính xác khá cao Nhờ đó mà

có thể áp dụng các mô hình trên điện thoại di động và các thiết bị nhúng khác

trong thời gian thực Trong khóa luận này vì phải áp dụng phát hiện đối tượngtrong thời gian thực trên thiết bị điện thoại nên chúng tôi tập trung nghiên cứuphương pháp SSD[T5] dựa trên kiến trúc cơ sở của MobileNet[T]

'https://www.researchgate.net

/figure/Object-detection-in-an-example-image_ figl_ 341596604

23