BÁO CÁO CÁ NHÂN Bài tập dài nội dung số Lập trình tổng hợp đối tượng 3D

TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI VIỆN ĐIỆN TỬ - VIỄN THÔNG BÁO CÁO CÁ NHÂN Bài tập dài nội dung số Giảng viên hướng dẫn: TS Phạm Văn Tiến Sinh viên thực hiện: Nguyễn Quang Huy Mã số sinh viên: 20172608 Hà Nội, tháng 12 năm 2021 1|Page Mục Lục Chương 1: Công việc tiến hành Công việc thực 1.1 Lập trình tổng hợp đối tượng 3D .3 1.2 Gia công nhúng đối tượng 3D vào đồ .5 1.3 Lập trình điều khiển quỹ đạo chuyển động đối tượng 3D Chương 2: Kết 10 Kết 10 1.1 Lập trình tổng hợp đối tượng 3D .10 1.2 Gia công nhúng đối tượng 3D vào đồ 11 1.3 Lập trình điều khiển quỹ đạo chuyển động đối tượng 3D 12 TÀI LIỆU THAM KHẢO .13 2|Page Chương 1: Công việc tiến hành Cơng việc thực 1.1 Lập trình tổng hợp đối tượng 3D  Biên dịch cài đặt openMVG để tái tạo cấu trúc 3D từ hình ảnh Linux o Tải xuống mã nguồn cài đặt số thư viện cần thiết cho việc biên dịch openMVG o Tạo thư mục openMVG_Build máy để xây dựng mã nguồn, chạy cmake -DCMAKE_BUILD_TYPE=RELEASE /src/ để cấu hình o Chạy sudo cmake build target install để xây dựng cài đặt 3|Page  Biên dịch cài đặt PMVS kết hợp với openMVG phía để tạo đối tượng 3D hoàn chỉnh o Tải xuống mã nguồn cho Linux CMVS-PMVS o Tạo thư mục OutputLinux máy để xây dựng mã nguồn trên, chạy cmake /program sudo make install để xây dựng cài đặt  Thu thập ảnh liệu đối tượng đầu vào, sử dụng mã nguồn mở phía để tổng hợp đối tượng 3D từ ảnh đầu vào qua bước: 4|Page o Xử lý liệu hình ảnh đầu vào tạo tệp sfm_data.json - tệp mơ tả tập liệu hình ảnh sử dụng bao gồm thông số: tên ảnh, kích thước, thơng tin hiệu chuẩn máy ảnh o Tính tốn mơ tả hình ảnh (các vùng cục bộ) cho tệp sfm_data.json tạo bên lưu lại chúng o Sử dụng kết mơ tả hình ảnh vừa tính tốn sử dụng lọc để tìm “key point” tập hợp ảnh o Từ “key point” phía trên, ta có đám mây điểm mô tả cấu trúc đối tượng 3D, cuối tính tốn màu sắc cấu trúc  Chuyển đổi tệp SfM_Ouput thành dự án PMVS, kết trả đối tượng 3D hoàn chỉnh từ ảnh chụp, file output thu có định dạng ply 1.2 Gia công nhúng đối tượng 3D vào đồ 5|Page  Cài đặt phần mềm Blender để gia công đối tượng 3D đồ Blender  Sử dụng Blender để gia công đối tượng 3D tạo khu vực đồ tải o Import file định dạng 3D thu vào Blender, click -> Modeling -> chuột trái vẽ bouding box quanh phần muốn xóa -> phần chuyển thành màu cam hình -> chuột phải -> click Delete Vertices để xóa o Click chuột phải -> Set Origin -> Geometry to Origin để set đối tượng 3D vào khung hình, cơng cụ bên trái hình, chọn Rotate để xoay đối tượng phù hợp với góc nhìn o Ngồi ra, bên phải hình, có option Location, Rotation Scale, ta chỉnh sửa thông số để điều chỉnh đối tượng cho phù hợp với góc nhìn 6|Page o Gia công tương tự với đồ 3D khu vực tạo theo thao tác phía để có kết ưng ý o Sau chỉnh sửa xóa khung cảnh khơng cần thiết đối tượng, Blender hỗ trợ việc export file sau sửa thành nhiều định dạng file 3D khác 7|Page 1.3 Lập trình điều khiển quỹ đạo chuyển động đối tượng 3D  Cài đặt Unreal Engine để lập trình xây dựng chuyển động 3D từ đối tượng tạo phần Unreal Engine  Tải đối tượng 3D kèm theo animation có sẵn (chạy, nhảy…) sau add vào đồ số 3D  Tạo class kế thừa từ class Character – class liên quan đến chuyển động lại đối tượng 8|Page  Include thư viện liên quan đến điều khiển đầu vào(bàn phím, chuột…), điều khiển đối tượng, setup camera  Định nghĩa Input cho project gồm có Jump, MoveForward, MoveRight, Turn, LookUp  Liên kết Input với hàm thực thi sau nhận tín hiệu Input 9|Page  Định nghĩa hai hàm MoveForwar MoveRight, hai hàm gọi có đầu vào W, A, S, D định nghĩa bên  Trong “World outliner tìm kiếm Light Directional thêm vào project, chức cho phép tạo mặt trời chiếu sáng từ xuống đồ 3D  Điều chỉnh hướng góc chiếu mặt trời 10 | P a g e  Đổ bóng lên vật thể khác trình đối tượng 3D di chuyển  Các đối tượng 3D dựng sẵn animation tải trang web mimaxo.com, import đối tượng 3D animation vào project  Tiến hành lập trình để tạo add chuyển động vào đối tượng 3D, lấy giá trị vận tốc đối tượng qua hàm “get velocity 11 | P a g e  Giá trị vận tốc đối tượng truyền qua hàm control animation, vận tốc đối tượng trạng thái anim “Idle”, vận tốc max chuyển động set 375.0 -> vận tốc đối tượng lớn 375.0 đối tượng trạng thái “Running” 12 | P a g e Chương 2: Kết Kết 1.1 Lập trình tổng hợp đối tượng 3D  Nếu thực thành công bước phía trên, thư mục models PMVS có file output với định dạng ply đối tượng 3D  Import file đối tượng 3D vừa thu vào phần mềm Blender để quan sát kết 1.2 Gia công nhúng đối tượng 3D vào đồ  Chỉnh sửa, gia công đối tượng 3D tạo, cắt gọt khung cảnh không cần thiết 13 | P a g e  Nhúng thành công đối tượng 3D vào đồ số khu vực sau chỉnh sửa 14 | P a g e 1.3 Lập trình điều khiển quỹ đạo chuyển động đối tượng 3D  Video demo xem Demo_chuyen_dong  Kho mã nguồn nhóm xem Source_laptrinh_nds  Video demo animation and sound effect xem TÀI LIỆU THAM KHẢO https://github.com/openMVG/openMVG/blob/develop/BUILD.md https://github.com/baldurk/renderdoc https://docs.unrealengine.com/4.27/enUS/SharingAndReleasing/Linux/BeginnerLinuxDeveloper/SettingUpAnUnrealWorkflo w/ https://github.com/baldurk/renderdoc/blob/v1.x/docs/CONTRIBUTING/Compiling.md https://github.com/pmoulon/CMVS-PMVS 15 | P a g e https://www.blender.org/download/ 16 | P a g e ... thực 1.1 Lập trình tổng hợp đối tượng 3D .3 1.2 Gia công nhúng đối tượng 3D vào đồ .5 1.3 Lập trình điều khiển quỹ đạo chuyển động đối tượng 3D Chương 2: Kết ... 10 1.1 Lập trình tổng hợp đối tượng 3D .10 1.2 Gia công nhúng đối tượng 3D vào đồ 11 1.3 Lập trình điều khiển quỹ đạo chuyển động đối tượng 3D 12 TÀI LIỆU THAM... file 3D khác 7|Page 1.3 Lập trình điều khiển quỹ đạo chuyển động đối tượng 3D  Cài đặt Unreal Engine để lập trình xây dựng chuyển động 3D từ đối tượng tạo phần Unreal Engine  Tải đối tượng 3D