Nghiên cứu ứng dụng của học máy để tái tạo khuôn mặt từ dữ liệu 3d có vết thương

Trang 1 TRƯỜNG ĐẠI HỌC QUY NHƠNNGUYỄN QUỐC DƯƠNGNGHIÊN CỨU ỨNG DỤNG CỦA HỌC MÁYĐỂ TÁI TẠO KHUÔN MẶT TỪ DỮ LIỆU 3D CÓVẾT THƯƠNGĐỀ ÁN THẠC SĨ KHOA HỌC DỮ LIỆU ỨNG DỤNG Trang 2 TRƯỜNG ĐẠI

TRƯỜNG ĐẠI HỌC QUY NHƠN

NGUYỄN QUỐC DƯƠNG

NGHIÊN CỨU ỨNG DỤNG CỦA HỌC MÁY

ĐỂ TÁI TẠO KHUÔN MẶT TỪ DỮ LIỆU 3D CÓ

VẾT THƯƠNG

ĐỀ ÁN THẠC SĨ KHOA HỌC DỮ LIỆU ỨNG DỤNG

Bình Định - Năm 2023

TRƯỜNG ĐẠI HỌC QUY NHƠN

NGUYỄN QUỐC DƯƠNG

NGHIÊN CỨU ỨNG DỤNG CỦA HỌC MÁY

ĐỂ TÁI TẠO KHUÔN MẶT TỪ DỮ LIỆU 3D CÓ

VẾT THƯƠNG

ĐỀ ÁN THẠC SĨ KHOA HỌC DỮ LIỆU ỨNG DỤNG

Ngành : Khoa học dữ liệu ứng dụng

Người hướng dẫn 1 : GS TS Nguyễn Xuân Hùng

Người hướng dẫn 2 : PGS TS Lê Công Trình

Bình Định - Năm 2023

Lời cam đoan

Tôi xin cam đoan nội dung trong luận văn "Nghiên cứu ứng dụng của học máy

để tái tạo khuôn mặt từ dữ liệu 3D có vết thương" là do bản thân thực hiện theologic riêng dưới sự hướng dẫn của GS.TS Nguyễn Xuân Hùng và PGS.TS Lê Công Trình.Các nội dung và kết quả sử dụng trong đề án đều có trích dẫn và chú thích nguồn gốc rõràng

Bình Định, ngày tháng 11 năm 2023

Tác giả

Nguyễn Quốc Dương

Mục lục

1.1 Các kiểu dữ liệu hình dạng 3D 7

1.2 Sự phát triển của công nghệ in 3D 9

2 Mô hình học sâu để tái tạo khuôn mặt 3D và một số vấn đề liên quan 13 2.1 Một số thuật ngữ liên quan đến học sâu hình học 13

2.1.1 Đồ thị 13

2.1.2 Lưới (grids) 16

2.1.3 Nhóm 18

2.1.4 Trắc địa 20

2.1.5 Lưới (mesh) 21

2.2 Mô hình tích chập đồ thị hai luồng để phân vùng vết thương trên khuôn mặt 3D 26

2.2.1 Luồng C 27

2.2.2 Luồng N 29

2.2.3 Tích hợp các tính năng 30

2.3 Mô hình tái tạo vết thương trên khuôn mặt 3D 31

2.3.1 vcConv và vcTransConv 32

2.3.2 vdPool, vdUnpool, vdUpRes và vdDownRes 33

3 Ứng dụng mô hình học máy để tái tạo khuôn mặt trên dữ liệu 3D có vết thương 36 3.1 Thu thập và tạo lập dữ liệu 36

3.1.1 Tạo khuôn mặt 3D 37

3.1.2 Tiền xử lý dữ liệu được tạo lập 38

3.1.3 Mô phỏng đa dạng các vết thương trên khuôn mặt 3D 39

3.2 Phát hiện và phân vùng vết thương trên khuôn mặt 3D 43

3.3 Tái tạo khuôn mặt 3D 47

3.4 Trích xuất phần cần lấp đầy trên khuôn mặt 49

3.5 Sử dụng công nghệ in 3D để minh họa kết quả tái tạo khuôn mặt 52

Danh sách bảng

3.1 Kết quả đào tạo của mô hình TSGCNet với các hàm loss tương ứng 473.2 Các chỉ số thống kê hiệu suất của mô hình tái tạo khuôn mặt 3D 50

Danh sách hình vẽ

1 Hỗ trợ điều trị một số bộ phận trên cơ thể người bằng công nghệ in 3D 2

2 Một số nghiên cứu về hỗ trợ điều trị bệnh nhân ngoại chấn thương 3

3 Xây dựng mô hình tái tạo khuôn mặt từ dữ kiệu 3D có vết thương 4

1.1 Các cách biểu diễn khác nhau cho dữ liệu 3D 7

1.2 Các dấu mốc phát triển của công nghệ in 3D tại Việt Nam 10

2.1 Lưới hình tam giác Ví dụ về đa tạp (2 hình trên) và không đa tạp (2 hình dưới) 22

2.2 Hình học đằng sau công thức Cotang 23

2.3 Ánh xạ theo điểm của các tế bào mèo/chó (trái) và hàm ánh xạ của các chi chung của mèo/chó (phải) 25

2.4 Kiến trúc của mô hình mạng tích chập đồ thị hai luồng 27

3.1 Mô tả về kiến trúc của mô hình MICA 38

3.2 Một số minh họa về đầu vào và kết quả đầu ra của mô hình MICA 38

3.3 Tiền xử lý dữ liệu 39

3.4 Một số khuôn mặt 3D được mô phỏng từ quá trình tạo sẹo thực tế 42

3.5 Sử dụng mô hình TSGCNet để phân vùng vết thương trên khuôn mặt 3D 43 3.6 Minh họa về tập dữ liệu khuôn mặt 3D có vết thương và nhãn tương ứng 45

3.7 Kiến trúc hoạt động của mô hình tái tạo khuôn mặt 3D 49

3.8 Kết quả của mô hình tái tạo khuôn mặt 3D 49

3.9 Giá trị hàm loss tương ứng sau mỗi epoch 50

3.10 Minh họa trích xuất phần lấp đầy vết thương trên khuôn mặt 51

3.11 Một mẫu được chọn in 3D để lấp đầy vết thương 52

3.12 Mô hình nghiên cứu ứng dụng được đề xuất trong đề án này 53

3.13 Tổng quan việc áp dụng phương pháp đề xuất sử dụng công nghệ in 3D để tái tạo mô mềm giả ở mặt 54

Mở đầu

Công nghệ in 3D xuất hiện vào cuối những năm 1980 đã trở thành một trong những

xu hướng công nghệ quan trọng và chủ chốt của cuộc cách mạng công nghiệp lần thứ

tư Hiện nay, các ứng dụng của công nghệ in 3D đang ngày càng phát triển rộng rãi, nóthâm nhập sâu vào các lĩnh vực như y tế, giáo dục, xây dựng, kiến trúc, nghệ thuật, thờitrang, Cụ thể, trong ngành công nghiệp điện tử và công nghiệp sản xuất, công nghệ in3D đã được sử dụng để chế tạo các bộ phận phức tạp từ các chất liệu khác nhau và đemlại rất nhiều lợi ích Điển hình như khả năng sản xuất các mô hình có hình dạng phứctạp, tạo nhanh sản phẩm thử nghiệm theo yêu cầu, mở ra tiềm năng về lợi thế chi phísản xuất, cải tiến quy trình và sản phẩm cho các nhà cung cấp Hơn nữa, khác với quytrình truyền thống, các mô hình khi được chế tạo theo quy trình in 3D có thể bỏ qua thaotác làm đồ gá, khuôn Trong trường hợp có sự thay đổi nhỏ ở mẫu in, với phương pháp

đổ khuôn truyền thống thì phải tạo lại khuôn mới hoặc gia công thêm khi dùng khuôn

cũ Trong khi đó, với công nghệ in 3D thì chỉ cần thay đổi thiết kế là có thể hoàn thànhnhiệm vụ Điều này giúp công đoạn chế tạo, sản xuất có thể giảm thiểu tối đa chi phí vậnhành, công sức Trong giáo dục, in 3D có những ứng dụng rất thiết thực, đặc biệt là liênquan đến các môn học khoa học, công nghệ, kỹ thuật và kỹ năng toán học Sinh viên cóthể thiết kế, sản xuất các sản phẩm trong lớp học và có cơ hội thử nghiệm các ý tưởng,vừa học vừa làm với máy in 3D Trong y tế, công nghệ in 3D đã và đang được ứng dụng

để sản xuất các mô hình giải phẫu bộ phận cơ thể con người (xương, răng, tai giả, ).Công nghệ này cũng đã được sử dụng để hỗ trợ các thử nghiệm về phương pháp và côngnghệ y tế mới, tăng cường nghiên cứu y khoa, giảng dạy và đào tạo đội ngũ y, bác sĩ Đặc

biệt, với in 3D các mô sinh học, người ta còn kỳ vọng có thể sản xuất ra các bộ phận cơthể người phục vụ cho việc thay thế và cấy ghép các cơ quan bị hỏng Từ những lợi íchđược nêu trên, công nghệ in 3D có thể được xem là tương lai của ngành chế tạo và chămsóc sức khỏe Tuy nhiên, phương pháp này có thể vẫn còn quá đắt đỏ, tốn thời gian vàkhó giám sát Chính vì điều này, các nhà nghiên cứu đã kết hợp AI với công nghệ in 3D

để tạo ra một quy trình sản xuất hoàn hảo và kì vọng sẽ khai thác được nhiều kết quảnghiên cứu ứng dụng vào trong đời sống

Hình 1: Hỗ trợ điều trị một số bộ phận trên cơ thể người bằng công nghệ in 3D

Hiện nay, những người thương tích do tai nạn giao thông, tai nạn nghề nghiệp, khuyếttật bẩm sinh, bệnh tật đã làm cho họ bị khuyết đi một phần của cơ thể Rất nhiều nghiêncứu đã cố gắng tái tạo những cấu trúc hư hỏng để giúp cho bệnh nhân phục hồi đượcchúng tôi minh họa trong Hình 1 và Hình 2 Việc tái cấu trúc những bộ phận trên cơthể người được chia thành ba hướng nghiên cứu chính bao gồm tái cấu trúc body, tái cấutrúc tứ chi và tái cấu trúc phần đầu [1–8] Trong đó, tái cấu trúc xương tứ chi được nhiều

Hình 2: Một số nghiên cứu về hỗ trợ điều trị bệnh nhân ngoại chấn thương.

nghiên cứu thực hiện hơn so với những khu vực còn lại trên cơ thể bởi vì khu vực này

dễ thực hiện, dễ lắp ráp và ít nguy hiểm cho bệnh nhân Tái cấu trúc tứ chi bao gồm táicấu trúc xương tay [9–13] và cấu trúc xương chân [14–16] Tương tự, tái cấu trúc khu vựcbody thường được chia thành tái cấu trúc xương sống [17–23] và xương lồng ngực [24–26].Nghiên cứu tái cấu trúc phần đầu bao gồm hai nhóm chính là tái tạo cấu trúc khuôn mặt[27–29] và tái tạo phần xương sọ [30, 31] Ngược lại so với hai hướng nghiên cứu trên, táicấu trúc phần đầu dễ gây nguy hiểm nhất cho con người, đa phần các chấn thương ở khuvực đầu đều có thể gây tỷ lệ tử vong cao hơn so với những khu vực khác Chính vì vậy,nghiên cứu về tái tạo ở khu vực đầu thường ít hơn rất nhiều so với những khu vực kháctrên cơ thể người

Hiện nay, với sự hỗ trợ của các mô hình học máy và công nghệ in 3D, các nghiên cứu

về tái tạo khuôn mặt 3D cho con người đã phát triển mạnh mẽ Tuy nhiên, những nghiêncứu đó vẫn còn một số khuyết điểm làm cho kết quả của việc tái tạo chưa thật sự hoànhảo bao gồm: (1) tập dữ liệu có vết thương trên khuôn mặt còn thiếu bởi vì tính đạo đứctrong nghiên cứu liên quan đến y học; (2) quá trình tái tạo khuôn mặt còn chưa chínhxác bởi vì những khuyết tật trên khuôn mặt cần được lấp đầy phải bỏ bớt bằng cách thực

hiện thủ công; (3) các ứng dụng của nghiên cứu tái tạo khuôn mặt còn chung chung vàrời rạc, chưa hướng đến một đối tượng nghiên cứu cụ thể Xuất phát từ thực tế trên, tácgiả muốn tiếp cận bài toán học máy trong lĩnh vực y tế với đề tài “Nghiên cứu ứngdụng của học máy để tái tạo khuôn mặt từ dữ liệu 3D có vết thương” Hình 3

mô tả cho công việc chính của nghiên cứu này Các kỹ thuật học máy được sử dụng trongnghiên cứu này sẽ được xem xét và đánh giá kỹ càng nhằm sử dụng những kỹ thuật mớinhất cho việc tái tạo vết thương [32, 33] Tác giả kỳ vọng sẽ đóng góp thêm một số kếtquả nhất định từ nghiên cứu này để có thể mang lại cho những bệnh nhân bị thương ởcác khu vực mặt một phương pháp hỗ trợ điều trị mới mẻ, an toàn và tiện dụng với sựkết hợp của AI và công nghệ in 3D

Hình 3: Xây dựng mô hình tái tạo khuôn mặt từ dữ kiệu 3D có vết thương

Ngoài phần mở đầu, kết luận và tài liệu tham khảo, nội dung chính của đề án thạc sĩbao gồm có 3 Chương

Chương 1: Giới thiệu về dữ liệu 3D và công nghệ in 3D

Trong Chương này, chúng tôi trình bày về các loại biểu diễn của dữ liệu 3D và ứngdụng của công nghệ in 3D trong một số lĩnh vực của đời sống

Chương 2: Mô hình học sâu để tái tạo khuôn mặt 3D và một số vấn đề liênquan

Trong Chương này, chúng tôi trình bày một số thuật ngữ liên quan đến học sâu hìnhhọc (geometric deep learning), mô hình mạng neural tích chập hai luồng được sử dụng đểphân vùng vết thương trên khuôn mặt 3D, mô hình tái tạo khuôn mặt trên dữ liệu lưới

Chương 3: Ứng dụng mô hình học máy để tái tạo khuôn mặt trên dữ liệu 3D

Đề án được thực hiện và hoàn thành tại Trường Đại học Quy Nhơn dưới sự hướng dẫncủa GS.TS Nguyễn Xuân Hùng và PGS.TS Lê Công Trình Tác giả muốn bày tỏ lòngbiết ơn chân thành đến hai Thầy đã định hướng, tạo mọi điều kiện thuận lợi nhất và chotôi những nhận xét quý báu để tôi có thể hoàn thành đề án với hiệu quả cao nhất.Tác giả gửi lời cảm ơn chân thành đến quý Thầy, Cô đã giảng dạy lớp Khoa học dữliệu ứng dụng tại trường Đại học Quy Nhơn cũng như toàn thể quý Thầy, Cô Khoa Toán

và Thống kê, trường Đại học Quy Nhơn, những người đã cho tôi kiến thức, quan tâm,động viên, nhiệt tình giúp đỡ tôi trong suốt quá trình học tập cũng như trong thời gianthực hiện đề tài Đặc biệt, tác giả xin gửi lời cảm ơn sâu sắc đến TS Lê Thanh Bính và

TS Nguyễn Văn Vũ, hai Thầy đã có những lời khuyên bổ ích trong suốt thời gian học tậptại Khoa Toán và Thống kê

Tác giả gửi lời cảm ơn đến bạn Lê Phương Thảo (học viên lớp cao học Khoa học dữliệu ứng dụng khóa 24B) đã cùng đồng hành, giúp đỡ nhau trong học tập từ bậc đại họcđến cao học tại khoa Toán và Thống kê, trường Đại học Quy Nhơn

Cuối cùng, xin gửi lời cảm ơn tới tất cả bạn bè, đồng nghiệp và gia đình, những ngườiluôn dõi theo, động viên và tạo mọi điều kiện tốt nhất để em hoàn thành đề án này.Mặc dù tác giả đã rất cố gắng học hỏi, tìm tòi và nghiên cứu trong quá trình hoànthành đề án, nhưng do hạn chế về thời gian và trình độ nên trong đề án vẫn không tránhkhỏi những thiếu sót Rất mong nhận được sự góp ý của quý Thầy, Cô và bạn đọc để đề

án được hoàn thiện hơn

Bình Định, ngày tháng 11 năm 2023

Tác giả

Nguyễn Quốc Dương

Ngày nay, các kiến trúc học sâu trên dữ liệu 2D đã đạt được những thành công đáng

kể trong lĩnh vực thị giác máy tính thông qua các kết quả ấn tượng trong nhiều nhiệm

vụ như phân loại (classification), phân đoạn (segmentation), phát hiện và xác định vị trí(detection and localization), nhận dạng và hiểu cảnh (scene understanding), Sức mạnhchính của các kiến trúc học sâu nằm ở khả năng học dần dần các đặc trưng phân biệt cócấu trúc của dữ liệu đầu vào Hầu hết các kiến trúc học sâu được xây dựng trên dữ liệu2D đã cho thấy sự cần thiết của lượng lớn dữ liệu huấn luyện Ngày nay, với sự tiến bộtrong công nghệ cảm biến 3D và sự gia tăng của các thiết bị thu thập dữ liệu 3D đã làmcho lượng dữ liệu 3D có sẵn tăng lên đáng kể Dữ liệu 3D cung cấp thông tin phong phú

và đầy đủ về hình học của các đối tượng 3D Dưới sự thúc đẩy của những bước tiến độtphá trong học sâu và sự sẵn có của dữ liệu 3D, cộng đồng thị giác máy tính 3D đã tíchcực nghiên cứu mở rộng các kiến trúc học sâu cho dữ liệu 3D Dữ liệu 3D có thể có cácbiểu diễn khác nhau, trong đó cấu trúc và các thuộc tính hình học thay đổi từ biểu diễnnày sang biểu diễn khác Trong phần này, chúng tôi trình bày tổng quan về một số biểudiễn dữ liệu 3D, bao gồm biểu diễn Euclidean và phi Euclidean, như trong Hình 1.1

Dữ liệu 3D Euclidean có một cấu trúc lưới cơ bản cho phép một tham số hóa toàn cục

và một hệ thống tọa độ chung Những đặc tính này làm cho việc mở rộng các mô hình họcsâu 2D hiện có sang dữ liệu 3D trở nên đơn giản, trong đó phép tích chập được duy trìgiống như 2D Dữ liệu 3D Euclidean thích hợp trong việc phân tích các đối tượng cứng vớibiến dạng tối thiểu như dữ liệu voxel cho các đối tượng đơn giản Ngược lại, dữ liệu 3Dphi Euclidean không có cấu trúc mảng lưới, không có tham số hóa toàn cầu Do đó, việc

mở rộng các kỹ thuật học sâu 2D sang các biểu diễn như vậy là một nhiệm vụ khó khăn.Tuy nhiên, hiểu cấu trúc của những biểu diễn này là quan trọng trong việc phân tích cácđối tượng mềm dẻo cho các ứng dụng khác nhau như nhiệm vụ phân đoạn trên mô hình

cơ thể con người cùng với sự tương ứng từ điểm này đến điểm khác Với mục tiêu mở rộngphạm vi các kiến trúc học sâu và làm cho việc áp dụng các mô hình học sâu vào dữ liệu3D dễ dàng hơn, chúng ta cần hiểu về các đặc tính cấu trúc của các biểu diễn khác nhaucủa dữ liệu 3D Chi tiết về sự giống và khác nhau của các biểu diễn dữ liệu 3D này được

trình bày chi tiết trong bài báo về sự khảo sát của học sâu trên các đối tượng dữ liệu 3D[34].

1.2 Sự phát triển của công nghệ in 3D

Công nghệ in 3D (3D Printing) hay có tên gọi khác là AM (Additive Manufacturing)

là một trong những công nghệ đang được quan tâm phát triển hàng đầu và có tiềm năngứng dụng ngày càng to lớn trong rất nhiều lĩnh vực như chăm sóc sức khỏe, xây dựng,giao thông vận tải và xe hơi, công nghiệp sản xuất, điện tử, năng lượng, hàng không vũtrụ và quốc phòng hay những lĩnh vực phục vụ đời sống hàng ngày như hàng tiêu dùng,thực phẩm, Nghiên cứu khảo sát toàn diện về vật liệu, phương pháp, ứng dụng và tháchthức của công nghệ in 3D có thể được tìm thấy tại [35]

Hiện nay, các ứng dụng của công nghệ in 3D đang ngày càng phát triển rộng rãi, nóthâm nhập sâu từ các lĩnh vực công nghiệp vĩ mô như hàng không, vũ trụ đến các ngành

cơ bản như y tế, giáo dục, xây dựng, kiến trúc, nghệ thuật và thời trang Cụ thể, trongngành công nghiệp điện tử, máy in 3D đã được sử dụng để chế tạo các bộ phận phức tạp,đặc biệt từ các chất liệu khác nhau và đã mở ra một trào lưu mới Trong công nghiệp sảnxuất, máy in 3D được sử dụng ngày càng rộng rãi, nhờ khả năng sản xuất các mô hình cóhình dạng phức tạp, tạo nhanh sản phẩm thử nghiệm theo yêu cầu mở ra tiềm năng vềlợi thế chi phí sản xuất, cải tiến quy trình và cả sản phẩm cho các nhà cung cấp Trongcông nghiệp ô tô, in 3D được sử dụng để sản xuất thử nghiệm các thiết kế, tạo mẫu vàsản xuất một số bộ phận, công cụ lắp ráp đặc biệt Thậm chí, người ta đã ứng dụng côngnghệ in 3D để sản xuất ra những chiếc xe hoàn chỉnh Trong y tế, công nghệ in 3D đãđược ứng dụng để sản xuất các mô sinh học, mô hình giải phẫu bộ phận cơ thể con người(xương, răng, tai giả ) Công nghệ này cũng được sử dụng để hỗ trợ các thử nghiệm vềphương pháp và công nghệ y tế mới, tăng cường nghiên cứu y khoa, giảng dạy và đào tạođội ngũ y, bác sỹ Đặc biệt, với in 3D các mô sinh học (Bioprinting), người ta còn kỳ vọng

là có thể sản xuất ra các bộ phận cơ thể người phục vụ cho việc thay thế và cấy ghép các

cơ quan bị hỏng Trong giáo dục, in 3D có những ứng dụng rất thiết thực, đặc biệt liênquan đến các môn học khoa học, công nghệ, kỹ thuật và kỹ năng toán học Sinh viên cóthể thiết kế, sản xuất các sản phẩm trong lớp học và có cơ hội thử nghiệm các ý tưởng,vừa học vừa làm với máy in 3D Cách làm này làm giúp tăng hứng thú học tập, làm việctheo nhóm, tương tác trong lớp học cũng như hỗ trợ khả năng sáng tạo và tư duy 3 chiềucủa sinh viên

Sự cải tiến liên tục đã thúc đẩy phát triển công nghệ in 3D trong hàng loạt các ứngdụng sản xuất Các ứng dụng này dự kiến sẽ trở nên phổ biến hơn nữa trong 5 đến 7 nămtới Việt Nam cũng không nằm ngoài xu thế đó Kinh tế nước ta đang phát triển, côngnghệ chiếm tỷ trọng cao là cơ sở cho sự phát triển của công nghệ in 3D Xuất hiện ở ViệtNam từ năm 2003 và chủ yếu được ứng dụng trong nghiên cứuu (do chi phí cao), đến nay,công nghệ này đã có mặt ở khá nhiều lĩnh vực như y khoa, kiến trúc, mỹ nghệ, thời trang,

cơ khí, giáo dục,

Hình 1.2: Các dấu mốc phát triển của công nghệ in 3D tại Việt Nam

Trong đề án này, chúng tôi muốn nhấn mạnh tiềm năng ứng dụng của công nghệ in3D trong lĩnh vực y tế Ưu điểm của in 3D được thể hiện rất rõ trong lĩnh vực y tế vàchăm sóc sức khoẻ với vô vàn ứng dụng Công nghệ in 3D rất hữu ích trong sản xuất các

mô hình sinh học (các mô hình bộ phận con người như xương, răng, tai giả ) Trong

ứng dụng này, mô hình điện tử của bộ phận cơ thể con người được dựng bởi các hình ảnh3D hoặc một máy quét 3D Sau đó, mô hình sinh học được tạo ra từng lớp từng lớp nhờvào công nghệ in 3D Trong ngành giải phẫu, mỗi bệnh nhân là một cá thể riêng biệt vàduy nhất, mô hình sinh học 3D cho phép bác sỹ thực hiện phẫu thuật thuận lợi hơn do

có được sự hiểu biết sâu hơn về cơ thể bệnh nhân và các chẩn đoán được chính xác hơn.Nhờ đó, kế hoạch phẫu thuật được chi tiết hơn, các thử nghiệm, diễn tập phẫu thuật hayhướng dẫn trong ca mổ được đảm bảo về độ chính xác và chất lượng Công nghệ in 3Dcòn hỗ trợ các thử nghiệm phương pháp và công nghệ y tế mới, tăng cường nghiên cứu ykhoa, giảng dạy và đào tạo đội ngũ y bác sỹ Chẳng hạn như giúp bác sĩ có thể luyện tậpphẫu thuật giả lập bằng các mô nội tạng nhân tạo hoặc chế tạo các dụng cụ trong y họcđược sử dụng để đưa hoặc gắn vào trong cơ thể Ngoài ra, cũng tương tự như việc tạo môhình sinh học, công nghệ in 3D còn được dùng để thiết kế và sản xuất các bộ phận cơ thểgiúp cho phẫu thuật tái tạo và cấy ghép Các dụng cụ y tế như máy trợ thính, khung đỡ,mặt nạ, răng giả đều có thể sản xuất bằng công nghệ in 3D theo đúng như kích thước,hình dạng, đặc điểm của từng bệnh nhân Một trong những ứng dụng thú vị nhất của

in 3D là chế tạo mô và các cơ quan của con người, mà người ta hay gọi là In sinh học –Bioprinting Nhờ vào công nghệ này, hệ thống tế bào mô của con người có thể được intheo lớp bằng mực sinh học - mực thu được qua xử lý đặc biệt các tế bào con người vàcác chất khác Mặc dù vẫn có một số vấn đề liên quan đến sự ổn định và chức năng cấutrúc trong in sinh học, nhưng những tiến bộ đáng kể đã được ghi nhận với mô người vàcác cơ quan In sinh học hứa hẹn những cơ hội quý báu cho phát triển thuốc y tế, phươngpháp điều trị thử nghiệm, nghiên cứu y học, chữa lành vết thương, và cả cấy ghép Nếucác cơ quan này được tạo ra từ các tế bào gốc của bệnh nhân, nó sẽ ít có nguy cơ bị đàothải bởi hệ miễn dịch của người đó Về những ứng dụng của sản phẩm in 3D trong lĩnhvực ngoại khoa, các sản phẩm in 3D có thể được sử dụng để cấy trực tiếp vào trong cơthể người Ví dụ, do hình dạng của khớp gối rất phức tạp, khi gắn khớp nhân tạo thì chỉcần điều chỉnh rất nhỏ về góc độ cũng có thể giúp giảm đáng kể áp lực lên đầu gối bệnhnhân Đây chính là lĩnh vực tiềm năng lớn dành cho công nghệ in 3D In 3D cũng bắt

đầu được sử dụng để sản xuất hộp sọ nhân tạo Cụ thể khi phẫu thuật cắt bỏ u xương áctính của bệnh nhân, người ta thay thế phần đã bị cắt bỏ bằng phần sọ nhân tạo đã đượcchế tạo bằng máy in 3D Thông thường trước kia người ta dùng titan để cấy ghép, vấn

đề ở chỗ khi bệnh nhân tái phát rất khó để xác định vị trí phần titan đã được sử dụng.Nếu sử dụng công nghệ in 3D có thể khắc phục nhược điểm này In 3D còn rất hữu dụngtrong giả lập mô phỏng phẫu thuật Tương tự, công nghệ in 3D cũng giúp các bác sĩ phẫuthuật ghép mặt, phẫu thuật thay xương hàm Để tăng tỷ lệ thành công, êkíp phẫu thuật

sử dụng các mô hình phần đầu giống với kích thước thật của bệnh nhân, được tạo ra nhờảnh chụp CT và công nghệ in 3D Mô hình này giúp các bác sĩ nắm rõ cấu trúc giải phẫuphần mặt của bệnh nhân trước khi tiến hành phẫu thuật Điều này cũng giúp rút ngắnthời gian phẫu thuật và có lợi cho bệnh nhân

2.1 Một số thuật ngữ liên quan đến học sâu hình học

Trong phần này, chúng tôi giới thiệu một số thuật ngữ thường gặp trong học sâu hìnhhọc bao gồm đồ thị (graphs), lưới (grids), nhóm (groups), trắc địa trên đa tạp (geodesics

on manifolds) Ngoài ra, chúng tôi trình bày một số vấn đề tích chập trên dữ liệu 3D lưới(mesh) Nội dung của phầy này được chúng tôi tham khảo trong tài liệu [36]

Định nghĩa 2.1.1 (Graph) Đồ thị được viết dưới dạng G = (V, E ) với V là tập hợp cácđỉnh (hoặc nodes) và E ⊂ V × V là tập hợp các cạnh nối các đỉnh Ngoài ra, mỗi đỉnh

v ∈ V chứa các đặc trưng xv ∈ Rd

Lưu ý rằng các đỉnh của đồ thị không có thứ tự, điều này ngụ ý rằng đồ thị là hoán

vị bất biến (permutationinvariant) ở cấp độ đỉnh và do đó các hàm được định nghĩa trên

đồ thị cũng phải là bất biến hoán vị Giả sử chúng ta có miền Ω = G, không gian hàm

X G, Rd
và nhóm đối xứng G = Σn với Σn là nhóm hoán vị trên n phần tử bao gồm tất

cả các thứ tự của tập hợp {1, 2, , n} (giả sử |V| = n và vi ∈ V)

Để chứng minh tính bất biến hoán vị, chúng ta xét các tập hợp Chúng ta có thể coitập V là đồ thị G = (V, E ) với E = ∅ Khi đó, ta có thể sắp xếp các đỉnh của đồ thị thànhmột ma trận chứa các đặc trưng của chúng

f (X) = φ X

v∈V

ψ (xv)

!,trong đó ψ được áp dụng cho các đặc trưng của từng đỉnh một cách độc lập và φ được ápdụng cho tổng trên tất cả các đỉnh Tổng là bất biến hoán vị và do đó f cũng bất biếnhoán vị

Tính bất biến này có hạn chế là chỉ cung cấp thông tin tổng thể của đồ thị, trongkhi chúng ta có thể quan tâm đến thông tin cục bộ Nếu một hàm (cấp đỉnh) F (X) biếnđổi các đặc điểm của đỉnh trong ma trận X thì chúng ta kết nối các hàng của X vàocác hàng F (X) để hiểu cách các tính năng cấp đỉnh đang được sửa đổi Điều này dẫnchúng ta đến một định nghĩa về hoán vị tương đương (permutation equivariance) trong

đó F (P X) = P F (X) Phép biến đổi tuyến tính FΘ(X) = XΘ, trong đó Θ ∈ Rd×` là

một ví dụ về hàm tương đương hoán vị giúp biến đổi các đặc trưng xv thành Θ>xv.

Ma trận X mã hóa thông tin cấp độ đỉnh của G và ma trận kề A mã hóa thông tin cấp

độ cạnh Khi đó, một hàm trên đồ thị sẽ trở thành hàm của X và A Lưu ý rằng việc ápdụng hoán vị cho G dẫn đến ma trận hoán vị tương ứng P được áp dụng cho cả hàng vàcột của A tạo ra P APT Khi đó, chúng ta nói rằng hàm f (cấp đồ thị) là bất biến hoán

vị nếu với bất kỳ ma trận hoán vị P

Nv = {u ∈ V : (u, v) ∈ E or (v, u) ∈ E }

Lưu ý rằng vùng lân cận của chúng tôi là vô hướng Đặt các đặc điểm lân cận của v lànhiều tập hợp (một tập hợp có thể có các phần tử trùng lặp)

XN v = {{xu : u ∈ Nv}} Lấy hàm φ của các đặc trưng của một đỉnh và các đặc trưng lân cận của nó φ (xv, XN v).Nếu chúng ta xây dựng φ sao cho nó là bất biến hoán vị thì chúng ta có thể sử dụng nó

để tạo một hàm tương đương hoán vị

Để chứng minh sự tương đương hoán vị, giả sử rằng φ là bất biến hoán vị Do đó, việc ápdụng hoán vị P không làm thay đổi giá trị của φ Tuy nhiên, hoán vị sẽ sắp xếp lại cácđỉnh, do đó xuất ra P F (X, A) như mong muốn.

Trong mục này, chúng tôi trình bày lưới (grids) được ứng dụng nhiều trong học máynhờ những thành công trong thị giác máy tính và xử lý ngôn ngữ tự nhiên Lưới là mộttrường hợp đặc biệt của đồ thị Như chúng ta đã biết, phép tích chập có thể được biểudiễn dưới dạng phép nhân ma trận bằng cách sử dụng ma trận tuần hoàn Chúng ta

có thể coi lưới 1 chiều là một nhóm có cấu trúc tuần hoàn, các đỉnh được lập chỉ mụcbởi Zn Mỗi đỉnh v ∈ Zn có một nút lân cận bên trái và bên phải, lần lượt là v ư 1

và v + 1 Khi đó chúng ta có φ (xv, XN v) = φ (xvư1, xv, xv+1) Nếu φ là tuyến tính thì

φ (xvư1, xv, xv+1) = θư1xvư1 + θ0xvθ1xv+1 và chúng ta có một hàm dịch tương đương(translation-equivariant)

Ma trận bên trái trong biểu thức trên là ma trận tuần hoàn C(θ) = [θiưj mod n]0≤i,j≤nư1,trong đó θ = (θ0, θ1, , θnư1) Ma trận tuần hoàn có một giá trị duy nhất trên mỗi đườngchéo của ma trận, cung cấp khả năng chia sẻ trọng số Mối liên hệ với các tích chập rờirạc xuất phát từ thực tế là

(x ∗ θ)v =

nư1

X

u=0

xu mod n· θvưu mod n = (C(θ)x)v =⇒ x ∗ θ = C(θ)x

Lưu ý rằng đối với θ = (0, 1, 0, 0, )>, ma trận tuần hoàn S = C(θ) dịch chuyển vectơsang phải một vị trí Chúng tôi gọi S là toán tử dịch chuyển (hoặc toán tử dịch) Lưu ý

rằng ma trận tuần hoàn có tính chất giao hoán C(θ)C(ω) = C(ω)C(θ) Từ đó, chúng

ta rút ra phương sai dịch chuyển của tích chập là

SC(θ)x = C(θ)Sx

Bây giờ chúng ta sử dụng những kết quả này để chỉ ra rằng phép biến đổi Fourier chéohóa toán tử tích chập Giả sử hai ma trận A, B có thể chéo hóa đồng thời (tức là tồn tạimột ma trận khả nghịch S sao cho S−1AS và S−1BS) khi và chỉ khi chúng giao hoán Đặcbiệt, kết quả này hàm ý sự tồn tại cơ sở riêng chung cho các ma trận tuần hoàn Sau đó,chúng tôi tính toán cơ sở riêng này bằng cách sử dụng một ma trận tuần hoàn đơn Toán

tử dịch chuyển S có cơ sở riêng trùng với cơ sở Fourier rời rạc

Lấy f xác định trên R và xét toán tử dịch chuyển Sv sao cho (Svf ) (u) = f (u − v) Xemxét các hàm cơ sở Fourier ϕξ(u) = eiξu Khi đó, chúng ta có Svϕξ(u) = Sveiξu = eiξ(u−v) =

e−iξveiξu= e−iξvϕξ(u) Điều này chỉ ra rằng các hàm cơ sở là các vectơ riêng phức của Svvới các giá trị riêng e−iξv kSvf k = kf k chỉ ra rằng các giá trị riêng của Sv có độ lớn là

1 Hơn nữa, bất kỳ hai hàm nào có cùng giá trị riêng đều phải thẳng hàng Để thấy điềunày, nếu Svf = e−iξ0 vf thì lấy biến đổi Fourier, ta có

e−iξvf (ξ) = eˆ −iξ0 vf (ξ), ∀ξ ∈ R.ˆĐiều này chỉ ra rằng f (ξ) = 0 với ξ 6= ξ0, tức là f = ce−iξ0 v = cϕξ0

Lấy C là một toán tử dịch tuyến tính tương đương SvC = CSv Khi đó

(SvC) eiξu = (CSv) eiξu = e−iξvCeiξu,điều này gợi ý rằng Ceiξu là hàm riêng của Sv với giá trị riêng e−iξv, nghĩa là cơ sở Fourier

là cơ sở riêng của tất cả các toán tử dịch tương đương Khi đó C có đường chéo trongmiền Fourier (hệ tọa độ được quay bởi phép biến đổi Fourier) và có thể được biểu thị dướidạng Ceiξu= ˆpC(ξ)eiξu với ˆpC Đối với hàm x, chúng ta có

(Cx)(u) = C

Z

R

ˆx(ξ)eiξudξ



=Z

R

ˆx(ξ)ˆpC(ξ)eiξudξ

=Z

mà chúng ta có thể lấy tích phân (hoặc tính tổng) trên đó Nếu xét miền R thì chúng ta

có thể coi tích chập của hàm x và bộ lọc θ khi khớp tín hiệu đầu vào với các bản sao đãdịch chuyển của bộ lọc

(x ∗ θ)(u) = hx, Suθi =

Z

R

x(v)θ(u + v)dv

Ở đây nhóm đối xứng là G = R Chúng ta có thể khái quát hóa những ý tưởng này bằngcách xem xét các nhóm khác nhau G Biểu thức trên thực sự là mối tương quan chéo,trong lĩnh vực học sâu diễn ra bằng tích chập.

Bây giờ chúng ta xác định tích chập nhóm Hành động của g ∈ G trên x ∈ X (Ω) đượcđưa ra bởi ρ(g)x(ω) = x (g−1ω), trong đó ρ là biểu diễn của G Trước đây, chúng ta đã xử

lý nhóm dịch G = R, trong đó v ∈ R có hành động dịch chuyển tọa độ +v Tương ứng,biểu diễn toán tử dịch chuyển ρ(v) = Sv với (Svf ) (u) = f (u − v) Bây giờ chúng ta giả sửrằng X (Ω) là không gian Hilbert và xét tích bên trong

trong đó đẳng thức thứ nhất tuân theo định nghĩa, đẳng thức thứ hai xuất phát từ thực

tế là hx, ρ(g)θi = hρ (g−1) x, θi và vì ρ (h−1g) = ρ (h−1) ρ(g), đẳng thức thứ ba suy ra từđịnh nghĩa của hành động nhóm trên θ

Xét lưới 1 chiều Ω = Znvà G = Zn Nếu chúng ta xác định g ∈ G với u ∈ {0, 1, , n −1} thì gv = v − u mod n và g−1v = v + u mod n Khi đó, sự tích chập nhóm là

(x ∗ θ)(g) =

Z

Z nx(ω)θ g−1ω
dω =

2.1.4 Trắc địa

Một đa tạp n là một không gian Ω trong đó tồn tại một lân cận xung quanh mỗi điểmđồng phôi đến Rn (tức là không gian có thể được ánh xạ tới Rn trong khi vẫn giữ nguyêncấu trúc) Chúng ta cũng có thể gọi một không gian như vậy là đa tạp n chiều Đa tạp

vi phân còn được gọi là đa tạp trơn là một đa tạp có cấu trúc vi phân bổ sung cho phéptính toán vi phân Đa tạp có thể được tính gần đúng cục bộ xung quanh bất kỳ điểm nàobởi TωΩ không gian tiếp tuyến, có thể được coi là một mặt phẳng n chiều gắn liền vớiđiểm ω Tập hợp các không gian tiếp tuyến tạo thành T Ω bó tiếp tuyến Một phần tử củakhông gian tiếp tuyến X ⊂ TωΩ được gọi là vectơ tiếp tuyến và có thể được coi là sự dịchchuyển khỏi điểm ω

Để đo góc giữa các vectơ tiếp tuyến và độ dài của chúng, chúng ta cần một thước đoRiemannian g, mà tại mỗi điểm ω ∈ Ω chấp nhận một hàm song tuyến tính xác địnhdương trơn

gω : TωΩ × TωΩ → R, gω(X, X) > 0 với mọi X ∈ TωΩ sao cho X 6= 0

Chúng ta có thể sử dụng thước đo Riemannian độ đo góc và độ dài thông qua tích bêntrong và chuẩn lần lượt như sau

hX, Y iω = gω(X, Y ), kXkω =pgω(X, X), X, Y ∈ TωΩ

Một vectơ tiếp tuyến X có thể được biểu diễn dưới dạng các tọa độ x = (x1, x2, , xn)với cơ sở cục bộ {X1, X2, , Xn} ⊂ TωΩ Thước đo gω chỉ có thể được biểu thị theo cáchnày với ma trận G có kích thước n × n sao cho gij = gω(Xi, Xj)

Đa tạp Riemannian là một đa tạp trơn với thước đo Riemannian Các thuộc tính của

đa tạp chỉ phụ thuộc vào độ đo được gọi là thuộc tính nội tại Những tính chất này đángquan tâm vì chúng là bất biến đẳng cự, nghĩa là các biến dạng đẳng cự sẽ không làm thayđổi chúng

Chúng ta gọi hàm x : Ω → R là trường vô hướng và lưu ý rằng trường vô hướng tạo

thành một không gian vectơ X (Ω, R) với tích bên trong

hx, yi =

Z

Ω

x(ω)y(ω)dω,trong đó dω là thước đo khối lượng được tạo ra bởi thước đo Riemannian Hàm X : Ω →

T Ω ánh xạ từng ω ∈ Ω đến F (ω) ∈ TωΩ được gọi là trường vectơ tiếp tuyến Các hàm nàytạo thành một không gian vectơ X (Ω, T Ω) với tích bên trong được xác định bằng phép

1 F (c) = 0 với các hằng số c,

2 F (x + y) = F (x) + F (y) (tính tuyến tính),

3 F (xy) = F (x)y + xF (y) (quy tắc nhân)

Cho x ∈ X (Ω, R), chúng ta có thể coi vi phân dx(F ) = F (x) là một phần mở rộng củađạo hàm có hướng Chúng ta có một ánh xạ (x, F ) → F (x), có thể được hiểu là sự dịchchuyển F ∈ TωΩ dịch chuyển x bởi dxω(F )

Chúng ta cũng có thể coi vi phân là một hàm tuyến tính trên các vectơ tiếp tuyến

dxω : TωΩ → R, giả sử chúng ta có thước đo Riemannian, ta có

dxω(X) = gω(∇x(ω), X)

Một cách tiếp cận tiêu chuẩn để xấp xỉ các vật thể 3 chiều là sử dụng các đa tạp 2chiều Đa tạp này thường được tính gần đúng thông qua việc rời rạc hóa thành lưới hình

Hình 2.1: Lưới hình tam giác Ví dụ về đa tạp (2 hình trên) và không đa tạp (2 hình dưới).

tam giác (được xây dựng bằng cách dán các hình tam giác lại với nhau dọc theo các cạnh),như trong Hình 2.1

Chúng ta có thể định nghĩa lưới (mesh) là một đồ thị vô hướng với cấu trúc mặt tamgiác bổ sung T = (V, E , F ), trong đó các mặt tam giác được cho bởi

F = {(u, v, w) : u, v, w ∈ V and (u, v), (u, w), (w, v) ∈ E}

Lưu ý rằng hướng của một mặt được cho bởi thứ tự của các đỉnh Ngoài ra, chúng tôi giảđịnh rằng mỗi cạnh trong E được chia sẻ bởi chính xác hai hình tam giác Điều kiện nàylàm cho các vùng lân cận đỉnh giống như đĩa hiển thị lưới thành một đa tạp rời rạc (hoặclưới đa tạp) Nếu chúng ta xem xét các đặc điểm của đỉnh x1, x2, , xn thì chúng ta cóthể xác định một thước đo trên lưới được đưa ra bởi chuẩn Euclidean `uv = kxu− xvk.Tương tự như trường hợp đa tạp Riemannian, chúng ta gọi bất kỳ tính chất nào đượcbiểu diễn chỉ bằng ` là một tính chất nội tại và các biến dạng bảo toàn ` là phép đẳng cự

Laplacian Matrices

Các tính năng trên đỉnh biểu diễn các thuộc tính liên quan đến dữ liệu Giống như đồthị, chúng ta có thể xếp các đặc điểm của tính năng thành một ma trận X với kích thước

Hình 2.2: Hình học đằng sau công thức Cotang.

n × d Chúng tôi xem xét tích chập quang phổ trên các mắt lưới bằng cách rời rạc hóatoán tử Laplacian

Đối với lưới, chúng ta có thể sử dụng cấu trúc bổ sung của các mặt với công thứccotang, như trong Hình 2.2

wuv= cot ∠uqv+ cot ∠upv

trong đó các góc∠uqvvà∠upv tương ứng với các góc trong các tam giác (u, q, v) và (u, p, v),đối diện với cạnh chung của chúng (u, v) và trong đó au là diện tích cục bộ được tính làdiện tích của đa giác được cho bởi tâm bary của các tam giác (u, p, q) chứa u

au = 13X

p,q:(u,p,q)∈F

aupq, aupq là diện tích của tam giác (u, p, q)

Wardetzky và cộng sự đã chứng minh các tính chất của cotang Laplacian ∆ như sau

• Nó là nửa xác định dương với các giá trị riêng λn≥ ≥ λ1 ≥ 0.

• Nó đối xứng nghĩa là nó có các vectơ riêng trực giao

• Nó mang tính cục bộ theo nghĩa là (∆X)u chỉ phụ thuộc vào Nu

• Nó hội tụ về ∆ liên tục cho một lưới được tinh chỉnh vô hạn

Hơn nữa, chúng ta có thể viết

wuv= −`2

uv+ `2vq+ `2uq8auvq +

−`2

uv+ `2vp+ `2up8auvpvới aijk là diện tích tam giác (i, j, k) được tính theo công thức Heron

aijk=

q

sijk(sijk− `ij) (sijk− `ik) (sijk− `jk), sijk = 1

2(`ij + `ik+ `jk) Tích chập quang phổ trên mắt lưới

Chúng tôi chéo hóa ma trận Laplacian ∆ = ΦΛΦ> với Φ = (ϕ1, ϕ2, , ϕn) và Λ =diag (λ1, λ2, , λn) trong đó λi và ϕi là các giá trị riêng và vectơ riêng của ma trậnLaplacian Do đó, chúng ta có thể xác định tích chập quang phổ bằng bộ lọc θ trên lướinhư sau

`

X

k=0

αk∆kX

Hình 2.3: Ánh xạ theo điểm của các tế bào mèo/chó (trái) và hàm ánh xạ của các chichung của mèo/chó (phải).

Ánh xạ và hàm

Cho một ánh xạ C : X (Ω) → X (Ω0) có thể được biểu diễn bằng một n0× n ma trậnsao cho x0 = Cx với x ∈ X (Ω) và x ∈ X (Ω0) Để C bảo toàn diện tích, nó nhất thiếtphải trực giao nên chúng ta có C ∈ O(n) =⇒ C−1 = C> Chúng ta sẽ sử dụng các hàmánh xạ để coi các mắt lưới như các toán tử, cho phép các bất biến khai thác cấu trúc lưới.Đặt T là một lưới có tọa độ đỉnh X Laplacian là một toán tử nội tại biểu diễn lưới và

từ đó chúng ta có thể khôi phục lưới về dạng đẳng cự Chúng tôi chọn biểu diễn lưới củamình bằng toán tử chung Q(T , X), là một ma trận n × n Thay vì viết các hàm trên lướidưới dạng f (T , X), chúng ta sẽ viết f (Q) Hình 2.3 minh họa trực quan về động lực củacác hàm ánh xạ

Lưu ý rằng các đỉnh của lưới không có thứ tự, như trường hợp của đồ thị và tập hợp

Do đó, chúng tôi quan tâm đến các hàm bất biến hoán vị hoặc tương đương hoán vị, đó

là các hàm sao cho bất kỳ ma trận hoán vị P , ta có

f P QP>
= f (Q) (sự bất biến), F P QP>
= P F (Q) (sự đẳng biến)

Mắt lưới có cấu trúc bổ sung mặc dù chúng là sự rời rạc của các bề mặt liên tục Giả sử

T là một dạng rời rạc của miền Ω Chúng ta có thể xem xét một lưới khác T0 với các đỉnh

n0 và tọa độ X0 cũng rời rạc hóa Ω Chúng tôi gọi việc sử dụng này là làm lại lưới khác

Lưu ý rằng hoán vị không nhất thiết phải cung cấp sự tương ứng giữa các mắt lưới này vìchúng không chỉ có cấu trúc riêng biệt mà thậm chí chúng còn không cần có cùng số đỉnh.Giả sử Q và Q0 là các biểu diễn toán tử tương ứng của T và T0, và C là sự tương ứnggiữa T và T0 Ta có

2.2 Mô hình tích chập đồ thị hai luồng để phân vùng

vết thương trên khuôn mặt 3D

Những năm gần đây, chủ đề học sâu trong lĩnh vực phân tích hình dạng 3D đã pháttriển rất mạnh [37] Trong đó, phân đoạn 3D đã phát triển vượt bậc và mang lại nhiều ứngdụng trên nhiều lĩnh vực khác nhau, bao gồm thị giác máy tính và hình ảnh y tế [38] Cácphương pháp tiếp cận dựa trên nền tảng hình học thường tận dụng các thuộc tính hìnhhọc được xác định trước, chẳng hạn như tọa độ 3D, vectơ pháp tuyến và độ cong, để phânbiệt giữa các ô lưới riêng biệt Một số mô hình phân vùng 3D nổi bật như PointNet [39],PointNet++ [40], PointCNN [41], MeshSegNet [42], và DGCNN [43] Mặc dù các phươngpháp này đã chứng tỏ tính hiệu quả nhưng chúng thường sử dụng một chiến lược đơn giản

là ghép các thuộc tính thô khác nhau thành một vectơ đầu vào để huấn luyện một mạngphân đoạn đơn Do đó, những mô hình này có thể tạo ra những dự đoán sai lầm riêng lẻ.Nguyên nhân cốt lõi nằm ở sự khác biệt giữa các thuộc tính thô khác nhau, chẳng hạnnhư vị trí không gian ô (tọa độ) và cấu trúc hình thái ô (vectơ pháp tuyến) dẫn đến nhầmlẫn khi hợp nhất làm đầu vào Do đó, sự kết hợp liền mạch giữa những tính năng bổ sung

để có được các biểu diễn đa góc nhìn toàn diện ở cấp độ cao sẽ gặp trở ngại Hơn nữa,

việc sử dụng các thuộc tính được xác định trước ở mức độ thấp trong các kỹ thuật lấyhình học làm trung tâm này dễ bị thay đổi đáng kể Để giải quyết vấn đề này, mạng tíchchập đồ thị hai luồng (TSGCNet) [44] dành cho phân đoạn 3D nổi lên như một kỹ thuậtđặc biệt, thể hiện hiệu suất và tiềm năng vượt trội trong lĩnh vực này Mạng này khaithác các tính năng hình học mạnh mẽ có sẵn trong lưới để thực hiện tác vụ phân đoạn.

Do đó, trong nghiên cứu này, mô hình này được sử dụng để ứng dụng trong bối cảnh mụctiêu nghiên cứu của chúng tôi

Hình 2.4: Kiến trúc của mô hình mạng tích chập đồ thị hai luồng

Giả sử đầu vào là ma trận toa độ F0c có kích thước M × 12, luồng C sử dụng phépbiến đổi đầu vào (bao gồm các MLP được chia sẻ giữa các ô) để học ma trận chuyển đổiaffine T ∈ R12×12, cập nhật F0c như sau

ˆ

Bằng cách này, các đầu vào của mạng khác nhau có thể được căn chỉnh theo không gianchuẩn, giúp ổn định việc trích xuất các đặc điểm hình học trong các lớp tiếp theo

Sau đó, một loại các lớp graph-attention được áp dụng liên tiếp theo đường dẫn phíatrước của luồng C để trích xuất theo thứ bậc các đặc điểm hình học đa tỷ lệ từ khía cạnhtọa độ Cụ thể, cho ma trận đặc trưng Fl

c ∈ RM ×d được học từ lớp graph-attention thứ(l−1), trong đó vector hàng fil ∈ Rdbiểu thị cách biểu diễn của ô thứ i, lớp graph-attentionthứ l tiếp theo sẽ trích xuất thêm các biểu diễn hình học cấp cao Fl+1

c ∈ RM ×k trong bốnbước

Bước một, xét Fl

c, chúng ta xây dựng một đồ thị KNN động G(V, E), trong đó V ={m1, m2, , mM} và E ⊆ |V | × |V | lần lượt biểu thị tập hợp các nút M và tập hợp cáccạnh tương ứng (được xác định bởi kết nối KNN) Trong đó, mỗi đỉnh mi ∈ V chỉ kết nốivới các KNN của nó, được kí hiệu là N (i)

Bước hai, chúng tôi hiệu chỉnh thông tin cục bộ cho từng trung tâm mi Nghĩa là cáchbiểu diễn fijl của lân cận gần nhất thứ j, mij ∈ N (i) được cập nhật cho mi thông qua tíchhợp đại diện của riêng mình, chẳng hạn như

ˆ

fijl = MLPl fil⊕ fl

trong đó ⊕ biểu thị cách ghép nối theo kênh và ˆfl

ij ∈ Rk là biểu diễn vùng lân cận đã hiệuchỉnh Bằng cách này, thông tin được cung cấp bởi mij (được mã hóa trong ˆfijl) có thểnhất quán hơn với nút mi, vì mij có thể là lân cận gần nhất của nhiều trung tâm trênG(V, E), tức là fijl có thể được chia sẻ bởi nhiều nút

Bước ba, chúng ta ước tính trọng số chú ý cho vùng lân cận N (i) của mỗi nút mi.Các trọng số chú ý này được học theo kiểu hướng nhiệm vụ bằng cách sử dụng mạng nhẹ(lightweight) được chia sẻ giữa các nút, mạng này có thể nắm bắt linh hoạt các đặc điểmhình học cục bộ cho nhiệm vụ phân đoạn Cụ thể, trọng số chú ý αlij ∈ Rk của lân cận

mij trong lớp thứ l được định nghĩa như sau

αijl = σ ∆fijl ⊕ fijl
, ∀mij ∈ N (i), (2.3)trong đó hàm σ(·) được triển khai dưới dạng MLP nhẹ (lightweight MLP), sử dụng cả

∆fijl = fil− fl

ij và fijl làm đầu vào Trong không gian tính năng đầu vào, ∆fijl định lượng