báo cáo ai trí tuệ nhân tạo và ứng dụng

liC¢ sở dữ liãu cÿa các tác phẩm nghã thuÁt, hình Ánh vã tinh và y tÁ ngày càng thu hút nhiÃu ng°åi dùng trong các lĩnh vực chuyên môn khác nhau - ví dụ nh° đßa lý, y hác, kiÁn trúc, quÁ

TR¯äNG Đ¾I HàC BÁCH KHOA HÀ NàI

VI âN ĐIâN TĀ - àN THÔNG VI

BÁO CÁO BÀI TÀP LâN

Hà Nái, 7/2022

LàI NÓI ĐÀU

Vãi tác đá phát trißn rất nhanh cÿa khoa hác công nghã, cụm tÿ <Trí tuã nhân t¿o= ngày càng phá biÁn ráng rãi trên các ph°¢ng tiãn thông tin đ¿i chúng và có sāc hút rất m¿nh.Sự phát trißn và các thuÁt toán Hác Máy (Machine Learning) và Hác Sâu (Deep learning) đã hß trợ cho kỹ thuÁ ā t x lý hình Ánh trở nên dá dàng h¢n bao giå hÁt Trong đó, M¿ng neural Tích chÁp (Convolutional Neural Network) là mát trong những mô hình hác sâu hiãn đ¿i nhất hiãn nay M¿ng neural Tích chÁp hiãn nay th°ång đ°ợc sā dụng nhiÃu trong các hã tháng thông minh do °u đißm cÿa m¿ng là có đá chính xác cao, tuy nhiên tác

đá tính toán l¿i rất nhanh Vì lý do đó, m¿ng n¢ ron tích chÁp rất m¿nh trong xā lý hình Ánh, và đ°ợ āng dụng rất nhiÃu trong ngành thß giác máy tính trong các bài toán liên quan c đÁn nhÁn d¿ng đái t°ợng

Truy xuấ hình Ánh (TR) hiãn nay đã trở thành mát vấn đà quan tráng nh°ng cũng t đầy thách thāc do xu h°ãng gia tăng các c¢ sở dữ ãu hình Ánh vãi kích th°ãli c rất lãn Đã

có nhiÃu nß lực đầy hāa hẹn cho vấn đà TR, tuy nhiên, điÃu này không thß thực hiãn đ°ợc

vì viãc đánh giá hình Ánh v¿n dựa trên các bá dữ ãu v¿n còn nhiÃu h¿n chÁ và c¢ chÁ v¿n libình th°ång

Trong bài báo cáo này, chúng em đã thực hiãn đà tài <Truy xuấ hình Ánh dựa trên t nái dung=, đà tài cung cấp mát tÁp dữ ãu quy mô lãn vãi các truy vấn đißm chuẩn vãi li các cách tiÁp cÁn truy vấn khác nhau đß có đ°ợc đánh giá mát cách hã tháng đß qua đó đà xuất thêm các gi i pháp xÁ ā lý phù hợp và kßp thåi

Nhóm xin gāi låi cÁm ¢n chân thành tã TS Võ Lê C°ång đã rất mực tÁn tâm hß i trợ nhóm đß hoàn thiãn đà tài này

1

M þC L C þ

Danh mục hình v¿ 3

Danh mục bÁng 4

BÁng phân chia công viãc 5

CH¯¡NG 1 TàNG QUAN Đ TÀI 6

1 Gi i thiãu và TIR (Trademark Image Retrieval) 6ã 1.1 Đßnh nghĩa TIR 6

1.2 Āng dụng cÿa TIR 6

1.3 Hã áng TIRth 7

1.3.1 H°ãng phát trißn vấn đà 8

1.3.2 Báo cáo và TIR 8

1.3.3 ĐÃ xuất giÁi pháp cho TIR 8

1.3.4 KÁt quÁ đã đ¿t đ°ợc 9

1.3.5 Táng quan và báo cáo 9

CH¯¡NG 2 THIÀT KÀ Hâ THàNG 10

2.1 S¢ đß khái 10

2.2 Tãp dữ liãu 11

2.2.1 Táng quan và CNN 12

2.2.2 Xây dựng mát m¿ng neuron tích chÁp 14

2.3 Mô hình m¿ng VGG-16 và VGG-19 18

2.3.1 VGG-16 18

2.3.2 VGG-19 19

2.4 Āng dụng cho bài toán nhÁn diãn th°¢ng hiãu 20

2.4.1 Trên tãp huấn luyãn 20

2.4.2 Trên tÁp kißm tra 21

CH¯¡NG 3 KÀT QUÀ VÀ ĐÁNH GIÁ MÔ HÌNH 22

3.1 Ph°¢ng pháp tính khoÁng cách giữa 2 vecto Euclidean distance 22

3.2 So sánh các vector đặc tr°ng: 24

3.3 Sắp xÁp giá trß khoÁng cách 24

3.4 KÁt quÁ 25

3.4.1 KÁt quÁ hác máy thông qua VGG-16 và VGG-19 25

3.4.2 KÁt quÁ trích xuất vector đặc tr°ng 27

3.5 Đánh giá mô hình dựa trên các metrix 31

KÀT LUÀN 32

TÀI LIâU THAM KHÀO 33

3

Danh mÿc hình v¿

Hình 2.1 S¢ đß khái cÿa hã tháng 10

Hình 2.2 Ành Data cÿa Logo chỉ āa Iconch .11

Hình 2.3 Ành Data cÿa Logo chỉ āa Textch 12

Hình 2.4 Ành Data cÿa Logo chāa cÁ Text cÁ IconLý thuyÁt CNN 12

Hình 2.5 Các layer trong CNN (3 chiÃu) 13

Hình 2.6 MÁng ma trÁn RGB 6x6x3 14

Hình 2.7 Mô hình m¿ng CNN 14

Hình 2.8 Lãp tích chÁp 15

Hình 2.9 Phép chÁp ma trÁn hình Ánh (5x5) vãi ma trÁn bá lác (3x3) 15

Hình 2.10 Mát ví dụ và Ánh sau khi áp dụng các bá lác khác nhau 16

Hình 2.11 Lãp tích chÁp ho¿t đáng vãi stride = 2 16

Hình 2.12 Hàm ReLU 17

Hình 2.13 Lãp gáp 18

Hình 2.14 M¿ng VGG-16 19

Hình 3.1 Euclidean Distance 23

Hình 3.2 Quá trính tính distance 24

Hình 3.3 Sắp xÁp vầ trích xuất Ánh 25

Hình 3.4 Sắp xÁp và trích xuất Ánh 26

Hình 3.5 Test logo Instagram trên m¿ng VGG-16 28

Hình 3.6 Test logo Instagram trên m¿ng VGG-19 28

Hình 3.7 Test logo Monster trên m¿ng VGG-16 29

Hình 3.8 Test logo Monster trên m¿ng VGG-16 29

Hình 3.9 Test logo Heineken trên m¿ng VGG-16 30

Hình 3.10 Test logo Heineken trên m¿ng VGG-19 30

Danh mÿc bÁng

BÁng 2.1 Chi tiÁt kiÁn trúc m¿ng VGG-16 19 BÁng 2.2 BÁng so sánh VGG-16 vãi VGG-19 20 BÁng 3.1 BÁng đánh giá chi tiÁt trên tãp kißm tra 31

5

BÁng phân chia công vißc

xuất nhãn hiãu dựa trên

xā lý d liãu ữ

thành LÁp trình ch°¢ng trình

chính

thành Đánh giá thông sá, kÁt

CH¯¡NG 1 TàNG QUAN Đ TÀI

Khi các bá xā lý ngày càng trở nên m¿nh m¿ và bá nhã ngày càng rẻ h¢n, viãc trißn khai c¢ sở dữ ãu hình Ánh vãi quy mô lãn cho nhiÃu āng dụng giå đây đã trở nên khÁ thi liC¢ sở dữ liãu cÿa các tác phẩm nghã thuÁt, hình Ánh vã tinh và y tÁ ngày càng thu hút nhiÃu ng°åi dùng trong các lĩnh vực chuyên môn khác nhau - ví dụ nh° đßa lý, y hác, kiÁn trúc, quÁng cáo, thiÁt kÁ, thåi trang và xuất bÁn Truy cÁp mát cách hiãu quÁ và lấy các hình Ánh mong muán tÿ các c¢ sở dữ liãu hình Ánh lãn và đa d¿ng hiãn là mát điÃu rất cần thiÁt

cÿa hình Ánh truy vấn Nó bao gßm hai b°ãc:

• Trích xuất đặc tr°ng (Features)

• Khãp Truy vấn (Matching)

TIR có mát vài āng dụng phá biÁn nh° sau:

• Phòng cháng tái ph¿m: Hã áng tự Án diãn khuôn mặtth nh

• Kißm tra bÁo mÁt: Hã áng quét vân tay và võng m¿c đß truy cÁp vào các thđặc quyÃn riêng

Mát sá hã tháng TIR hiãn đang tßn t¿i và đang đ°ợc phát trißn liên tụ c Ví dụ nh°:

• QBIC hoặc Truy vấn bằng Nái dung Hình Ánh đ°ợc IBM, Trung tâm Nghiên cāu Almaden, phát trißn đß cho phép ng°åi dùng đặt ra và tinh chỉnh các truy vấn bằng đß háa dựa trên nhiÃu thuác tính nh° màu sắc, kÁt cấu và hình d¿ng

Nó hß ợ các truy vấn dựa trên hình Ánh đầu vào do ng°åi dùng t¿o và các trm¿u màu và háa tiÁt đã chán

• VIR Image Engine cÿa Virage Inc., giáng nh° QBIC, cho phép truy xuất hình Ánh dựa trên các thuác tính nguyên thÿy nh° màu sắc, kÁt cấu và cấu trúc

Nó kißm tra các pixel trong hình Ánh và thực hiãn quá trình phân tích, lấy ra các tính năng đặc tr°ng cÿa hình Ánh

• VisualSEEK và WebSEEK đ°ợc phát trißn bởi Khoa Điãn, Đ¿i hác Columbia CÁ hai hã áng này đÃu hß ợ đái sánh màu sắc và vß trí không th trgian cũng nh° đái sánh kÁt cấu

• NeTra đ°ợc phát trißn bởi Khoa Kỹ thuÁt Điãn và Máy tính, Đ¿i hác California Nó hß ợ màu sắc, hình d¿ng, bá cục không gian và kÁt cấu phù trhợp, cũng nh° phân đo¿n hình Ánh

• MARS hay Hã áng truy xuất và phân tích đa ph°¢ng tiãn đ°ợc phát trißn thbởi Viãn Khoa hác và Công nghã Tiên tiÁn Beckman, Đ¿i hác Illinois Nó hß trợ màu sắc, bá cục không gian, kÁ ấu và kÁ ợp hình d¿ngt c t h

• Viper hoặc Xā lý Thông tin Trực quan đß Truy xuất Nâng cao đ°ợc phát trißn t¿i Nhóm Thß giác Máy tính, Đ¿ ác Geneva Nó hß ợ kÁ ợp màu sắc và i h tr t h

kÁ ấu.t c

1.3.1 Hướng phát triển vấn đề

C¢ sở dữ ãu và bá s°u tÁp hình Ánh có thß có kích th°ãc kháng lß, chāli a hàng trăm, hàng nghìn hoặc thÁm chí hàng triãu hình Ánh Ph°¢ng pháp truy xuất hình Ánh thông th°ång là tìm kiÁm mát tÿ khóa phù hợp vãi tÿ khóa mô tÁ đ°ợc gán cho hình Ánh bởi bá phân lo¿i cÿa con ng°åi Hiãn đang đ°ợc phát trißn, mặc dù mát sá hã áng đã tßn t¿i, là viãc truy xuất hình Ánh dựa trên nái dung cÿa chúng, thđ°ợc gái là Truy xuất hình Ánh dựa trên nái dung, TIR Mặc dù tán kém và mặt tính toán, nh°ng kÁt quÁ l¿i chính xác h¢n nhiÃu so vãi lÁp chỉ mục hình Ánh thông th°ång Do đó, tßn t¿i sự cân bằng giữa đá chính xác và chi phí tính toán Sự cân bằng này giÁm dần khi các thuÁt toán hiãu quÁ h¢n đ°ợc sā dụng và sāc m¿nh tính toán tăng lên trở nên không tán kém

1.3.2 Báo cáo về TIR

Vấn đà liên quan đÁn viãc nhÁp mát hình Ánh d°ãi d¿ng truy vấn vào mát āng dụng phần mÃm đ°ợc thiÁt kÁ đß sā dụng các kỹ thuÁt TIR trong viãc trích xuất các thuác tính trực quan và đái sánh chúng ĐiÃu này đ°ợc thực hiãn đß truy xuất hình Ánh trong c¢ sở dữ ãu t°¢ng tự ực quan vãi hình Ánh truy vấn.li tr

1.3.3 Đề xuất giải pháp cho TIR

GiÁi pháp ban đầu đ°ợc đà xuất là trích xuất các tính năng ban đầu cÿa mát hình Ánh truy vấn và so sánh chúng vãi các tính năng cÿa hình Ánh c¢ sở dữ ãu liCác đặc đißm hình Ánh đang đ°ợc xem xét là màu sắc, kÁt cấu và hình d¿ng Do đó, bằng cách sā dụng các thuÁt toán so sánh và so sánh, các đặc đißm v màà u sắc, kÁt cấu và hình d¿ng cÿa mát hình Ánh đ°ợc so sánh và khãp vãi các đặc đißm t°¢ng āng cÿa hình Ánh khác So sánh này đ°ợc thực hiãn bằng cách sā dụng các th°ãc

đo khoÁng cách màu sắc, kÁt cấu và hình d¿ng Cuái cùng, các sá liãu này đ°ợc thực hiãn lần l°ợt, đß truy xuất hình Ánh c¢ sở dữ ãu t°¢ng tự nh° truy vấn Sự giáng linhau giữa các tính năng đã đ°ợc tính toán bằng các thuÁt toán đ°ợc sā dụng bởi các

1.3.5 Tổng quan và báo cáo

Báo cáo này đ°ợc chia thành ba phần chính Phần đầu tiên đà cÁp đÁn giãi thiãu chung và TIR ĐiÃu thā hai liên quan đÁn công nghã m¿ng tích chÁp đ°ợc sā dụng trong TIR Phần thā ba đà cÁp đÁn kÁt quÁ khi ßn khai thuÁt toán, đánh giá tri

kÁt quÁ dựa trên những gì đã làm đ°ợc và ch°a làm đ° c ợ

Hình 2.2 Ành Data cÿa Logo chỉ āa Iconch

Hình 2.3 Ành Data cÿa Logo chỉ āa Textch

Hình 2.4 Ành Data cÿa Logo chāa cÁ Text cÁ IconLý thuyÁt CNN

2.2.1 Tổng quan về CNN

Convolutional Neural Network (CNN – M¿ng n¢-ron tích chÁp) là mát trong những

mô hình Deep Learning tiên tiÁn giúp cho chúng ta xây dựng đ°ợc những hã áng thông th

13

minh vãi đá chính xác cao nh° hiãn nay Hầu hÁt các hã áng nhÁn diãn và xā lý Ánh hiãth n nay đÃu sā dụng m¿ng CNN vì tác đá xā lý nhanh và đá chính xác cao Trong m¿ng n¢ ron truyÃn tháng, các tầng đ°ợc coi là mát chiÃu, thì trong m¿ng n¢ ron tích chÁp, các tầng đ°ợc coi là 3 chiÃu, gßm: chiÃu cao, chiÃu ráng và chiÃu sâu

Hình 2.5 Các layer trong CNN (3 chiÃu)

Trong m¿ng neural, mô hình m¿ng neural tích chÁp (CNN) là 1 trong những mô hình đß nhÁn d¿ng và phân lo¿i hình Ánh Trong đó, xác đßnh đái t°ợng và nhÁn d¿ng khuôn mặt là 1 trong sá những lĩnh vực mà CNN đ°ợc sā dụng ráng rãi CNN phân lo¿i hình Ánh bằng cách lấy 1 hình Ánh đầu vào, xā lý và phân lo¿i nó theo các h¿ng mục nhất đßnh (Ví dụ: Chó, Mèo, Há, ) Máy tính coi hình Ánh đầu vào mÁng pixel và nó phụ thuác vào là

đá phân giÁi cÿa hình Ánh Dựa trên đá phân giÁi hình Ánh, máy tính s¿ ấy H x W x D (H: thChiÃu cao, W: ChiÃu ráng, D: Đá dày) Ví dụ: Hình Ánh là mÁng ma trÁn RGB 6x6x3 (3 ở đây là giá trß RGB)

Hình 2.6 MÁng ma tr¿n RGB 6x6x3

VÃ kỹ thuÁt, mô hình CNN đß training và kißm tra, mßi hình Ánh đầu vào s¿ chuyßn

nó qua 1 lo¿t các lãp tích chÁp vãi các bá lác (Kernals), táng hợp l¿i các lãp đ°ợc kÁt nái đầy đÿ (Full Connected) và áp dụng hàm Softmax đß phân lo¿i đái t°ợng có giá trß xác suất giữa 0 và 1 Hình d°ãi đây là toàn bá ßng CNN đß xā lý hình Ánh đầu vào và phân lo¿lu i các đái t°ợng dựa trên giá trß

Hình 2.10 Một ví dÿ và Ánh sau khi áp dÿng các bộ lọc khác nhau

2.2.2.2 Đường vi n (Padding) ề

Đôi khi kernel không phù hợp v i hình ã Ánh đầu vào Ta có 2 l a ch n: ự á

- Chèn thêm các sá 0 vào 4 đ°ång biên c a hình nh (padding) ÿ Á

- Cắt bãt hình nh t i nhÁ ¿ ững đißm không phù hợp vãi kernel

2.2.2.3 Bước nhảy (stride)

Stride là sá pixel thay đái trên ma trÁn đầu vào Khi stride là 1 thì ta di chuy n các ßkernel 1 pixel Khi stride là 2 thì ta di chuyßn các kernel đi 2 pixel và tiÁp tục nh° Á v y B°ãc nhÁy đ°ợc thß hiãn nh° hình 2.12

Hình 2 11 Lßp tích ch¿p ho¿t động v ßi stride = 2

17

2.2.2.4 Hàm phi tuyến (ReLU)

ReLU viÁt tắt cÿa Rectified Linear Unit, là 1 hàm phi tuyÁn Vãi đầu ra là: ƒ (x) = max (0, x) T¿i sao ReLU l¿i quan tráng: ReLU giãi thiãu tính phi tuyÁn trong ConvNet

Vì dữ ãu trong thÁ giãli i mà chúng ta tìm hi ßu là các giá trß tuyÁn tính không âm

- KiÁn trúc VGG-16 sâu h¢n, bao gßm 13 layers tích chÁp 2 chiÃu (thay vì 5 so vãi AlexNet) và 3 layers fully connected

- Lần đầu tiên trong VGG-16 chúng ta xuất hiãn khái niãm và khái tích chÁp (block) Đây là những kiÁn trúc gßm mát tÁp hợp các layers CNN đ°ợc lặp l¿i giáng nhau KiÁn trúc khái đã khởi ngußn cho mát d¿ng kiÁn trúc hình m¿u rất th°ång gặp ở các m¿ng CNN kß tÿ đó

- VGG-16 cũng kÁ thÿa l¿i hàm activation ReLU ở AlexNet

- VGG-16 cũng là kiÁn trúc đầu tiên thay đái thā tự cÿa các block khi xÁp nhiÃu layers CNN + max pooling thay vì xen k¿ ỉ mát layer CNN + max pooling Các layers chCNN sâu h¢n có thß trích lác đặc tr°ng tát h¢n so vãi chỉ 1 layers CNN

19

Hình 2.14 M¿ng VGG-16 BÁng 2.1 Chi tiÁt kiÁn trúc m¿ng VGG-16

2.3.2 VGG-19

Bên c¿nh đó là m¿ng VGG-19, m¿ng VGG-19 là mát m¿ng đ°ợc phát trißn lên tÿ m¿ng VGG-16 vãi các đặc tr°ng c¢ bÁn đ°ợc kÁ ÿa hoàn toàn tÿ VGG-16 nh° các hàm th

tính toán, kiÁn trúc táng quan, & Tuy nhiên m¿ng VGG-19 có khác vãi m¿ng VGG-16 mát chút ở cấu t¿o, cụ thß là m¿ng VGG-19 vãi 19 lãp deep layers nhiÃu h¢n m¿ng VGG16 vãi 16 lãp deep layers là 3 lãp deep layers

BÁng 2.2 BÁng so sánh VGG-16 vßi VGG-19

2.4.1 Trên tệp huấn luyện

- Resize tất cÁ các Ánh đ°a vào huấn luyãn và Ánh màu kích th°ãc 64*64 Mßi Ánh s¿ gßm 12228 đặc tr°ng màu sắc

- TiÁn hành cÁp nhÁt dữ ãu Ánh và nhãn.li

21

- Thực hiãn chuyßn ma trÁn Ánh thành mÁng, thực hiãn chuẩn hoá dữ ãu và māli c [0, 1]

- Đ°a vào các mô hình m¿ng đ°ợc gợi ý (VGG16 và VGG19)

- Huấn luyãn model

- Tính toán/đánh giá thông sá trên tãp huấn luyãn

- (L°u các model l¿i đß dùng cho sau này)

2.4.2 Trên tập kiểm tra

- Resize tất cÁ các Ánh đ°a vào huấn luyãn và Ánh màu kích th°ãc 64*64 Mßi Ánh s¿ gßm 12228 đặc tr°ng màu sắc

- TiÁn hành cÁp nhÁt dữ ãu Ánh và nhãn.li

- Thực hiãn chuyßn ma trÁn Ánh thành mÁng, thực hiãn chuẩn hoá dữ ãu và māli c [0, 1]

- Tính toán/đánh giá thông sá trên tãp kißm tra

- (Test thā mát sá Ánh lấy tÿ ngußn khác)

CH¯¡NG 3 KÀT QUÀ VÀ ĐÁNH GIÁ MÔ HÌNH

Trong Machine Learning, thì viãc tính toán giữa các vector, hay tính khoÁng cách giữa các đißm, các vector đ°ợc thực hiãn rất nhiÃu và theo nhiÃu ph°¢ng thāc khác nhau Nh°ng đ°ợc dùng phá biÁn nhấ ß đo khoÁng cách các vector hiãn nay đó là: t đ

- Euclidean Distance

- Manhattan Distance

- Minkowshi Distance

- Hamming Distance

Mßi thuÁt toán có đặc đißm riêng và cách thāc riêng tính toán cÿa chúng và trong

đà tài này nhóm s¿ sā dụng ph°¢ng thā ính toán phá biÁn đó là 8Euclidean Distance9.c tTrong toán hác, khoÁng cách Euclid giữa hai đißm trong không gian Euclid là đá dài cÿa đo¿n thẳng (đá dài ngắn nhất cÿa 2 đißm) nái hai đißm đó Có thß tính nó tÿ táa đá

ĐÃ các cÿa hai đißm bằng cách sā dụng đßnh lý Pythagoras, do đó còn có tên gái khác là khoÁng cách Pythagoras Hai danh pháp nayf đ°ợc đặt tên theo hai nhà toán hác Hy L¿p

cá đ¿i Euclid và Pythagoras, dù Euclid không dùng sá đß ỉ khoÁng cách và mái liên hã chgiữa đßnh lý Pythagoras vãi viãc tính toán khaongr cách ch°a đ°ợc thiÁt lÁp cho đÁn thÁ kỷ

18

23

Hình 3.1 Euclidean Distance

• Công thāc vãi 1 chiÃu:

Vãi 2 điêm p và q ta có khoÁng cách giữa 2 đißm là:

�㕑(ý, þ) = √(ý 2 þ)2 2

• Công thāc vãi 2 chiÃu:

Cho p trong táa đá ĐÃ các là (p1, p2) và q có táa đá là (q1, q2) ta có:

�㕑(ý, þ) = √(ý2 12 þ1)2+ (ý22 þ2)2

• Công thāc vãi nhiÃu chiÃu:

Cho p có táa đá (p1, p2, & pn) và q có táa đá là (q1, q2, & qn) ta có:

�㕑(ý, þ) = √(ý2 12 þ1)2+ (ý22 þ2)2+ ⋯ + (ý� 㕛2 þ�㕛)2