xây dựng hệ thống điều khiển thiết bị trong nhà bằng nhận diện cử chỉ tay sử dụng mô hình yolov8

L âI CAM ĐOAN ĐÃ tài nghiên cću " Xây dựng hÉ tháng điÃu khiÅn thiÁt bß trong nhà bằng nhÁn diÉn cā chỉ tay sā dăng mô hình YOLO v8" là kÁt quÁ cąa quá trình nghiên cću đác lÁp cąa tôi d

THÀNH PHỐ HỒ CHÍ MINH

BỘ GIÁO DỤC VÀ ĐÀO TẠO

TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT

ĐỒ ÁN TỐT NGHIỆP NGÀNH HỆ THỐNG NHÚNG VÀ IOT

XÂY DỰNG HỆ THỐNG ĐIỀU KHIỂN THIẾT BỊ TRONG NHÀ

BẰNG NHẬN DIỆN CỬ CHỈ TAY SỬ DỤNG

MÔ HÌNH YOLOv8

GVHD: ThS TRƯƠNG QUANG PHÚC SVTH: TRẦN MINH ĐÔ

đồ án

TR¯âNG Đ¾I HäC S¯ PH¾M KỸ THU¾T TP Hà CHÍ MINH

KHOA ĐIÞN ĐIÞN Tþ

H°ãng d¿n : ThS TR¯¡NG QUANG PHÚC

Sinh viên: TR ÀN MINH ĐÔ

đồ án

TR¯äNG Đ¾I HàC S¯ PH¾M KĀ THUÀT THÀNH PHà Hâ CHÍ MINH

KHOA ĐIÈN ĐIÈN TĀ

Đâ ÁN TàT NGHIÈP

XÂY D ĀNG HÞ THÞNG ĐIÀU KHIÂN THI ¾T Bâ TRONG NHÀ B¾NG NH¾N DIÞN C þ CHà TAY Sþ DĀNG MÔ HÌNH YOLOv8

L âI CÀM ¡N

Tr°ãc tiên vãi lòng biÁt ¢n chân thành, tôi xin gāi đÁn vãi ThÁy Tr°¢ng Quang Phúc låi cÁm t¿ sâu sÃc Suát thåi gian qua, thÁy đã dành tâm huyÁt và tÁn tình h°ãng d¿n, đãng hành cùng tôi trong quá trình hoàn thiÉn đã án tát nghiÉp: " Xây dựng hÉ tháng điÃu khiÅn thiÁt bß trong nhà bằng nhÁn diÉn cā chỉ tay sā dăng mô hình YOLO v8" Dù tôi còn nhiÃu h¿n chÁ và kiÁn thćc, nh°ng nhå sự góp ý, trā giúp tÁn tình cąa thÁy, tôi đã v°āt qua mái thā thách và đ¿t đ°āc kÁt quÁ đáng mÿng

Tôi xin bày tß lòng biÁt ¢n sâu sÃc đÁn đái ngũ giÁng viên khoa ĐiÉn - ĐiÉn tā, những ng°åi đã nÃn tÁng tri thćc vững chÃc đÅ tôi có thÅ tiÁn đÁn ngày hôm nay Đãng thåi, tôi cũng bày tß lòng tri ân sâu sÃc đÁn Tr°ång Đ¿i hác S° Ph¿m Kā ThuÁt Thành Phá Hã Chí Minh, đã t¿o dựng nên môi tr°ång hác tÁp lý t°çng, phù hāp vãi triÁt lý "Nhân bÁn - Sáng t¿o - Hái nhÁp"

Cuái cùng, tôi xin gāi låi cÁm ¢n chân thành đÁn gia đình, b¿n bè và những ng°åi thân yêu, những ng°åi luôn dõi theo, đáng viên và ąng há tôi suát chÁng đ°ång Tôi xin chúc thÁy, nhà tr°ång và quý thÁy cô luôn m¿nh khße, gÁt hái thêm nhiÃu thành công trong sự nghiÉp và cuác sáng

Tôi xin trân thành cÁm ¢n!

Sinh viên th ực hiÉn đà tài

TrÁn Minh Đô

đồ án

L âI CAM ĐOAN

ĐÃ tài nghiên cću " Xây dựng hÉ tháng điÃu khiÅn thiÁt bß trong nhà bằng nhÁn diÉn cā chỉ tay sā dăng mô hình YOLO v8" là kÁt quÁ cąa quá trình nghiên cću đác lÁp cąa tôi d°ãi sự h°ãng d¿n tÁn tình cąa ThÁy Tr°¢ng Quang Phúc

Tôi đã dành nhiÃu công sćc và thåi gian đÅ thực hiÉn đà tài, bao gãm viÉc tham khÁo nhiÃu nguãn tài liÉu và công trình nghiên cću khác nhau đÅ tìm hiÅu kiÁn thćc chuyên môn và bå sung thông tin cÁn thiÁt Tôi cam đoan rằng không có b¿t kỳ hành vi gian lÁn nào tÿ các nguãn tài liÉu khác NÁu có b¿t cć sai ph¿m nào, tôi xin hoàn toàn chßu trách nhiÉm

Sinh viên th ực hiÉn đà tài

đồ án

TÓM T ÀT

Sự phát triÅn cąa công nghÉ thông tin và điÉn tā đã t¿o ra nhiÃu cách thćc mãi đÅ t°¢ng tác và điÃu khiÅn thiÁt bß trong cuác sáng hằng ngày Trong đó, viÉc sā dăng nhÁn diÉn cā chỉ tay là mát giÁi pháp thông minh và tiÉn lāi, cho phép ng°åi dùng điÃu khiÅn các thiÁt bß gia dăng chỉ bằng các đáng tác cąa bàn tay Đà tài "Xây dựng hÉ tháng điÃu khiÅn thiÁt bß trong nhà bằng nhÁn diÉn cā chỉ tay sā dăng mô hình YOLO v8" tÁp trung nghiên cću và phát triÅn mát hÉ tháng nh° vÁy

Mô hình YOLO v8 là phiên bÁn mãi, cung c¿p khÁ năng nhÁn diÉn cā chỉ tay mát cách nhanh chóng và chính xác, đáp ćng yêu cÁu cąa các ćng dăng thực tÁ ViÉc ćng dăng YOLO v8 vào hÉ tháng s¿ mang l¿i nhiÃu tiÉn ích cho ng°åi dùng, giúp tăng trÁi nghiÉm sā dăng và mang l¿i sự thông minh, tự đáng hóa cao

ThiÁt kÁ giao diÉn trực quan cũng đóng vai trò quan tráng, giúp ng°åi dùng dÇ dàng hiÅu và t°¢ng tác vãi hÉ tháng Giao diÉn s¿ đ°āc xây dựng hiÉn đ¿i, đÁm bÁo tính trực quan, dÇ sā dăng và thân thiÉn Ng°åi dùng s¿ có thÅ quan sát và điÃu khiÅn các thiÁt bß gia dăng trong nhà thông qua giao diÉn này mát cách đ¢n giÁn và linh ho¿t

Trong tiÅu luÁn này, tôi s¿ trình bày và quá trình xây dựng hÉ tháng điÃu khiÅn thiÁt bß trong nhà bằng nhÁn diÉn cā chỉ tay, bao gãm thiÁt kÁ kiÁn trúc hÉ tháng, triÅn khai mô hình YOLO v8 cho nhiÉm vă nhÁn diÉn, và tích hāp các mô-đun điÃu khiÅn đÅ hoàn thiÉn hÉ tháng KÁt quÁ cąa nghiên cću này s¿ là mát giÁi pháp thông minh, hß trā ng°åi có h¿n chÁ và khÁ năng vÁn đáng, tiÉn lāi và có khÁ năng ćng dăng ráng rãi trong các gia đình hiÉn đ¿i

đồ án

M ỤC LỤC

LäI CÀM ¡N i

LäI CAM ĐOAN ii

TÓM TÂT iii

DANH MĂC HÌNH ÀNH vii

DANH MĂC BÀNG BIÄU ix

CH¯¡NG 1 TäNG QUAN 1

1.1 GIâI THIÈU 1

1.2 MĂC TIÊU ĐÂ TÀI 3

1.3 TÌNH HÌNH NGHIÊN CĆU TRONG VÀ NGOÀI N¯âC 3

1.3.1 Tình hình nghiên cću ngoài n°ãc 3

1.3.2 Tình hình nghiên cću trong n°ãc 4

1.4 PH¯¡NG PHÁP NGHIÊN CĆU 5

1.5 Bà CĂC CĄA ĐÂ TÀI 6

CH¯¡NG 2 C¡ Sæ LÝ THUYÀT 7

2.1 NHÀN DIÈN ĐàI T¯ĀNG 7

2.2 TÌM HIÄU VÂ MÔ HÌNH YOLO 7

2.2.1 Dựa trên ô l°ãi (grid cell) 8

2.3 PHÀN MÂM THIÀT KÀ GIAO DIÈN QT5 14

2.4 PHÀN MÂM ARDUINO IDE 15

CH¯¡NG 3 THIÀT KÀ VÀ THI CÔNG 17

3.1 YÊU CÀU HÈ THàNG 17

3.2 ĐÀC TÀ HÈ THàNG 17

3.2.1 Chćc năng cąa hÉ tháng 17

3.2.2 Mô hình tång quát cąa hÉ tháng 18

3.2.3 S¢ đã khái và nguyên lí ho¿t đáng 19

3.4.1 ThiÁt kÁ mô hình nhÁn diÉn cā chỉ tay 26

3.4.2 ThiÁt kÁ giao diÉn điÃu khiÅn cąa hÉ tháng 36

5.1 KÀT LUÀN 49

5.2 H¯âNG PHÁT TRIÄN 49

PHĂ LĂC Mà NGUâN CH¯¡NG TRÌNH 51

TÀI LIÈU THAM KHÀO 52

đồ án

Hình 2.5 HiÉu su¿t cąa YOLO v8 so vãi phiên bÁn tr°ãc 12

Hình 2.6 KiÁn trúc mô hình YOLO v8 13

Hình 2 7 Các phiên bÁn cąa YOLOv8 đ°āc đánh giá theo COCO 14

Hình 2.8 PhÁn mÃm Qt5 15

Hình 2.9 PhÁn mÃm Arduino IDE 16

Hình 3.1 Mô hình tång quát cąa hÉ tháng 18

Hình 3.2 S¢ đã khái cąa hÉ tháng 19

Hình 3.3 Arduino UNO R3 trong thực tÁ 22

Hình 3.4 Mô-đun r¢-le điÃu khiÅn có 4 kênh 23

Hình 3.5 S¢ đã nguyên lí cąa mô-đun r¢-le 4 kênh 24

Hình 3.6 S¢ đã nguyên lí kÁt nái Arduino R3 và mô-đun r¢-le 4 kênh 25

Hình 3.7 L°u đã cho toàn hÉ tháng 26

Hình 3 8 L°u đã thu thÁp và xā lí tÁp dữ liÉu 27

Hình 3.9 Các cā chỉ tay t°¢ng ćng vãi 4 kênh điÃu khiÅn 28

Hình 3.10 Hình Ánh gán nhãn "on2" trên công că MakeSense 29

Hình 3.11 Các phiên bÁn tăng c°ång dữ liÉu 30

Hình 3.12 Phân chia tÁp dữ liÉu 31

Hình 3 13 L°u đã lựa chán và hu¿n luyÉn mô hình 32

đồ án

Hình 3.14 KiÁn trúc mô hình YOLOv8n theo th° viÉn ultralytics 33

Hình 3.15 Resize Ánh và kích th°ãc 640x640 34

Hình 3 16 L°u đã điÃu khiÅn thiÁt bß vãi cā chỉ t°¢ng ćng 35

Hình 3.17 L°u đã cho hàm hiÅn thß 37

Hình 4.1 Tång quan mô hình hoàn thiÉn và cång đÁu ra điÃu khiÅn 39

Hình 4.2 KÁt nái giữa máy tính và mô hình 39

Hình 4.3 PhÁn cćng bên trong mô hình 40

Hình 4.4 Confusion Matrix 40

Hình 4.5 Đã thß PR-Curve 41

Hình 4.6 F1-Confidence Curve 41

Hình 4.7 KÁt quÁ training 42

Hình 4.8 Giao diÉn khi nhÁn d¿ng đ°āc và các thiÁt bß đ°āc bÁt 43

Hình 4.9 Giao diÉn khi nhÁn d¿ng đ°āc và các thiÁt bß đ°āc tÃt 43

Hình 4 10 Các cā chỉ tay đ°āc nhÁn diÉn chính xác 46

Hình 4 11 NhÁn diÉn nhÁm l¿n hoÁc không nhÁn diÉn đ°āc 47

Hình 4 12 Nhãn cā chỉ nhÁn diÉn trùng vãi cā chỉ khác 47

đồ án

DANH M ĀC BÀNG BIÂU

BÁng 3.1 Thông sá kā thuÁt cąa Arduino UNO R3 22 BÁng 4.1 Thực nghiÉm đánh giá hiÉu su¿t nhÁn diÉn các nhãn khoÁng cách 0.5-1.2 mét 44BÁng 4.2 Thực nghiÉm đánh giá hiÉu su¿t nhÁn diÉn các nhãn khoÁng cách 1.2-1.5 mét 45

đồ án

đồ án

CH¯¡NG 1 TâNG QUAN

1.1 GI àI THIÞU

Trong thåi đ¿i công nghÉ phát triÅn nhanh chóng, trí tuÉ nhân t¿o đã phát triÅn v°āt bÁc, làm thay đåi nhiÃu khía c¿nh trong đåi sáng và sinh ho¿t cąa con ng°åi, tÿ đó t°¢ng tác giữa con ng°åi và máy tính đã trç thành mát lĩnh vực nghiên cću đÁy tiÃm năng Mát trong những ćng dăng nåi bÁt cąa sự tiÁn bá này là khái niÉm "nhà thông minh" Nhà thông minh không chỉ đ¢n thuÁn là tự đáng hóa các thiÁt bß điÉn tā mà còn tích hāp các hÉ tháng nhÁn diÉn và điÃu khiÅn tiên tiÁn nh° giáng nói, cā chỉ và thÁm chí là biÅu cÁm khuôn mÁt, mang l¿i những trÁi nghiÉm hoàn toàn mãi cho ng°åi dùng

Nhà thông minh, hay "smart home", là mát hÉ tháng các thiÁt bß kÁt nái vãi nhau qua internet, cho phép ng°åi dùng điÃu khiÅn và giám sát tÿ xa thông qua điÉn tho¿i di đáng hoÁc máy tính bÁng HÉ tháng này bao gãm các thiÁt bß nh° đèn chiÁu sáng, điÃu hòa nhiÉt đá, hÉ tháng an ninh, thiÁt bß nhà bÁp, và nhiÃu thiÁt bß khác Những tiÉn ích mà nhà thông minh mang l¿i không chỉ dÿng ç viÉc tái °u hóa năng l°āng và tiÁt kiÉm chi phí, mà còn góp phÁn nâng cao ch¿t l°āng cuác sáng, đem đÁn sự thoÁi mái và tiÉn nghi cho ng°åi sā dăng

Mát trong những ph°¢ng pháp điÃu khiÅn các thiÁt bß trong nhà thông minh đang nhÁn đ°āc sự quan tâm lãn tÿ cáng đãng nghiên cću và ng°åi dùng cuái là điÃu khiÅn bằng cā chỉ tay So vãi các ph°¢ng pháp truyÃn tháng nh° nút b¿m hoÁc điÃu khiÅn tÿ xa, viÉc điÃu khiÅn bằng cā chỉ tay mang l¿i sự trực quan và tự nhiên h¢n, đãng thåi t¿o ra trÁi nghiÉm ng°åi dùng thân thiÉn h¢n ĐÁc biÉt, đái vãi ng°åi cao tuåi hoÁc ng°åi khuyÁt tÁt, ph°¢ng pháp này cung c¿p mát cách t°¢ng tác dÇ dàng và tiÉn lāi h¢n, giúp há thực hiÉn các thao tác mà không cÁn tiÁp xúc vÁt lý vãi thiÁt bß

HiÉn nay, các hÉ tháng điÃu khiÅn bằng cā chỉ tay đã đ¿t đ°āc những thành tựu đáng kÅ Tuy nhiên, v¿n còn nhiÃu thách thćc cÁn đ°āc v°āt qua đÅ đÁm bÁo tính chính xác và đáng tin cÁy cąa hÉ tháng Mát trong sá đó là khÁ năng nhÁn diÉn và phân lo¿i chính xác các cā chỉ tay khác nhau trong môi tr°ång đa d¿ng và điÃu kiÉn ánh sáng thay đåi Ví dă, mát cā chỉ tay nh° "xin chào" có thÅ có nhiÃu ý nghĩa khác

đồ án

nhau tùy thuác vào ngữ cÁnh và măc đích sā dăng ĐiÃu này đòi hßi sự nh¿t quán và đáng tin cÁy trong viÉc nhÁn diÉn cā chỉ tay H¢n nữa, viÉc đÅ rút trích đÁc tr°ng và giÁi mã cā chỉ tay đòi hßi sự chính xác và tác đá cao đÅ đÁm bÁo phÁn hãi thåi gian thực cąa hÉ tháng điÃu khiÅn thiÁt bß

Ngoài ra, đÅ tích hāp nhÁn diÉn cā chỉ tay vào các thiÁt bß điÉn tā, ta phÁi đái mÁt vãi yêu cÁu và hiÉu su¿t tính toán cao và t°¢ng thích vãi các nÃn tÁng phÁn cćng khác nhau ĐiÃu này đÁt ra nhu cÁu tái °u hóa và cÁi tiÁn các thuÁt toán, cũng nh° khÁ năng tích hāp và triÅn khai hÉ tháng trên các nÃn tÁng nhúng và di đáng HiÉu su¿t tính toán là mát yÁu tá quan tráng, đÁc biÉt khi cÁn xā lí Ánh gác vãi đá phân giÁi cao và tác đá khung hình nhanh đÅ đáp ćng yêu cÁu phÁn hãi thåi gian thực

Ngoài ra, viÉc nhÁn diÉn cā chỉ tay cũng có thÅ ćng dăng trong các giao diÉn máy tiÉn ích Thay vì sā dăng bàn phím và chuát, ng°åi dùng có thÅ t°¢ng tác vãi máy tính hoÁc thiÁt bß di đáng bằng cách sā dăng cā chỉ tay ViÉc này đem đÁn trÁi nghiÉm t°¢ng tác tự nhiên và thoÁi mái h¢n, giúp giÁm bãt sự phă thuác vào các công că truyÃn tháng và tăng c°ång sự linh ho¿t trong viÉc t°¢ng tác vãi thiÁt bß trong nhà ĐÅ giÁi quyÁt những v¿n đà này, viÉc áp dăng các mô hình hác sâu tiên tiÁn nh° YOLO (You Only Look Once) đang đ°āc xem là mát h°ãng đi đÁy tiÃm năng YOLO là mát trong những mô hình nåi tiÁng nh¿t trong viÉc nhÁn diÉn đái t°āng, vãi khÁ năng xā lý nhanh chóng và đá chính xác cao Phiên bÁn mãi nh¿t, YOLO v8, hća hẹn mang l¿i đá chính xác cao và tác đá xā lý nhanh h¢n so vãi các phiên bÁn tr°ãc đó, giúp nâng cao hiÉu su¿t cąa hÉ tháng nhÁn diÉn cā chỉ tay

ng°åi-Tång quan, đà tài "Xây dựng hÉ tháng điÃu khiÅn thiÁt bß trong nhà bằng nhÁn diÉn cā chỉ tay sā dăng mô hình YOLO v8" đang đ°āc quan tâm và nghiên cću ráng rãi trong lĩnh vực trí tuÉ nhân t¿o Sự phát triÅn cąa các hÉ tháng nhÁn diÉn cā chỉ tay chính xác, nh¿t quán và phÁn hãi thåi gian thực s¿ mang l¿i nhiÃu lāi ích và ćng dăng đa d¿ng trong cuác sáng hàng ngày, tÿ nhà thông minh đÁn giao diÉn ng°åi-máy tiÉn ích và trÁi nghiÉm t°¢ng tác giữa con ng°åi và thiÁt bß trong nhà

đồ án

1.2 M ĀC TIÊU ĐÀ TÀI

Đái vãi đà tài tôi đã đà ra mát sá măc tiêu chính:

Th ứ nhất: Thu thÁp và xā lí mát tÁp dữ liÉu chća các hình Ánh và nhãn cā chỉ tay

đÁy đą và đa d¿ng TÁp dữ liÉu này s¿ đ°āc sā dăng đÅ hu¿n luyÉn mô hình nhÁn diÉn cā chỉ tay

Th ứ hai: Hu¿n luyÉn mát mô hình nhÁn diÉn cā chỉ tay sā dăng tÁp dữ liÉu tự t¿o

thông qua viÉc áp dăng các thuÁt toán nhÁn diÉn đái t°āng Mô hình này s¿ đ°āc điÃu chỉnh và tái °u đÅ đ¿t đ°āc hiÉu su¿t và đá chính xác trong viÉc nhÁn diÉn các cā chỉ

Th ứ ba: Xây dựng giao diÉn ng°åi dùng t°¢ng tác trực quan và dÇ sā dăng đÅ

t°¢ng tác vãi thiÁt bß Giao diÉn này s¿ sā dăng kÁt quÁ nhÁn diÉn cā chỉ tay tÿ mô hình đã hu¿n luyÉn đÅ điÃu khiÅn và thao tác trên thiÁt bß

Th ứ tư: Đánh giá hiÉu su¿t hÉ tháng nhÁn diÉn cā chỉ tay và tái °u hóa các yÁu tá

liên quan gãm viÉc đánh giá đá chính xác, tác đá phÁn hãi, và khÁ năng ho¿t đáng trong các điÃu kiÉn ánh sáng và môi tr°ång khác nhau đáp ćng yêu cÁu thực tÁ

1.3 TÌNH HÌNH NGHIÊN C ĄU TRONG VÀ NGOÀI N¯àC

Trong phÁn tình hình nghiên cću tôi muán trình bày và các công trình đã đ°āc nghiên cću có thÅ hß trā cho viÉc xây dựng và phát triÅn đà tài tÿ đó đ°a ra đ°āc ph°¢ng án thực hiÉn tát, tái °u nh¿t cho đà tài Góp phÁn cho viÉc có thÅ hoàn thành hoàn chỉnh cũng nh° chỉnh chu nh¿t cho toàn bá hÉ tháng

1.3.1 Tình hình nghiên c ąu ngoài n°ác

Trên thÁ giãi, cũng có nhiÃu nghiên cću quan tráng và ćng dăng thß giác máy tính nhÁn diÉn cā chỉ tay đÅ điÃu khiÅn thiÁt bß Mát ví dă là nghiên cću cąa Okan Kopuklu et al (2019) vãi tựa đà "Real-time Hand Gesture Detection and Classification Using Convolutional Neural Networks" Trong nghiên cću này, tác giÁ đã đà xu¿t mát ph°¢ng pháp sā dăng m¿ng n¢-ron tích chÁp (CNN) đÅ nhÁn diÉn và phân lo¿i cā chỉ tay KÁt quÁ thực nghiÉm cho th¿y ph°¢ng pháp đà xu¿t đ¿t đá chính xác cao và thåi gian phÁn hãi nhanh, thích hāp cho ćng dăng thåi gian thực [1]

Ngoài ra, còn có nghiên cću cąa Raj Patel et al (2018) vãi đà tài "Hand Gesture Recognition Based on an Attention Model Using Convolutional Neural Networks"

đồ án

Trong nghiên cću này, tác giÁ đã đà xu¿t mát ph°¢ng pháp sā dăng m¿ng n¢-ron tích chÁp kÁt hāp vãi mô hình chú ý (attention model) đÅ nhÁn diÉn và phân lo¿i cā chỉ tay KÁt quÁ thực nghiÉm cho th¿y ph°¢ng pháp đà xu¿t cÁi thiÉn đáng kÅ đá chính xác so vãi các ph°¢ng pháp truyÃn tháng khác [2]

1.3.2 Tình hình nghiên c ąu trong n°ác

Trong nghiên cću trong n°ãc, đã có nhiÃu nß lực đÅ phát triÅn và ćng dăng thß giác máy tính nhÁn diÉn cā chỉ tay trong viÉc điÃu khiÅn thiÁt bß Trong sá đó, Tr°ång Đ¿i hác S° ph¿m Kā thuÁt Thành phá Hã Chí Minh có đà tài: <ThiÁt kÁ hÉ tháng điÃu khiÅn thiÁt bß điÉn bằng nhÁn diÉn cā chỉ= do 2 sinh viên NguyÇn ThÃng Phong và NguyÇn HÁi H°ng thực hiÉn vào năm 2022 Mô hình nhÁn diÉn cā chỉ có đá chính xác cao ĐiÃu khiÅn thiÁt bß theo đúng yêu cÁu cąa hÉ tháng: bằng cā chỉ, bằng giao diÉn, bằng nút nh¿n phÁn cćng Bên c¿nh đó, đà tài còn mát sá thiÁu sót nh° tÁp dữ liÉu còn h¿n chÁ vãi các cā chỉ tay ch°a đ°āc cá nhân hóa, mô hình hu¿n luyÉn ch°a đ°āc rõ ràng că thÅ [3]

Tÿ những nghiên cću trong và ngoài n°ãc, có thÅ th¿y rằng ćng dăng thß giác máy tính nhÁn diÉn cā chỉ tay đÅ điÃu khiÅn thiÁt bß đã nhÁn đ°āc sự quan tâm nghiên cću sâu ráng Đãng thåi, các nghiên cću tiên tiÁn cũng tÁp trung vào viÉc kÁt hāp các kā thuÁt mãi nh° mô hình chú ý đÅ nâng cao đá chính xác và thåi gian phÁn hãi cąa hÉ tháng

Tuy nhiên, tình hình nghiên cću trong lĩnh vực này v¿n còn mát sá thách thćc cÁn đ°āc v°āt qua Mát trong sá đó là đá phćc t¿p cąa viÉc nhÁn diÉn và phân lo¿i các cā chỉ tay trong các tình huáng thực tÁ, bao gãm sự biÁn đåi và ánh sáng, góc nhìn và nhiÇu Đãng thåi, viÉc xây dựng mát tÁp dữ liÉu đą lãn và đa d¿ng đÅ hu¿n luyÉn các mô hình cũng là mát thách thćc quan tráng MÁc dù vÁy, vãi sự phát triÅn cąa công nghÉ và sự quan tâm cąa cáng đãng nghiên cću, có hy váng rằng trong t°¢ng lai, ćng dăng thß giác máy tính nhÁn diÉn cā chỉ tay s¿ trç nên ngày càng phå biÁn và tiÉn ích trong viÉc điÃu khiÅn các thiÁt bß

đồ án

1.4 PH¯¡NG PHÁP NGHIÊN CĄU

ĐÅ đ¿t đ°āc măc tiêu cąa đà tài, tôi sā dăng các ph°¢ng pháp thu thÁp sá liÉu, thực nghiÉm và phân tích tång kÁt kinh nghiÉm

Ph°¢ng pháp thu thÁp sá liÉu: - Sā dăng ph°¢ng pháp quan sát: TiÁn hành quan sát trực tiÁp các tình huáng trong viÉc điÃu khiÅn thiÁt bß bằng cā chỉ tay Ghi l¿i các thông tin liên quan nh° cā chỉ tay, hành đáng điÃu khiÅn, và kÁt quÁ

- TiÁn hành cuác phßng v¿n: Tå chćc cuác phßng v¿n vãi ng°åi dùng hoÁc các chuyên gia trong lĩnh vực đÅ hiÅu thêm và trÁi nghiÉm và ý kiÁn cąa há và viÉc sā dăng cā chỉ tay đÅ điÃu khiÅn thiÁt bß

Ph°¢ng pháp thực nghiÉm: - ThiÁt kÁ và triÅn khai hÉ tháng: ThiÁt kÁ và triÅn khai hÉ tháng thß giác máy tính nhÁn diÉn cā chỉ tay dựa trên các thuÁt toán và mô hình phù hāp TriÅn khai hÉ tháng trên nÃn tÁng phÁn cćng và phÁn mÃm thích hāp

- TiÁn hành thā nghiÉm: Thực hiÉn các bài kiÅm tra và thā nghiÉm hÉ tháng trên thực tÁ, thực hiÉn các cā chỉ tay đÅ điÃu khiÅn thiÁt bß và ghi l¿i kÁt quÁ, bao gãm đá chính xác, thåi gian phÁn hãi và sự thuÁn tiÉn

Ph°¢ng pháp phân tích tång kÁt kinh nghiÉm: - Đánh giá hiÉu quÁ: Đánh giá hiÉu quÁ cąa hÉ tháng trong viÉc nhÁn diÉn và điÃu khiÅn bằng các cā chỉ tay bằng cách so sánh kÁt quÁ thực nghiÉm vãi măc tiêu và tiêu chuẩn đã đà ra, bao gãm đá chính xác, đá tin cÁy và tác đá xā lý cąa hÉ tháng

- Phân tích dữ liÉu: Phân tích các dữ liÉu thu thÁp đ°āc tÿ quá trình thā nghiÉm và phân tích, xem xét xu h°ãng, m¿u dữ liÉu và biÅu đã đÅ hiÅu rõ h¢n và hiÉu su¿t và khÁ năng cąa hÉ tháng

- Tång kÁt kinh nghiÉm: Dựa trên kÁt quÁ phân tích, tång kÁt kinh nghiÉm và rút ra những kÁt luÁn và viÉc sā dăng hÉ tháng nhÁn diÉn cā chỉ tay trong viÉc điÃu khiÅn thiÁt bß Đà xu¿t các cÁi tiÁn và khuyÁn nghß đÅ nâng cao hiÉu su¿t và tính ćng dăng cąa hÉ tháng

Trên c¢ sç này, tôi có thÅ thực hiÉn nghiên cću và phát triÅn đà tài <Xây dựng hÉ

đồ án

tháng điÃu khiÅn thiÁt bß trong nhà bằng nhÁn diÉn cā chỉ tay sā dăng mô hình YOLO v8= mát cách toàn diÉn và có căn cć dữ liÉu đáng tin cÁy

1.5 B Þ CĀC CĂA ĐÀ TÀI Ch°¢ng 1 Tãng quan

Giãi thiÉu khái quát và tång quan và tình hình nghiên cću cũng nh° các ph°¢ng pháp nghiên cću cąa đà tài

Ch°¢ng 2: C¢ sß lý thuy¿t:

Giãi thiÉu mô tÁ và tång quan lý thuyÁt nguyên lý ho¿t đáng cąa các mô-đun đ°āc sā dăng, các giao thćc truyÃn nhÁn, các thuÁt toán và xā lý Ánh và các framework

Ch°¢ng 3: Thi¿t k¿ và thi công:

Trình bày các s¢ đã khái hÉ tháng, nguyên lý ho¿t đáng cąa các khái thành phÁn hÉ tháng

CH¯¡NG 2 C¡ SÞ LÝ THUY¾T

2.1 NH ¾N DIÞN ĐÞI T¯þNG

NhÁn diÉn đái t°āng là mát kā thuÁt tiên tiÁn trong lĩnh vực thß giác máy tính Nó đóng vai trò nh° đôi mÃt thông minh cho máy tính, giúp chúng có khÁ năng phát hiÉn và phân lo¿i các vÁt thÅ trong hình Ánh hoÁc video

Hình 2.1 Nhận diện đối tượng

Các thuÁt toán nhÁn diÉn đái t°āng chą yÁu đ°āc chia thành 2 nhóm chính: - Các mô hình RCNN (Region-Based Convolutional Neural Networks): Đây là các mô hình sā dăng m¿ng n¢-ron tích chÁp (Convolutional Neural Networks) đÅ giÁi quyÁt các bài toán và đßnh vß và nhÁn diÉn vÁt thÅ

- Các mô hình YOLO (You Only Look Once): Đây là các mô hình đ°āc thiÁt kÁ đÅ có thÅ nhÁn d¿ng các đái t°āng theo thåi gian thực (real-time) YOLO kÁt hāp các lãp tích chÁp (convolutional layers) đÅ trích xu¿t các đÁc tr°ng cąa Ánh và các lãp kÁt nái đÁy đą (full-connected layers) đÅ dự đoán xác su¿t và táa đá cąa các đái t°āng

2.2 TÌM HI ÂU VÀ MÔ HÌNH YOLO

YOLO (You Only Look Once) là mát trong các mô hình m¿ng n¢-ron tích chÁp (CNN) đ°āc thiÁt kÁ đÅ nhÁn diÉn đái t°āng trong thåi gian thực So vãi các ph°¢ng pháp nhÁn hiÉn đái t°āng tr°ãc đây, YOLO nåi bÁt bçi tác đá xā lý nhanh chóng và đá chính xác cao, biÁn nó thành lựa chán lý t°çng cho nhiÃu ćng dăng trong thực tÁ

đồ án

(convolutional layers) và các lãp kÁt nái đÁy đą (fully connected layers) NhiÉm vă cąa base network là trích xu¿t các đÁc tr°ng (feature) tÿ Ánh đÁu vào Sau phÁn base network là các Extra Layers, đ°āc áp dăng lên feature map đÅ thực hiÉn viÉc phát hiÉn và đßnh vß các đái t°āng trong Ánh [4]

Hình 2.2 Sơ đồ kiến trúc mạng YOLO

2.2.1 D āa trên ô l°ái (grid cell)

Cách tiÁp cÁn đác đáo cąa YOLO bÃt đÁu bằng viÉc chia Ánh đÁu vào thành mát l°ãi S×S, vãi S là mát siêu tham sá đ°āc chán tr°ãc Mßi ô trong l°ãi này 'sç hữu' mát tÁp hāp các bounding box tiÃm năng và dự đoán xác su¿t các lãp đái t°āng cho tÿng bounding box

Nguyên lý ho¿t đáng că thÅ nh° sau: Mßi ô l°ãi chỉ dự đoán mát đái t°āng NÁu tâm cąa mát đái t°āng nằm trong ô l°ãi, thì ô đó s¿ chßu trách nhiÉm dự đoán đái t°āng đó Quá trình này đ°āc lÁp l¿i trên toàn bá l°ãi đÅ phát hiÉn và đßnh vß các đái t°āng trong Ánh

đồ án

2.2.2 Non-max suppression

ThuÁt toán YOLO (You Only Look Once) có xu h°ãng dự báo ra nhiÃu bounding box trên mát bćc Ánh Do đó đái vãi những vùng trong Ánh có các cell (ô vuông) nằm gÁn nhau, khÁ năng các bounding box bß chãng chéo (overlap) là r¿t cao

ĐÅ giÁi quyÁt v¿n đà này, YOLO sā dăng kā thuÁt non-max suppression Ph°¢ng pháp này giúp giÁm đáng kÅ sá l°āng bounding box đ°āc sinh ra Că thÅ, non-max suppression s¿ lo¿i bß các bounding box dự báo có đá chãng chéo cao, chỉ giữ l¿i những bounding box quan tráng nh¿t [4]

Quá trình non-max suppression bao gãm các b°ãc nh°: sÃp xÁp các bounding box theo điÅm sá tÿ cao đÁn th¿p, sau đó lo¿i bß các bounding box có đá chãng chéo v°āt quá mát ng°ÿng cho tr°ãc so vãi bounding box đang xét ViÉc áp dăng non-max suppression giúp YOLO tÁp trung vào những vùng quan tráng nh¿t trong Ánh, tÿ đó cÁi thiÉn hiÉu su¿t và đá chính xác cąa viÉc phát hiÉn đái t°āng

Average Precision (AP): Đây là mát đo l°ång đá chính xác cąa mô hình ç các mćc đá thu hãi khác nhau Đá chính xác đ°āc đßnh nghĩa là sá l°āng true positives chia cho tång sá true positives và false positives Đá thu hãi đ°āc đßnh nghĩa là sá l°āng true positives chia cho tång sá true positives và false negatives AP đ°āc tính bằng diÉn tích d°ãi đ°ång cong precision-recall Mát giá trß AP cao h¢n chỉ ra hiÉu su¿t tát h¢n cąa mô hình

Intersection over Union (IoU): IoU là mát đo l°ång sự chãng chéo giữa vùng bounding box dự đoán và vùng bounding box ground-truth Nó đ°āc tính bằng cách

đồ án

l¿y diÉn tích giao cąa hai vùng và chia cho diÉn tích cąa vùng kÁt hāp Mát giá trß IoU cao h¢n chỉ ra sự t°¢ng ćng tát h¢n giữa vùng bounding box dự đoán và ground-truth Ngoài ra còn có mát sá chỉ sá khác đánh giá đá chính xác, nh° True Positive Rate (TPR), False Positive Rate (FPR), F1-score, và Log Average Miss Rate (MR) Ngoài những chỉ sá này, các mô hình phát hiÉn đái t°āng cũng có thÅ đ°āc đánh giá dựa trên hiÉu quÁ tính toán cąa chúng [5]

Hình 2.4 Hàm IOU

2.2.4 Hàm m ¿t mát

Trong YOLO, hàm m¿t mát (loss function) đóng vai trò r¿t quan tráng trong quá trình hu¿n luyÉn mô hình Măc tiêu cąa hàm lßi là tái °u hóa khÁ năng dự đoán chính xác vß trí, kích th°ãc và lãp cąa các đái t°āng trong hình Ánh bằng cách tái °u hóa đãng thåi ba yÁu tá chính: dự đoán chính xác lãp đái t°āng (classification), dự đoán chính xác táa đá cąa bounding box (localization), và dự đoán chính xác đá tin cÁy cąa bounding box (confidence) [5]

�㔿āĀāÿ�㕙 = �㔿ā�㕙ÿĀĀÿĄÿāÿāÿĀÿ + �㔿�㕙Āāÿ�㕙ÿ�㕧ÿāÿĀÿ + �㔿āĀÿĄÿĂăÿāă (2 1)

Classification loss là mát hàm lßi đ°āc sā dăng đÅ đánh giá đá chính xác cąa viÉc

đồ án

�㔿ā�㕙ÿĀĀÿĄÿāÿāÿĀÿ = ∑ ∑ 1ÿĀĀĀ(�㕝ÿ(�㕐) 2 �㕝̂ÿ(�㕐))2

þ

ā=0 �㕆2

ÿ=0

(2 1)

Trong đó: 1ÿĀĀĀ: Hàm indicator có giá trß 0,1 nhằm xác đßnh xem cell i có chća vÁt thÅ hay không Bằng 1 nÁu chća vÁt thÅ và 0 nÁu không chća

�㕝ÿ(�㕐): Xác su¿t thực tÁ cąa lãp c trong grid cell i �㕝̂ÿ(�㕐): Xác su¿t dự đoán cąa lãp c trong grid cell i

Localization loss là mát hàm lßi dùng đÅ đánh giá đá chính xác cąa viÉc dự đoán vß trí (táa đá, kích th°ãc) cąa boundary box (háp giãi h¿n) cąa đái t°āng, so vãi vß trí thực tÁ (ground truth) tÿ dữ liÉu hu¿n luyÉn [5]

�㔿�㕙Āāÿ�㕙ÿ�㕧ÿāÿĀÿ =āĀĀÿĂ∑ ∑ 1ÿĀĀĀĀ(þÿ2 þÿ)2+ (ÿÿ2 ÿÿ)2

ý

Ā=0 �㕆2

ÿ=0

+āĀĀÿĂ ∑ ∑ 1ÿĀĀĀĀ(√ýÿ 2 √ýÿ)2+ (√ℎÿ2 √ℎ̂ÿ)

2 ý

Ā=0 �㕆2

Confidence loss là mát hàm lßi dùng đÅ đánh giá đá chính xác cąa viÉc dự đoán xem liÉu mát boundary box (háp giãi h¿n) có chća đái t°āng hay không, so vãi nhãn thực tÁ (ground truth) t¿i ô vuông đó [5]

�㔿āĀÿĄÿĂăÿāă = ∑ ∑ 1ÿĀĀĀĀ(�㔶ÿ2 �㔶̂ÿ)2

ý �㕆2

+ÿĀĀĀĀăāā∑ ∑ 1ÿĀÿĀĀĀĀ(�㔶ÿ2 �㔶̂ÿ)2

ý �㕆2

(2 3)

đồ án

�㔶̂ÿ: Đá tin cÁy dự đoán

2.3 T âNG QUAN VÀ MÔ HÌNH YOLO V8

YOLO v8 là phiên bÁn mãi nh¿t cąa thuÁt toán YOLO, đ°āc phát triÅn bçi Ultralytics, mát công ty do Joseph Redmon, ng°åi sáng lÁp ra YOLO, thành lÁp YOLO v8 đ°āc ra mÃt vào năm 2023 và mang l¿i mát sá cÁi tiÁn so vãi các phiên bÁn YOLO tr°ãc đó

Hình 2.5 Hi ệu suất của YOLO v8 so với phiên bản trước

2.3.1 Ki ¿n trúc mô hình YOLO v8

đồ án

Hình 2.6 Ki ến trúc mô hình YOLO v8

YOLOv8 có nhiÃu phiên bÁn đa d¿ng vãi tráng sá và tác đá tính toán xā lí khác nhau đ°āc đánh giá trên tÁp dữ liÉu COCO cho th¿y tùy thuác vào bài toán đÁt ra có thÅ lựa chán mô hình phù hāp đÅ hu¿n luyÉn

đồ án

Hình 2 7 Các phiên b ản của YOLOv8 được đánh giá theo COCO

2.3.2 Tính năng căa YOLO v8

YOLOv8 có nhiÃu tính năng đáng chú ý D°ãi đây là mát sá tính năng chính cąa YOLOv8:

Tăng tác đá: YOLOv8 đ¿t tác đá suy luÁn nhanh h¢n so vãi các mô hình phát hiÉn đái t°āng khác trong khi v¿n duy trì đá chính xác cao

NhiÃu c¢ sç: YOLOv8 hß trā các c¢ sç khác nhau, chẳng h¿n nh° EfficientNet, ResNet và CSPDarknet, cho phép ng°åi dùng lựa chán mô hình tát nh¿t cho tr°ång hāp că thÅ cąa há

Đào t¿o thích ćng: YOLOv8 sā dăng đào t¿o thích ćng đÅ tái °u hóa tác đá hác và cân bằng hàm m¿t mát trong quá trình đào t¿o, d¿n đÁn hiÉu su¿t mô hình tát h¢n Tăng c°ång dữ liÉu nâng cao: YOLOv8 sā dăng các kā thuÁt tăng c°ång dữ liÉu nâng cao nh° MixUp và CutMix đÅ cÁi thiÉn tính bÃn vững và khái quát hóa cąa mô hình

KiÁn trúc có thÅ tùy chỉnh: KiÁn trúc cąa YOLOv8 r¿t có thÅ tùy chỉnh, cho phép ng°åi dùng dÇ dàng sāa đåi c¿u trúc và thông sá cąa mô hình đÅ phù hāp vãi nhu cÁu cąa há

Mô hình đ°āc xây dựng tr°ãc: YOLOv8 cung c¿p các mô hình đ°āc xây dựng tr°ãc đÅ sā dăng dÇ dàng và chuyÅn giao hác tÁp trên các tÁp dữ liÉu khác nhau

2.3 PH ÀN MÀM THI¾T K¾ GIAO DIÞN QT5

đồ án

dùng ngày càng kỳ váng vào những trÁi nghiÉm ng°åi dùng tuyÉt våi, trực quan và dÇ sā dăng Chính vì vÁy, các công că và phÁn mÃm hß trā thiÁt kÁ GUI đóng vai trò then chát trong quy trình phát triÅn phÁn mÃm hiÉn đ¿i

Mát trong những công că thiÁt kÁ GUI phå biÁn và m¿nh m¿ nh¿t hiÉn nay chính là Qt5 - mát bá th° viÉn đa nÃn tÁng, mã nguãn mç Cung c¿p mát khuôn khå hoàn chỉnh đÅ xây dựng các ćng dăng GUI vãi hß trā đa ngôn ngữ, đa nÃn tÁng (Windows, macOS, Linux, Android, iOS, v.v.) và đa thiÁt bß (desktop, mobile, embedded)

Do quá trình thực hiÉn tham khÁo mô hình nhÁn diÉn cā chỉ tay đ°āc thực hiÉn bằng ngôn ngữ Python, tôi đã quyÁt đßnh sā dăng th° viÉn Qt dùng ngôn ngữ Python, còn đ°āc gái là PyQt5 ViÉc thiÁt kÁ giao diÉn bằng ngôn ngữ Python đ°āc cho là đ¢n giÁn và dÇ nÃm bÃt, phù hāp vãi yêu cÁu cąa đà tài

Hình 2.8 Ph ần mềm Qt5

2.4 PH ÀN MÀM ARDUINO IDE

Arduino IDE (Integrated Development Environment) là mát phÁn mÃm mã nguãn mç đ°āc thiÁt kÁ đÅ lÁp trình và tÁi ch°¢ng trình vào các boards Arduino PhÁn mÃm này đ°āc phát triÅn bçi Arduino LLC và cáng đãng Arduino Arduino IDE cho phép ng°åi dùng viÁt, biên dßch và tÁi ch°¢ng trình lên các board Arduino mát cách dÇ dàng

Mát trong những tính năng nåi bÁt cąa Arduino IDE là khÁ năng tự đáng hoàn

đồ án

thành mã (code completion), giúp ng°åi dùng viÁt code nhanh h¢n Ngoài ra, Arduino IDE còn có chćc năng kiÅm tra lßi cú pháp, t¿o bÁn xem tr°ãc m¿ch, và nhiÃu tính năng khác hß trā quá trình lÁp trình

Arduino IDE là mát công că lÁp trình Arduino r¿t hữu ích và phù hāp cho cÁ ng°åi mãi bÃt đÁu và những lÁp trình viên kinh nghiÉm Vãi giao diÉn dÇ sā dăng, tính năng đÁy đą và miÇn phí nên Arduino là mát sự lựa chán phù hāp vãi đà tài

Hình 2.9 Ph ần mềm Arduino IDE

đồ án

CH¯¡NG 3 THI¾T K¾ VÀ THI CÔNG

3.1 YÊU C ÀU HÞ THÞNG

HÉ tháng bao gãm máy tính có webcam đÅ thu hình Ánh tÿ môi tr°ång xung quanh, mát mô hình máy hác đã đ°āc hu¿n luyÉn tr°ãc đó đÅ xā lý dữ liÉu hình Ánh và mát m¿ch giao tiÁp đÅ điÃu khiÅn thiÁt bß, đ°āc kÁt nái vãi máy tính qua cång USB Đây là mát hÉ tháng điÃu khiÅn thiÁt bß thông minh và tiÉn lāi, sā dăng công nghÉ máy hác và xā lý Ánh đÅ đáp ćng các t°¢ng tác bằng cā chỉ tay đ¢n giÁn cąa ng°åi dùng

HÉ tháng đ°āc thiÁt kÁ đÅ đáp ćng những yêu cÁu sau: ● Đá chính xác cao: HÉ tháng cÁn đ¿t đá chính xác tái đa trong viÉc nhÁn diÉn và phân lo¿i các cā chỉ tay khác nhau, đÁm bÁo điÃu khiÅn thiÁt bß mát cách chính xác và tin cÁy

● PhÁn hãi nhanh chóng: HÉ tháng phÁi đáp ćng các lÉnh điÃu khiÅn mát cách tćc thåi vãi thåi gian phÁn hãi nhanh chóng, đÅ ng°åi dùng có trÁi nghiÉm sā dăng trực quan và tự nhiên

● Giao diÉn thân thiÉn: Giao diÉn ng°åi dùng cÁn đ°āc thiÁt kÁ đ¢n giÁn, direct và dÇ sā dăng, giúp ng°åi dùng nhanh chóng làm quen và vÁn hành hÉ tháng mát cách hiÉu quÁ

3.2 ĐẶC TÀ HÞ THÞNG 3.2.1 Ch ąc năng căa hß thßng

Dựa vào những yêu cÁu hÉ tháng thì tôi đã thiÁt kÁ và xây dựng hÉ tháng gãm những chćc năng nh° sau:

● Chćc năng nhÁn diÉn và phân lo¿i cā chỉ tay: Sā dăng công nghÉ hác máy tiên tiÁn đÅ phát hiÉn và nhÁn d¿ng chính xác các cā chỉ tay khác nhau ĐÁm bÁo đá chính xác cao trong viÉc phân lo¿i các cā chỉ tay Có thÅ mç ráng danh sách các cā chỉ tay đ°āc nhÁn diÉn trong t°¢ng lai

● Chćc năng điÃu khiÅn phÁn hãi nhanh: Xā lý các lÉnh điÃu khiÅn tÿ bá nhÁn diÉn cā chỉ tay trong thåi gian ngÃn Cung c¿p phÁn hãi trực quan và tự nhiên cho ng°åi dùng Hß trā kÁt nái và điÃu khiÅn nhiÃu thiÁt bß khác nhau

● Giao diÉn ng°åi dùng thân thiÉn: ThiÁt kÁ giao diÉn đ¢n giÁn, trực quan và dÇ

đồ án

sā dăng Giúp ng°åi dùng nhanh chóng làm quen và vÁn hành hiÉu quÁ hÉ tháng Cung c¿p các h°ãng d¿n và phÁn hãi rõ ràng đÅ ng°åi dùng dÇ dàng thao tác

Vãi những chćc năng này, hÉ tháng s¿ đáp ćng đ°āc các yêu cÁu và đá chính xác, phÁn hãi nhanh, giao diÉn thân thiÉn và khÁ năng mç ráng đã đà ra

3.2.2 Mô hình t ãng quát căa hß thßng

Dựa trên những yêu cÁu hÉ tháng thì tôi đã thiÁt kÁ đ°āc mô hình tång thÅ cąa toàn bá hÉ tháng nh° sau:

Hình 3.1 Mô hình t ổng quát của hệ thống

Trong đó:

Data:

● NhiÉm vă chính là thu thÁp dữ liÉu và các cā chỉ tay ● Dữ liÉu thu thÁp s¿ đ°āc cung c¿p dữ liÉu đÁu vào cho quá trình hu¿n luyÉn mô hình nhÁn d¿ng cā chỉ tay trong User

Realtime video:

● Thu hình Ánh tÿ môi tr°ång thực tÁ vãi thåi gian thực

đồ án

Board:

● Board nhÁn lÉnh điÃu khiÅn tÿ các cā chỉ tay đ°āc nhÁn d¿ng bçi User ● Nó xā lý các lÉnh điÃu khiÅn và chuyÅn chúng sang Device đÅ thực hiÉn các hành đáng t°¢ng ćng

Trong đó:

Kh ßi thu th¿p hình Ánh: Thu thÁp dữ liÉu Ánh và cā chỉ tay, tiÁn hành tiÃn xā lí

dữ liÉu sau đó đ°a dữ liÉu và khái xā lí trung tâm

Kh ßi xÿ lí trung tâm: Sā dăng dữ liÉu thu thÁp đ°āc tÿ khái thu thÁp hình Ánh

nhằm hu¿n luyÉn mô hình đÅ nhÁn diÉn cā chỉ tay, máy tính nhÁn diÉn cā chỉ thåi gian thực, đ°a lÉnh cho khái hiÅn thß và khái điÃu khiÅn

Kh ßi nguán: C¿p nguãn cho khái xā lí trung tâm Kh ßi hiÃn thã: Giao diÉn giúp dÇ dàng sā dăng tính năng điÃu khiÅn cąa hÉ tháng Kh ßi điÁu khiÃn: Thực thi lÉnh nhÁn đ°āc tÿ khái xā lí trung tâm và thực thi hành

đáng t°¢ng ćng

Nguyên lý ho ¿t đßng căa hß thßng

Bước 1: Thu thập dữ liệu ảnh

- Khái thu thÁp hình Ánh s¿ tiÁn hành thu thÁp dữ liÉu Ánh và các cā chỉ tay khác nhau

- Các Ánh đ°āc chăp tÿ nhiÃu góc đá, điÃu kiÉn ánh sáng và nÃn khác nhau đÅ t¿o ra mát tÁp dữ liÉu đa d¿ng

- Dữ liÉu Ánh đ°āc l°u trữ và tå chćc mát cách có hÉ tháng đÅ sā dăng cho quá trình hu¿n luyÉn mô hình

Bước 2: Tiền xử lý dữ liệu ảnh

- Khái thu thÁp hình Ánh tiÁn hành các kā thuÁt tiÃn xā lý trên dữ liÉu Ánh nh° cÃt Ánh, chuẩn hóa kích th°ãc, điÃu chỉnh đá sáng/t°¢ng phÁn

- Măc đích cąa tiÃn xā lý là đÅ chuẩn bß dữ liÉu Ánh sao cho phù hāp và hiÉu quÁ h¢n cho quá trình hu¿n luyÉn mô hình

- Dữ liÉu Ánh đã đ°āc tiÃn xā lý s¿ đ°āc chuyÅn sang khái xā lý trung tâm

Bước 3: Huấn luyện mô hình nhận diện cử chỉ tay

- Khái xā lý trung tâm s¿ sā dăng dữ liÉu Ánh đã đ°āc thu thÁp và tiÃn xā lý đÅ

đồ án