Khóa luận tốt nghiệp Kỹ thuật máy tính: Thiết kế bàn tay robot tích hợp camera mô phỏng bàn tay người

Các bàn tay robot này sử dụng công nghệ Myoelectric cho người khuyết tật sử dụng yêu cầu người khuyết tật cần phải kết hợp với cơ bắp còn lại của chi bị mat đi.. Đó cũng chính là mục tiê

ĐẠI HỌC QUOC GIA TP HO CHÍ MINH

TRUONG DAI HOC CONG NGHE THONG TIN

KHOA KY THUAT MAY TINH

NGO THANH NHAN

TRUONG TAI THUAN

KHOA LUAN TOT NGHIEP THIET KE BAN TAY ROBOT TÍCH HỢP CAMERA

MO PHONG BAN TAY NGUOI

DESIGNING A ROBOTIC HAND WITH INTEGRATED

CAMERA TO SIMULATE HUMAN HAND BEHAVIORS

KY SƯ KY THUAT MAY TÍNH

TP HO CHi MINH, 2022

ĐẠI HỌC QUOC GIA TP HO CHÍ MINH

TRUONG DAI HOC CONG NGHE THONG TIN

KHOA KY THUAT MAY TÍNH

NGÔ THANH NHÂN - 18521175

TRƯƠNG TÀI THUẬN - 18521472

KHÓA LUẬN TÓT NGHIỆP

THIET KE BAN TAY ROBOT TÍCH HỢP CAMERA

MO PHONG BAN TAY NGUOI

DESIGNING A ROBOTIC HAND WITH INTEGRATED

CAMERA TO SIMULATE HUMAN HAND BEHAVIORS

KỸ SU KỸ THUAT MAY TÍNH

GIANG VIEN HUONG DAN

TS Doan Duy

TP HO CHÍ MINH, 2022

THONG TIN HOI DONG CHAM KHÓA LUẬN TOT NGHIỆP

Hội đồng chấm khóa luận tốt nghiệp, thành lập theo Quyết định số 71/QD-DHCNTT ngày

15 tháng 02 năm 2023 của Hiệu trưởng Trường Đại học Công nghệ Thông tin.

LỜI CÁM ƠN

Trong quá trình thực hiện nghiên cứu Khoá luận tốt nghiệp này, nhóm đã có rất nhiều

sự giúp đỡ về cả tinh thần, kiến thức và vật chất Xin chân thành gửi lời cảm ơn đến:

Thầy Đoàn Duy đã hướng dẫn chúng em từ những ý tưởng rời rạc của các cậu sinh viên thành Đồ án 1, Dé án 2 và rồi thành một Khoá luận tốt nghiệp và Nghiên cứu

khoa học Sự giúp đỡ và dẫn dắt của thầy đóng góp rat lớn trong dé tài này của bọn

em.

Khoa Kỹ thuật máy tính gồm các đội ngũ giảng viên, trợ giảng, nhân viên đã giảng

dạy các môn học cần thiết để thực hiện Khoá luận này.

Xin chúc những điều tốt đẹp nhất sẽ luôn đồng hành cùng mọi người.

TP Hồ Chí Minh, ngày 15 tháng 02 năm 2023

Sinh viên | Sinh viên 2

Ngô Thanh Nhân Trương Tài Thuận

MỤC LỤC

Chương l._ MỞ ĐẢU 52222222222 LErirtEErrrrirrrrree 3

1.1 Lí do chọn đề tài -2222-22222222222122222111122221122221112222111 1211 cerrkee 3

1.2 Mục tiêu của đề tài -¿-2222cc22 221 222211122211122221111 2.21 E1 rrrree 3

1.2.1 Muc tiéu roi NT 3 1.2.2 Mục tiêu cụ thể: òciiierrrriiiririrrrrirrriee 3

1.3 Đối tượng và phạm vi nghiên cứu của đề tài -::©ccvsccevccveccee 4

Chương2 TONG QUAN 2c: 22c 22tr 5

2.1 Tình hình nghiên cứu trong TưỚC -¿- ¿+ + + +*+*£+£££+k+xekezeerersxee 5 2.2 Tình hình nghiên cứu quốc tẾ -. -¿¿©2+++22++++222++++tvvvsrretrrsee 7

2.3 Phân tích các công nghệ - 5c 522222 S222 2111111 8

Chương3 CO SO LÝ THUYẾT 222c+z2222222vvzrrrrrrrrrrrrcee 9

3.1 Xửlýánh / E/Ae (1Ð @ [NO S53 reseesrsrred 9

3.1.1 Ảnh xám (Gray image) -: 222cc 2vvvreEEvxvrrerrrrrrrrrrrrrree 9

3.1.2 Bộ lọc Gaussian c3 20121211 11121 1E11111151 111111 ckrrke 1 3.1.3 Kỹ thuật tìm biên anh Cannyy 5c «5e Stst‡ttetrrkekereree 2

3.1.4 Erosion va Dilation dé nối liền các điểm cạnh - - 3

3.1.5 Tìm viền (Contours ) của các cạnh - -¿-¿ + + cc+xcx+xcscsrersee 4

3.1.6 _ Tính chiều đài và chiều rộng -¿++2++z+ecvvserrrrrscee 5

3.1.7 Xây dựng chương trình xử lý ảnh - + cecseeeexerrer 7 3.2 Cánh tay Robot

3.2.1 Mô tả chung - ST re 8

3.2.2 Chi tiết thiết kế

3.2.3 Nguyên lý b8 08 27

3.3 Mô hình máy hỌC ¿+ + 19121211111 HH1 HH HH hờn 4I

Chuong 4 Thực nghiệm và đánh giá

4.1 Thực nghiệm chương trình xử lý ảnh trên máy tính nhúng 42

4.1.1 _ Chỉ tiết các phần cứng sử dụng.

4.12 Kết quả khi thực nghiệm chương trình trên phan cứng 43

4.2 Cánh tay Robot

4.2.1 Thành phần cơ - điện :¿+2+++22cvv+rtevrvvrrerrvrrrrrg 45

4.2.2 Điều khiển và giá trị thực tẾ .cc+ccvvrrreccvvrrerrrrreccrg 45

4.3 Tiến hành kết hợp cánh tay Robot và máy tính nhúng chương trình xử lý

ảnh 2 SẾ e eo LHẤU HHHHHH.H He, 46 4.3.1 Các động tác cầm và chương trình máy học chọn ra động tác cằm 46

4.3.2 Mô hình hoạt động - 5c Steetrerrekerrrrrke 49

4.4 Thực nghiệm mô hình máy học trên máy tính nhúng và kết hợp với xử lý

ảnh _ hốằằ7 53

Chương 5 Kết luận và hướng phát triển -cccc:¿222vcvvvvrrrrrrrrrree 55

Hình 3.2: Ví dụ về chuyền từ ảnh màu sang ảnh xám[7] . -¿ z+2=s+ 10

Hình 3.3: So sánh giữa anh sốc (bên trái) va ảnh được làm mờ (bên phải)[Š] lãi

Hình 3.4: Ảnh gốc bên trái và ảnh kết quả của kỹ thuật tìm biên Canny[9] 13Hình 3.5: Dilation và Erosion nối liền các điểm pixel cạnh trong ảnh [10] 14Hình 3.6: Hệ thống cấp bậc của các viền [ 12] -¿2++c++zx+zxzxe+zxerxcres 15Hình 3.7: Đường viền bao quanh vật thé tìm được sau quá trình xử lý ảnh 16Hình 3.8: Tìm chiều dài, chiều rộng từ điểm cạnh . - 5+ ©52©5s+c++zx>sz l6Hình 3.9: Kiến trúc của chương trình xử lý ảnh -:- ¿2 ©5z2+++zszx++c+z 17Hình 3.10: Hình ảnh kết quả cuối cùng của chương trình xử lý ảnh 18

Hình 3.11: Hình anh mặt trước của toàn bộ cánh tay -<++-<<++ss+ssss+ 19 Hình 3.12: Hình ảnh mặt sau của toàn bộ cánh tay -s+++ss+++ssx+seessesss 19 Hình 3.13: Hình ảnh lòng ban và kích thƯỚC «6xx *svEsvEseeeseseeesessee 21 Hình 3.14: Hình anh bao quát toàn bộ ban tay, cánh tay va kích thước 21 Hình 3.15: Hình anh ngón tay 3D và kích thu6c oe eeeseeseeseeneceeceeeeeeeeeeneeaeens 22

Hình 3.16: Hình ảnh chiều cao của ngón tay 2-5 ++52+c++x£+xerxerxerxersrree 22Hình 3.17: Hình ảnh kích thước các đốt ngón tay - 2-2 2 +s+x+cx+zzrsxez 23

Hình 3.19: Hình anh 3D ngón tay đang co lại - cncsxnssessesersrske 25

Hình 3.20: Hình ảnh mô hình 3D mặt phía sau của bàn tay trong quá trình thiết kế.

Hình 3.24: Hình ảnh mặt sau ngón tây - - 5 5 kg Hàng HH giết 29

Hình 3.25: Hình ảnh mặt bên ngón tay - - << 11v ng ng ng 29 Hình 3.26: Hình anh mặt trước của ngón †Ay - - 5 HH trên 30

Hình 3.27: Hình ảnh mặt dưới mô hình 3D của puÌy - «+5 s++s++e+serses 3l

Hình 3.28: Hình ảnh mặt trên mô hình 3D cua puÌy -. -+-<<+<cc++sesssees 31

Hình 3.29: Hình ảnh phần luồng dây điều khiển của puly . 5- 5552552 32Hình 3.30: Hình ảnh puly đã được nối dây điều khiển ngón tay -. 33Hình 3.31: Hình ảnh mô hình 3D bộ phận cảm biến lực -¿-cccccxcccrxererxers 34Hình 3.32: Hình ảnh mặt trên bộ phận cảm biến lực được gan trên ray trượt 35Hình 3.33: Hình ảnh mặt bên bộ phận cảm biến lực được gắn trên ray trượt 35Hình 3.34: Hình ảnh thông tin của cảm biến lực DF9-40 [3] - <-<« 36Hình 3.35: Hình ảnh minh họa mạch cầu phân áp - 2 252 +£+2zs+z+z +2 38Hình 3.36: Lưu đồ điều khiển bàn tay robot ¿ -: 2 5¿2+++++2x++zxezrxerxssrxs 40Hình 4.1: Ảnh kết quả của chương trình xử lý ảnh trên máy tính nhúng 44

Hình 4.2: VỊ trí của camera va sensor uÏtraSOIIC - 5-5 c5 ==++++<ss+++zesx<cs+ 45

Hình 4.3: Luu đồ điều khiển hoạt động bàn tay robot tích hợp camera 51Hình 4.4: Các động tác cầm nắm - 2 + £+E+SE#EE#EESEEEEEEEEEEEEEEEEErkerkrrkrree 52Hình 4.5: Hình các vật thé chụp từ camera rev 1.3 và kết quả của xử lý ảnh 53

Hình 4.6: Ma trận lỗi của chương trình máy hoc (Confusion matriX) 54

DANH MỤC BANG

Bang 4.1: Bang cách chọn động tác cam nắm từ dit liệu trích xuất qua xử lý ảnh 48

DANH MỤC TU VIET TAT

TÓM TÁT KHÓA LUẬN

Với sự phát triển của khoa học công nghệ, đời sống sinh hoạt của con người càng

được nâng cao Các công trình nghiên cứu về cánh tay robot đang càng ngày được quan tâm Các công trình này được áp dụng trong mọi lĩnh vực, y tế , quân sự, khoa

hoc, kỹ thuật Bởi ban tay chính là tượng trưng cho sự khéo léo của con người.

Nhưng để nghiên cứu ra một bàn tay robot có được sự khéo léo ấy là một việc không

hề đơn giản Sự khó khăn trong quá trình điều khiển các ngón tay co giãn, và thiết kế

mô hình bàn tay Cộng thêm với việc chọn ra được động tác cầm nắm hợp lý cho nhiều loại vật thể Kể cả vậy, thị trường thế giới vẫn phát triển những sản phẩm Bàn

tay robot trên thị trường thế giới hiện rất linh hoạt, ví dụ như của Ottobock, một công

ty chuyên về các chỉ robot ở Đức, có tới 14 động tác cầm, có thể co giãn tự nhiên như

một bàn tay bình thường với giá thành 60.000$ một sản phẩm Tại Việt Nam cũng có một công ty là Vulcan Augemtics cũng dang phát triển về chỉ giả với giá thành tốt

hon so với sản phẩm ngoài nước Các bàn tay robot này tuy linh hoạt, bền, và có thiết

kế tốt nhưng vẫn chưa thật sự hoàn toàn tự động và giá thành cao Các bàn tay robot này sử dụng công nghệ Myoelectric cho người khuyết tật sử dụng yêu cầu người

khuyết tật cần phải kết hợp với cơ bắp còn lại của chi bị mat đi Nhóm thấy nhu cầu nghiên cứu về một cánh tay robot tự động có khả năng tự nhận biết và cầm nắm vật

thé là rất cấp thiết Đó cũng chính là mục tiêu của khoá luận tốt nghiệp này, nghiên cứu ra một bàn tay robot tích hợp camera với khả năng xử lý ảnh của vật thể và đưa

ra động tác cầm nắm thích hợp cho vật thể, người khuyết tật chỉ cần đưa bàn tay lại

gần vật thé là có thé cầm năm, không cần sử dụng đến cơ bắp của chi bị cụt Nghiên cứu không chỉ đừng lại ở đây, chương trình xử lý ảnh có để áp dụng cho nghiên cứu

về đo kích thước qua hình ảnh 2D, bàn tay robot có thé dùng cho robot thông minh Hướng phát triển tương lai có thể sử dụng máy học để tăng độ chính xác trong quá trình xử lý, và sử dụng loại vật liệu tốt hơn cho bản tay robot có thể cầm nắm linh

hoạt [1]Dé tài đã có được một kết quả đáng kể là một bài báo khoa học được chấp

nhận công bố tại hội nghị RIVF2022 diễn ra tại TP Hồ Chí Minh Dự kiến sẽ công

bố lên IEEE Xplore vào 3 tháng tới Chứng minh rằng đề tài có giá trị trong khoa học đổi mới và có thể ứng dụng được trong nhiều đề tài nghiên cứu khác.

Chương 1 MỞ DAU

1.1 Lí do chọn đề tài

Hệ thống tự động đang là xu hướng của thế giới, con người ngày càng có nhu cầu cao hơn về hệ thống tự động Con người sử dụng robot trong công nghiệp nặng nhẹ, trong

quân sự, và cả trong y tế Đối với người khuyét tật chỉ trước, nhu cầu sử dụng tay của

họ là rất lớn Cánh tay robot có thé được sử dụng dé giúp họ sinh hoạt hằng ngày,

việc thiết kế bàn tay mô phỏng hành vi chính xác cho người khuyét tật là cần thiết.

Thiết kế bàn tay robot có tích hợp camera, cảm biến chính xác có ý nghĩa ứng dụng lớn không những cho người khuyết tật, mà còn dùng cho mô hình điều khiển thông

minh có tiềm năng ứng dụng cho y tế, công nghiệp và quốc phòng an ninh Dé đáp ứng nhu cầu đó, nhóm nghiên cứu “THIẾT KÉ BÀN TAY ROBOT TÍCH HỢP

CAMERA MÔ PHỎNG BÀN TAY NGƯỜI” có thể tương tác với nhiều vật dụng và công cụ khác nhau Dé tài này có thé giúp người khuyết tat sinh hoạt hằng ngày, có

thé dùng cho robot thông minh Nhóm tin đây sẽ là đề tài có ứng dụng cao trong tương

lai.

1.2 Mục tiêu của đề tài

1.2.1 Mục tiêu tổng quát:

Thiết kế thành công bàn tay robot mô phỏng hoạt động của bàn tay người Tích hợp

camera giúp nhận diện vật thé để đưa ra động tác cam nắm hợp lý Ban tay robot sẽ được in 3D bằng nhựa cứng, có cấu tạo 5 ngón và cổ tay giống với cau trúc tay người Đây sẽ là một bàn tay có thể tương tác linh hoạt với vật dụng và công cụ khác nhau,

có thé giúp người khuyết tật sinh hoạt hằng ngày, có thể dùng cho robot thông minh.

1.2.2 Mục tiêu cụ thể:

e _ Thiết kế bàn tay robot và cơ câu điều khiển mô phỏng các hành vi của bàn tay

người.

e© _ Tích hợp camera, chương trình xử lý ảnh và cảm biến hỗ trợ nhận dạng đồ vật,

khoảng cách đề phát triển bàn tay robot thông minh.

e - Hiện thực thiết kế bàn tay robot mẫu sử dung công nghệ cắt in 3D.

1.3 Đối tượng và phạm vi nghiên cứu của đề tài

Đề tài tập trung nghiên cứu thiết kế một cánh tay robot có tích hợp camera và cảm biến với khả năng tự nhận diện vật thé và đưa ra động tác cầm hợp lý cho vật thé đó Cánh tay robot sẽ có 3 dạng cằm/nắm chính phù hợp với 3 loại vật thể có hình dáng như sau: hình trụ (VD: Chai nước), hình tròn (VD: Quả banh), hình chữ nhật nằm

ngang (VD: Hộp thiếc, cuốn số nhỏ ) Vật thể có hình dáng không thay đổi, vật liệu của vật thể sẽ là nhựa cứng, bìa cứng, thiếc nhẹ có khối lượng không lớn hơn 50g.

Chương 2 TONG QUAN

2.1 Tình hình nghiên cứu trong nước

Có rất nhiều nghiên cứu về bàn tay robot ngay tại Việt Nam, [12] Ngô Văn Dét, sinh viên khoa Kỹ thuật Công nghệ, Đại học Phạm Văn Đồng (Quảng Ngãi), đã thiết kế

bàn tay robot giá rẻ cho người khuyết tật Bàn tay robot hoạt động theo nguyên tắc

điều khiển bằng lực được tạo ra từ phần cơ của cánh tay bị mat thông qua cam biến

áp suất Khi cảm biến áp suất nhận lực từ phan cơ ở cắng tay thì sẽ truyền tín hiệu lực

đến bộ vi xử lý, lúc này động cơ sẽ kéo dây và các ngón tay nắm lại Nhờ đó, người

sử dụng có thể thực hiện được các động tác cử động theo ý muốn Vulcan augmetics,

một start-up đã xuất hiện trên Shark tank Việt Nam Sản phẩm chính của Vulcan Augmetics là cánh tay giả có thé cầm nắm [17] Ngoài ra, Vulcan còn phát triển những

mô đun để hít đất hoặc giúp người khuyết tật có thể sử dụng máy tính, làm các công việc phục vụ ban, bung bê Cánh tay robot này không những có thé cam nắm, lái xe

mà còn có thé xoay cô tay 360 độ Trên thé giới, một sản phẩm tay điện có chức năng

tương tự có giá từ 60 triệu cho đến vai trăm triệu đồng, với chức năng xoay 360 độ

có thể lên đến hàng tỷ đồng Tuy nhiên, dòng sản phẩm tay điện robot đầu tiên "made

in Vietnam" do Vulcan Augmetics nghiên cứu và phát triển chỉ có giá từ 23-25 triệu đồng.

Augmetics[ 17].

2.2 Tình hình nghiên cứu quốc tế

Thị trường quốc tế có rất nhiều hãng sản xuất những sản phẩm cho người khuyết tật với những tiện ích tốt Ví dụ như Ottobock SE & Co KGaA, trước đây là Otto Bock,

là một công ty có trụ sở tại Duderstadt Đức, hoạt động trong lĩnh vực công nghệ chỉnh

hình [14] Nó được coi là công ty dẫn đầu thị trường thế giới trong lĩnh vực chân tay

giả và là một trong những nhà cung cấp hàng đầu về nẹp chỉnh hình, xe lăn và khung xương ngoài Ottobock là một hãng chuyên về tay robot cho người khuyết tật Có

khớp khuyu tay, tay robot của Ottobock có thé nâng được hơn 40kg Thiết kế dep mắt, bàn tay của Ottobock rất linh hoạt với 14 kiểu cầm nắm Tuy nhiên giá thành rat

cao, vào khoảng 60.000$ đến 70.0008.

Hình 2.3: Bàn tay giả của Ottobock so với tay người thật[ 14].

Ngoài các công ty tập đoàn lớn, vẫn có những nhóm nghiên cứu ra bàn tay robot với

mức giá thành rẻ hơn Bằng cách sử dụng RC servo, Ji Hun Bae et al đã thiết kế một

bàn tay robot nhỏ với khả năng cao và chỉ phí thấp [9].

2.3 Phân tích các công nghệ

Công nghệ của Ngô Văn Dét là bàn tay robot hoạt động theo nguyên tắc điều khiển bằng lực được tao ra từ phần cơ của cánh tay bị mat thông qua cảm biến áp suất Khi cảm biến áp suất nhận lực từ phan cơ ở căng tay thì sẽ truyền tín hiệu lực đến bộ vi

xử lý, lúc này động cơ sẽ kéo dây và các ngón tay nắm lại Nhờ đó, người sử dụng có

thể thực hiện được các động tác cử động theo ý muốn Cánh tay robot của Vulcan được kết nói Bluetooth ở bên trong Dé sử dụng, người dùng sẽ đeo bộ cảm biến ở cổ

chân và điều khiển bằng cách chạm ngón chân Cánh tay robot này không những có thể cầm nắm, lái xe mà còn có thể xoay cô tay 360 độ Cánh tay robot của các nghiên

cứu trên đều có 5 ngón, có cơ xoay cô tay, kích thước giống với cánh tay thật Hiện

phiên bản mới của Vulcan sử dụng Mioband để đo Myoelectric Signal (ME) giống

với bàn tay của Ottobock Myoelectric signal là tín hiệu điện đo được từ cử động của

cơ bắp trong co thể người, tín hiệu này có dé đo được từ cả những chi bị cut [18] Bàn tay robot sẽ đo các tín hiệu này từ chỉ tay bị mat của người khuyết tật, với mỗi

cử động tay sẽ có một tín hiệu Myoelectric khác nhau, sau đó dùng máy học học các

tín hiệu này đề cử động theo ý muốn của người dùng.

Các công nghệ nghiên cứu trên đều được đánh giá là tốt cho người khuyết tật sử dụng

với sinh hoạt hằng ngày Tuy nhiên, các cánh tay này vẫn chưa hoàn toàn tự động, nếu người hợp người khuyết tật hoàn toàn không thể cử động được cơ bắp của chỉ

còn lại thì việc đo Myoelectric Signal sẽ gặp khó khăn Việc thiết kế một cánh tay robot hoàn toàn tự động không hề đơn giản Thử thách ở đây là việc làm sao cho cánh

tay robot có thé tự đưa ra động tác cầm/năm hợp lý cho nhiều loại vật thể với kích thước và hình dáng khác nhau Không chi thế mà còn van đề về giá thành hợp lý để

tiếp cận tới những người khuyết tật không có điều kiện Ở Khoá luận tốt nghiệp này,

nhóm sẽ nghiên cứu thiết kế một cánh tay robot có thé tự nhận diện hình ảnh vật thé

và đưa ra được động tác cầm/nắm thích hợp cho vật thể đó với một mức giá thành

hợp lý cho mọi người đều tiếp cận được Dé cũng chính là tính mới và sáng tạo của

đề tài, một bàn tay robot có tích hợp camera để tự nhận diện vật thể và đưa ra động

tác cam/nam độc lập.

Chương 3 CƠ SỞ LÝ THUYET

3.1 Xử lý ảnh

Để tiến hành xử lý việc cằm/nắm thích hợp cho một vật thé, chúng ta cần trích xuất được thông tin cần thiết từ hình ảnh đầu vào Chương trình xử lý ảnh có nhiệm vụ

trích xuất từ hình ảnh vật thể ra được chiều dài, chiều rong tong quát của vat thể, từ

đó đưa ra được động tác cam nắm hợp lý cho loại vật thé đó Chương trình sẽ xử lý

hình ảnh đầu vào và đưa ra đầu ra với các thông số chiều dài, chiều rồng tổng quát

F

Ị

Image Processing =

Hình 3.1: Input va output của chương trình xử lý ảnh.

Với các thông số là chiều dài và chiều rộng vật thé Ta có thé tính được kích thước,

biết được hình dáng từ đó đưa ra động tác tay thích hợp dé cầm vật thể.

Để xây dựng một chương trình có đầu ra như trên ta cần đi qua các bước sau Hình

ảnh của vật thé chụp từ camera cần phải rõ ràng, chứa trọn vật thé bên trong đó đề có

thé tiến hành xử lý.

Sau đây là phần trình bày chỉ tiết về từng bước trong chương trình xử lý ảnh.

3.1.1 Anh xám (Gray image)

[8] Ảnh xám là ảnh được biểu diễn bằng một ma trận duy nhất mà trong đó mỗi pixel

có giá trị trong khoảng [0 — 255] Khi muốn xử lý thông tin trên ảnh, sẽ dé dàng hơn

nếu ta chỉ xử lý dữ liệu trên một ma trận số của ảnh xám thay vì nhiều ma trận số của ảnh RGB Việc biến đồi anh màu về anh số (Grayscale converting) vì mục đích trên,

biến đổi thông tin ảnh về một ma trận số hai chiều duy nhất dé đơn giản hoá trong

10

3.1.2 Bộ loc Gaussian

[6] Bộ lọc Gaussian (Gaussian Blur) sử dụng hàm Gauss 2 chiều dé làm mở ảnh Hàm

Gauss 2 chiều có công thức như (3.1):

x2+y2

—e_ 2z? (3.1)5]

2Trơ2

G(x,y) =

Trong đó x và y là tọa độ theo hai trục đứng va ngang con o là phương sai.

Bộ lọc Gauss được thực hiện bằng cách nhân chập ảnh đầu vào với một ma trận lọc

Gauss sau đó cộng chúng lại dé tạo thành ảnh đầu ra Giá trị mới của mỗi Pixel saukhi tính tích chập với ma trận lọc cho ham Gaussian có thể coi là trung bình lượnggiá trị của các pixel xung quanh nó Ta thấy rằng giá trị lượng giá của phần tử trungtâm kernel tương ứng với pixel đang xét là lớn nhất, giá trị này sẽ nhỏ hơn đối vớicác phần tử tương ứng với những pixel kế cận một cách đối xứng và tỉ lệ thuận với

khoảng cách của phần tử này với trung tâm Tính chất này giúp giữ lại đường viền và

biên cũng như làm mờ một cách đồng bộ hơn so với các phương pháp khác

Ở đây, nhóm sẽ sử dụng bộ lọc Gaussian với nhân 5x5 phương sai ø= 1.25

Hình 3.3: So sánh giữa ảnh sốc (bên trái) va ảnh được làm mờ (bên phai)[6]

11

3.1.3 Ky thuật tìm biên anh Canny

[3] Phát hiện cạnh (Edge Detection) là một kỹ thuật xử lý hình ảnh được sử dụng déxác định sự thay đổi về độ sáng của các điểm ảnh trong hình Những điểm ảnh có

cường độ anh sáng thay đổi mạnh so với các điểm xung quanh thường được gọi là

các điểm cạnh Cạnh (edge) là tập hợp các điểm cạnh tạo nên một hình dạng có ýnghĩa nào đó liên quan đến thông tin hình dạng và cấu trúc của đối tượng trong ảnh

[10] Kỹ thuật tìm biên ảnh Canny ( Canny Edge Detector ) là một thuật toán xác định

cạnh được sử dụng phô biến và hiệu quả trong các bài toán về thị giác máy tính Giảithuật phát hiện cạnh Canny gồm 4 bước chính sau:

e Tính gradient của ảnh : Trong xử lý ảnh, độ dốc (gradient) đang nói đến ở đây

chính là độ dốc về mức sáng Hay nói cách khác chính là sự thay đổi các giá

tri pixel trong ảnh Bước tính toán nay phát hiện cường độ và hướng của cạnh.

e Non-maximum Suppression: hình ảnh cuối cùng nên có các cạnh mỏng Vì

vậy, chúng ta phải thực hiện loại bỏ các pixel ở vi trí không phải cực đại toàn

cục dé làm mỏng các cạnh Thuật toán đi qua tất cả các điểm trên ma trậncường độ gradient và tìm các pixel có giá trị lớn nhất theo các hướng cạnh

e Loc ngưỡng : Bước này nhăm mục đích xác định 3 loại cường độ pixel: mạnh,

yếu và trung tính băng cách so sáng với 2 giá trị ngượng trên và ngưỡng dưới.Pixel cường độ mạnh là pixel có cường độ cao hơn ngưỡng trên chắc chắnrằng chúng góp phần tạo nên cạnh Pixel cường độ yếu là pixel có cường độthấp hơn ngưỡng dưới chắc chắn không góp phan tạo nên cạnh Các pixel trungtính còn lại nằm trong vùng 2 ngưỡng sẽ được tính toán trong bước tiếp theo

e Nhận diện cạnh : Dựa trên kết qua từ lọc ngưỡng, những pixels có cường độ

cao và những pixel trung tính mà ít nhất một trong số các pixel xung quanh nó

là pixel có cường độ mạnh sẽ được giữ lại làm cạnh Còn những pixel còn lại

sẽ bị loại bỏ.

12

3.1.4 Erosion va Dilation dé nôi liên các điêm cạnh

Dilation (giãn nở ảnh) là một trong hai toán tử cơ bản trong lĩnh vực hình thái toán học ( mathematical morphology) Mục đích của phương pháp này sẽ giúp: Với những

hình ảnh bị đứt nét có thể giúp nói liền ảnh lại, với những pixel nhiễu xung quanh vậtthé sẽ trở thành viền của vật thé, làm nồi bật vật thé trong ảnh hơn

Erosion ( xói mòn ảnh) là toán từ còn lại trong hai toán tử cơ bản trong lĩnh vực hình thái toán học ( mathematical morphology) Mục đích của phương pháp này sẽ giúp:

loại bỏ những pixel nhiễu cô lập, loại bỏ những pixel nhiễu xung quanh vật thể giúp

cho phần viền (cạnh) của vật thê trở nên mịn hơn, loại bỏ lớp viền (cạnh) của vật thể

giúp đối tượng trở nên nhỏ hơn và đặt những pixel viền đó trở thành lớp nền của vậtthể

13

Hình 3.5: Dilation va Erosion nối liền các điểm pIxel cạnh trong ảnh [11].

[11]Lý do phải sử dụng 2 kỹ thuật xử lý ảnh Dilation và Erosion là dé nối liền cácđường nét đứt trong quá trình xử lý Nhìn vào Hình 3.5 ta thấy, hình ảnh ban đầu có

lỗ và khoảng trống trong gấu trúc và cây tre Quá trình Dilation lap day tat cả các lỗhồng và khoảng trong này bằng cách thêm vào những điểm ảnh đó các pixel có giátrị giống với các pixel cạnh nó, tức nếu nó cạnh các pixel có giá trị màu sáng thì nó

sẽ được gắn là giá trị màu sáng và ngược lại Nhưng quá trình xử lý này khiến vật thể

( gấu trúc và lá tre ) trở nên to hon Erosion thay đối nó trở lại kích thước ban đầu

bang cách xóa một số pixel ở viền vật thé chứ không phải pixel trong các lỗ hồng và

khoảng trống Kết quả ta được một bức ảnh với vật thể được nối liền.

3.1.5 Tim viền ( Contours ) của các cạnh

[13] Đường viền ( contours ) có thé được giải thích đơn giản là một đường cong nốitat cả các điểm liên tục (doc theo đường biên), có cùng màu hoặc cường độ Cácđường viền là một công cụ hữu ích đề phân tích hình dạng và phát hiện và nhận dạngđối tượng Ở đây, kỹ thuật này sẽ được dùng dé tìm viền ngoài của vật thé

Các viền tìm được sẽ có hệ thống cấp bậc khác nhau, chúng ta chỉ cần viền ngoài baoquanh vật thé chứ không cần viên chỉ tiết bên trong vật thé Ví dụ ở Hình 3.6 chúng

14

ta muốn tim ra viền số 2 Các viền 0 — 1 — 2 là viền ngoài cùng được gọi là external

contours, nhưng những viền 0 — 1 là các nhiễu chúng ta muốn loại bỏ ra, cách nhậnbiết chính là viền 2 tạo thành một viền khép kín bao quanh các viền con bên trong làcác viền 2a — 3 — 3a — 4- 5 còn các viền 0 và 1 thi không Các viền 2a, 3 được gọi làviền con của viền 2 Tương tự với các viền 3a, 4, 5 là con của viền 2a Viền duy nhấtchúng ta quan tâm là viền 2

Hình 3.7 cho thấy kết quả của các đường bao của đối tượng sau khi xử lý Ta thấy khitìm viền bằng thuật toán Canny sẽ được kết quả là hình giữa Hình 3.7, gồm viền của

cả chai nước và các dòng chữ trên chai nước, nhưng thứ duy nhất ta cần là viền của

chai nước, bằng cách nhận diện hệ thống cấp bậc như trên, ta nhận diện được viềnngoài cùng là hình bên phải ngoài cùng với được viền vật thể màu đỏ Các đườngviền thu được đại diện cho các hình dạng của các vật thé được tìm thấy trong mộthình ảnh và sau đó cho phép ước tính kích thước của đối tượng

3.1.6 Tính chiều dài và chiều rộng

Sau khi tìm được đường viên chứa các điêm cạnh, chúng ta sẽ tìm chiêu dài và chiêu

rộng tông quát của vật thê, tức là chiêu dài và rộng của một hình chữ nhật bao quanh

hết vật thể Hình 3.8 minh họa cách chúng ta có thể xác định điều này dựa trên hai

15

điểm cạnh pl và p2 tọa độ của chúng lần lượt là (x7, yl) và (x2, y2), trong đó x7 và

y7 là hoành độ và tung độ có giá trị nhỏ nhất trong các điểm cạnh của đường viềncạnh Trong khi đó, x2 và y2 là hoành độ và tung độ có giá trị lớn nhất trong các điểmcạnh của đường viên cạnh width và height lần lượt là chiều rộng và chiều dài của vậtthé Sử dụng các giá trị này, ta có thé tính toán chiều rộng và chiều dai của khu vựcbang pixel

Hình 3.9: Kiến trúc của chương trình xử ly ảnh.

® Input: Ảnh đầu vào chứa vật thé được chụp từ camera

e Grayscale converter: Chuyên ảnh đầu vào về ảnh xám như công thức ở phan

3.1.1.

e Gaussian Blur : Sử dụng ma trận kernel 5x5 phương sai o= 1.25, Sigma X,Y

= 1 dé làm mờ anh, bỏ di các chỉ tiết không cần thiết của vật thé dé lay phan

viền vật thê

e Canny Edge Detector: Sử dụng lọc ngưỡng [30,60].

e Erosion & Dilation : Sử dụng ma trận kernel 5x5 với số lần lặp iteration = 1

e findCountour: Chi lay external contour, tức là phan viền ngoài cùng bao quanh

vật thé loại bỏ các viền con bên trong

e Result: Sẽ là kết quả của quá trình xử lý ảnh này Trả về chiều dài, chiều rộng

và đường viền của vật thể tìm được Hình 3.10 là hình minh hoạ cho kết quả

của chương trình xử lý ảnh.

17

19

Trên bàn tay bao gồm 5 ngón tay, tương tự như bàn tay con người Các ngón tay được

điều khiển thông qua các động cơ gan trên cánh tay Riêng ngón cái có thêm 1 động

cơ servo giúp điều khiển góc quay, các ngón còn lại được gan có định, và chỉ có thé

co dan.

Mặt phía sau trên cánh tay, gan các bay cảm biên lực căng dây, và các động co servo điêu khiên co dãn các ngón tay.

Ở phân cuôi của cánh tay, được nôi vào 1 khớp xoay Phân khớp xoay này được nôi

trực tiép vào 1 động co servo Vừa có tác dụng điêu khiên nêu cân thiệt, vừa có thê

tự do đổi góc bang tác động bên ngoài

3.2.2 Chi tiết thiết kế

Phần lòng bàn tay được thiết kế với chiều ngang nơi dài nhất là 97mm, đây là phần

duy nhất trên bàn tay được thiết kế 2D và gia công băng phương pháp khắc lasermeka Các ngón tay sẽ được gắn trên phần lòng bàn tay, cảm biến khoảng cách cũngđược gắn ở mặt trước của lòng bàn tay Ảnh minh họa Hình 3.13 được chụp lại trên

phần mềm autocad về kích thước của phan bàn tay

20

Các ngón tay chưa tính phần gốc có chiều dài xấp xi 115mm, chiều ngang 16mm.

Ảnh minh họa Hình 3.15, Hình 3.16 chụp lại kích thước của 1 ngón tay

Hình 3.15: Hình ảnh ngón tay 3D và kích thước

Chiêu cao trung bình của các ngón tay xấp xỉ 17.5mm

22

Chiều dài các đốt ngón tay theo thứ tự từ đốt gốc gan với bàn tay ( không tính đốt

gốc) lần lượt là 50mm, 30mm và 35mm, ảnh minh họa Hình 3.17

Hình 3.17: Hình anh kích thước các đốt ngón tay

Phần ngón tay cái chỉ gồm 2 đốt ( không tính đốt gốc gắn với ban tay), độ dài xap xicủa ngón tay cái là 80mm Ảnh minh họa Hình 3.18 chụp lại kích thước của 1 ngón

cái.

23

Các ngón tay được thiết kế với góc xoay từ 0° đến 90° Tuy nhiên, khớp xoay thứ 2

tính khớp gốc có khả năng xoay hơn 90° (1059) Ảnh minh họa Hình 3.19 chụp lại

trên phân mêm autocad vê khả năng co lại của ngón tay.

24