Luận văn thạc sĩ Kỹ thuật cơ điện tử: Thiết kế hệ thống cảnh báo, trợ giúp tài xế lái xe ô tô

NHIEM VỤ VA NOI DUNG: e Nghiên cứu một số thuật toán sử dụng 2 cameras để theo vết, xác định hướng và khoảng cách đền vat thê.e Nghiên cứu phương pháp xác định các điêm đặc trưng trên xe

VAN TAN THANG

Chuyên ngành: Kỹ thuật Co Điện Tử

Mã số : 605268

LUẬN VĂN THẠC SĨ

Tp HCM, Tháng 12/2013

TS.DOAN THE THAO

Cán bộ chấm nhận xét 1:

Cán bộ chấm nhận xét 2:

Xác nhận của Chủ tịch Hội đồng đánh giá LV và Trưởng Khoa quản lý chuyên

ngành sau khi luận văn đã được sửa chữa (nêu có).

CHỦ TỊCH HỘI ĐÔNG TRƯỞNG KHOA CƠ KHÍ

PGS.TS NGUYÊN HỮU LỘC

NHIEM VỤ LUẬN VĂN THAC SĨ

Họ tên học viên: VĂN TAN THANG MSHV: 11390718Ngày, tháng, năm sinh: 15/10/1985 Nơi sinh: PHU YEN

Chuyên ngành: Kỹ thuật Cơ Điện Tử Mã số: 605268I TÊN DE TÀI:

THIẾT KE HỆ THONG CANH BAO, TRỢ GIÚP TÀI XE LAI XE Ô TOIl NHIEM VỤ VA NOI DUNG:

e Nghiên cứu một số thuật toán sử dụng 2 cameras để theo vết, xác định

hướng và khoảng cách đền vat thê.e Nghiên cứu phương pháp xác định các điêm đặc trưng trên xe và nhận ra

được xe 6 to.e Hiện thực hệ thông nhận ra được xe, theo vét và xác định được khoảng cach

và hướng đền xe nhăm đưa ra cảnh báo cho tai xê.

e Làm thực nghiệm kiểm nghiệm kết quả thực tế.HI NGÀY GIAO NHIỆM VỤ: Ngày 02 tháng 07 năm 2012IV NGÀY HOÀN THÀNH NHIEM VỤ: Ngày 22 tháng 11 năm 2013

v CÁN BỘ HUONG DAN: TS Doan Thé Thao

Tp HCM, ngày tháng năm 2013

CÁN BO HƯỚNG DAN CHỦ NHIỆM BỘ MÔN ĐÀO TẠO

TS Đoàn Thế Thảo TS Phạm Công Băng

TRƯỞNG KHOA CƠ KHÍ

Tôi cam đoan răng nội dung và kết quả đạt được trong luận văn là công trình làm việccủa Tôi dưới sự hướng dẫn của Thầy TS Đoàn Thế Thảo, ngoại trừ các phần thamkhảo từ các nguồn tài liệu khác được ghi rõ trong luận văn.

Tp.HCM, Ngày 02 tháng 12 năm 2013

Van Tan Thang

Tôi xin chân thành cảm ơn Khoa Cơ Khí, Bộ Môn Cơ Điện Tử, Trường Đại Học Bách

Khoa, ĐHQG-Tp.HCM đã tạo điều kiện tốt cho tôi thực hiện đề tài này.Tôi xin chân thành cảm ơn rất nhiều đến Thầy TS Đoàn Thế Thảo đã tận tình hướngdẫn, chỉ bảo Tôi rất nhiều về phương pháp nghiên cứu, hướng tiếp cận tốt về dé tài, vàcung cấp nhiều tài liệu bé ích, trong suốt thời gian thực hiện đề tải

Tôi xin gui lòng biét ơn sâu sac đên Ba, Mẹ, các anh chi và bạn bè đã ủng ho, giúp đỡvà động viên Tôi trong suôt thời gian nghiên cứu thực hiện dé tài.

Mặc dù tôi di cô gắng hoàn thành dé tài trong phạm vi và khả năng cho phép, nhưngchắc chắn sẽ không tránh khỏi những thiếu sót, kính mong sự cảm thông và tận tìnhchỉ bảo của quý Thây Cô và các bạn

Sau cùng, Tôi xin gửi lời chúc sức khỏe, hạnh phúc đến quý Thầy Cô, Gia Đình và

Bạn Bè.

TPHCM, ngày 02 tháng 12 năm 2013

Van Tan Thang

1.1 Đặt vấn đẺ cv nh 11.2 Tính cấp thiết của dé tei c.cccecececcccccccccscscscscssssssssvsvsvsveveeusssessssessevevevavsvsvsusussesesececeeess |

l3 Muce tiêu HghiÊH CỨU Ă.Ă cece cece eee EEE EEE eee 1 111111 k kg 0 1111k: 2

1.4 Đối tượng và phạm vi nghiÊH CứIM cccccctccTTET TT HH Ho 21.4.1 Đối tượng nghiÊH CỨU ST St ST TH HH ri 2

L.4.2 PRAM Vi NWICN CUU co.cc ccc ccc c cece “6 4ẢAdgẦẢẢ 21.3 — Phương pháp HghiÊH CỨI cece cece eens SH cece cece 0111111 dane eee eee eee 0111k: 2

16 Y nghia khoa hoc va thuc 72 cocccccccscccccccsecssesssscsscssssesecsesesscsecstesssscsevsssacsecssesesecsesees 31.6.1 Ý nghĩa khoa hỌC ST TT TT HH HH ri 31.6.2 Ý nghĩa Thực tiỄH c.Sc ST TS HH ueg 4

CHUONG 2

2.1 Tổng quan về penCÏ St tt TT TH HH rệt 52.2 Giải pháp phần cứng phục vụ thực hiện Ae tdi ceccccccccccccccscscssssesescsvscsvsvstevsssssevevseeee 6

2.2.1 Main công nghiệp, PC IÚ 111v k KTS 511111111111 k ket 62.2.2 Single Board Computer (SBC) sử dung Single on Chip (SOC) 72.2.3 May tirh PC, Laptop nga nn dÁ 8CHUONG 3

3.1 Cấu trúc tông quan vỀ đ tai cceccccccccccccscesescsesesvscsvsvscscessesscevevsvsvsusususececececevevevevsveee 113.2 Cơ sở lý thuyẾ( ST trưng 133.2.1 Các phương pháp phát hiện đối tượng xe Ot6 coececccccccccscscsscscscsssesescevsvesevsesesee 13

3.2.2 — Mô hình CQH€FG Ă Ăn tk TT tk kg vết 25

3.2.3 Giới thiệu các thuật toan phát hiện điểm quan tâm thuộc doi tưỢng 29

B.2.3.1 GiGi thi€U CHUNG ae n6 A 29

3.2.3.2 Lý thuyết về thuật toán SURE St He rrưn 32

CHƯƠNG 4

4.1 DO gá hai CŒIH€Fd ch EE TT TT rrưyn 46

4.2.2 Tiến hành học huấn luyện cho máy tinh iecccccccccccccccccscscsssescsvsvsvevsvscsvsvsvsevevevsee 53

4.2.3 Thuát toán Phat hẲiỆP X€ Ă 10011111 vvvvk v11 111111111 1k khen nhe ó0

4.2.4 Kết quả thực nghiệm phái hiện đi tuONng eccccccccccccscscscsscsesesvsvsvevsvsvevevsssevevsvsee ó04.3 Thực hiện hiệu chỉnh camera và kiếm tra kết qua các thông số nhận được 62

4.3.] Thực hiện hiéu ChIHH C(HI©F( ĂĂ G9111 K1 vn vs 62

43.2 Cách kiểm nghiệm kết quả thông số nội nhận được -ccccc ca tn set sen, 644.4 Kết quả phái hiện điểm và khớp ảnh từ thuật toán SURIF cScccccctceeerrren 674.4.1 Anh 01010 nan ố.ốốốốaốaốaa 674.4.2 Kết quả phái hiện, gán hướng cho điểm ảnh từ thuật toán SURF 674.4.3 Kết quả khi khớp các điểm ảnh tương ứng với nhau trong thuật toán SURF 684.5 Kết quả thực nghiệm ứng dụng hình học Epipolar ConsfFdinl -ccccccccc: 684.6 Kết quả do khoảng cách của đổi (ONG .ceccccceccccccscscscsvscssssesvsvsvsvsvsvsvsvsseesevevevaveve 69

CHUONG 5

5.1 Đánh giá kết quả đạt UOC coececcccccccccscscssessscsvsvsvsvsvevecececsssevsvevevsvsvsvssssesececevevevsvave 703.2 _ Kết luận và hướng phái triỂH Sc St T S111 E1 Hiên 725.2.1 Kết luẬN ằ SH He 72

S.2.2 PRAM Vi UNG MUNG neenad.Ả ỖỒ EEE E EEE E EE Eec bebe dua d aE EEEEEEEE REESE 74

5.3 Hạn chế của để teliccccccccccccccccccccsccsesscsessssessssesssscssvsssesssssvassesessssssssvacsevassevsesevesstvacsees 745.4 Hướng phát triển cho dé tdi cccccccccccccccccscsscsescsvsvsvevsvsvsscsessssvevsvsvsvsvesusesecececevevevsveve 74

TQ1 Li@U tha KRG 08" nh Ha Ẽ Ẽẽ 76

Hình 2.2: Mainboard pc-104, kích thước 90.17mm x 95.S9mm [1]

Hình 2.3: Mainboard SBC uDimm, Kích thước 43.18 x 68.58 mm [1]

Hình 2.4: Hình anh 2 webcam cua hãng Logitech độ phán giải 1280 x 720

Hình 2.5: Hình anh phan cứng gom cơ cấu gan hai webcam Logitech và Laptop thựchiện dé tài

Hình 3.1: Hình ảnh minh họa về hệ trục toa độ của hai camera gan lên xe Oto [9]Hình 3.2: Sơ đô cấu trúc tong quát về các bước thực hiện trong dé tai

Hình 3.3: Các đặc trưng cạnh cua đặc trưng Haar-like [4]

Hình 3.4: Các đặc trưng đường cua đặc trưng Haar-like [4]

Hình 3.5: Các đặc trưng đường chéo và bao quanh tâm của đặc trưng Haar-like [4]

Hình 3.6: Lược đồ cơ bản cua thuật toán AdaBoost [6]Hình 3.7: Dùng chuỗi cascade đã được huấn luyện đề phát hiện đối tượng [4]Hình 3.8: Cấu trúc của các chuỗi cascade nói tiếp với N giai đoạn học huấn luyện [4]

Hình 3.9: Mô hình Pinhole [7]

Hình 3.10: Chuyên mặt phang anh tới trước mặt phẳng tiêu cự [7]Hình 3.11: Chuyển hệ trục tọa độ của đối tượng ở hệ tọa độ thực tới hệ tọa độ camera

qua ma trận R và T [7]

Hình 3.12: Hình mô quan hệ giữa hệ trục toa độ ảnh thực té so với lý thuyết

Hình 3.12: Cac kernel ước lượng dao hàm riêng theo các HƯỚng x,y

Hình 3.13: Ảnh minh họa, các điểm được phái hiện va gan hướng bởi thuật toán SURF[12]

Hình 3.14: Nguyên tắc so khớp anh [2]Hình 3.15: Hình ảnh minh họa cho các điểm được khớp trong thuật toán SURF[12]

Hình 3.18: Mô ta ý nghĩa cua ma trận E và F [8]

Hình 3.19: Tinh toán khoảng cách đối tượng từ phương pháp Triangulation[9]Hình 3.20: Hình ảnh mình họa về hệ trục tọa độ của hai camera gan lên xe Oto [9]Hình 4.1: Hình anh minh họa các chiều di chuyên của hệ thong camera

Hình 4.2: Bản vẽ các hình cắt đồ gd cameraHình 4.3: Các bản vẽ chỉ tiết 2D và phối 3D của các thành phan cua đô gdHình 4.4: Bản vẽ mô phỏng các chỉ tiết của đồ gd

Hình 4.5: Bản vẽ phối cảnh hình anh 3D cua đô gdHình 4.6: Cơ cấu đô ga ché tao thuc té

Hình 4.7: Hình anh đặc trưng cho tap dit liệu thu thập các hình anh xe ôtô cần phat hiệnHình 4.8: Hình ảnh đặc trưng cho tập không chứa doi tượng can phát hiện

Hình 4.9: Cấu trúc thư mục chứa các file và folder cân thiết trong huấn luyệnHình 4.10: File mô tả thông tin các mẫu ảnh không chứa đối tượng

Hình 4.11: File mô tả thông tin của các mẫu ảnh chứa đối tượngHình 4.12: File ứng dung dé tong hợp các mẫu chứa đối tượng vào file vector.vecHình 4.13: Kết quả file chạy ứng dụng để tong hợp các mẫu chứa đối tượng vào file

vector vec

Hình 4.14: Cau trúc của file ứng dụng chạy hudn luyệnHình 4.15: Kết quả file chạy huấn luyện ở một giai đoạnHình 4.16: Anh diễn tả bộ nhớ RAM được chiếm dung trong qua trình chạy huấn luyệnHình 4.17: Anh kết quả phát hiện xe ôtô bằng file cascade.xml được huấn luyện

Hình 4.21:Giad tri pixel cua điểm ảnh thực trên tam chessboard được trích xuất từ ảnhchụp

Hình 4.22: Kết qua tính toán giá trị tọa độ pixel cua điểm khi biết thông số nội và tọa độđiểm thực đó xét trong hệ tọa độ camera

Hình 4.23: Kết qua tính toán kiểm tra tọa độ điểm thực xét trong hệ tọa độ camera khibiết thông số nội và tọa độ pixel điểm anh của anh được Chụp từ điểm thực trên

Hình 4.24: Hình anh chụp được từ hai camera trai và phải

Hình 4.25: Hình ảnh phát hiện điểm và gan hướng bằng phương pháp SURFHình 4.26: Hình ảnh so khớp các điểm ảnh phái hiện bởi thuật toán SURFHình 4.27: Các điểm ảnh tương ứng nằm trên các đường epipolar

Hình 5.1: Hình anh của doi tượng xe ôtô can phát hiện và xác định khoảng cáchHình 5.2: Hình ảnh kết quả phát hiện đối tượng và kết quả khoảng cách đo đượcHình 5.3: Biểu đô đánh giá kết qua dat được

speed, there are many applications based on the high technology in the other fileds thatare applied to support, help human in all aspect of life, makes better value of life qualitydays by days.

We can give a typical example about applications in field of the computer vision One ofthe most noticeable application fields is medical image processing used a medicaldiagnosis of a patient by track by the extraction of information from X-ray image data, orapplications is in industry, where information is extracted with purpose used to support amanufacturing process , and still remains many application in others field.

In this thesis, student wants to implement a application that relates to the computer visionfield, issue named “Using stereo camera system detects and measures distance of objectto support driver when car is joining traffic” with instruction of Doctor Doan The Thao,avoid happening any risks, accidents This is one of the most useful applications andobjects that is researched and approached by many scientists who are working in thecomputer vision fields and image processing because of demands in real lives and manydifferent methods of approach.

In this thesis, student has the method of approach, as follows:

A detector based on Haar-like features and AdaBoost algorithm is used to detect object,then result is applied for distance detection process using triangulation method Inaddition, there are some auxiliary matters such as: detected key points on object (SURFalgorithm), matched these points (epipolar constraint) then extracted the distanceinformation of object from this good mactching points ,

Trong thé kỷ 21 như chúng ta biết Khoa hoc kỹ thuật công nghệ đang phat triển với tốcđộ rất cao, có nhiều ứng dụng khoa học kỹ thuật công nghệ trong các lĩnh vực khác nhauđược phát triển và làm ra nhăm mục đích hỗ trợ và giúp đỡ con người trong đời sống,nâng cao chất lượng cuộc sống của chúng ta ngày một tốt hơn.

Ta lay các ứng dung được tao ra từ lĩnh vực thị giác máy tinh làm vi dụ điển hình, mộttrong các ứng dụng đáng chú ý nhất của nó là sử dụng trong việc trích xuất các thông tintrong các ảnh được chụp bởi tia X-Quang dùng cho việc chân đoán bệnh của bệnh nhânmột cách tốt hơn, hay những ứng dụng phục vụ trong sản xuất công nghiệp tựđộng ngoài ra còn rất nhiều ứng dụng về lĩnh vực thị giác máy tính trong nhiễu ngànhnghề khác

Trong luận văn này, học viên muốn thực hiện một ứng dụng liên quan tới thị giác máytính Tên dé tài: “THIET KE HE THONG CANH BAO, TRỢ GIÚP TAI XE LAI XE ÔTO” dưới sự hướng dẫn của Thay TS Doan Thế Thao Đây là một trong những chu dé vaứng dụng được nhiều nhà khoa học làm trong ĩnh v ực thị giác máy tính và xử lý ảnhnghiên cứu, bởi vì nhu cầu được sử dụng trong đời sống thực và có nhiễu cách tiếp cậnvan dé khác nhau Hướng tiếp cận của học viên trong luận văn này như sau:

Phát hiện đối tượng với những bộ phân loại được tăng tốc bằng thuật toán AdaBoost vàđặc trưng Haar-like (Haar-like features), sau khi huấn luyện dùng file huấn luyện xml déphục vụ cho mục đích phát hiện đối tượng Lay điểm đặc trưng là cặp điểm anh đượckhớp tốt từ hai mặt phăng ảnh của một cùng điểm thực nam trên đối tượng, rồi xác địnhthông tin là khoảng cách bang phương pháp nh học Triangulation (Phương pháp tamgiác), ngoài ra còn có những van dé phụ trong dé tai như phát hiện điểm đặc trưng vakhớp ảnh băng thuật toán SURF, dùng rang buộc Epipolar dé có được cặp điểm khớp anh

tôt

NỘI DUNG LUẬN VĂNCHƯƠNG 1: MỞ DAUCHƯƠNG 2: CÔNG CỤ HO TRỢ VA PHAN CỨNGCHUONG 3: TONG QUAN VE DE TÀI VÀ CƠ SỞ LÝ THUYETCHUONG 4: THIET KE BO GA CAMERA VA XAY DUNG MO HINHCHUONG 5: DANH GIA KET QUA VA HUONG PHAT TRIEN

CHƯƠNG 1MO DAU

Tóm tat chương«r Nội dung: Chương này trình bày tong quan về đề tai, đặt vấn dé, tinh cấp thiết, mụctiêu, doi tượng và phạm vi nghiên cứu của dé tài

1.1 Đặt van đềTai nạn giao thông hay các rủi ro va chạm xảy ra trong quá tình lưu thông hiện là vẫn đềnóng cho giao thông hiện nay, có nhiều vụ tai nạn xảy ra không phải vì xe chạy tốc độcao, tài xế say xin, xe bị trục trac kỹ thuat , mà vi tài xế mệt mỏi, thiểu tập trung trongnhững hành trình dai dễ khiến người cầm lái trở nên mệt mỏi, xao nhãng vài ba giây vànếu có đối tượng nào đó phía trước xe trong khi người lái mat tập trung thì có thé xảy rava chạm trong tích tắc Đó là một trong những ứng dụng cho việc đo khoảng cách của đốitượng băng hệ thống stereo camera, và nó làm tiền đề cho những ứng dụng thực tế sau

này.

1.2 Tính cấp thiết của đề tàiVới việc phát triển của nền kinh tế, nhu cầu bảo vệ con người và tài sản càng trở nên cấpthiết Cùng với sự phát triển vượt bậc của công nghệ, những hệ thống cảnh báo cho tài xếgiờ đây được hiểu như là một nhu cầu cho sự an toản khi tham gia giao thông Nhằmgiảm thiểu số vụ va chạm giao thông kiểu này, một số nhà sản xuất ô tô đã giới thiệu cáccông nghệ cảnh báo có vật cản trước cho người lái chăng hạn như: dùng cảm biến hồng

ngoai, tia lazer,

Giải pháp dùng “hệ thong stereo camera” dé phát hiện đối tượng vat can, sẽ giúp cho

người lái không chỉ thuận tiện trong việc giám sát được tinh hình giao thông khi đang

điều khiển phương tiện, phát hiện và cảnh báo kịp thời khi người lái mat tập trung, do đó

bảo vệ được tính mạng và tài sản Giải pháp này sẽ giúp người lái xe ô tô có được một

Do đó là lý do Tôi chọn nghiên cứu và thực hiện dé tai: " THIET KE HE THONGCANH BAO, TRỢ GIÚP TAI XE LAI XE Ô TÔ " dưới sự hướng dẫn của ThayTS Doan Thế Thảo.

1.3 Mục tiêu nghiên cứu

Thiết kế hệ thống cảnh báo, trợ giúp tài xế lái xe ô tô bằng cách sử dụng hệ thống stereocamera, thu thập va xử lý nhiệm vụ trên nên tảng của hệ điều hành Windows của hãngMicosoft và phần cứng là máy Laptop với chip xử lý Core ¡3 của hãng Intel, Ram 2 GB,bộ nhớ ngoài với dung lượng 500 GB (gigabyte), nhằm phát hiện vật cản trước đầu xe.Đề tai nghiên cứu thuật toán phát hiện và thuật toán tính khoảng cách tới các đối tượngchuyển động từ hệ thống stereo camera

1.4 Đối tượng và phạm vi nghiên cứu1.4.1 Đối tượng nghiên cứu

Phát hiện vật cản là các xe ôtô ở phía trước người lái được hỗ trợ hệ thống stereo camera,thu ảnh vật cản bằng 2 webcam với độ phân giải HD (high definition) 720p (pixel) củahãng Logitech, xử lý thao tác cảnh báo trên nền tảng hệ điều hành Windows của hãng

Microsoft.

1.4.2 Phạm vi nghiên cứu

Nghiên cứu thuật toán phát hiện đối tượng chuyển động, và đối tượng tĩnh rồi xác địnhđược khoảng cách của đối tượng trong phạm vi đưa ra

1.5 Phương pháp nghiền cứu

Đề hệ thống stereo camera có thể làm việc đúng như yêu cầu là phát hiện vật cản và đưara cảnh báo cho tài xế, khi vật can ở trong khoảng cách báo động (khoảng cách có thé gây

va chạm nêu tài xê không kip đưa ra xử lý an toàn) thì can nghiên cứu các van dé sau:

- _ Ngiên cứu vé thư viện OpenCV hỗ trợ trong thị giác máy tính

Dùng kỹ thuật hiệu chỉnh camera (camera calibration) đê tìm ra các thông sô ngoạivà nội của camera, vì những thông sô camera cân thiét cho việc tính toán khoảngcách từ camera so với vật trong không gian thực 3D.

Phát hện đối tượng với những bộ phân loại được tang dc bằng thuật toánAdaBoost và đặc trưng Haar-like (Haar-like features), sau khi huan luyện dùng filehuấn luyện xml để phục vụ cho mục đích phát hiện đối tượng

Nghiên cứu các kỹ thuật để phát hiện các điểm trên đối tượngTiến hành khớp ảnh cho các điểm tương ứng được phát hiện từ kỹ thuật phát hiện

các điêm trên đôi tượng.

- _ Để nhận được cặp điểm ảnh khớp tốt, ta cần loại bỏ những cặp điểm ảnh khớp anhkhông tốt bằng cách sử dụng phương pháp Epipolar Constraint

Lay điểm đặc trưng là cặp điểm ảnh được khớp tốt từ hai mặt phăng ảnh của mộtcùng điểm thực năm trên đối tượng, rồi xác định thông tin là khoảng cách bằng

phương pháp hình học Triangulation (Phương pháp tam giác).

Thiet kê cơ khí cho đỗ ga của hai camera phục vụ cho nghiên cứu, cơ câu ga cóthê điêu chỉnh được vi trí tương đôi giữa hai camera.

1.6 Ý nghĩa khoa học và thực tiễn1.6.1 Y nghĩa khoa học

Kết quả nghiên cứu có thé làm tài liệu thao khảo cho việc tìm hiểu thuật toán phát hiện,và xác định được khoảng cách của đối tượng trong không gian thực ba chiều (3D) Ứngdụng thị giác máy tính vào đời sống thực tế

Tiền đề cho những nghiên cứu hay hơn và kỹ thuật hay hơn cho các đề tài tiếp theo trong

tương lai.

1.6.2 Y nghĩa Thực tiễnGiao thông vận tải: hệ thống phát hiện vat can, đi sai làn đường , bang camera va đưa racảnh báo cần thiết dé tránh tai nạn không mong muốn xảy ra.

Công nghiệp sản xuất tự động hay trong ứng dụng cho robot trong các tác vụ cụ thể liênquan đến phát hiện và xác định khoảng cách

Trong y É: đã có đề tài nghiên cứu về hành vi uống thuốc của bệnh nhân, hành vi ăn tối

của người lớn tuôi dé đưa ra thong báo đúng cho nhân viên y tê

CHUONG 2

CONG CU HO TRO VA PHAN CUNG

Tóm tat chương4 Nội dung: Chương này tìm hiểu cơ bản về thư viện nguôn mở OpenCV hỗ trợ cho thịgiác máy tinh, giới thiệu về các giải pháp phan cứng được xây dựng dé phục vu dé tài.2.1 Tổng quan về OpenCV

Intel đưa ra phiên bản OpenCV đầu tiên vào năm 1999 Ban đầu nó yêu cầu phải có thư

viện xử lý ảnh của Intel Sau đó vì sự lệ thuộc này mà họ đã phải gỡ bỏ và bây giờ chúng

ta có thé sử dụng thư viện này hoàn toàn độc lập.OpenCV là một thư viện nguồn mở hỗ trợ cho thị giác máy tính Nó có nhiều tác dụng vàrất đa dạng như : nhận dạng, dò tìm, phát hiện, lọc Kalman, , thé hiện sự đa dạng của trítuệ nhân tao (Artificial Intelligence) Thêm vào đó nó cải thiện rất nhiều các thuật toán cobản của thị giác máy tính và hỗ trợ rất nhiều hệ điều hành như: Windows, Linux,

thị giác máy tính phân cụm, phân loại và file video

thống kê

0 Ï I=

CXCORECac cau trúc dữ liệu cơ ban, câu trúc XML, các hàm về đồ

hoa

Phan CV bao gồm các thư viện cơ ban về xử lý ảnh va các giải thuật về thị giác máy tính.MLL là bộ thư viện về các thuật toán học máy, bao gồm rất nhiều bộ phân cụm và phânloại thống kê HighGUI chứa đựng những thủ tục vào ra, các chức năng về lưu trữ cũngnhư đọc các file ảnh và video Phần thứ 4, CXcore chứa đựng các cau trúc dữ liệu cơ bản( vi dụ như cau trúc XML, các cây dữ liệu ) Phần cuối cùng là CvAux, phan này baogồm các thư viện cho việc phát hiện, theo dõi và nhận dạng đối tượng (khuôn mặt, mắt

2.2 Giải pháp phần cứng phục vụ thực hiện đề tàiDé giải bài toán xử lý bang hình ảnh, ta có rất nhiều giái pháp phần cứng khác nhau Từphân cứng cho tới các module phần mềm Ta có thể điểm qua một vài phương pháp hay

được sử dụng và có hiệu quả cao như sau.

2.2.1 Main công nghiệp, PC 104

Hình 2.2: Mainboard pc-104, kích thước 90.17mm x 95.89mm [1]

Ta có thé sử dung mainboard PC104 với các chức năng như một máy tinh thôngthường Việc sử dụng PC104 sẽ có những ưu, nhược điểm sau:

> Ưu điểm:- C6 tốc độ xử lý cao- Dé dang lập trình, kiểm lỗi

- Hé điều hành quen thuộc (Windows/linux)- Các công a lập trinh/bi én dch phổ biến MSVC (Microsoft Visual C++), gec

(GNU Compiler Collection)

> Nhuoc diém:

Kích thước lớn

Có quá nhiễu thành phần không sử dụng đếnGiá thành dat

Chỉ có thé giao tiếp với ngoại vi thông qua các chuẩn phố bién như UART, USB

2.2.2 Single Board Computer (SBC) sw dung Single on Chip (SoC)

Hình 2.3: Mainboard SBC uDimm, Kích thước 43.18 x 68.58 mm [1]

SBC (Single board computer) có & dung các SoC là bước tiến lớn trong việc xây dựngthiết bị với khả năng tính toán và xử lý như một máy tính thông thường.Với nhiều ưuđiểm hon han so với các thiết bị khác như :

- Kích cỡ

- Gia thanh.

- Str dụng các SoC làm bộ xử lý trung tâm có kla năng chuyên biệt về xử lý hình

Do vậy tuỳ và bai toán đặt ra ma ta có thé chon các SBC cho các SoC phù hop với yêucầu cụ thể Hiện nay đã có nhiều SoC có khả năng tích hợp các DSP (ProcessorDigitalSignal Processing) là bộ xử lí tín hiệu số vào trong nhân nhằm tăng khả năng xử lýViệc sử dụng mạch SBC sẽ có những ưu, nhược điểm sau:

> Ưu điểm:- _ Kích thước rất nhỏ

- Gia thành rẻ

- H6 trợ SPI, I2C, I2S, MMC, SDCard, UART, USB2.0/1.1 v v- C6 tốc độ xử lý cao

- Str dụng hệ điều hành Linux- Được sự hỗ trợ rất lớn của cộng đồng mã nguồn mở Từ HDH, kernel hay rất

nhiều các ứng dụng- Cac công cụ biên dịch phố bién gcc- _ Các công cụ hỗ trợ lập trình rất nhiều Eclipse, Vim, Emacs v v> Nhuoc diém:

- Viéc chạy, kiểm thử phải thực hiện giả lập trên máy tính trước khi đưa vào mạch- Am hiểu kiến thức về các giao tiếp ngoại vi, kiến trúc về SBC

2.2.3 Máy tính PC, Laptop

Đây là một trong những phương pháp đơn giản nhất Có thể tận dụng các mainboard máy

tính hay thậm chí các máy tính xách tay với chức năng là một don vi xử lý ảnh, va đưa ra

quyết định Với việc kết nối camera hay webcam ta hoan toàn chủ động trong quá trìnhnhận và xử lý ảnh Các giao tiếp ngoại vi phố biến như UART, Parallel, USB hayKeyboard Việc sử dụng PC, Laptop sẽ có những ưu, nhược điểm như sau:

> Ưu điểm:

Rất dễ dàng phát triển các ứng dụng dựa trên các phần mềm lập trình như C,Visual C, Visual Basic , tất phù hợp cho những người mới bat đầu nghiêncứu về lĩnh vực xử lý ảnh đặc biệt là hiện nay có nhiều thư viện mở phục vụcho xử lý ảnh, do đó rất thuận tiện cho người mới bắt đầu tìm hiểu về xử lý ảnhCó tốc độ xử lý cao

Dễ dàng lập trình và tìm lỗiHệ điều hành quen thuộc (Hệ điều hành Windows của hãng Microsoft)Các công g lập trình và biên dịch phd biến (C, C++, Visual C, Visual

USB.

> Phương pháp phần cứng học viên chon trong dé tài này là sử dụng Laptop/PC déthực hiện vì tính tiện lợi và dễ dàng thực hiện công việc cho đề tài và phần chụpảnh học viên chọn hai webcam của hãng logitech: giao tiếp với Laptop bằng chuẩngiao tiếp USB, có độ phân giải màn hình 1280x720

Hình 2.4: Hình ảnh 2 webcam cua hãng Logitech độ phan giải 1280x720

Hình 2.5: Hình ảnh phan cứng gom cơ cấu gán hai webcam Logitech và Laptop thực hiện dé tài

CHUONG 3

TONG QUAN VE DE TAI VA CO SO LY THUYET

Tóm tat chương4 Nội dung: Chương này giới thiệu cấu trúc tổng quan về và các bước thực hiện dé tài,cơ sở lý thuyết của các bước thực hiện: phan phát hiện đối tượng bằng các đặc trưngHaar-like kết hợp với thuật toán tang tốc AdapBoost dé phát hiện đối tượng nhanh hơn,sau đó dùng phương pháp & tìm điểm thuộc đối tượng trong vùngảnh phát hiện đốitượng (ROI) bằng phương pháp SURF và tến hành khớp anh các cặp điểm tương ứngcủa một điểm thực trong không gian thực được chụp từ hai camera, đề nhận được cặpđiểm ảnh tương ứng của điểm thực từ đối tượng trong không gian tực, ta dùng rangbuộc epipolar dé dat được điều này, sau đó lấy cặp điểm được khớp đúng này làm điểmđặc trưng cho doi tượng, và trích ra thông tin là khoảng cách doi tượng trong không gianthực so với camera bằng phương pháp tam giác triangulation

3.1 Cấu trúc tổng quan về đề tài

Hình 3.1: Hình ảnh minh họa về hệ trục tọa độ của hai camera sắn lên xe ôtô [9]

(vim diém trên

vùng ROI nhận

Z

Phát hiện đối tượng sử La `diện xe băng

_ dụng đặc trưng Haar- phương pháp

Anh camera | like và thuật toán tăng | ROI Surf

tral tốc AdaBoost q yy,

` yy,

“ Tìm điểm trênPhát hiện đối tượng sử vùng ROI nhận

khớp chính xác, xác ⁄Z TẾ hành

i Ác dic i ễ tên han

định được các đim |, Constraint de dat R ten hạnh

thật làm điểm đặc được các cặp khớp các cặp

trưng cho đối tượng điểm khớp chính điêm tương

trong không gian 3D xac ung

` ⁄

Tìm vị khoảng cáchcủa đôi tượng từ Trích xuất thông

> điêm đặc trưng trên Ƒ—|L tin đối tượng

G ⁄

Hình 3.2: So đô cấu trúc tổng quát về các bước thực hiện trong đề tài

3.2 Co sở lý thuyết3.2.1 Các phương pháp phát hiện đối tượng xe ôtôPhát hiện đối tượng, ví dụ như xe hơi trong cảnh quan giao thông, từ camera (hình động)hay những tam hình tĩnh dựa trên sự trợ giúp của máy tính từ lâu đã có nhiều nghiên cứuvà phát triển bởi nó đóng vai trò là cơ sở chung và là nên tang để nghiên cứu và ứng dụngtrong các lĩnh vực va các hệ thống khác Trong quá trình nghiên cứu va phát triển, thì yêucầu được đặt lên hàng đầu là yếu tô chính xác và phải thực hiện nhanh chóng trong thời

gian thực.

Có tắt nhiều phương pháp và hướng tiếp cận của vấn dé phát hiện xe hơi Dinh vị xetrong một cảnh quan giao thông là phương pháp tương di đơn giản, bởi vi nó chỉ xácđịnh vi trí hay tọa độ cua chiếc xe có trong ảnh Hướng phát triển hơn là việc nhận dạng

(vehicle recognition) là công véc phức tạp hơn Tac vụ nay sẽ so sánh một anh xe hơi

trong ảnh đầu vào với tất cả các ảnh có trong cơ sở dữ liệu đã được huấn luyện trước vàđưa raanh gần nhất Trong bai luận văn nay học viên chỉ tìm hiểu về việc phát hiện xetrong thực tế

Có hai hướng tiếp cận chính thường được dùng để phát hiện đối tượng: các phương phápdựa trên ảnh và các phương pháp dựa trên dạng hình học Các phương pháp có thể được

liệt kê như sau:

> Phát hiện dựa trên anh

Các phương pháp thuộc nhóm này dựa trên một tập hợp các hình mẫu của đối tượng vàsử dụng cửa số trượt để phát hiện xe Cách làm này khác biệt so với các phương pháp dựatrên khuôn mẫu (cần thiết phải có sẵn mô hình xe, hình thái xe) Đề trích đặc trưng từ cácmẫu ví du, cần thiết cho học huấn luyện dưới dạng thống kê hoặc các thuật toán học máy(machine learning) Wi đủ nhiều các miu ảnh có chứa đối tượng và không chứa đối

tượng.

Do sự xuất hiện của xe trong ảnh là ngẫu nhiên với nhiều góc quan sát khác nhau nênthường phải xấp xi chúng dé tạo nên sự khác biệt của hai đối tượng Tùy theo cách tépcận xác xuất nào mà sẽ xuất hiện các phương pháp phát hiện tương ứng Liệt kê dưới đâylà một số các phương pháp thuộc nhóm này:

> Phương pháp EigenObjects (PCA)> Phuong pháp Fisher’s Linear Discriminant> Các phương pháp dựa trên Eigen-space> Các phương pháp dựa trên mạng noron nhân tạo> Support Vector Machine (SVM)

> Phương pháp mô hình Markov an (Hidden Markov Model-HMM)

> Phuong pháp Sparse Network of Windows (SnoW)

Do nhóm phương pháp này dựa trên việc huấn luyện sao cho thu được mô hình đối tượngxe từ một tập dữ liệu tích cực (positive sample - ảnh có chứa đối tượng) và nột tập dữliệu không tích cực (negetive sample - ảnh không chứa hình đối tượng) nên chúng có sựtương quan so sánh trực tiếp đến các đặc điểm hình học của một kiểu xe dién hình

Nhược điểm của phương pháp này là đòi hỏi luôn có sẵn cơ sở dữ liệu hình xe rất lớn Décó thể phát hiện và nhận dạng được xe, máy tính phải luôn dò trong cơ sở dữ liệu hìnhnay roi mới đưa ra kết quả

> Phát hiện dựa trên hình họcKhác với nhóm phương pháp vừa được nêu trên, các phương pháp thuộc nhóm này quan

tâm đến các đặc điểm cau trúc hình học của xe Vì vậy chúng còn được gọi là nhóm tiếpcận dựa trên đặc trưng (feature-based) Tùy theo cách trên khai vấn đề mà chúng được

chia thành hai phân nhóm:

> Các phương pháp Bottom-Up

> Phương pháp dựa trên luồng ánh sáng (hay lưu lượng quang-optial flow)

Nhóm phương pháp Bottom-Up chủ yếu dùng các đặc điểm hình dáng bat biến của xe đốivới ngoại cảnh và nên ảnh dé phát hiện ra xe Rồi tùy vào mối liên hệ của chúng với nhaumà thiết lập các liên kết giữa các đặc điểm bất biến nay ngay trong anh đầu tiên, tiếp theo

sẽ dựa vào đó mà tìm chúng trên các ảnh kê tiép.

Phương pháp của phân nhóm thứ hai luồng ánh sang, là phương pháp xử lý tong quan ánhsáng theo tuần tự các bước Thứ nhất, thuật toán tìm đặc trưng quan trọng của đối tượng(ví dụ như góc của xe) trong hai khung hình liên tiếp nhau Thứ hai, dùng thuật toán đểhợp nhất tính liên quan đồng nhất giữa các đặc trưng đó (trong trường hợp này là góc xe).Bước cuối cùng, các luông đặc trưng đối tượng đã được trích xuất khỏi ảnh được tập hợplại thành một nhóm nếu các khoảng cách Euclidean của các luông (vị trí đối tượng vahướng chuyền động của đối tượng) là nhỏ

Cụ thé phương pháp này không chi sử dụng các thuật toán học (learning algorithm) déhuấn luyện tạo các bộ phân lớp (cascade) băng các hình mẫu ví dụ tích cực (có chứa hìnhảnh xe) va các hình mẫu không tích cực (không chứa hình ảnh xe) được lựa chọn canthận (đây là phương pháp dựa trên ảnh) Các hình sau khi được lựa chọn cân thận sẽ đượcquyết định đặc trưng của từng loại xe bởi thuật toán học hầu hết có liên quan trực tiếpđến đặc trưng riêng biệt trên hình ảnh xe hơi (đặc điểm các chỉ tiết trên xe, gương, đầuxe, đuôi xe, dàn đèn, các go nồi ) Kỹ thuật tăng tốc cải thiện tốc độ tìm kiếm dựa trêncác bộ phân loại bang cách lay ra các trọng số cho các mau ví dụ dùng trong huấn luyện

> Phương pháp được sử dung trong luận văn

Trong luận văn, việc phát hiện xe là ar kết hợp giữa thuật toán tăng tốc AdaBoost(Adaptive Boost: tăng tốc thích nghi) và đặc tinh đáp ứng nhanh của các đặc trưng Haar-like Đây là phương pháp được xem như là phối hợp của cả hai phương pháp đã nêu trên:

phương pháp dựa trên ảnh và phương pháp dựa trên dạng hình học.

Đề thực hiện chức năng phát hiện xe, sử dụng thuật toán phát hiện đối tượng (dựa trêncác đặc trưng Haar-like trên từng khung anh (frame) thu được từ nguồn tín hiệu hình anh

hành các tác vụ lên các xe đã được phát hiện Sau đây là phan trình bay phương thức hoạtđộng của phương pháp phát hiện xe hơi băng các đặc trưng được liệt kê sau đây:

Hình 3.5: Cac đặc trưng đường chéo và bao quanh tâm của đặc trưng Haar-like [4]

Gia tn của đặc trưng Haar-like được xác định boi độ chênh lệch giữa tong các giá tri

pIxel mức xám năm trong vùng đen so với vùng trăng.

> Vùng đặc trưng va số lượng đặc trưngMục đích chính của việc sử dụng các đặc trưng thay vì các giá tri pixel ban đầu như là đạilượng đầu vào cho thuật toán học huấn luyện là nhằm giảm hoặc tăng sự sai khác lẫnnhau giữa các đối tượng trong cùng một lớp phân loại, từ đó làm cho quá trình phân lạạiđược dễ dàng hơn Các đặc trưng thường để mã hóa các hiểu biết về miền quan tâm củađối tượng trong anh Tính phic tạp của việc đánh giá đặc trưng là rất quan trọng trongnhiệm vụ phát hiện đối tượng dựa trên hình dáng bên ngoài của đối tượng đó trong chuỗiảnh ngõ vào của hệ thống.

Như vậy ta có thể thấy, để tính các giá trị đặc trưng Haar-like ta phải tính tổng của cácvùng pixel trên ảnh, nhưng để tính toán các giá trị đặc trưng Haar-like cho tất cho tất cảcác vị trí trên ảnh đòi hỏi chỉ phí tính toán rất cao, không đáp ứng được cho các ứng dụng

đòi hỏi phải thực hiện trong thời gian thực Do đó Viola và Jones đưa ra một khái niệm

gọi là Integral Image, là một mảng hai chiều với kích thước bang với kích thước của ảnhcần tính đặc trưng Haar-like, với mỗi phần tử của mảng nay được tinh bằng công thức

Voi A+ B+C+4+Dchinh là giá trị tai điểm P4 trên Integral Image, tương tu như vậyA+ B là giá trị tại điểm P2, A+ C là giá trị tại điểm P3, và A là giá trị tại điểm P1 Vậyta có thé viết lại biểu thức tính D ở trên như sau:

với 0 Sx,x +w<W;0 < y,y+h <H;x,y>0;w,h >0; ae{0°, 45°}Hai ví dụ cho hai trường hợp của hình chữ nhật được cho như sau /6/:

Hinh chữ nhật

Hinh chữ nhật quay 4Š độ

Số lượng đặc trưng xuất phát từ mẫu là đủ lớn và khác nhau giữa mẫu này với mẫu khác

và được tính theo công thức bên dưới.

Nếu cho X=W/w va Y=H/h thì số lượng đặc trưng đối với kích thước w x h trong ảnh có

kích thước W x H được tính theo công thức sau đây:

ra cầu trả lời chính xác trên 60%.

> Thuật toán tăng tốc AdaBoostAdaBoost (adaptive Boost) là thật toán hoc mạnh, giúp đây nhanh việc tạo ra một bộphân loại mạnh (strong classifier) bang cach chon cac dac trung tốt trong một họ các bộphân loại yếu (weak classifier) và kết hợp chúng lại tuyến tính bằng cách sử dụng cáctrọng số Điều này thật sự cải thiện dần độ chính xác nhờ áp dụng hiệu quả chuỗi các bộphân loại yếu

Tập Huan Luyện

Bộ phân loại mạnh

AdaBoost >

Họ các bộ |

phân loại yêu |

Cac trong sô

Thuật toán học nay ban đầu duy trì một phân bố chuẩn (tương đồng nhau) các trọng sốlên mỗi một mẫu huẫn luyện Trong bước lặp đầu tiên, thuật toán huấn luyện một bộ phânloại yếu băng cách dùng một đặc trưng Haar-like (Haar-like feature) đã thực hiện tốt nhấtviệc phát hiện các mẫu thử huấn luyện Trong lần lặp thứ hai, các mẫu thử dùng cho huấnluyện nhưng bị phân loại nhằm bởi bộ phân loại yếu đầu tiên được nhận trọng số cao hơnsao cho đặc trưng Haar-like được chọn lần nảy phải tập trung khả năng tính toán cho cácmẫu thử bị phân loại nhằm này Sự lặp lại tiếp tục được thực hiện và các kết quả cuốicùng sẽ là một chuỗi cascade các kết hợp tuyến tính của các bộ phân loại yếu, tạo ra mộtbộ phân loại mạnh, giúp tạo được độ chính xác mong muốn.

Phương pháp AdaBoost có nhiều dạng khác nhau:> Tăng tốc thích nghỉ rời rac (Discrete AdaBoost-DAB)> Tăng tốc thích nghỉ thực (Real AdaBoost-RAB)> Tăng tốc thích nghỉ linh hoạt (Gentle AdaBoost-GAB)Các phương pháp trên du được dùng cho việc tính toán độ phức tạp từ các mẫu phânloại, nhưng khác nhau ở thuật toán học huấn luyện Ví dụ một trong các thuật toán huấn

luyện /6/:

1 Cho một tập gồm n mẫu có đánh dấu (x¡.y¡) (Xz.V2) (Xa.Yn) VỚI X, €(Xj, Xk, -.- » Xkm) là vector đặc trưng va y¿ € (-1, 1) là nhãn của mẫu (1ứng với mẫu chứa đối tượng, -L ing với mẫu không chứa đối tượng).2 Khởi tạo trọng số ban đầu cho tất cả các mẫu: với m là số mẫu đúng

(ứng với y = 1) và / là số mẫu sai (ứng với y = -1)

e Chon ra h; với g; nhỏ nhất, ta được h,:e Cap nhật lại bộ trong SỐ:

Wek x (em ; hy (Xk) = VeW =——

CR7 evr, hi (xx) # Vxt

e Trong đó:

Qa — =l1n

2 \ ø

Z,: Hệ số dùng dé đưa W,.; về đoạn [0,1] (normalization factor)

4 Bộ phân loại mạnh được xây dựng :

TH(z) = sign ) ah; ©)

t=1

— Trong luận văn nay học viên chọn phương pháp GAB dùng dé huấn luyện (phươngpháp mặc định trong quá trình chạy huấn luyện)

Chuỗi cascade các bộ phân loại được triển khai nhằm tăng tốc độ thực thi của thuật toánphát hiện Trong giai đoạn đầu của quá trình huấn luyện, ngưỡng của bộ phân loại yếuđược điều chỉnh đủ thấp sao cho xấp xỉ 100% các đối tượng đích có thể được dò ra trongkhi vẫn giữ tỉ lệ nhận dạng sai mẫu không tích cực gần băng zero Sự cân băng của mộtngưỡng thấp gan liền với tỉ lệ phát hiện sai mẫu tích cực cao hơn Một mẫu tích cực ngõra từ bộ phân lớp dau tiên là thông số đặt ngõ vào cho bộ phân lớp thứ hai, cũng sẽ đượcđiều chỉnh sao cho đạt được tỉ lệ phát hiện rất cao Tương tự như thế, một mẫu tích cựcxuất ra từ bộ phân lớp thứ hai lại tiếp tục là thông số đặt ngõ vào cho bộ phân lớp thứ ba,quá trình như vậy cứ tiếp tục cho đến bộ phân loại cuối cùng

Các cửa số con là tích are (phù hợp, dò đúng đối tượng) nếu được cho qua tại từng bộphân lớp của chuỗi cascade đã được huấn luyện Nếu không, một ngõ ra trên chuỗi sẽ loạibat kỳ cửa số không phù hợp ngay lập tức

x € object

Hình 3.7: Dùng chuỗi cascade đã được hudn luyện dé phát hiện đối tượng [4]

> Giai đoạn huấn luyện của bộ phân loại (stage)Thuật toán tăng tốc thích nghi được sử dụng làm phương pháp chính dé phát hiện đốitượng Thuật toán tăng tốc là mô hình học máy hiệu quả được sử dụng nhiều trong các đềtài về nhận dạng Mô hình này chỉ sử dụng các bộ phân loại yếu.

Tác w học được dựa trên N mẫu huấn luyện (x,,y,), ,(Xy, yy) với x € R* và ye{—1,1} x; và vector có thành tô k Mỗi thành tổ k có chức năng mã hóa một đặc trưng cóliên quan cho tác v học Ngõ ra mong muốn sau khi mã hóa có hai giá trị là -1 và 1.Trong trường hợp phát hiện đối tượng vật thể, thành tố ngõ vào x; là đặc trưng của Haar-like Các giá tị ngõ ra -1 và 1 cho bét ảnh xử lý có chứa hay là không chứa đối tượngmong muốn

> Tang phân loạiTang (đợt) của bộ phân loại bao gồm các cây (tree) giá trị giảm dan sau mỗi giai đoạn(stage) mà lộ phân loại được huấn luyện để nhận dạng hầu hề t các oi tượng vật thémong muon, đồng thời cũng loại bỏ các đối tượng không được huấn luyện Ví dụ trongluận văn này, các bộ phận huấn luyện qua ít nhất 12 giai đoạn (stage) Đến giai đoạn cuốicùng, giá irfalse alarm = 0.5! = 2.44e ? va @ trùng khít (hit rate) khang =0.9951“ = 0.941

Giai đoạn 1 Giai đoạn 2 Giai đoạn 3 Giai đoạn N

St 2|SÉC“'Íp, = 0.9952St 3:|SÉC ¬Ín, = 0.9953

> Đặc tính co giãn vùng đặc trưng đối tượngKhông phải lúc nào đối tượng xuất hiện trong ảnh cũng xuất hiện với vị trí tọa độ hoặcdiện tích vị trí chiếm chỗ là không đổi, mà ngược lại, các đối tượng xuất hiện tại rất nhiềuvị trí khác nhau và diện tích chiếm chỗ khác nhau Do đó dé có thé phát hiện ra đặc trưngđối tượng trong ảnh với diện tích chiếm chỗ khác nhau thì cần một thuật toán phát hiệnđối tượng bám theo tính co giãn của đặc trưng đối tượng Một trong những ưu điểm củaphương pháp đặc trưng Haar-like là & dang co giãn cửa số đặc trưng Thuật toán nayphát hiện đặc trưng với các ảnh chia nhỏ chứa các đặc trưng tìm được trong ảnh bắt đầutừ phía trên bên trái và anh chia nhỏ bắt đầu được lớn dan theo hướng qua phải và hướng

xuống dưới Giải pháp thích hợp để khoanh vùng đặc trưng ảnh là khoanh vùng bao gồmtất cả các ảnh chia nhỏ chứa đặc trưng vừa tìm được Khi đối tượng trong ảnh có xuhướng tăng dan diện tích chiếm chỗ trong anh (ví dụ trường hợp đối tượng tiến đến gầncamera) thì lượng anh chia nhỏ tăng nhiều hơn dé chứa các đặc trưng.

3.2.2 Mô hình camera

Việc hiệu chỉnh camera nhằm tạo ra các thông số của camera, cho việc tái tạo không gian3D của một cảnh nao đó trong thực tế bằng những ảnh mà camera đó chụp lại được Décó được những thông số đó, các tính toán sau chủ yếu dựa vao mô hình camera thôngdụng nhất hiện nay: mô hình Pinhole /77

Về mặt hình học, mô hình này bao gồm một mặt phang ảnh 77 (Image plane) và một tâmđiểm O (Eyepoint) năm trên mặt phang tiêu cự 1r(Focal plane), m6 hình như sau:

Mat phang anh Y Mat phăng tiêu cự

Hình 3.9: Mô hình Pinhole [7]

Một đặc điểm rất cơ bản của mô hình này là tat cả những điểm ảnh p trên mặt phang anhIT được tạo thành bởi điểm vật P qua O sẽ là thắng hàng với O và P, có nghia p, O, P lànăm trên một đường thăng Điểm Ø còn được gọi là tâm quang (Optical center), đườngthang oO vuông góc với IT và II, được gọi là trục quang (Optical axis), o được gọi làđiểm chính (Prineipal point)

Goi (O, X, Y, Z) là hệ toa độ camera, (o, x, y) là hệ tọa độ của các điểm ảnh Ta có thể

= 3.3

- 3.3)Từ góc độ hình học mà nói, sé không có sự khác biệt gì khi thay mặt phang 77 bằng mộtmặt phang ảo nam ở phía bên kia mặt phăng II Trong hệ tọa độ mới nay, mỗi điểm (x, y)

giờ đây sẽ có tọa độ 3D là (x, y, /).

Hình 3.10: Chuyển mặt phẳng ảnh tới trước mặt phẳng tiêu cự [7]Trong phép chiếu hình học ta đã biết rằng tất cả những điểm năm trên một đường thắngvuông góc với mặt phang chiếu thì khi chiếu xuống mặt phăng đó ta chỉ thu được mộtđiểm duy nhất, do đó với bất kỳ một điểm (X, Y, Z) nào đó th ti lệ sau s(X, Y, Z) hay(sX, sY, sZ) (với s bat kỳ) khi chiếu qua điểm O ta cũng chỉ thu được một điểm m(x, y)duy nhất Từ lập luận trên va từ phương trình (3.1) ta có:

Phương trình (3.1) có thé được viết lại như sau:

x f 0 0 0 M

sly|= 0 ƒ 0 | 7 (3.5)1 0 0 10 4

Trong đó : x = [x, y]' và dat x” = [x, y, 1] là vector x thêm 1 vào phan tử cuối cùng Ma

Trong thực tế thi một đối tượng thật có thé biểu diễn bởi một hệ toa độ 3D bat kỳ màkhông phải là tọa độ camera như ta giả sử Để tính toán được trên các hệ tọa độ này, cáchđơn giản nhất là ta chuyên nó về hệ toa độ camera Giả sử rang P, là một điểm bat kỳtrong hệ tọa độ thực w bất ky, Po là một điểm trong hệ tọa độ camera Khi đó, P,, có thểchuyển về Py băng một phép quay # va một phép tịnh tiến 7

(extrinsic parameter).