xác định vận tốc xe sử dụng camera giám sát

GIỚI THIỆU CHƯƠNG Trong chương này trình này các vấn đề: các khái niệm về Video số, tìm hiểu về tín hiệu video số, các ưu nhược điểm của video số, chuẩn video avi, các kháiniệm, các tính

Trang 1

Lời cam đoan

LỜI CAM ĐOAN

Em xin cam đoan nội dung của đồ án “Xác định vận tốc xe dựa vào camera giám sát” không phải là bản sao chép của bất cứ đồ án hoặc công trình đã

có từ trước Nếu vi phạm em xin chịu mọi hình thức kỷ luật của Khoa

Đà Nẵng, ngày 4 tháng 6 năm 2013

Sinh viên thực hiện

Trang 2

Phân công công việc của nhóm

PHÂN CÔNG CÔNG VIỆC CỦA NHÓM

Đồ án này được thực hiện bởi tất cả các thành viên trong nhóm, trong đóphần lí thuyết mỗi người làm riêng trừ chương cuối cùng là chương cài đặt và kếtquả, 2 thành viên cùng thực hiện Phân công nhiệm vụ được phân chia như sau:

- : Thực hiện phương pháp luồng quang học

- : Thực hiện phương pháp trừ nền

Cả 2 cùng tham gia tìm hiểu phần hiệu chỉnh Camera và quay Video để thửnghiệm và đánh giá kết quả Tuy thực hiện riêng các phương pháp nhưng cả 2 thànhviên vẫn phải nắm vững tất cả các phương pháp, các kiến thức về lí thuyết cũng nhưtrong chương trình mô phỏng

Trang 3

Phân công công việc của nhóm

Trang 4

Mục lục

MỤC LỤC

Trang 5

Mục lục

Trang 6

Danh mục từ viết tắt

DANH MỤC TỪ VIẾT TẮT

ATM Automated teller machine

AVI Audio Video Interleave

Camshift Continue Adaptive Meanshift

CCD Charge Couple Device

CMOS Complementary Metal Oxide SemiconductorDVR Digital Video Recorder

JPEG Joint Photographic Experts Group

JPG Joint Photographic Group

NVR Network Video Recorder

PTZ Pan, Tilt, Zoom

Trang 7

Danh mục bảng

Trang 8

2.4 Bảng giá trị sử dụng trong hàm bwconncomp 232.5 Bảng kết quả trả về của hàm bwconncomp 233.1 Mô tả các phương pháp hiệu chỉnh camera 294.1 Thông tin đoạn video chạy thử nghiệm(20km/h) 464.2 Kết quả truy vết đối tượng của phương pháp trừ nền(20km/h) 474.3 Kết quả truy vết đối tượng của phương pháp opticalflow(20km/h) 484.4 Khoảng cách di chuyển dist giữa các khung hình 504.5 Thống kê vận tốc của 2 phương pháp trong điều kiện ảnh nền tĩnh 504.6 Thống kê vận tốc của 2 phương pháp trong điều kiện ảnh nền động 51

Trang 9

1.3 Ứng dụng camera quan sát vào giao thông 61.4 Mô hình hệ thống camera quan sát Analog 71.5 Mô hình hệ thống camera quan sát IP 81.6 Mô hình hệ thống camera quan sát kết hợp Analog và IP 92.1 Kết quả thực hiện thuật toán Frame Difference 122.2 Kết quả thực hiện thuật toán Running Gaussian Average 13

2.4 Kết quả thực hiện thuật toán Codebook 173.1 Độ chính xác của đo lường tọa độ 3D 303.2 Độ chính xác của đo lường tọa độ 2D 313.3 Bàn cờ dùng cho hiệu chỉnh camera 323.4 Mô hình của hệ thống Camera Calibration 33

3.6 Vòng tròn ngoài gương xuất hiện như một hình elip 354.1 Lưu đồ thuật toán xác định vận tốc 394.2 Lưu đồ thuật toán phương pháp trừ nền và phương pháp opticalflow 404.3 Giao diện công cụ hiệu chỉnh camera 414.4 Ảnh mẫu dùng để hiệu chỉnh camera 424.5 Kết quả tìm góc hình chữ nhật của hình mẫu thứ nhất 434.6 Kết quả tìm góc chữ nhật kèm theo trục x-y 44

4.8 Hình tham chiếu trong phương pháp trừ nền 46

Trang 10

Mở đầu

MỞ ĐẦU

Với sự phát triển nhanh chóng của các loại máy móc hiện đại như máy ảnh

số, máy quay số, máy vi tính, điện thoại đi động …thì lượng thông tin con ngườithu được dưới dạng hình ảnh là khá lớn Để lượng thông tin này trở nên có ích hơncon người cần có các thao tác để tiến hành xử lý nó và từ đó tạo điều kiện cho sựphát triển không ngừng của các kỹ thuật xử lý hình ảnh Xử lý ảnh là một trongnhững công nghệ được ứng dụng rộng rãi hiện nay trong nhiều lĩnh vực của đờisống xã hội Không chỉ dừng lại ở việc xử lý những vết nhèo, tái chế và phục hồicác ảnh cũ, ngày nay công nghệ xử lý ảnh đã mang lại những tiến bộ vượt bậc nhưnhận dạng vân tay, nhận dạng khuôn mặt, nhận dạng đối tượng…v.v khi nó kết hợpvới lĩnh vực trí tuệ nhân tạo

Bên cạnh đó, hệ thống camera quan sát ngày càng được sử dụng một cáchrộng rãi với mục đích trợ giúp cảnh sát, người tham gia giao thông tại các điểm nútgiao thông, từ đó phát hiện người vi phạm

Hầm đường bộ ngày càng phổ biến ở nước ta, có vai trò lớn trong việc tíchkiệm chi phí và an toàn cho người tham gia giao thông Do đặc thù của hầm là ởdưới lòng đất nên việc quản lý xe qua lại rất khó khăn Nên việc cảnh sát giaothông xử lý xe vi phạm trực tiếp ở trong hầm là không thể

Vì vậy việc xác định vận tốc của xe dựa vào video đã ghi lại phục vụ choviệc xử lý và quản lý xe vi phạm tốc độ chậm tại hầm đường bộ là điều cần thiết

Đây là ý tưởng để em lựa chọn đề tài “Xác định vận tốc xe dựa vào camera giám sát” cho đồ án tốt nghiệp này.

Nội dung đồ án :gồm 4 chương, trình bày vấn đề xác định vận tốc xe trong hầm

đường bộ dựa trên dữ liệu video thu được từ camera

- Chương 1:Giới thiệu về video và camera giám sát

Chương này trình bày khái niệm và tín hiệu của video số, khái niệm, các tínhnăng chủ chốt của camera và ứng dụng của hệ thống camera quan sát vào thực tế

Trang 11

Mở đầu

- Chương 2: Phát hiện và theo vết đối tượng

Chương này trình bày hai phương pháp cơ bản để xác định đối tượng đó làtrừ nền và opticalflow, và phương pháp theo vết đối tượng là phân mảnh vùng

- Chương 3: Xác định vận tốc đối tượng chuyển động

Chương này sẽ tìm hiểu các công cụ hiệu chỉnh camera, chủ yếu là công cụhiệu chỉnh camera, và phương pháp xác định vận tốc đối tượng

- Chương 4:Kết quả mô phỏng xác định vân tốc xe máy

Đây là chương trọng tâm của đồ án, trình bày các bước cài đặt chương trình,chạy mô phỏng trong trình trên phần mềm Matlab và đánh giá ưu nhược điểm cácphương pháp

Em xin chân thành cảm ơn nhà trường đã tạo điều kiện, cám ơn sự dạy bảotận tình của các thầy cô trong khoa Điện Tử Viễn Thông đã giúp em hoàn thành đồ

án tốt nghiệp này

Đặc biệt, em xin bày tỏ lòng biết ơn sâu sắc đến cô giáo ThS Trần Thị Minh Hạnh đã hướng dẫn, tận tình chỉ bảo để cho em hoàn thành tốt đồ án này.

Trang 12

Chương 1: Giới thiệu về video và camera giám sát

Trang 13

VỀ VIDEO VÀ CAMERA GIÁM SÁT

1.1 GIỚI THIỆU CHƯƠNG

Trong chương này trình này các vấn đề: các khái niệm về Video số, tìm hiểu

về tín hiệu video số, các ưu nhược điểm của video số, chuẩn video avi, các kháiniệm, các tính năng cơ bản của camera số, các loại máy ảnh đang được sử dụng vàứng dụng của hệ thống camera vào trong thực tiễn

1.2 TỔNG QUAN VỀ VIDEO SỐ

1.2.1 Khái niệm về Video

Thuật ngữ video dùng đểchỉnguồn thông tin hình ảnh trựcquan (pictorialvisual information), baogồm một chuỗi các ảnh tĩnh (still image) liên tiếp nhau,được sắp xếp theo chiều thời gian Video còn được gọi là ảnh thay đổi theo thời

gian (time-varyingimage), kí hiệu là s( x1, x2, t), trong đó x1, x2 là các biến chỉ vị trí trong không gian, còn t là biến thời gian Xét về mặt vật lý, ở cấp thấp nhất,

video tồn tại dưới dạng các tín hiệu Tùy thuộc vào loại tín hiệu thu được ta có 2loại video khác nhau:video tương tự và video số Tuy nhiên dữ liệu mà chúng ta xử

lý là dữ liệu video số vì thế ta chỉ tập trung vào việc tìm hiểu rõ vềVideo số[6]

Ngoài ra,còn có thể chỉnh sửa, tạo các hiệu ứng trên tín hiệu video số Video

số không chỉ có vai trò giải trí mà nó còn cung cấp cho chúng ta nhiều thông tinquan trọng trong nhiều lĩnh vực như là các ảnh giám sát quân sự, điều khiển giaothông, và rút trích thông tin từ các dữ liệu ảnh và video

Trang 14

chiều thời gian

chiều ngang

chiều dọc

Hình 1.1Chuỗi các ảnh trong Video số

• Nhược điểm

Nhược điểm của video số đó là nó đòi hỏi khối lượng lưu trữ lớn và băngthông rộng để truyền tải.Do đó hiện nay người ta đang nghiên cứu các phương phápnén video để giảm kích thước của nó

1.2.3 Chuẩn Video số AVI

AVI (Audio Video Interleave) là một đa phương tiện định dạng containercủa Microsoft được giới thiệu vào tháng 11 năm 1992 AVI là tập tin có thể chứa cả

âm thanh và video dữ liệu trong một container cho phép đồng bộ tập tin âm thanh vớivideo

Đây là một trong những định dạng video chuẩn và được ứng dụng khá rộngrãi nênluận văn sẽ chọn định dạng AVI để làm định dạng cho các tập tin video xử

lý, vì thế từ đây về sau khi đề cập đến video tức là đề cập đến video số với định dạngAVI

1.3 TỔNG QUAN VỀ CAMERA SỐ

1.3.1 Khái niệm về camera số

Camera là một thiết bị ghi hình có thể ghi lại được những hình ảnh trong mộtkhoảng thời gian nào đó và lưu trữ các dữ liệu hình ảnh này Với chức năng cơ bản

là ghi hình, Camera được ứng dụng rộng rãi trong lĩnh vực giám sát Một hệ thống

Trang 15

các camera được đặt tại những vị trí thích hợp sẽ cho bạn quan sát, theo dõi toàn bộngôi nhà, nhà máy, xí nghiệp ngay cả khi không có mặt tại đó

1.3.2 Các tính năng chủ chốt của máy ảnh số

Hình 1.2Máy ảnh Nikon coolpix s2600

• Độ phân giải: Nếu máy ảnh chỉ để chụp và lưu lại trong máy tính hay gởi e-mail thì

bất kỳ máy ảnh số ở độ phân giải nào cũng có thể thực hiện được Nhưng đối vớinhững máy ảnh có độ phân giải cao thì có thể in ảnh khổ lớn, có thể in khổ nhỏhoặc in một phần mà vẫn giữ được độ sắc nét

• Độ zoom của thấu kính: Camera giá thành thấp thường thiếu các thấu kính zoom

quang Nếu phải lựa chọn giữa máy ảnh có chức năng zoom quang tốt hơn và mộtmáy ảnh có độ phân giải cao thì nên chọn cái đầu tiên Máy ảnh có zoom quang tốthơn sẽ thuận tiện hơn trong việc phóng to các chi tiết nhỏ Chú ý phân biệt giữazoom quang học và zoom số bởi vì các nhà quảng cáo sản phẩm thường kết hợp hailoại zoom này với nhau để tạo ra sản phẩm được quảng cáo có độ zoom rất lớn

• Trọng lượng, kích thước và thiết kế: Hiện nay có xu hướng người sử dụng thích

những máy ảnh có trọng lượng nhỏ khoảng từ 130g đến gần 200g Kích thước máyảnh số nhỏ là cần thiết, nhưng việc điều chỉnh các nút bấm hay các chức năng điềuchỉnh sẽ gặp nhiều khó khăn

• Thẻ nhớ: Thẻ nhớ của máy ảnh có nhiều loại như Compactflash (CF), Secure

Digital (SD), Smartmedia, Multimedia Card (MMC)…và các hãng thường hỗ trợnhững loại thẻ nhớ khác nhau cho mỗi dòng sản phẩm của mình

Trang 16

• Thiết lập chế độ phơi sáng: Tất cả các camera số thông thường luôn được mặc

định ở chế độ tự động hoàn toàn Các loại máy ảnh số cao cấp phải có thêm chế độ

mở thấu kính và chế độ phơi sáng ưu tiên

• Trình đơn (menu): Khi đánh giá camera, người sử dụng cũng nên quan tâm đến

các chức năng thiết lập như: Độ phân giải, chế độ marco, điều chỉnh phơi sáng, xemlại hình đã chụp có dễ dàng hay không

• Hiển thị LCD: Một màn hình LCD đạt yêu cầu phải thực hiện được trung thực bức

ảnh vừa chụp để người chụp có thể đánh giá và phải thể hiện được chế độ phơi sángthiết lập đã thích hợp hay chưa Chất lượng màn hình có thể thay đổi tùy thuộc vàođiều kiện sáng bên ngoài như bị mờ dưới ánh mặt trời, nổi hạt dưới ánh sáng yếu

1.3.3 Phân loại camera

Có 3 cách phân loại camera

• Phân loại theo kỹ thuật hình ảnh

- Camera Analog: Ghi hình vào băng từ và xử lý tín hiệu tương tự

- Camera CCD (charge couple device): Sử dụng kỹ thuật CCD để nhận biếthình ảnh CCD là tập hợp những ô tích điện có thể cảm nhận ánh sáng, sau đóchuyển tín hiệu ánh sáng sang tín hiệu số để đưa vào các bộ xử lý CCD thu nhậnhình ảnh thông qua các hệ thống của camera CCD có hàng ngàn điểm ảnh sẽchuyển đổi ánh sáng thành những hạt điện tích và được số hóa Đây là một quá trìnhchuyển đổi tương tự số

Các thông số kỹ thuật của camera CCD là đường chéo màn hình cảm biến(tính bằng inch) Kích thước màn hình cảm biến càng lớn thì chất lượng càng tốt

- Camera CMOS(Complementary Metal Oxide Semiconductor): CMOS cónghĩa là chất bán dẫn có bổ sung oxit kim loại Loại Camera này cho hình ảnh sắcnét tuy nhiên giá thường khá cao

Các Camera số sử dụng công nghệ CMOS có ưu điểm rất rõ rệt so vớiCamera Analog về độ rõ nét và chất lượng hình ảnh

• Phân loại theo kỹ thuật đường truyền

Trang 17

- Camera có dây: có ưu điểm đó là khả năng an toàn cao, tính bảo mật tốt ,truyền tín hiệu trên dây đồng trục khoảng 75ohm - 1Vpp, dây C5 Khi truyền vớikhoảng cách xa hơn 300m thì cần có bộ khuếch đại để tránh việc tín hiệu đườngtruyền suy hao, dẫn đến chất lượng hình ảnh không tốt

- Camera không dây: có ưu điểm đó là dễ thi công lắp đặt do không cần đidây, tuy nhiên nó có hệ số an toàn không cao bởi nó sử dụng sóng vô tuyến đểtruyền tín hiệu nên sóng của nó dễ bị thu hoặc dễ bị nhiễu bởi các nguồn sóng khác.Camera không dây được sử dụng để lắp đặt tại các khu vực có địa hình phức tạp.Đối với khoảng cách xa hàng ngàn mét cần phải sử dụng các thiết bị đặc biệt hoạtđộng ở tần số cao và giá thành đắt

- Camera mạng (IP camera): được kết nối trực tiếp vào mạng, tín hiệu hìnhảnh và điều khiển được truyền qua mạng vì thế người dùng có thể điều khiển vàgiám sát ở bất cứ đâu thông qua mạng Internet

• Phân loại theo kỹ thuật đường truyền

-Camera áp trần: có nhiều hình dạng, kích thước khác nhau Đây là loạicamera thường được đặt trong nhà, kiểu dáng rất trang nhã và có tính năng bảo mậtcao do được bọc trong hộp kín

-Camera ẩn: có nhiều hình dạng và kích thước khác nhau rất khó để nhận biếtđược Nó được dùng khi ngụy trang để tránh bị phát hiện Tuy nhiên, khi sử dụngcamera này cần phải đảm bảo tính hợp pháp

-Box camera: là loại camera truyền thống, thường được sử dụng trong siêuthị Đây là loại camera có giá thành rẻ Camera được bảo vệ trong hộp để bảo vệtrước tác động phá hoại hay điều kiện môi trường

- Camera PTZ (Pan, Tilt, Zoom): Camera với tính năng hỗ trợ quét dọc, quétngang,phóng to, thu nhỏ, cho phép kết nối với hệ thống cảm ứng và cảnh báo đểphát hiện đối tượng di chuyển trong vùng hoạt động của nó Camera có thể lập trình

để hoạt động, nên có thể làm tất cả công việc

Trang 18

-Camera có khả năng quan sát đêm: Khoảng cách quan sát của camera tùythuộc vào công suất của đèn hồng ngoại, khoảng cách quan sát của camera daođộng khoảng 10 ÷ 300m

1.3.4 Hệ thống Camera quan sát

Ngày nay hệ thống Camera an ninh đã trở nên hết sức thông dụng đối vớimọi người và có thể được lắp đặt để giám sát hoạt động của mọi nơi nhưcác nhàmáy, văn phòng, cơ quan xí nghiệp, khách sạn, cửa hàng,…v.v mà không cần phải

đi đến tận nơi quan sát hoặc có thể ở bất cứ đâu, bất cứ lúc nào mà vẫn theo dõiđược công việc hàng ngày diễn ra.Hệ thống này giúp cho những nhà quản lý có thểkiểm soát công việc một cách chặt chẽ hơn, tiết kiệm được chi phí và làm cho hìnhảnh của doanh nghiệp được chuyên nghiệp, hiện đại hơn

Giải pháp camera quan sát hiện nay sử dụng hai công nghệ chính là Cameraquan sát công nghệ Analog (gọi tắt là Camera Analog) và Camera quan sát côngnghệ IP (gọi tắt là Camera IP) Đặc điểm phân biệt chính của hai hệ thống Cameraquan sát này như sau:

Hình 1.3 Ứng dụng camera quan sát vào giao thông

• Hệ thống camera quan sát Analog:

Trang 19

Trong ứng dụng camera quan sát analog truyền thống, các camera bắt tínhiệu hình ảnh analog và truyền tín hiệu analog này đi trên cáp đồng trục để đến đầughi hình kỹ thuật số (gọi tắt là DVR) Mỗi camera có thể được hỗ trợ cấp nguồnhoạt động bằng cách cung cấp nguồn DC trực tiếp ngay tại camera hoặc bằng cách

sử dụng bộ chuyển đổi cấp nguồn và tín hiệu chung trên cáp CAT5e Đầu ghi hình

kỹ thuật số DVR chuyển đổi tín hiệu tương tự sang tín hiệu số, thực hiện nén tínhiệu và sau đó lưu trữ nó trên một ổ cứng để cho phép xem lại sau Các tính năngthông minh được tích hợp vào DVR để xử lý những việc như lập kế hoạch ghi hình,phát hiện chuyển động, zoom kỹ thuật số, Màn hình quan sát được kết nối trựctiếp với DVR, hoặc nó có thể được thiết lập để truyền tín hiệu đi trên một mạng nội

bộ hoặc mạng Internet để xem trên máy tính, điện thoại smartphone Khi tín hiệutruyền qua môi trường mạng nội bộ hoặc Internet, tín hiệu video của tất cả cáccamera được truyền đi chung theo một luồng dữ liệu – video stream (với cùng mộtđịa chỉ IP) Ngoài ra DVR còn thực hiện việc nén các tín hiệu camera nhằm giảmtối thiểu băng thông của luồng dữ liệu khi truyền đi trên mạng IP, vì vậy, nó rất hiệuquả trong việc tiết kiệm băng thông

Hình 1.4Mô hình hệ thống camera quan sát Analog

• Hệ thống camera quan sát IP:

Trang 20

Trong thế giới IP, mỗi IP camera cũng sẽ bắt tín hiệu hình ảnh analog nhưngngay lập tức nó chuyển đổi sang tín hiệu kỹ thuật số ngay bên trong camera Một số

xử lý kỹ thuật số có thể xảy ra ngay khi vào camera, ví dụ như nén và phát hiệnchuyển động,… Hình ảnh video kỹ thuật số này sau đó được truyền đi qua mạng IPbằng cách sử dụng giao tiếp Ethernet (CAT5) Việc cung cấp nguồn điện chocamera có thể được cấp trực tiếp từ nguồn DC hoặc có thể được cấp thông qua cápethernet bằng công nghệ Power-Over-Ethernet (PoE) Như vậy giống như với tất cảcác thiết bị mạng, mỗi IP Camera sẽ yêu cầu phải thiết lập một địa chỉ IP riêng cho

nó và các thuộc tính nhận dạng liên quan khác

Phần mềm quản lý được yêu cầu cài trên máy tính mà bạn muốn giám sáthình ảnh của các Camera IP Một máy tính công suất cao được thiết lập với phầnmềm quản lý thích hợp để ghi lại toàn bộ các hình ảnh quan sát của hệ thốngCamera IP Hoặc có thể là một thiết bị ghi hình mạng thực hiện chức năng lưu trữ

và giám sát chung cho hệ thống camera IP của nhà cung cấp (gọi tắt là NVR –Network Video Recorder) Thông thường phần mềm giám sát cài trên PC hoặcNVR sẽ phải cùng nhà sản xuất với Camera IP do sự chưa thống nhất trong cácchuẩn sản xuất của các nhà cung cấp khác nhau

Hình 1.5Mô hình hệ thống camera quan sát IP

Trang 21

Các tín hiệu camera IP được truyền đi qua Internet cũng tương tự với cách

mà một tín hiệu DVR thực hiện Tuy nhiên, mỗi một Camera IP là một luồng tínhiệu riêng biệt và có địa chỉ IP hoặc cổng riêng của mình Điều này có thể ảnhhưởng rất nhiều đến băng thông sử dụng khi quan sát từ xa

• Hệ thống camera quan sát kết hợp Analog và Ip:

Một giải pháp tốt hơn có thể được sử dụng để giải quyết vấn đề trên là giảipháp kết hợp giữa việc sử dụng công nghệ analog và IP Giải pháp kết hợp các lợiích và lợi thế của công nghệ giám sát analog và kỹ thuật số Phương pháp này chophép bạn sử dụng một sự kết hợp của camera analog và camera IP, đầu ghi hình kỹthuật số (DVR), và máy chủ camera IP Giải pháp mạnh mẽ này là hoàn hảo cho cácdoanh nghiệp lớn và mở rộng như chuỗi nhà hàng, các tòa nhà y tế, trường học,hoặc văn phòng lớn hay môi trường công nghiệp

Hình 1.6Mô hình hệ thống camera quan sát kết hợp Analog và IP

1.4 KẾT LUẬN CHƯƠNG

Chương này đã trình bày một cái nhìn tổng quát về video số và cameragiám sát Việc lưu trữ và sử dụng các hình ảnh, video phục vụ cho các yêu cầu cao.Trong chương tiếp theo sẽ trình bày những phương pháp giúp thao tác trên ảnh,video số cho những mục đích khác nhau

Trang 22

Chương 2:Phát hiện và theo vết đối tượng

THEO VẾT ĐỐI TƯỢNG

2.1 GIỚI THIỆU CHƯƠNG

Trong chương này trình bày các vấn đề: tổng quan về phát hiện đối tượng,các phương pháp phát hiện đối tượng cơ bản như phương pháp trừ nền và phươngpháp ước lượng opticalflow Đi sâu hơn là tìm hiểu các giải thuật của phương pháptrừ nền như là giải thuật Frame Difference, giải thuật Running Guassian Average vàgiải thuật Codebook, từ đó có thể biết ưu nhược điểm của mỗi giải thuật Tìm hiểucác phương pháp theo vết đối tượng như phân mảnh vùng, bộ lọc Kalman, theo vếtMean Shift mà chủ yếu là phương pháp phân mảnh vùng và các hàm phân mảnhvùng trong matlab

2.2 CÁC PHƯƠNG PHÁP PHÁT HIỆN ĐỐI TƯỢNG

2.2.1 Tổng quan về phát hiện đối tượng

Phát hiện đối tượng chuyển động trong video là một trong các bài toán đượcnghiên cứu rộng rãi và có nhiều ứng dụng trong cuộc sống hiện nay Phần lớn cácđối tượng được phát hiện dựa vào những thông tin có trong một frame ảnh Hiệnnay có rất nhiều hướng tiếp cận để giải quyết bài toán này như phát hiện đối tượngdựa trên điểm (point detectors), dựa trên việc phân đoạn (segmentation), dựa trênviệc dùng phương pháp trừ nền hay dựa vào phương pháp ước lượng optical flow.Tuy nhiên việc lựa chọn phương pháp thì dựa vào tình huống cụ thể Và trong luậnvăn này thì dữ liệu video thu được cần được xử lý theo thời gian thực vì thế dựatrên kết quả nghiên cứu từ [16], việc phát hiện đối tượng bằng các phương pháp trừnềnvà phương pháp ước lượng optical flow là những phương pháp thích hợp vớiyêu cầu được đặt ra của luận văn

2.2.2 Phương pháp trừ nền

2.2.2.1 Tổng quan về trừ nền

Trong những ứng dụng về thị giác máy tính, vấn đề cơ bản nhất là làm thếnào để phát hiện được các đối tượng chuyển động trong video (foreground) và biết

Trang 23

được đâu là phần nền không thay đổi (background) Để giải quyết được vấn đề nàythì ta dùng phương pháp trừ nền [16], là một trong những phương pháp cơ bản nhấttrong lĩnh vực thị giác máy tính

Ý tưởng chung của các phương pháp trừ nền là: Để phát hiện ra được các đốitượng chuyển động trong video chúng ta phải có được mô hình nền (backgroundmodel) Mô hình nền này có thể được học qua nhiều frame ảnh nếu nền bị thay đổi,ngược lại ta có thể chọn một nền có sẵn nếu nền không bị thay đổi Sau đó, ta sẽdùng mô hình nền này để so sánh với frame ảnh hiện tại và kết quả là ta sẽ nhận biếtđược đâu là phần nền, đâu là các phần chuyển động

Phương pháp trừ nền là phương pháp đơn giản nhất dùng để phát hiệnchuyển động vì khá dễ dàng để cài đặt và tốc độ xử lý nhanh đáp ứng được cho cácứng dụng đòi hỏi xử lý thời gian thực hơn so với các phương pháp khác Tuy nhiên,phương pháp này sẽ cho kết quả chính xác không cao trong các trường hợp:

• Thay đổi về độ sáng: thay đổi dần dần theo thời giankhi Camera đặt ngoài trời quay

dữ liệu theo thời gian hoặc thay đổi đột ngột khiCamera ngoài trời quay dữ liệu và

có đám mây bay qua

• Thay đổi về chuyển động khi Camera lung lay hoặc các đối tượng nền daođộng với tần suất cao (nhánh cây trước gió hoặc sóng biển)

• Thay đổi về thành phần cấu tạo của nền, ví dụ như khi xe chạy vào bãi đậu

và dừng luôn ở đó thì xem như xe đã thuộc về đối tượng nền

Hiện nay có nhiều giải thuật khác nhau về trừ nền và trong phạm vi báo cáonày chúng ta tập trung nghiên cứu 3 giải thuật: Frame Difference, RunningGaussian Average và Codebook

2.2.2.2 Giải thuật Frame Difference

Ý tưởng chính trong giải thuật Frame Difference là các đối tượng chuyểnđộng sẽ được phát hiện dựa trên sự khác biệt giữa hai frame ảnh liên tiếp nhau cùngvới một ngưỡng được chọn trước Giải thuật trên được thực hiện bằng phương pháptrừ hai frame liên tiếp, đối với mỗi giá trị pixel kết quả ta so sánh tại pixel đó với

Trang 24

ngưỡng đã được chọn Nếu giá trị này nằm trong ngưỡng cho phép thì tại đó ta xemnhư là nền (background), ngược lại là phần chuyển động (foreground)[16]

F t+1 - F t <th (2.1)Trong đó:

F t+1 : frame ảnh thứ t + 1

F t : frame ảnh thứ t th: ngưỡng được chọn và độ chính xác của thuật toán phụ thuộc vào

giá trị ngưỡng này

Hình 2.1 Kết quả thực hiện thuật toán Frame Difference [1]

- Dễ cài đặt, tốc độ thực thi nhanh và tốn ít bộ nhớ

- Thuật toán chạy chính xác trong trường hợp các đối tượng di chuyển liên tục và nềntĩnh

- Độ chính xác của thuật toán tương đối thấp trong trường hợp nền thay đổi liên tục

- Thuật toán chỉ xác định phần chuyển động chính xác đối với những điểm biên củađối tượng Đối với những điểm ảnh bên trong lòng đối tượng do sự dịch chuyển củanhững điểm ảnh này là không đáng kể do đó sẽ bị xem như là phần nền

Trang 25

Trong trường hợp khi một đối tượng ngừng chuyển động trong một khoảngthời gian thì sẽ nó cũng có thể bị xem là nền

2.2.2.3 Giải thuật Running Gaussian Average

Phương pháp này do Wren, Azarbayejani, Darrell và Pentland đưa ra vàonăm 1997 Phương pháp này đặt một phân phối Gaussian G(μ, σ) lên sự biến thiên

giá trị của mỗi pixel trong đoạn video Ví dụ, với một dãy frame từ F 1 tới F n, ta xét

pixel ở vị trí(x, y) thì các giá trị F 1 (x, y), F 2 (x, y), …, F n (x,y) sẽ tạo thành một dãy giá trị của pixel (x, y) ứng với từng frame ảnh Bằng cách tính trung bình và phương sai

của dãy pixel này ta xác định được pixel background (giá trị trung bình) và ngưỡng(độ lệch nhân với một hằng số αnào đó)[16]

μt+ 1= α*Ft+ (1- α)* μt

(2.2)σ

2 1

Trang 26

- Độ chính xác cao hơn phương pháp Frame Difference vì nó có thể xác định đượcngưỡng cho từng điểm ảnh trên frame

- Tốc độ xử lý ở mức trung bình

- Tốn nhiều bộ nhớ để xử lý

- Cho kết quả không chính xác trong trường hợp độ sáng bị thay đổi

2.2.2.4 Giải thuật Codebook

Ý tưởng chính của phương pháp này là tại mỗi pixel của mô hình nền, mộttập các cluster với tâm và giới hạn trong không gian màu sẽ được xây dựng nhằmthể hiện sự phân bố của pixel nềntrong không gian màu đó Mỗi cluster như vậyđược gọi là codeword, tập cluster tại mỗi vị trí pixel được gọi là codebook.Sau đây

là chi tiết của việc xây dựng codebook:

Xét tại mỗi vị trí pixel, gọi X = {x 1 , x 2 , …, x n } là dãy giá trị huấn luyện cho pixel đó, C = {c 1 , c 2 , …, c L } là codebook cho vị trí pixel đó Codebook này gồm L codeword Mỗi codeword c i với i = 1, 2, …, L gồm 2 thành phần:

fi : Tần số codeword thứ i xuất hiện.

λi: Xác định khoảng thời gian lâu nhất trong quá trình huấn luyện mà

codeword i không xuất hiện, nếu λ i lớn hơn một ngưỡng cho trước thì chứng tỏ

codeword i chỉ mang tính tạm thời và cần phải loại ra khỏi codebook.

p i , q i : Thời gian đầu tiên và cuối cùng codeword i xuất hiện.

Trang 27

Trong khi huấn luyện mô hình, mỗi giá trị x t (được lấy mẫu tại thời điểm t) được so sánh với codebook hiện tại để tìm xem codeword nào khớp với x t Để xácđịnh xem codeword nào khớp tốt nhất chúng ta dùng độ đo màu sắc và độ sáng

Giả sử M là một mô hình nền với:

a colordist(x t , v m) ≤€1 với €1 là ngưỡng lấy mẫu

b brightness(I, ( Iˆ m,Im)) =true

2.3 Nếu C = ∅ hoặc không tìm được thì L ← L + 1 Khởi tạo một codeword cL với v L ← (R,G,B) và auxL← (I, I, 1, t-1,t,t)

2.4 Ngược lại, cập nhật codeword khớp c m với v m= (R m

,G m

, B m) vàauxm = (Im,Iˆ m,fm, λm , p m , q m)bằng cách đặt

v m ←( +1

+

m

m m

f

R R f

, +1

+

m

m m

f

G G f

, +1

+

m

m m

f

B B f

)auxm ← (min{I, Im }, max{I, Iˆ m }, f m + 1, max{λ m , t - q m}, pm , t)

Trang 28

false nếu ngược lại

( , ) = ( + + ) , = cos =

Trong đó là ngưỡng của việc huấn luyện, thường có giá trị là một nửa của

tổng số frame được huấn luyện Dựa theo thuật toán ởbảng 2.1, hai điều kiện (2.2a)

và (2.2b) trên được thỏa khi màu x t và c m đủ gần và độ sáng của x tnằm trong những

vùng bao độ sáng của c m Để giải quyết vấn đề về thay đổi màu sắc và độ sáng, tatiến hành xây dựng một mô hình màu codeword

Khi ta có một pixel x t = (R, G, B) và một codeword c i với v = ( , , ) thì

sự biến đổi màu sắcδ (color distortion)có thể được tính thông qua công thức(2.5)và độ sáng (brightness)được tính thông qua công thức (2.6)

Giả sử với mỗi codeword ta có , min{ , } với <1 và

>1 Thông thường có giá trị từ 0.4 đến 0.7 và có giá trị từ 1.1 đến 1.5

i

i t v

v x

M T

Trang 29

Hình 2.3Mô hình Codeword Bảng 2.2Thuật toán trừ nền với Codebook

Trang 30

Hình 2.4 Kết quả thực hiện thuật toán Codebook [1]

2.2.3 Phương pháp ước lượng Opticalflow

2.2.3.1 Tổng quan về ước lượng Opticalflow

Ước lượng chuyển động là một phần quan trọng trong phân tích video Nó cóthể được sử dụng để tìm một vùng chuyển động, để xác định chuyển động của đốitượng, tìm quỹ đạo của đối tượng và tìm vận tốc của nó Tuy nhiên, có nhiềuphương pháp đã phát triển để phân tích chuyển động nhưng có giá thành đắt đỏ vàđòi hỏi hình ảnh đã được phân đoạn

Công trình trong lĩnh vực tính toán luồng quang học đã được thực hiện cáchđây hơn 30 năm và có rất nhiều bài báo nói về vấn đề này Phương pháp luồngquang học rất hữu ích cho phân đoạn hình ảnh và phát hiện những trở ngại từ cácđối tượng di chuyển [3]

Trang 31

Một số lượng lớn thông tin có thể chiết xuất bằng cách ghi lại chuỗi hình ảnh

ở thời gian khác nhau từ một máy ảnh cố định Một chuỗi hình ảnh (hay video) làmột loạt các hình ảnh 2-D được sắp xếp liên tục theo thời gian Ước lượng chuyểnđộng ở đây được định nghĩa là ước lượng sự dịch chuyển và tính toán vận tốc củacác yếu tố có trong khung ảnh đối với khung ảnh trước đó theo một trình tự thờigian của hình ảnh 2-D

2.2.3.2 Thuật toán Opticalflow

Luồng quang học[3] là phân bố của vận tốc biểu kiến của chuyển động của

mô hình độ sáng trong một hình ảnh Luồng quang học có thể phát sinh từ chuyểnđộng tương đối của các đối tượng và người xem Do đó luồng quang học có thểcung cấp các thông tin quan trọng về tổ chức không gian của các đối tượng xem vàsắp xếp tốc độ thay đổi này[5] Tính toán lưu lượng quang học khác biệt ở hai giaiđoạn:

• Đo đạt các cường độ dẫn xuất không – thời gian (Tương đương với xác địnhvận tốc thông thường đối với các cấu trúc cường độ cục bộ)

• Tích hợp vận tốc bình thường vào vận tốc đầy đủ

Phương pháp luồng quang học cố gắng tính toán chuyển động giữa hai

khung ảnh được thực hiện tại thời gian t và δt tại tất cả các vị trí voxel Những

phương pháp này được gọi là khác biệt bởi vì chúng đều dựa trên khai triển Taylor,xấp xĩ loạt các tín hiệu hình ảnh, có nghĩa là chúng sử dụng dẫn xuất một phần đốivới tọa độ không gian và thời gian

Giả sử I(x, y, t) là tọa độ điểm ảnh trung tâm của một n×n điểm ảnh lân cận

và dịch chuyển một đoạn δx và δy trong một khoảng thời gian δt đến

I(x + δx, y+ δy,t + δt) Vì I(x, y, t) và I(x + δx, y + δy, t + δt) là những ảnh của cùngmột điểm ảnh, nên:

I(x, y, t) = I(x + δx, y + δy, t + δt) (2.7)Gải phương trình trên(2.7) bởi công thức:

Ix Vx + IyVy = - It (2.8)Trong đó:

Trang 32

• Ix, Iy, It là cường độ phát sinh ở x, y, t tương ứng

• Vx, Vy là các thành phần x, y của vận tốc hay là lưu lượng quang học tại điểm I(x, y,t)

Phương trình (2.8) được giải quyết bằng phương pháp Horn-Schunck

Các chuỗi video được ghi lại bằng một máy ảnh cố định Khối luồng quanghọc sử dụng thuật toán Horn_Schunck (1981) để ước lượng hướng di chuyển và tốc

độ của đối tượng từ một khung hình video đến một khung khác và trả về giá trị củacác thành phần vận tốc[2] Nhiều kỹ thuật xử lý hình ảnh như lấy ngưỡng, sử dụng

bộ lọc Median, sau đó được áp dụng tuần tự để có được các khu vực được dán nhãn

để phân tích thống kê

Lấy ngưỡng là phương pháp đơn giản nhất để phân vùng hình ảnh Quá trìnhlấy ngưỡng sẽ trả về một giá trị ngưỡng phân biệt các đối tượng chuyển động (màutrắng) và nền tĩnh(màu đen) Chính xác hơn, nó là quá trình dán nhãn để mỗi điểmảnh trong một hình ảnh

Bộ lọc Median sau đó được sử dụng để loại bỏ nhiễu hạt muối, làm tiêu tiếng

ồn từ những hình ảnh đã được lấy ngưỡng mà ko làm giảm đi độ sắc nét đáng kể, làmột phương pháp loại bỏ tiếng ồn đơn giản và hiệu quả

2.3 THEO VẾT ĐỐI TƯỢNG

2.3.1 Tổng quan về theo vết đối tượng

Theo vết đối tượng là giám sát các thay đổi theo không gian và thời gian củađối tượng trong suốt chuỗi Video như vị trí, kích thước hay hình dáng của đốitượng, là quá trình chính xác hóa đối tượng trong các khung hình liên tiếp để từ đóđưa ra các thông tin về chuyển động của đối tượng như đường đi, tốc độ hay hướngchuyển động

Do nhu cầu phân tích tự động Video cùng với khả năng tính toán của máytính cũng được nâng cao, các kỹ thuật theo vết đối tượng đã thu hút được nhiều sựquan tâm, vì thế các ứng dụng của kỹ thuật theo vết đối tượng rất phong phú như:

• Nhận dạng dựa trên chuyển động

• Tự động phát hiện đối tượng dùng trong giám sát tự động

Trang 33

• Đánh chỉ mục Video, tự động chú thích và truy vấn cơ sở dữ liệu Video

• Tương tác giữa người và máy

• Giám sát giao thông, thu thập thông tin giao thông theo thời gian thực để phânluồng giao thông

• Hệ thống lái xe tự động như lập lịch đường đi hay tránh chướng ngại vật

Tuy nhiên bài toán sẽ cho kết quả không chính xác trong các trường hợp nhưvideo bị nhiễu, các đối tượng chuyển động che khuất lẫn nhau hoặc sự thay đổi về

độ sáng

Các phương pháp theo vết đối tượng được phân loại thành 3 nhóm chính:

• Theo vết dựa theo điểm (Point tracking): Mỗi đối tượng quan tâm được biểu diễnbởi một tập hợp các điểm Các điểm này có thể được phát hiện trong mỗi framebằng một bộ phát hiện điểm (point detector) và được liên kết dựa trên các ràng buộc

về chuyển động cũng như vị trí Cac phương pháp tiêu biểu cho nhóm này nhưKalman Filter, Greedy Optimal Assignment

• Theo vết dựa theo nhân (Kernel tracking): Các phương pháp theo vết trong nhómnày tính toán chuyển động của đối tượng để theo vết qua các frame Mô hình củađối tượngcó thể được biểu diễn dưới dạng mẫu(template) hoặc mô hình mật độ(density based model)như histogram Tiêu biểu cho hướng tiếp cận này có thể kểđến Meanshift, Camshift,Kanade-Lucas-Tomasi, Support Vector Tracking

• Theo vết dựa theo bóng ( Silhouete tracking): Phương pháp này theo vết đối tượngbằng cách ước lượng vùng đối tượng (object region) trong mỗi frame sau đó dùngcác phương pháp so khớp hình dáng (shape matching) hay tiến hóa đường viền(contour evolution) để theo vết

Trong phạm vi của đồ án này ta tập trung tìm hiểu nhiều hơn phương phápphổ biến dựa theo nhân để theo vết cho một đối tượng trong video là phương pháptheo vết phân mảnh vùng đối tượng (region segmentation)[8], đồng thời cũng giớithiệu qua các phương pháp khác

2.3.2 Phương pháp phân mảnh vùng (Region Segmentation)

2.3.2.1 Giới thiệu về Region

Vùng (region) trong xử lý ảnh là một nhóm các điểm ảnh liên kết với nhau

mà có cùng các thuộc tính

Trang 34

Ảnh sẽ được phân chia thành nhiều vùng cái mà liên quan đến nhiều đốitượng, hoặc một phần của đối tượng

Sự phân chia các vùng thường được thực hiện bằng cách sử dụng giá trị xám(gray level)của điểm ảnh Gồm 2 phương pháp tiếp cận phổ biến:

• Dựa theo vùng(Region Based)

+ Ý tưởng của cách tiếp cận này là các điểm ảnh liên quan đến một đốitượng được nhóm với nhau và được đánh dấu

+ Để nhóm các điểm ảnh phải dựa trên các quy luật sau:

 Giá trị xám phải đồng hạn

 Không gian các điểm ảnh phải lân cận

 Giả thiết rằng các điểm ảnh trên cùng một đối tượng sẽ chiếu trên một vùng khônggian các điểm ảnh nằm sát nhau trên ảnh với giá trị xám tương đồng nhau

• Ước lượng đường biên sử dụng xác định đường biên(Edge detection)

+ Ý tưởng của phương pháp này là phân đoạn hình ảnh bằng cách tìnhkiếm các điểm ảnh trên vùng biên

+ Biên được tìm kiếm bằng cách xem xét các điểm ảnh gần kề

+ Vùng biên được hình thành bằng cách ước lượng giá trị xám khác biệtgiữa các điểm ảnh gần kề

Bảng 2.3 Bảng so sánh hai hướng tiếp cận

Đường biên đóng (closed boundaries) Biên không cần thiết phải đóng

Tính toán dựa trên sự tương đồng Tính toán dựa trên sự khác biệt

2.3.2.2 Phân mảnh dựa theo vùng(Region based Segmentation)

Mục tiêu của phân đoạn là phân vùng một hình ảnh vào một nhóm Khi mộtđối tượng di chuyển được phân đoạn, một khu vực của các điểm ảnh khu vực đượcgán cho đối tượng là khả dụng Khu vực này có thể được theo dõi sử dụng phươngpháp tiếp cận như cross-correlation Vị trí của khu vực trong khung tiếp theo đượcxác định Một đối tượng chuyển động thường tương ứng với một hoặc một số khuvực được theo dõi

Trang 35

Sự kết hợp của một số khu vực cho một đối tượng sau đó được thực hiện ởmột mức độ trừu tượng cao hơn Công thức cơ bản: R đại diện cho các khu vực toàn

bộ hình ảnh

Chúng ta có thể xem phân đoạn như là một quá trình phân vùng R vào n tiểukhu vực R1, R2, R3,…, Rn như vậy là:

a) (2.9)b) Ri là một connected region , I = 1, 2, 3,…., n(2.10)

c) Ri∩ Rj = Ø cho mọi i, j, i ≠ j.(2.11)d) P(Ri) = TRUE for i = 1, 2, 3,…, n (2.12)e) P(Ri∩ Rj) = FALSE for i ≠ j.(2.13)P(Ri) là một mệnh đề logic được định nghĩa trước trên những điểm thuộc tậphợp Ri

2.3.2.3 Các hàm phân vùng trong matlab

Hàm bwconncomp dùng để tìm các thành phần liên kết trong file ảnh nhịphân

Cách khai báo : CC = bwconncomp(BW, conn)

Trong đó :

• BW là ảnh nhị phân

• Conn là khả năng kết nối, có các giá trị sau:

Bảng 2.4 Bảng giá trị sử dụng trong hàm bwconncomp

4 4 kết nối với các điểm liền kề

CC là kết quả trả về của hàm bwconncomp, có cấu trúc như sau:

Bảng 2.5 Bảng kết quả trả về của hàm bwconncomp

Trang 36

Connectivity Tính kết nối của các thành phần liên kết

ImageSize Kích thước của file ảnh nhị phân

NumObjects Số thành phần kết nối trong ảnh

PixelIdxList Số lượng điểm ảnh của thành phần kết nối

Bwlabel là hàm dùng để dán nhãn các thành phần kết nối trong ảnh nhị phân.Cách khai báo: L = bwlabel(bw, n)

Mô tả: hàm bwlabel trả về ma trận L cùng kích thước ảnh nhị phân bw, chứanhãn cho các thành phần kết nối trong bw Biến n có giá trị 4 hoặc 8 với ý nghĩa là

• Đặc điểm về diện mạo (màu sắc, độ mạnh,…)

Theo vết là dự đoán vector trạng thái chứa những thuộc tính này là một hàmtheo thời gian

(2.14)(2.15)Trong đó Zt là vector dữ liệu thu được từ vector trạng thái quan sát được và

St là vector trạng thái của đối tượng mà chúng ta muốn dự đoán để thu được nhữngtham số liên quan đến chuyển động của đối tượng như: vị trí, vận tốc,…

Chúng ta muốn làm cực đại hóa xác suất trạng thái có điều kiện của tất cả dữliệu quan sát được (trạng thái sau State-posterior)

P(St| z0,…, zt) → max(St) (2.16)Hiệu quả của việc làm mịn tạm thời: quyết định giá trị trạng thái phụ thuộcvào quan sát trong quá khứ

Ưu điểm của thuật toán bộ lọc Kalman:

• Tương thích với rất nhiều dạng xuất hiện của đối tượng

• Giải quyết được một số trường hợp mất vết đột ngột

• Giải quyết được sự nhập nhằng, thay đổi cách chiếu sáng

• Thay đổi hướng quan sát

2.3.4 Thuật toán theo vết Mean Shift

Trang 37

Thuật toán theo vết Mean shift tìm ra giá trị lớn nhất trong một khoảng nào

đó của hàm mật độ

(2.17)Trong đó: K là hàm Kernel

Một giá trị lớn nhất trong một khoảng nào đó sẽ được tìm ra bằng cách thayđổi y liên tục đến một giá trị trọng số trung bình của xi đã tính với đạo hàm KernelK’

(2.18)

Ưu điểm của thuật toán theo vết Mean shift: thuật toán theo vết Mean shift tỏ

ra rất hiệu quả trong những tình huống mà hình dạng của đối tượng thay đổi do máyquay chuyển động, có sự nhập nhằng, ảnh nền lộn xộn hay mục tiêu thay đổi tỉ lệ

2.4 XÂY DỰNG THUẬT TOÁN PHÁT HIỆN VÀ THEO VẾT ĐỐI

TƯỢNG CHUYỂN ĐỘNG

• Đầu vào: Dữ liệu từ Camera quan sát hoặc từ video được thu lại

• Đầu ra: Tọa độ trọng tâm của đối tượng chuyển động

• Thuật toán xử lý được trình bày như sau:

for i=0 to (totalFrame-1) do

a đọc frame[i].

b lấy ảnh tham chiếu, rImg

c Cập nhập frame[i] bằng phương pháp trừ nền ảnh tham chiếu rImg.

d Tại mỗi frame[i]:

- Xác định các thành phần liên kết bằng phương pháp gán nhãn

- Tính toán diện tích của từng vùng liên kết