Bài toán phân luồng giao thông và theo dõi đối tượng trong điều khiển đèn tín hiệu giao thông bằng camera

1. Lý do chọn đề tài Sự phát triển nhanh chóng của các thiết bị thu nhân ảnh hiện đại như máy ảnh số, máy quay số…, lượng thông tin dưới dạng hình ảnh do con người tiếp nhận và xử lý ngày càng lớn, để lượng thông tin này trở nên có ích hơn con người cần xử lý nó đó là lý do tạo điều kiện cho sự phát triển mạnh mẽ của các kỹ thuật xử lý hình ảnh. Thị giác máy tính là một trong những công nghệ được ứng dụng rộng rãi hiện nay trong nhiều lĩnh vực của đời sống xã hội, ngày nay công nghệ xử lý ảnh đã mang lại những tiến bộ vượt bậc như nhận dạng vân tay, nhận dạng khuôn mặt, nhận dạng đối tượng …v.v. Cùng trong bối cảnh đó, hệ thống camera giám sát giao thông ngày càng được sử dụng một cách rộng rãi với mục đích hỗ trợ các cơ quan chức năng quản lý, người tham gia giao thông trên các trục đường và điểm nút giao thông. Hiện nay tại TP Đà Nẵng dự án “Nâng cấp hệ thống tín hiệu và điều khiển giao thông TP Đà Nẵng” đã hoàn thành và đi vào hoạt động. Dự án có quy mô gồm Trung tâm điều hành giao thông, lắp đặt mới, nâng cấp hàng trăm nút tín hiệu giao thông, các camera quan sát tại các nút giao thông, lắp đặt hệ thống cáp quang ngầm nối trung tâm điều khiển với các nút tín hiệu giao thông. Hệ thống có những ưu điểm như có thể điều chỉnh vòng quay tín hiệu đèn xanhvàng đỏ theo thời gian ngắn, dài hoặc chỉ bật đèn vàng, tùy theo thực tế giao thông trên từng tuyến đường, từng nút giao thông và từng thời điểm trong ngày. Tuy nhiên việc điều khiển đèn phụ thuộc vào thực trạng giao thông trong từng thời điểm. Do vậy việc kết hợp hệ thống đèn tín hiệu giao thông và hệ thống camera quan sát nhằm ước lượng số lượng các phương tiện tham gia giao thông sẽ giải quyết tốt bài toán điều khiển đèn giao thông một cách thông minh và hiệu quả hiện nay tại Việt Nam và TP. Đà Nẵng. 2. Mục tiêu và nhiệm vụ nghiên cứu • Mục tiêu: nghiên cứu các thuật toán phát hiện, theo vết, phân loại đối tượng chuyển động trong các hình ảnh video. • Nhiệm vụ: xác định các phương tiện đang chuyển động tại điểm nút hoặc trên đường giao thông qua tín hiệu của camera giám sát từ đó tính toán lưu lượng các đối tượng phương tiện giao thông, làm cơ sở điều kiển đèn tín hiệu giao thông một cách thông minh. 3. Đối tượng và phạm vi nghiên cứu • Đối tượng nghiên cứu: dữ liệu các đoạn video được quay từ một camera tĩnh ghi lại với chuẩn AVI (Audio Video Interleave) và các phương pháp điểu khiển đèn tín hiệu giao thông. • Phạm vi nghiên cứu: liên quan đến lĩnh vực thị giác máy tính và sử dụng bộ công cụ lập trình Embarcadero RAD Studio XE8 tích hợp tiện ích xử lý ảnh VisionLab, VideoLab. 4. Phương pháp nghiên cứu Thu thập các tài liệu tổng quan về xử lý ảnh, xử lý video. Thu thập tài liệu, thông tin về các nội dung liên quan đến đề tài. Tìm hiểu Embarcadero RAD Studio XE8 và thành phần xử lý ảnh VisionLab, VideoLab lập trình xử lý ảnh; Tìm hiểu các phương pháp phát hiện đối tượng chuyển động; Tìm hiểu phương pháp dò vết đối tượng; Tìm hiểu phương pháp phân loại đối tượng; Tìm hiểu phương pháp điểu kiển đèn tín hiệu giao thông. 5. Dự kiến kết quả Nắm vững và cài đặt thành công các thuật toán: phát hiện chuyển động bằng phương pháp trừ nền, theo vết đối tượng, trên cơ sở đó xây dựng thành công chương trình tính toán lưu lượng các phương tiện tại các điểm nút giao thông nhằm điều chỉnh tín hiệu đèn giao thông một cách thông minh. 6. Ý nghĩa khoa học và thực tiễn của đồ án Ý nghĩa: Ứng dụng công nghệ xử lý ảnh và thị giác máy tính vào trong thực tế. Xác định chính xác lưu lượng phương tiện tại các điểm nút giao thông để điều kiển đèn tín hiệu giao thông. Tạo cơ sở nhằm nghiên cứu tiếp trong tương lai. Báo cáo được tổ chức thành 3 chương Chương 1: Tổng quan về thị giác máy tính. Trong chương này, tôi giới thiệu tổng quan về thị giác máy tính, xử lý ảnh số, xử lý video. Ngoài ra thì tôi giới thiệu thêm một số vấn đề cơ bản và ứng dụng của thị giác máy tính trong các lĩnh vực của khoa học và đời sống. Chương 2: Một số phương pháp phát hiện, theo vết các đối tượng chuyển động trong xử lý ảnh. Trong chương này tôi giới thiệu về một số phương pháp phát hiện, theo vết các đối tượng thông qua các dữ liệu video từ các công trình nghiên cứu khoa học trong nước và thế giới về vấn đề giải quyết các bài toán xử lý ảnh nhằm ứng dụng trong lĩnh vực giao thông, phân tích các ưu, nhược điểm của từng phương pháp để tìm cách cải tiến, phục vụ cho đề tài nghiên cứu của bản thân. Chương 3: Xây dựng ứng dụng ước lượng phương tiện tham gia giao thông và kết quả thực nghiệm. Chương này chủ yếu nói về vấn đề phân tích bài toán, hướng giải quyết bài toán ước lượng phương tiện tham gia giao thông. Đề xuất phương pháp được lựa chọn để giải quyết bài toán điều kiển giao thông kết hợp kết quả phân tích, xử lý hình ảnh giám sát giao thông. Sau đó tiến hành cài đặt chương trình thử nghiệm để kiểm tra phương pháp đề xuất, đồng thời rút ra được kinh nghiệm cho hướng phát triển sau này. Cuối cùng là kết luận và đề xuất một số hướng nghiên cứu tiếp tục trong thời gian đến.

KHOA ĐIỆN – ĐIỆN TỬ

NGUYỄN ĐĂNG TOÀN

BÀI TOÁN PHÂN LUỒNG GIAO THÔNG VÀ THEO DÕI ĐỐI TƯỢNG TRONG ĐIỀU KHIỂN ĐÈN TÍN

HIỆU GIAO THÔNG BẰNG CAMERA

ĐỒ ÁN TỐT NGHIỆP CHUYÊN NGÀNH ĐIỆN TỰ ĐỘNG

Đà Nẵng, 2022

KHOA ĐIỆN – ĐIỆN TỬ

MSSV : 232117310

Đồ án tốt nghiệp là nhiệm vụ và cũng là yêu cầu bắt buộc của mỗi sinh viênphải thực hiện trước khi tốt nghiệp, nó giúp cho sinh viên tổng kết được những kiếnthức đã học trong suốt quá trình học tập, cũng như phần nào hỗ trợ được công việc

mà mình sẽ làm trong tương lai sau khi ra trường

Đến nay, việc nghiên cứu và thực hiện đồ án đã được em hoàn thành Trongsuốt quá trình nghiên cứu, ngoài sự nổ lực của bản thân còn có sự hướng dẫn tậntình của T.S Trần Thuận Hoàng là giảng viên khoa Điện – Điện tử, cũng chính làngười chịu trách nhiệm hướng dẫn về đề tài này, đã đem lại cho em nhiều kinhnghiệm và kiến thức bổ ích mà em tin rằng đó sẽ là hành trang cực kỳ quý báu chocông việc tương lai sau này của em Mặc dù đã cố gắng tìm hiểu và nghiên cứunhưng do kinh nghiệm và kiến thức còn hạn chế nên không thể tránh khỏi thiếu sót

Em rất mong nhận được sự giúp đỡ của các thầy cô để em có thể hoàn thiện bảnthân mình hơn nữa

Em xin gửi lời cảm ơn chân thành đến quý Thầy Cô của Trường Đại Học DuyTân đã tận tình dạy bảo, truyền đạt kiến thức cho em trong suốt quá trình học Emkính gửi đến thầy Trần Thuận Hoàng lời cảm ơn chân thành và sâu sắc nhất, cảm ơncác thầy đã tận tình theo sát và chỉ dẫn cho em trong quá trình thực hiện đồ án Sựhướng dẫn, góp ý tận tình của thầy đã là nguồn động viên to lớn giúp em rất nhiềutrong quá trình thực hiện đề tài này Sau cùng, em xin kính chúc quý Thầy Cô trongKhoa Điện - Điện Tử thật dồi dào sức khỏe để tiếp tục thực hiện sứ mệnh cao đẹpcủa mình là truyền đạt kiến thức cho thế hệ mai sau

Em xin chân thành cảm ơn!

Tôi xin cam đoan:

Bản đồ án này em hoàn thiện ở mức độ thực nghiệm dưới sự hướng dẫn của TS.Trần Thuận Hoàng Và đã đạt được một số kết quả theo yêu cầu ban đầu đặt ra Emxin cam đoan kết quả này là em cùng nghiên cứu thực nghiệm với anh chị hướngdẫn tại Trung Tâm Điện Điện tử (CEE), chưa được công bố trên một tài liệu nào

Đà Nẵng, Ngày tháng 12 năm 2022

Nguyễn Đăng Toàn

MỞ ĐẦU 1

1 Lý do chọn đề tài 1

2 Mục tiêu và nhiệm vụ nghiên cứu 1

3 Đối tượng và phạm vi nghiên cứu 2

4 Phương pháp nghiên cứu 2

5 Dự kiến kết quả 2

6 Ý nghĩa khoa học và thực tiễn của đồ án 2

CHƯƠNG 1 TỔNG QUAN VỀ THỊ GIÁC MÁY TÍNH 4

1.1 Xử lý ảnh 6

1.1.1 Khái niệm xử lý ảnh 6

1.1.2 Tổng quan về hệ thống xử lý ảnh 7

1.1.3 Các vấn đề cơ bản trong xử lý ảnh 9

1.2 Video 10

1.2.1 Sơ lược về Video 10

1.2.2 Các định dạng video 11

1.3 Các ứng dụng của thị giác máy tính 14

1.3.1 Chuẩn đoán y khoa 14

1.3.2 Giám sát an ninh 15

1.3.3 Theo dõi giao thông 15

1.3.4 Robot 16

CHƯƠNG 2 CÁC PHƯƠNG PHÁP PHÁT HIỆN, THEO VẾT VÀ PHÂN LOẠI ĐỐI TƯỢNG 18

2.1 Giới thiệu 18

2.2 Một số phương pháp phát hiện đối tượng 19

2.2.1 Một số kỹ thuật trừ ảnh 19

2.2.2 Kỹ thuật trừ nền 20

2.3.1 Bài toán phân loại đối tượng 24

2.3.2 Một số vấn đề liên quan đến phân loại đối tượng 25

2.3.3 Phương pháp phân loại dựa trên chuyển động 27

2.4 Phương pháp theo vết đối tượng 28

2.4.1 Tổng quan về theo vết đối tượng 28

2.4.2 Chính xác hoá đối tượng tương ứng - Object matching 29

2.4.3 Dự đoán chuyến động của đối tượng 30

2.5 Kết luận 31

CHƯƠNG 3 XÂY DỰNG ỨNG DỤNG ƯỚC LƯỢNG PHƯƠNG TIỆN ĐIỀU KIỂN ĐÈN TÍN HIỆU GIAO THÔNG 32

3.1 Giới thiệu bài toán 32

3.2 Hệ thống tín hiệu điều khiển giao thông 33

3.2.1 Cấu trúc hệ thống điều khiển giao thông 33

3.2.2 Thời lượng tín hiệu giao thông 34

3.2.3 Một số đánh giá và đề xuất: 34

3.3 Phương pháp giải quyết vấn đề phát hiện, theo vết, phân loại phương tiện giao thông 35

3.3.1 Tách phần đường 35

3.3.2 Loại bỏ nền 36

3.3.3 Lọc nhiễu và bọt 37

3.3.4 Tách đường viền 38

3.3.5 Gán nhãn đường viền 39

3.3.6 Lần vết, bám phương tiện 39

3.3.7 Phân loại phương tiện 40

3.4 Lưu đồ thuật toán 41

3.5 Mô hình giám sát, ước lượng và điều kiển 43

3.6 Kết quả thực nghiệm 43

3.7 Kết luận 46

KẾT LUẬN 48

2 Các hạn chế 48

TÀI LIỆU THAM KHẢO DANH MỤC HÌNH ẢNH Hình 1.1 Sơ đồ nhóm chức năng của thị giác máy tính 5

Hình 1.2 Sơ đồ hệ thống xử lý ảnh 7

Hình 1.3 Sơ đồ cấu trúc của hệ thống xử lý ảnh 8

Hình 1.4 Định dạng FLV (Flash Video Format) 11

Hình 1.5 Định dang WMV 12

Hình 1.6 Định dạng MP4 phổ biến nhất hiện nay 13

Hình 1.7 Sơ đồ hoạt động của Gamma Camera 15

Hình 1.8 Ứng dụng của thị giác máy tính trong lĩnh vực An ninh 15

Hình 1.9 Dẫn hướng robot 17

Hình 2.1 Ảnh kết quả các giai đoạn trừ nền 21

Hình 2.2 Các đường viển của mục tiêu được sự dụng cho việc trích rút các đặc trưng chuyển động 27

Hình 3.1 Cấu trúc hệ thống đèn điều khiển 33

Hình 3.2 Kết quả việc loại bỏ nền 36

Hình 3.3 Ảnh đối tượng chuyển động chưa được lọc nhiễu 37

Hình 3.4 Ảnh các đối tượng chuyển động đã được lọc nhiễu 38

Hình 3.5 Mô hình hệ thống giám sát giao thông bằng camera 43

Hình 3.6 Kết quả thực nghiệm với đoạn video 1 43

Hình 3.8 Frame 71 ước lượng phương tiện di chuyển: 6 đối tượng 44

Hình 3.9 Frame 87 ước lượng phương tiện di chuyển: 5 đối tượng 45

Hình 3.10 Frame 97 ước lượng phương tiện di chuyển 5 đối tượng 45

Hình 3.11 Frame 128 ước lượng phương tiện di chuyển 5 đối tượng 45

Hình 3.12 Frame 137 ước lượng phương tiện di chuyển 4 đối tượng (trường hợp có 01 đối tượng di chuyển chớm vào khung hình) 45

Hình 3.13 Frame 140 ước lượng phương tiện di chuyển 4 đối tượng (trường hợp có 02 đối tượng di chuyển chớm vào khung hình) 46

Hình 3.14 Frame 244 ước lượng phương tiện di chuyển 4 đối tượng 46

Hình 3.15 Frame 255 ước lượng phương tiện di chuyển 3 đối tượng 46

DANH MỤC BẢNG BIỂU Bảng 3.1 Phân tích kết quả khung hình của đoạn Video 1 44

MỞ ĐẦU

1 Lý do chọn đề tài

Sự phát triển nhanh chóng của các thiết bị thu nhân ảnh hiện đại như máyảnh số, máy quay số…, lượng thông tin dưới dạng hình ảnh do con người tiếp nhận

và xử lý ngày càng lớn, để lượng thông tin này trở nên có ích hơn con người cần xử

lý nó đó là lý do tạo điều kiện cho sự phát triển mạnh mẽ của các kỹ thuật xử lýhình ảnh Thị giác máy tính là một trong những công nghệ được ứng dụng rộng rãihiện nay trong nhiều lĩnh vực của đời sống xã hội, ngày nay công nghệ xử lý ảnh đãmang lại những tiến bộ vượt bậc như nhận dạng vân tay, nhận dạng khuôn mặt,nhận dạng đối tượng …v.v Cùng trong bối cảnh đó, hệ thống camera giám sát giaothông ngày càng được sử dụng một cách rộng rãi với mục đích hỗ trợ các cơ quanchức năng quản lý, người tham gia giao thông trên các trục đường và điểm nút giaothông

Hiện nay tại TP Đà Nẵng dự án “Nâng cấp hệ thống tín hiệu và điều khiểngiao thông TP Đà Nẵng” đã hoàn thành và đi vào hoạt động Dự án có quy mô gồmTrung tâm điều hành giao thông, lắp đặt mới, nâng cấp hàng trăm nút tín hiệu giaothông, các camera quan sát tại các nút giao thông, lắp đặt hệ thống cáp quang ngầmnối trung tâm điều khiển với các nút tín hiệu giao thông Hệ thống có những ưuđiểm như có thể điều chỉnh vòng quay tín hiệu đèn xanh-vàng- đỏ theo thời gianngắn, dài hoặc chỉ bật đèn vàng, tùy theo thực tế giao thông trên từng tuyến đường,từng nút giao thông và từng thời điểm trong ngày Tuy nhiên việc điều khiển đènphụ thuộc vào thực trạng giao thông trong từng thời điểm

Do vậy việc kết hợp hệ thống đèn tín hiệu giao thông và hệ thống cameraquan sát nhằm ước lượng số lượng các phương tiện tham gia giao thông sẽ giảiquyết tốt bài toán điều khiển đèn giao thông một cách thông minh và hiệu quả hiệnnay tại Việt Nam và TP Đà Nẵng

2 Mục tiêu và nhiệm vụ nghiên cứu

 Mục tiêu: nghiên cứu các thuật toán phát hiện, theo vết, phân loại đối tượng

chuyển động trong các hình ảnh video

 Nhiệm vụ: xác định các phương tiện đang chuyển động tại điểm nút hoặc

trên đường giao thông qua tín hiệu của camera giám sát từ đó tính toán lưu lượngcác đối tượng phương tiện giao thông, làm cơ sở điều kiển đèn tín hiệu giao thôngmột cách thông minh

3 Đối tượng và phạm vi nghiên cứu

 Đối tượng nghiên cứu: dữ liệu các đoạn video được quay từ một camera

tĩnh ghi lại với chuẩn AVI (Audio Video Interleave) và các phương pháp điểu khiểnđèn tín hiệu giao thông

 Phạm vi nghiên cứu: liên quan đến lĩnh vực thị giác máy tính và sử dụng bộ

công cụ lập trình Embarcadero RAD Studio XE8 tích hợp tiện ích xử lý ảnhVisionLab, VideoLab

4 Phương pháp nghiên cứu

Thu thập các tài liệu tổng quan về xử lý ảnh, xử lý video

Thu thập tài liệu, thông tin về các nội dung liên quan đến đề tài Tìm hiểuEmbarcadero RAD Studio XE8 và thành phần xử lý ảnh VisionLab, VideoLab lậptrình xử lý ảnh; Tìm hiểu các phương pháp phát hiện đối tượng chuyển động; Tìmhiểu phương pháp dò vết đối tượng; Tìm hiểu phương pháp phân loại đối tượng;Tìm hiểu phương pháp điểu kiển đèn tín hiệu giao thông

5 Dự kiến kết quả

Nắm vững và cài đặt thành công các thuật toán: phát hiện chuyển động bằngphương pháp trừ nền, theo vết đối tượng, trên cơ sở đó xây dựng thành công chươngtrình tính toán lưu lượng các phương tiện tại các điểm nút giao thông nhằm điềuchỉnh tín hiệu đèn giao thông một cách thông minh

6 Ý nghĩa khoa học và thực tiễn của đồ án

Ý nghĩa:

- Ứng dụng công nghệ xử lý ảnh và thị giác máy tính vào trong thực tế

- Xác định chính xác lưu lượng phương tiện tại các điểm nút giao thông đểđiều kiển đèn tín hiệu giao thông

- Tạo cơ sở nhằm nghiên cứu tiếp trong tương lai

Báo cáo được tổ chức thành 3 chương

Chương 1: Tổng quan về thị giác máy tính.

Trong chương này, tôi giới thiệu tổng quan về thị giác máy tính, xử lý ảnh

số, xử lý video Ngoài ra thì tôi giới thiệu thêm một số vấn đề cơ bản và ứng dụngcủa thị giác máy tính trong các lĩnh vực của khoa học và đời sống

Chương 2: Một số phương pháp phát hiện, theo vết các đối tượng chuyển

động trong xử lý ảnh

Trong chương này tôi giới thiệu về một số phương pháp phát hiện, theo vếtcác đối tượng thông qua các dữ liệu video từ các công trình nghiên cứu khoa họctrong nước và thế giới về vấn đề giải quyết các bài toán xử lý ảnh nhằm ứng dụngtrong lĩnh vực giao thông, phân tích các ưu, nhược điểm của từng phương pháp đểtìm cách cải tiến, phục vụ cho đề tài nghiên cứu của bản thân

Chương 3: Xây dựng ứng dụng ước lượng phương tiện tham gia giao thông

và kết quả thực nghiệm

Chương này chủ yếu nói về vấn đề phân tích bài toán, hướng giải quyết bàitoán ước lượng phương tiện tham gia giao thông Đề xuất phương pháp được lựachọn để giải quyết bài toán điều kiển giao thông kết hợp kết quả phân tích, xử lýhình ảnh giám sát giao thông Sau đó tiến hành cài đặt chương trình thử nghiệm đểkiểm tra phương pháp đề xuất, đồng thời rút ra được kinh nghiệm cho hướng pháttriển sau này

Cuối cùng là kết luận và đề xuất một số hướng nghiên cứu tiếp tục trong thờigian đến

CHƯƠNG 1 TỔNG QUAN VỀ THỊ GIÁC MÁY TÍNH

Thị giác là giác quan con người cũng như hầu hết các loài động vật khác thuthập thông tin nhanh nhất, tinh tế nhất và là kênh thông tin trao đổi tin cậy giúp đưa

ra những quyết định kịp thời và nhanh chóng trong hầu hết các hoạt động trong thực

tế của con người Với ý nghĩa vô cùng quan trọng đó, cùng với sự phát triển củakhoa học kĩ thuật và ứng dụng của nó trong nhiều lĩnh vực đã được tiến hành rộngrãi, nhất là trong ứng dụng liên quan tới xử lý ảnh

Vai trò của máy tính là trợ giúp con người trong sản xuất và đời sống Đểđảm đương được những công việc phức tạp, máy tính phải có khả năng suy nghĩ vàtrí tuệ tương đối Trước hết, máy tính phải có được cảm nhận về thế giới như conngười

Công nghệ cảm ứng đã phát triển mạnh trong các thập niên qua với nhiềugiác quan hoàn hảo giúp máy tính cảm nhận về bản thân như gia tốc, vận tốc, định

vị, định hướng, v.v Tuy nhiên, máy tính vẫn chưa thể cảm nhận về thế giới xungquanh ngoại trừ một số thông tin như nhiệt độ, áp lực, khoảng cách Mảng ghépquan trọng còn thiếu chính là thị giác Thị giác đem đến thông tin có thể khái quáthóa và tập hợp thành mô hình Thị giác được hoàn thiện sẽ nâng tầm trí tuệ nhân tạolên một tầm cao mới, máy tính sẽ trở nên gần gũi và tương tác với con người thuậnlợi hơn

Công nghệ thị giác máy tính (Computer Vision - CV) khởi đầu từ thập niên

70, cùng với ngành khoa học không gian với yêu cầu điều khiển từ xa các thiết bị,robot thám hiểm Sự phát triển không ngừng tốc độ xử lí của máy tính là động lựcquan trọng cho thị giác máy tính Khi sức mạnh máy tính được cải thiện, thị giácmáy tính đã trở nên khả thi ứng dụng cho nhiều lĩnh vực

Khác với những công nghệ cảm ứng khác chủ yếu là thu thập và xử lí dữliệu, thị giác máy tính cần thêm quá trình phân tích, diễn dịch dữ liệu để có đượccảm nhận về thế giới Phân tích thông tin, ngoài một cơ sở dữ liệu đầy đủ, đòi hỏi ởmáy tính năng lực diễn dịch, qui nạp Thị giác máy tính có thể được chia thành cácphân nhóm theo chức năng như sơ đồ hình 1.1 Từ nền tảng đó, người ta lựa chọntích hợp các phân nhóm để hình thành các ứng dụng đa dạng

Hình 1.1 Sơ đồ nhóm chức năng của thị giác máy

tính

 Thu thập ảnh

Giai đoạn tạo dạng dữ liệu được sử dụng trực tiếp trong thị giác máy tính:ảnh định dạng số Quá trình thu thập ảnh, video và chuyển đổi thành ảnh số phụthuộc vào các thiết bị phần cứng như cảm ứng ảnh, hệ thống kính quang học, mànlọc bước sóng, hệ thống chiếu sáng hỗ trợ

Với sự tiến bộ của ngành điện tử và cơ khí chính xác, các thiết bị phần cứngtrong thị giác máy tính đã hầu như hoàn thiện như khoảng cách, độ phóng đại ảnh,tốc độ chụp và độ nhạy sáng đều đã phát triển vượt bậc, đủ khả năng thu thập ảnh

số theo yêu cầu của mọi ứng dụng, từ kính viễn vọng chụp ảnh các thiên hà xaxăm đến camera tí hon chụp ảnh bên trong cơ thể người

Sự phát triển của thị giác máy tính hiện nay phục thuộc ở khả năng xử lí vàphân tích những ảnh số

 Hiệu chỉnh và phục chế ảnh

Quá trình hiệu chỉnh giúp ảnh số đẹp hơn, làm rõ những chi tiết cần thiết, nổibật những thông tin quan trọng trong bức ảnh Bao gồm những thao tác đơn giảnnhư tăng, giảm độ tương phản, lọc nét,mờ, hiệu chỉnh histogram đã đem đếnhiệu quả thiết thực và được sử dụng khá phổ biến Hiệu chỉnh ở mức độ phức tạpđược áp dụng nhiều trong các ứng dụng về chẩn đoán y khoa Phục chế ảnh là quátrình áp dụng các mô hình toán, xác suất để tái lập những chi tiết còn thiếu hoặcghi nhận sai trong quá trình thu thập ảnh Ví dụ như ảnh chụp từ vệ tinh trong khi

vệ tinh trải qua các rung động cơ học và qua khúc xạ khí quyển sẽ bị mờ Từ cácrung động được ghi nhận và mô hình khí quyển, mô hình sai số được sử dụng để

loại bỏ vệt mờ trên ảnh.

 Xử lí màu sắc và độ phân giải ảnh

Cũng là quá trình giúp làm ảnh số đẹp hơn đối với người xem Trong khi quátrình hiệu chỉnh, phục hồi ảnh thao tác trên cường độ giữa các điểm ảnh, quá trình

xử lí màu sắc thao tác trên mối tương quan giữa các kênh màu trong từng điểmảnh Thao tác nén và thu nhỏ ảnh giúp giải quyết vấn đề lưu trữ cơ sở dữ liệu ảnhlớn cũng như tăng tốc độ xử lí ảnh khi thông tin được giản lược đến mức vừa đủcho ứng dụng

 Xử lí hình trạng và phân tích chi tiết

Xử lí hình trạng là công đoạn đầu tiên trong nhóm phân tích dữ liệu ảnh, vớimục tiêu xây dựng từ tập hợp các điểm ảnh một mô hình ảnh diễn tả bởi các hìnhthể cơ bản là hình chữ nhật, tròn, hình trụ, Mô hình ảnh là cầu nối từ giác quancủa máy tính là ảnh số đến cảm quan của con người là ảnh khái niệm

Phân tích chi tiết tiếp nối bằng việc nhóm các hình thể trong mô hình ảnhthành các thực thể riêng biệt Đây là công đoạn khó tự động hóa nhất và quantrọng trong thị giác máy tính khi phần lớn ứng dụng cấp cao đều dựa trên ảnh kháiniệm

 Nhận dạng và giám sát thực thể

Quá trình xác định một thực thể nào đó có trong ảnh hay không và chuyểnđộng ra sao trong một tập hợp ảnh Quá trình nhận dạng và giám sát thực thể dựatrên một cơ sở dữ liệu đầy đủ về thực thể cũng như khả năng tự học để tiến hóacủa thuật toán

1.1 Xử lý ảnh

Con người thu nhận thông tin qua các giác quan, trong đó thị giác đóng vaitrò quan trọng nhất Những năm trở lại đây với sự phát triển của phần cứng máytính, xử lý ảnh và đồ hoạ đó phát triển một cách mạnh mẽ và có nhiều ứng dụngtrong cuộc sống Xử lý ảnh và đồ hoạ đóng một vai trò quan trọng trong tương tácngười máy

1.1.1 Khái niệm xử lý ảnh

Quá trình xử lý ảnh được xem như là quá trình thao tác ảnh đầu vào nhằmcho ra kết quả mong muốn Kết quả đầu ra của một quá trình xử lý ảnh có thể là mộtảnh “tốt hơn” hoặc một kết luận

1.1.2 Tổng quan về hệ thống xử lý ảnh

Ảnh cũng có thể thu nhận từ vệ tinh qua các bộ cảm biến (sensor) hay ảnh,tranh được quét trên máy scanner Tiếp theo là quá trình số hoá để biến đổi tín hiệutương tự sang tín hiệu số trước khi chuyển sang giai đoạn xử lý, phân tích hay lưutrữ lại

Quá trình phân tích ảnh thực chất bao gồm nhiều công đoạn nhỏ Trước hết

là công việc tăng cường ảnh để nâng cao chất lượng ảnh Do những nguyên nhânkhác nhau: có thể do chất lượng thiết bị thu nhận ảnh, do nguồn sáng hay do nhiễu,ảnh có thể bị suy biến Do vậy cần phải tăng cường và khôi phục lại ảnh để làm nổibật một số đặc tính chính của ảnh hay làm cho ảnh gần giống nhất với trạng tháigốc-trạng thái trước khi ảnh bị biến dạng Giai đoạn tiếp theo là phát hiện các đặctính như biên, phân vùng ảnh, trích chọn các đặc tính

Ảnh tố hơn

Kết luận

Hình 1.2 Sơ đồ hệ thống xử lý ảnh

Cuối cùng, tuỳ theo mục đích của ứng dụng, sẽ là giai đoạn nhận dạng, phânlớp hay các quyết định khác Các giai đoạn chính của quá trình xử lý ảnh có thể mô

tả ở hình 10 Với các giai đoạn trên, một hệ thống xử lý ảnh gồm các thành phần tốithiểu như hình

Sơ đồ cấu trúc của hệ thống xử lý ảnh và video tổng quát được giới thiệutrong hình 1.3 phù hợp với hầu hết các ứng dụng trong lĩnh vực này Trong một số

hệ thống đặc biệt có thể bỏ bớt một số khối trong sơ đồ trên

Tiền xử lý: Các thao tác xử lý tác động lên hình ảnh và video để chúng trở

nên thích hợp hơn cho các thao tác xử lý chính Ví dụ như các thao tác giảm nhiễu,làm sắc nét, chuyển từ ảnh màu sang ảnh đa cấp xám, cắt xén vùng ảnh cần tậptrung xử lý…

Phân đoạn: Các thông tin cần quan tâm trong ảnh và video sẽ được trích

xuất ra Ví dụ như các vùng ảnh chuyển động trong video sẽ được phân đoạn bằngcách thể hiện dưới dạng ảnh nhị phân Vùng ảnh chuyển động sẽ có màu trắng vànền sẽ có màu đen

Biểu diễn: Các đối tượng được tách ra từ khối phân đoạn sẽ được biểu diễn

một cách chính xác với các đặc trưng của từng đối tượng riêng biệt Ví dụ như cácđối tượng chuyển động sẽ được biểu diễn bằng đường bao quanh đối tượng và đượcgán nhãn phân biệt cho từng đối tượng

Thu nhận ảnh

Hậu xử lý ảnh

Trích chọn đặc điểm

Tiền xử lý ảnh

Phân lớp: Xác định các đối tượng được tách ra từ các khối trước đó có phải

là đối tượng cần quan tâm hay không Ví dụ như xác định xem các đối tượngchuyển động có phải là xe ô tô hoặc khách bộ hành hay không

Tuỳ theo hệ thống mà một thao tác xử lý có thể thuộc về khối này hoặc khốikia Trong một số hệ thống mà khối phân đoạn cho ra kết quả là ảnh nhị phân vớimàu trắng và đen thì khối biểu diễn và khối phân lớp được ghép thành khối phântích BLOB (Binary Large OBject) BLOB là đối tượng nhị phân lớn BLOB mang ýnghĩa là chỉ quan tâm đến các nhóm điểm ảnh nhị phân lớn có kích thước nhất định.Còn những nhóm điểm ảnh nhị phân nhỏ xem như là nhiễu

1.1.3 Các vấn đề cơ bản trong xử lý ảnh

Điểm ảnh:

Ảnh tự nhiên là ảnh liên tục về không gian và độ sáng Để xử lý ảnh bằng máytính, ảnh cần được số hóa Số hóa ảnh là sự biển đổi gần đúng một ảnh liên tụcthành một tập điểm phù hợp với ảnh thật về vị trí (không gian) và độ sáng (mứcxám) Khoảng cách giữa các điểm ảnh đó được thiết lập sao cho mắt người khôngphân biệt được ranh giới giữa chúng Mỗi điểm như vậy gọi là điểm ảnh(PEL :Picture Element) hay gọi tắt là Pixel Trong khuôn khổ ảnh hai chiều Mỗipixel ứng với cặp tọa độ (x,y)

Điểm ảnh (pixel) là một phần tử của ảnh số tại tọa độ (x,y) với độ xám hoặcmàu xác định Kích thước và khoảng cách giữa các điểm ảnh đó được chọn thíchhợp sao cho mắt người cảm nhận được sự liên tục về không gian và mức xám (hoặcmàu) của ảnh số gần như là thật Mỗi phần tử trong ma trận được gọi là phần tử ảnh

Độ phân giải: Độ phân giải (Resolution) của ảnh là mật độ điểm ảnh được

ấn định trên một ảnh số được hiển thị Theo định nghĩa, khoảng cách giữa các điểmảnh phải được chọn sao cho mắt người vẫn thấy được sự liên tục cuẩ ảnh Việc lựachọn khoảng cách thích hợp tạo nên một mật độ phân bố, đó chính là độ phân giải

và được phân bố theo trục x và y trong không gian hai chiều

Khử nhiễu: Có 2 loại nhiễu cơ bản trong quá trình thu nhận ảnh

- Nhiều hệ thống: là nhiễu có quy luật có thể khử bằng các phép biến đổi

- Nhiễu ngẫu nhiên: vết bẩn không rõ nguyên nhân  khắc phục bằng cácphép lọc

Chỉnh mức xám: Nhằm khắc phục tính không đồng đều của hệ thống gây

ra, thông thường có 2 hướng tiếp cận:

- Giảm số mức xám: Thực hiện bằng cách nhóm các mức xám gần nhau thànhmột bó Trường hợp chỉ có 2 mức xám thì chính là chuyển về ảnh đen trắng Ứngdụng: In ảnh màu ra máy in đen trắng

- Tăng số mức xám: Thực hiện nội suy ra các mức xám trung gian bằng kỹthuật nội suy Kỹ thuật này nhằm tăng cường độ mịn cho ảnh

Phân tích ảnh: Là khâu quan trọng trong quá trình xử lý ảnh để tiến tới hiểu

ảnh Trong phân tích ảnh việc trích chọn đặc điểm là một bước quan trọng Các đặcđiểm của đối tượng được trích chọn tuỳ theo mục đích nhận dạng trong quá trình xử

lý ảnh Có thể nêu ra một số đặc điểm của ảnh sau đây:

- Đặc điểm không gian: Phân bố mức xám, phân bố xác suất, biên độ, điểmuốn v.v

- Đặc điểm biến đổi: Các đặc điểm loại này được trích chọn bằng việc thựchiện lọc vùng (zonal filtering) Các bộ vùng được gọi là “mặt nạ đặc điểm” (featuremask) thường là các khe hẹp với hình dạng khác nhau (chữ nhật, tam giác, cungtròn v.v )

Đặc điểm biên và đường biên: Đặc trưng cho đường biên của đối tượng và dovậy rất hữu ích trong việc trích trọn các thuộc tính bất biến được dùng khi nhậndạng đối tượng Các đặc điểm này có thể được trích chọn nhờ toán tử gradient, toán

tử la bàn, toán tử Laplace, v.v

Việc trích chọn hiệu quả các đặc điểm giúp cho việc nhận dạng các đối tượngảnh chính xác, với tốc độ tính toán cao và dung lượng nhớ lưu trữ giảm xuống

1.2 Video

1.2.1 Sơ lược về Video

Video (vi-đê-ô) là phương tiện điện tử để ghi, sao chép, phát lại, phát

sóng và hiển thị hình ảnh chuyển động được lưu trữ trong các phương tiện Videolần đầu tiên được phát triển cho các hệ thống truyền hình cơ học, được thay thếnhanh chóng bằng hệ thống ống tia âm cực (CRT), sau đó được thay thế bằng một

số loại màn hình phẳng

Các hệ thống video khác nhau về độ phân giải màn hình, tỷ lệ khung hình,tốc độ làm mới, khả năng màu sắc và các phẩm chất khác Các biến thể tương tự và

kỹ thuật số tồn tại và có thể được thực hiện trên nhiều phương tiện khác nhau, baogồm phát sóng radio, băng từ, đĩa quang, tệp máy tính và truyền phát qua mạng

Công nghệ video lần đầu tiên được phát triển cho các hệ thống truyền hình

cơ học, đã nhanh chóng được thay thế bằng hệ thống truyền hình ống tia âmcực (CRT), nhưng một số công nghệ mới cho các thiết bị hiển thị video đã đượcphát minh Video ban đầu chỉ là một công nghệ sống Charles Ginsburg đã lãnh đạomột nhóm nghiên cứu của Ampex phát triển một trong những máy ghi băngvideo thực tế đầu tiên (VTR) Năm 1951, máy ghi băng video đầu tiên đã ghi lạihình ảnh trực tiếp từ máy quay truyền hình bằng cách chuyển đổi các xung điện củamáy ảnh và lưu thông tin vào băng video từ tính

Trong đó, Codec dùng để nén và giải nén cho file video khi có nhiều file lớn

và gây khó khăn trong quá trình tải lên hoặc tải xuống Còn phần “Container” là tậphợp các file lưu trữ thông tin về file kỹ thuật số, là sự kết hợp giữa dữ liệu âm thanh

và hình ảnh trên một file để phát âm thanh và hình khớp với nhau Và khi sử dụngmáy tính, người dùng sẽ phải làm quen với rất nhiều định dạng file khác nhau Mỗifile thường được tạo ra và đọc bởi một hoặc 1 số định dạng nhất định

 Định dạng AVI (Audio Video Interleave)

Đây là định dạng file video được phát triển bởi Microsoft, ra mắt công

chúng vào tháng 11/1992 AVI được xem là một trong những định dạng

video lâu đời nhất, được nhiều người chấp nhận, sử dụng rộng rãi, dùng để

lưu trữ thông tin video và âm thanh trên máy tính Định dạng AVI có thể

chạy được trên nhiều hệ thống khác nhau như Windows, Mac, Linux vì do

có kiến trúc đơn giản Kiểu định dạng này có thể được mã hóa thành một số

codec khác nhau như codec M-JPEG hoặc DivX nên chúng sẽ giống nhau ở

bên ngoài nhưng thực chất bên trong lại khác nhau

Hình 1.4 Định dạng FLV (Flash Video Format)

Định dạng FLV được mã hóa bằng phần mềm mềm Adobe Flash, thôngthường thì sẽ có codec theo định dạng nén video Sorenson Spark hoặc VP6 Để cóthể xem được thì phải phát qua Adobe Flash Player, plugin trình duyệt web hoặcmột trong các chương trình của bên thứ ba

Ngày nay, hầu hết người dùng đều cài đặt Adobe Flash Player trên trình duyệt máytính nên định dạng FLV trở thành nền tảng xem video trực tuyến phổ biến

Không chỉ hỗ trợ xem video trực tuyến, định dạng FLV còn là kiểu định dạngfile được các trang web chia sẻ video chuyển đổi thành hoặc chuyển đổi từ các địnhdạng khác do người dùng tải lên

 Định dạng WMV (Windows Media Video)

Định dạng WMV được phát triển bởi Microsoft, ứng dụng chính của nó làđược sử dụng để chạy file WMV trên tất cả hệ điều hành Windows Trên hệ điềuhành Mac cũng có trình phát WMV miễn phí Ban đầu, WMV được thiết kế chỉdùng cho các ứng dụng truyền trực tiếp để cạnh tranh với RealVideo Tuy nhiên,sau một thời gian, nó được hướng đến phục vụ cho nội dung chuyên nghiệp hơn,tích hợp cả tính năng cho phép người dùng tải và chia sẻ qua email vì có kích thướcfile giảm đáng kể sau khi nén, chất lượng video thấp

Hình 1.5 Định dang WMV

 Định dạng MOV (Apple QuickTime Movie)

Đây là định dạng file video được phát triển bởi Apple Inc Các file MOVthường sử dụng trình phát Apple QuickTime Player trên hệ điều hành Mac để chạy

Nó không bị giới hạn trên máy tính Apple vì trên hệ điều hành Windows đã có mộtphiên bản miễn phí của trình phát QuickTime Player Định dạng MOV có chấtlượng cao và thường có kích thước lớn Mang đến những trải nghiệm bất ngờ chongười dùng

 Định dạng MP4 (Moving Pictures Expert Group 4)

MP4 được phát triển bởi Motion Pictures Expert Group, được ra mắt lần đầutiên vào năm 1998 MP4 có kích thước file tương đối nhỏ nhưng chất lượng vẫnđảm bảo chất lượng cao ngay cả sau khi nén Chính vì vậy, MP4 dần trở nên “vượtmặt” FLV khi chia sẻ video trực tiếp, bởi nó có tính tương thích cao với trình duyệttrực tuyến, thiết bị di động, hơn thế nữa còn được hỗ trợ HTML5 mới

Hình 1.6 Định dạng MP4 phổ biến nhất hiện nay

Định dạng 3GP

3GP ra đời dựa trên chuẩn MPEG-4 Đây là định dạng file video được sử dụngkhá phổ biến trên các thiết bị điện thoại di động có hỗ trợ quay phim trước đây.Định dạng này được các nhà phát triển hướng tới mục đích tiết kiệm dung lượngđĩa, băng thông… Vỉ thế, chúng thường được tạo, sử dụng và chuyển đổi giữa cácthiết bị di động

3GP cũng là định dạng chuẩn, định dạng yêu cầu đối với các file phương tiệnđược gửi bằng Dịch vụ nhắn tin đa phương tiện (Multimedia Messaging Service –

MMS) và Dịch vụ phát đa phương tiện (Multimedia Broadcast Multicast Services –MBMS) trong điện thoại Mang đến phương thức gửi hình ảnh, video đa phươngdiện cho người dùng một cách tiện lợi

Nếu người dùng để ý một chút có thể nhận ra được rằng các video được tải từkho lưu trữ của iTunes đang sử dụng định dạng H.264 Gần đây định dạng này cũng

đã trở thành một chuẩn mặc định cho các video trên YouTube

1.3 Các ứng dụng của thị giác máy tính

1.3.1 Chuẩn đoán y khoa

Y học hạt nhân là ngành y học sử dụng những đồng vị phóng xạ nhân tạo đểthực hiện chụp ảnh chẩn đoán chức năng của các cơ quan trong cơ thể như tuyếngiáp, tim, xương, phổi, thận… được gọi là xạ hình Hoặc là dùng chất phóng xạ đểđiều trị bệnh

Gamma Camera là kỹ thuật xạ hình dùng khảo sát các chức năng hoạt động

của những cơ quan trong cơ thể, phát hiện sớm những thương tổn – điều mà cácphương tiện chẩn đoán khác không làm được, ví dụ như khảo sát sự di căn của bệnhung thư xương

 Phương thức hoạt đông

Việc thu nhận các bức xạ Gamma Camera cho hiện ảnh -> các thành phần cấu trúc bên trong cơ thể từ đó đưa ra chẩn đoán

Gamma Camera có Cấu tạo gồm 4 phần chính:

- Ống chuẩn trực Collimator

- Tinh thể phát sáng (scintillation crystal)

- Ống nhân quang ( PM – Photomultiplier tube).

- Bộ phân tích chiều cao xung ( PHA – Pulse height analyzer )

Mỗi thành phần này sẽ thực hiện một chức năng riêng trong việc chuyển ảnhgamma thành ảnh ánh sáng và truyền nó tới các thiết bị quan sát thích hợp hoặc tớiphim

Hình 1.7 Sơ đồ hoạt động của Gamma Camera

1.3.2 Giám sát an ninh

Thị giác máy tính có thể được tích hợp vào hệ thống camera theo dõi truyềnthống, đảm nhận vai trò theo dõi và cảnh báo, giúp giám sát viên không phải trựctiếp quan sát 24/24 nhằm phát hiện chuyển động và cảnh báo xâm phạm, phát hiệncác tình huống bất thường dựa trên nhận dạng cử động như ẩu đả, cướp ngân hàng,nguy cơ đuối nước Một ứng dụng khác của thị giác máy tính trong lĩnh vực anninh là nhận dạng khuôn mặt đã phổ biến trên một số dòng máy tính xách tay

Hình 1.8 Ứng dụng của thị giác máy tính trong lĩnh vực An ninh

(a) Theo dõi khách bộ hành; (b) Nhận dạng khuôn mặt

1.3.3 Theo dõi giao thông

Được phát triển nhờ trí tuệ nhân tạo, thị giác máy tính là công nghệ nhận diệnthông minh của máy tính được tạo ra để bắt chước con người trong việc nhìn vàhiểu hình ảnh

Thị giác máy tính bao gồm các hoạt động thu nhận, xử lý ảnh kỹ thuật số, phântích, nhận dạng và hình thành các hình ảnh dữ liệu đa chiều từ thế giới thực để cho

ra các thông tin số hoặc biểu tượng Với nhiều lợi ích ứng dụng, nhiều quốc gia đãứng dụng chúng vào việc quản lý giao thông đường bộ và an ninh Tại Mỹ, Anh,Đức và các nước công nghiệp phát triển khác, công nghệ này được ứng dụng từnhững năm 90 của thế kỉ 20 và thu lại được nhiều lợi ích tích cực

Truy vết tội phạm

Ngoài những tính năng chụp ảnh, xử lý thông tin,… thị giác máy còn có khảnăng nhận diện khuôn mặt thông qua hình ảnh Với tính năng nổi bật này, CSGT vàcảnh sát hình sự đã hợp tác xây dựng hệ thống nhận diện khuôn mặt thông minh đểtheo dõi và truy lùng dấu vết tội phạm

Ứng dụng dựa trên khả năng nhận dạng khuôn mặt của những chiếc cameragăn chip xử lý thông minh Khi có phát hiện đối tượng khả nghi, camera sẽ chụpảnh lại phân tích, đưa ra những người khả nghi, từ đó giúp các chiến sĩ cảnh sát truyvết tội phạm

1.3.4 Robot

Công nghiệp robot đã được ứng dụng từ lâu ở các quốc gia phát triển nhưnglại khá mới mẻ đối với những nước có nền khoa học công nghệ đang phát triển –điển hình như Việt Nam Tuy nhiên, với xu thế “đi tắt, đón đầu” để hiện đại hóa đất

nước, hiện nay, nước ta cũng đã tiếp cận và ứng dụng được những công nghệ nềncủa ngành công nghiệp robot này.

Những robot công nghiệp này sẽ trở thành một mắt xích hoạt động độc lậptrong một dây chuyền sản xuất nhất định Sử dụng robot trong sản xuất công nghiệp

sẽ làm tăng năng suất, tăng độ đồng đều của sản phẩm từ đó tăng chất lượng thànhphẩm đầu ra Và để một robot có thể hoàn thành và đạt được những điều nóitrên, vai trò của thị giác máy tính trong đó là rất lớn

Trong ngành công nghiệp sản xuất và phát triển, vai trò của thị giác máy tínhkhông chỉ dừng lại ở việc thu thập hình ảnh mà còn được ứng dụng trong công tácgiám sát, kiểm soát sản phẩm Dưới đây là những ứng dụng của thị giác máy trongcông tác sản xuất áp dụng công nghệ robot

 Vai trò của thị giác máy tính trong công tác dẫn hướng robot

Dẫn hướng robot là cách thị giác máy hỗ trợ các cánh tay robot có thể thao tácchính xác hơn trên dây chuyền sản xuất Cụ thể, dưới những thông tin được thị giácmáy gửi về máy chủ, từ các thông số đó, máy chủ sẽ phân tích và điều khiển cácthao tác gắp, thả sản phẩm, hay lắp ráp linh kiện điện tử chính xác hơn

Hình 1.9 Dẫn hướng robot

 Vai trò của thị giác máy tính trong công tác kiểm soát thành phẩm

Trên một dây chuyền sản xuất, cứ qua mỗi một công đoạn, hình ảnh của sảnphẩm sẽ liên tục được thị giác máy tính gửi về máy chủ Từ những thông tin nhậnđược, máy chủ sẽ đưa ra lệnh loại bỏ hoặc không loại bỏ sản phẩm

Sản phẩm bị loại bỏ là những bán thành phẩm gặp lỗi trong quá trình sản xuấtnhư màu sắc không đồng đều, sản phẩm bị méo, nứt vỡ… Để làm được điều này,hình ảnh sản phẩm trên dây truyền được thị giác máy tính truyền tải về máy chủ sẽ

được so sánh với sản phẩm mẫu Từ những thuật toán so sánh, các sai sót trên sảnphẩm sẽ được liệt kê kỹ càng.

CHƯƠNG 2 CÁC PHƯƠNG PHÁP PHÁT HIỆN, THEO VẾT VÀ PHÂN

LOẠI ĐỐI TƯỢNG

2.1 Giới thiệu

Phát hiện đối tượng trong thị giác máy tính là công việc tìm kiếm các vật thểtrong ảnh hoặc trong video, đây là lĩnh vực được nghiên cứu rộng rãi và có nhiềuứng dụng trong cuộc sống hiện nay Phần lớn các đối tượng được phát hiện qua việcdựa vào những thông tin trong một frame ảnh Có rất nhiều hướng tiếp cận để giảiquyết vấn đề trên, tuy nhiên việc lựa chọn phương pháp áp dụng thì phải dựa vàotình huống cụ thể

Việc phát hiện đối tượng có thể được thực hiện bằng các phương pháp máyhọc Các phương pháp này có thể kể đến như: mạng neural, adaptive boosting, câyquyết định, support vector machines Điểm chung của các phương pháp này đềuphải trải qua giai đoạn huấn luyện trên một tập dữ liệu Tập dữ liệu này phải đủ lớn,bao quát hết được các trạng thái của đối tượng Sau đó các đặc trưng sẽ được rúttrích ra trên bộ dữ liệu huấn luyện này Việc lựa chọn đặc trưng sử dụng đóng vaitrò quan trọng ảnh hưởng đến hiệu quả của các phương pháp máy học Một số đặctrưng thường được sử dụng như: đặc trưng về màu sắc, đặc trưng về góc cạnh, đặctrưng histogram… Sau khi đã có được đặc trưng, ta sẽ đánh nhãn lớp cụ thể cho cácđặc trưng đó để sử dụng trong việc huấn luyện Trong quá trình huấn luyện, cácphương pháp máy học sẽ sinh ra một hàm để ánh xạ những đặc trưng đầu vào tươngứng với nhãn lớp cụ thể Sau khi đã huấn luyện xong thì các phương pháp máy họctrên sẽ được dùng để phân lớp cho những đặc trưng mới Đặc điểm của phươngpháp này là độ chính xác cao Tuy nhiên nó gặp phải khó khăn trong việc thu thập

dữ liệu huấn luyện ban đầu, tốn thời gian và chi phí cho quá trình học máy

Với trường hợp có ảnh nền không thay đổi thì việc phát hiện đối tượng chuyểnđộng có thể được thực hiện bằng các phương pháp trừ nền Chi tiết về các giải thuật

này sẽ được trình bày ở phần dưới đây và hướng giải quyết thường gặp là xây dựng

mô hình nền, sau đó sử dụng mô hình này cùng với frame hiện tại để từ đó rút rađược các foreground chuyển động Ưu điểm của giải thuật này là đơn giản Để cóthể tiếp cận theo hướng này thì ta cần phải xây dựng được mô hình background Một trong những hướng nghiên cứu này là phát hiện các đối tượng tham gia giaothông để phát triển các ứng dụng phục vụ các mục đích quản lý, giám sát… Conngười có thể nhận biết các đối tượng là các phương tiện tham gia giao thông mộtcách dễ dàng trong các ảnh hoặc video dù sự khác nhau là rất đa dạng Tuy nhiênđối với hệ thống thị giác máy tính thì công việc này vẫn đang còn là thách thức bởicác nguyên nhân chủ yếu là do tính đang dạngcủa phương tiện giao thông như ô tô,

xe máy, người bộ hành , ảnh hưởng về điều kiện ánh sáng, sự che lấp lẫn nhau củanhững phương tiện giao thông cũng như người trong đám đông, chất lượng video…

2.2 Một số phương pháp phát hiện đối tượng

2.2.1 Một số kỹ thuật trừ ảnh

Trừ ảnh được ký hiệu: D(f 1 ,f 2 ) là sự sai khác giữa hai khung hình f 1 ,f 2, sự saikhác này lớn hơn một ngưỡng nào đó sẽ xác định được đối tượng chuyển động giữahai khung hình Sự thay đổi trên khung hình sẽ được tính toán trên một dặc trưngnhất định thường là nội dung của màu sắc, biểu đồ màu, biểu đồ mức xám, hoặc đôikhi là cạnh, vector chuyển động, góc hay kết cấu…[15]

2.2.1.1 Kỹ thuật trừ ảnh dựa vào điểm ảnh

Kỹ thuật trừ ảnh dựa vào điểm ảnh chính là tính giá trị biểu diễn sự chênh lệchtổng cộng về cường độ của tất cả các điểm ảnh tương ứng trên hai khung hình:

Có thể làm giảm tác động này bằng cách sử dụng bộ lọc trơn trước khi so sánh, mỗiđiểm ảnh được thay thế bằng giá trị trung bình của các điểm lân cận

2.2.1.2 Trừ ảnh phân khối

Trừ ảnh phân khối là kỹ thuật chia mỗi khung hình thành b khối (block), các khối trên khung hình f 1 được so sánh với các khối tương ứng trên khung hình f 2 Độchênh lệch giữa hai khung hình được tính như sau:

* DP(f 1 ,f 2 ,k) là độ chênh lệ giữa 2 khối thứ k của 2 khung hình f 1 ,f 2.

Chuyển cảnh xảy ra khi thỏa mãn