THỰC THI CÁC THUẬT TOÁN XỬ LÝ ẢNH CÓ SẴN DÙNG THƯ VIỆN MÃ NGUỒN MỞ OPENCV

MỤC LỤC MỞ ĐẦU 3 1. Lý do chọn đề tài. 3 2. Mục tiêu và nhiệm vụ nghiên cứu. 4 3. Đối tượng và phạm vi nghiên cứu. 4 4. Phương pháp nghiên cứu. 5 5. Kết quả dự kiến. 5 6. Ý nghĩa khoa học và thực tiễn của luận văn. 6 7. Bố cục của bài báo cáo. 6 8. Danh mục hình vẽ. 6 PHẦN 1. CÁC THUẬT TOÁN XÁC ĐỊNH VẬN TỐC CỦA XE CỘ DÙNG XỬ LÝ ẢNH 8 1.1. Tìm hiểu chung về xử lý ảnh. 8 1.2. Tiền xử lý Video 9 1.3. Các thuật toán xác định vận tốc xe cộ dùng xử lý ảnh 11 1.3.1. Bài toán xác định vận tốc đối tượng chuyển động 11 1.3.1.1. Xác định vận tốc dựa vào phương pháp luồng quang học (optical flow). 11 1.3.1.2. Xác định vận tốc dựa trên phương pháp trừ nền và phân mảnh vùng ảnh. 13 1.3.2. Sử dụng thuật toán Lucas – Kanade để tính vận tốc đối tượng chuyển động. 13 1.3.3. Phương pháp hiệu chỉnh camera để xác định vận tốc 17 1.3.3.1. Mô tả chương trình. 17 1.3.3.2 Xây dựng thuật toán phát hiện và dò vết dối tượng chuyển động. 17 1.3.3.3. Xây dựng thuật toán xác định vận tốc đối tượng chuyển động. 18 1.3.4. Phương pháp camera stereo cho xác định vận tốc đối tượng chuyển động. 21 1.3.4.1. Mô tả phương pháp. 21 1.3.4.2. Tổng quan về Stereo 21 1.3.4.3. Khoảng cách trên trục Y 22 1.3.4.4. Khoảng cách trên trục X 22 1.3.4.5. Tính toán vận tốc 22 KẾT LUẬN PHẦN 1 23 PHẦN 2. THỰC THI CÁC THUẬT TOÁN XỬ LÝ ẢNH CÓ SẴN DÙNG THƯ VIỆN MÃ NGUỒN MỞ OPENCV. 24 2.1. Tìm hiểu chung về thư viện mã nguồn mở OpenCV. 24 2.1.1. OpenCV là gì? 24 2.1.2. Vì sao lựa chọn OpenCV? 25 2.1.3. Cấu trúc và nội dung OpenCV như thế nào? 26 2.2. Cài đặt OpenCV 27 2.2.1. Cài đặt cơ bản 27 2.2.2. Tùy chỉnh khi cài đặt Windows 27 2.2.3. Sau khi cài đặt 28 2.3. Thực thi các thuật toán xử lý ảnh có sẵn dùng thư viện mã nguồn mở OpenCV 28 2.3.1. Đọc và ghi ảnh 28 2.3.2. Live Video nhập vào 29 2.3.3. Chuyển đổi Color 31 2.3.4. OpenCV Iplimage 33 2.3.5. Truy cập giá trị Pixel 33 2.4. Face Detection 35 2.4.1. Background and Preliminaries 35 2.4.2. Thực hiện nhận diện khuôn mặt, từng bước 36 2.4.3. Nhận dạng khuôn mặt 38 2.4.3.1. Introduction PCA 38 2.4.3.2. Mathematics of PCA 39 2.4.4. Giải thuật phân nhóm khuôn mặt 42 KẾT LUẬN PHẦN 2 43 PHẦN III. ĐÁNH GIÁ THỰC NGHIỆM 44 3.1. Công thức đánh giá thực nghiệm 44 3.2. Cơ sở dữ liệu thực nghiệm 46 3.2.1. YouTube action dataset 46 3.2.2. UCF Sports Action Dataset 48 3.2.3. Highway Traffic Clustering Database 48 3.2.3. Face dataset 49 3.2.4. Walk dataset 49 TÀI LIỆU THAM KHẢO 53 MỞ ĐẦU 1. Lý do chọn đề tài. Với sự phát triển nhanh chóng của các loại máy móc hiện đại như máy ảnh số, máy quay số, máy vi tính, điện thoại di động … thì lượng thông tin con người thu được dưới dạng hình ảnh là khá lớn. Để lượng thông tin này trở nên có ích hơn con người cần có các thao tác để tiến hành xử lý nó và từ đó tạo điều kiện cho sự phát triển không ngừng của các kỹ thuật xử lý hình ảnh. Xử lý ảnh là một trong những công nghệ được ứng dụng rộng rãi hiện nay trong nhiều lĩnh vực của đời sống xã hội. Không chỉ dừng lại ở việc xử lý những vết nhèo, tái chế và phục hồi các ảnh cũ, ngày nay công nghệ xử lý ảnh đã mang lại những tiến bộ vượt bậc như nhận dạng vân tay, nhận dạng khuôn mặt, nhận dạng đối tượng …v.v khi nó kết hợp với lĩnh vực trí tuệ nhân tạo. Thị giác máy là một lĩnh vực đã và đang rất phát triển. Khái niệm xử lý ảnh và thị giác máy – Computer vision có liên quan tới nhiều ngành học và hướng nghiên cứu khác nhau. Từ những năm 1970 khi mà năng lực tính toán của máy tính ngày càng trở nên mạnh mẽ hơn, các máy tính lúc này có thể xử lý được những tập dữ liệu lớn như các hình ảnh, các đoạn phim thì khái niệm và kỹ thuật về thị giác máy ngày càng được nhắc đến và nghiên cứu nhiều hơn cho tới ngày nay. Thị giác máy bao gồm lý thuyết và các kỹ thuật liên quan nhằm mục đích tạo ra một hệ thống nhân tạo có thể tiếp nhận thông tin từ các hình ảnh thu được hoặc các tập dữ liệu đa chiều. Việc kết hợp giữa thị giác máy với các kỹ thuật khác như công nghệ thông tin, truyền thông, điện tử, điều khiển tự động, cơ khí… cho chúng ta rất nhiều ứng dụng trong đời sống hàng ngày cũng như trong khoa học, an ninh, quân sự… Ngày nay, ứng dụng của thị giác máy đã trở nên rất rộng lớn và đa dạng, len lỏi vào mọi lĩnh vực từ quân sự, khoa học, vũ trụ, cho đến y học, sản xuất, và tự động hóa tòa nhà… Mà trong lĩnh vực giao thông việc ứng dụng xử lý ảnh cùng các phương pháp xác định vận tốc xe cộ là vô cùng cần thiết tạo tiền đề cho việc xử lý các vi phạm giao thông giúp cho việc quản lý giao thông trong tương lai được tốt hơn. Xuất phát từ nhu cầu thực tế, em xin mạnh dạn chọn đề tài: “Nghiên cứu so sánh các phương pháp xác định vận tốc của xe cộ dùng xử lý ảnh” (Comparative study of vehicle speed estimation methods using image processing ). 2. Mục tiêu và nhiệm vụ nghiên cứu. Mục đích của đề tài nhằm nghiên cứu các thuật toán phát hiện và theo vết, từ đó tính toán vận tốc của đối tượng chuyển động từ dữ liệu video, làm cơ sở để xây dựng hệ thống xác định vận tốc của đối tượng tham gia giao thông. + Xác định đối tượng giao thông đang chuyển động. + Dò vết và ước lượng vận tốc sử dụng phương pháp optical flow, phương pháp trừ nền và phân mảnh vùng ảnh. + Sử dụng thuật toán Lucas – Kanade để tính vận tốc đối tượng chuyển động. + Tạo tiền đề cho việc xác định vận tốc của các đối tượng vi phạm, làm bằng chứng cho việc xử lý vi phạm, góp phần nâng cao ý thức chấp hành tham gia giao thông của người dân. + Thực thi các thuật tóan xử lý ảnh có sẵn dùng sử dụng OpenCV. + So sánh về độ phức tạp, độ chính xác và thời gian thực hiện. Bên cạnh đó đề tài còn mong muốn giúp cho mọi người có một cái nhìn toàn diện hơn về vai trò và khả năng ứng dụng của công nghệ xử lý ảnh vào trong thực tế của đời sống xã hội. 3. Đối tượng và phạm vi nghiên cứu. Đối tượng nghiên cứu: Trong báo cáo này, dữ liệu được xử lý là các đoạn video có sẵn được quay từ một camera tĩnh ghi lại với chuẩn AVI (Audio Video Interleave). Phạm vi nghiên cứu: Phạm vi nghiên cứu của đề tài liên quan đến lĩnh vực xử lý ảnh số và thực thi các thuật toán xử lý ảnh thông qua việc sử dụng OpenCV. 4. Phương pháp nghiên cứu. • Phương pháp nghiên cứu lý thuyết + Tìm hiểu phương pháp trừ nền (background subtraction) để phát hiện chuyển động + Tìm hiểu phương pháp phân mảnh vùng(region based segmentation) để dò vết đối tượng. + Tìm hiểu phương pháp xác định vận tốc của đối tượng chuyển động sử dụng camera calibration. + Tìm hiểu cách thực thi các thuật toán xử lý ảnh dùng OpenCV. • Phương pháp nghiên cứu thực nghiệm + Tiến hành phân tích và cài đặt: thuật toán trừ nền để phát hiện chuyển động, thuật toán phát hiện và theo vết đối tượng chuyển động từ dữ liệu video, từ đó xác định vận tốc của đối tượng chuyển động. + So sánh và đánh giá kết quả đạt được. 5. Kết quả dự kiến. Nắm vững và cài đặt thành công các thuật toán: phát hiện chuyển động bằng phương pháp trừ nền, truy vết đối tượng bằng phương pháp phân mảnh vùng (region based segmentation), từ đó xây dựng hành công chương trình xác định vận tốc đối tượng chuyển động. Thực thi được các thuật toán xử lý ảnh có sẵn dùng thư viện mã nguồn mở OpenCV. Tạo được bảng so sánh kết quả, độ chính xác của các phương pháp phát hiện và theo vết đối tượng chuyển động dựa trên tập các video có sẵn. So sánh về độ phức tạp, độ chính xác và thời gian thực hiện của các thuật toán xác định vận tốc đối tượng chuyển động. 6. Ý nghĩa khoa học và thực tiễn của luận văn. • Về mặt lý thuyết + Ứng dụng thành công công nghệ xử lý ảnh vào trong thực tế. + Tạo tiền đề cho những nghiên cứu tiếp theo trong tương lai. • Về mặt thực tiễn Giúp giảm công sức, tăng hiệu quả trong việc xác định đối tượng vi phạm tốc độ khi tham gia giao thông (qua hầm,cầu…). 7. Bố cục của bài báo cáo. Phần 1. Các thuật toán xác định vận tốc của xe cộ dùng xử lý ảnh Phần 2. Thực thi các thuật toán xử lý ảnh có sẵn dùng thư viện mã nguồn mở OpenCV Phần 3. So sánh về độ phức tạp, độ chính xác và thời gian thực hiện 8. Danh mục hình vẽ. Hình Nội dung Trang Hình 1 Quá trình xử lý ảnh Hình 2 Các bước cơ bản trong một hệ thống xử lý ảnh. Hình 3 Kết quả sau khi tiền xử lí video Hình 4 Frames mức 0 Hình 5 Frames mức 1 Hình 6 Frames mức 2 Hình 7 Optical flow mức 0 Hình 8 Sơ đồ quy chiếu từ video sang thực tế Hình 9 Hướng chuyển động nhìn từ trên xuống Hình 10 Hệ thống chuẩn của hai camera với độ dài tiêu cự f và khoảng cách Hình 11 Quá trình phát triển của OpenCV Hình 12 Cấu trúc của OpenCV PHẦN 1. CÁC THUẬT TOÁN XÁC ĐỊNH VẬN TỐC CỦA XE CỘ DÙNG XỬ LÝ ẢNH 1.1. Tìm hiểu chung về xử lý ảnh. Khoảng hơn mười năm trở lại đây, phần cứng máy tính và các thiết bị liên quan đã có sự tiến bộ vượt bậc về tốc độ tính toán, dung lượng chứa, khả năng xử lý v.v.. và giá cả đã giảm đến mức máy tính và các thiết bị liên quan đến xử lý ảnh đã không còn là thiết bị chuyên dụng nữa. Khái niệm ảnh số đã trở nên thông dụng với hầu hết mọi người trong xã hội và việc thu nhận ảnh số bằng các thiết bị cá nhân hay chuyên dụng cùng với việc đưa vào máy tính xử lý đã trở nên đơn giản. Con người thu nhận thông tin qua các giác quan, trong đó thị giác đóng vai trò quan trọng nhất. Những năm trở lại đây với sự phát triển của phần cứng máy tính, xử lý ảnh và đồ hoạ đó phát triển một cách mạnh mẽ và có nhiều ứng dụng trong cuộc sống. Xử lý ảnh và đồ hoạ đóng một vai trò quan trọng trong tương tác người máy. Quá trình xử lý ảnh được xem như là quá trình thao tác ảnh đầu vào nhằm cho ra kết quả mong muốn. Kết quả đầu ra của một quá trình xử lý ảnh có thể là một ảnh “tốt hơn” hoặc một kết luận. Hình 1. Quá trình xử lý ảnh Ảnh có thể xem là tập hợp các điểm ảnh và mỗi điểm ảnh được xem như là đặc trưng cường độ sáng hay một dấu hiệu nào đó tại một vị trí nào đó của đối tượng trong không gian và nó có thể xem như một hàm n biến P(c1, c2,..., cn). Do đó, ảnh trong xử lý ảnh có thể xem như ảnh n chiều. Hình 2. Các bước cơ bản trong một hệ thống xử lý ảnh. Hình 2 đã biểu diễn sơ đồ tổng quát của một hệ thống xử lý ảnh:  Khối thu nhận ảnh: có nhiệm vụ tiếp nhận ảnh đầu vào.  Khối tiền xử lý: có nhiệm vụ xử lý nâng cao chất lượng ảnh như giảm nhiễu, phân vùng, tìm biên v.v…  Khối trích chọn đặc điểm: có nhiệm vụ trích chọn các đặc trưng quan trọng của các bức ảnh đã được tiền xử lý để sử dụng trong hệ quyết định. 1.2. Tiền xử lý Video Với quá trình tiền xử lý video, sử dụng thuật toán : thuật toán tích chập (convolution) nhằm lọc bớt các tín hiệu không gần với các đường viền (edge), tức là làm nổi rõ các đường viền của vật thể, giúp xác định vật thể tốt hơn. Tích chập (convolution) là một phép toán quan trọng biểu diễn cho các hệ thống rời rạc tuyến tính, trong xử lý ảnh, nó cho phép làm được nhiều thứ: như tính toán các dẫn xuất, phát hiện cạnh, làm mờ… Tất cả những việc trên được thực hiện với một “hạt nhân chập” (convolution kernel). Hạt nhân chập là một ma trận nhỏ, trong đó có một giá trị được gọi là “điểm neo” (anchor point). Điểm neo được dùng để xác định vị trí tính toán của hạt nhân chập với ảnh. Để thực hiện tích chập thì hạt nhân chập sẽ trượt qua các điểm của ảnh và thực hiện phép tích chập. Theo công thức:

MỤC LỤC MỞĐẦU .3 Lý chọn đề tài Mục tiêu nhiệm vụ nghiên cứu Đối tượng phạm vi nghiên cứu 4 Phương pháp nghiên cứu .5 Ý nghĩa khoa học thực tiễn luận văn Bố cục báo cáo Danh mục hình vẽ PHẦN CÁC THUẬT TOÁN XÁC ĐỊNH VẬN TỐC CỦA XE CỘDÙNG XỬLÝ ẢNH 1.1 Tìm hiểu chung xử lý ảnh .7 1.2 Tiền xử lý Video 1.3 Các thuật toán xác định vận tốc xe cộ dùng xử lý ảnh 10 1.3.1 Bài toán xác định vận tốc đối tượng chuyển động .10 1.3.1.1 Xác định vận tốc dựa vào phương pháp luồng quang học (optical flow) 10 1.3.1.2 Xác định vận tốc dựa phương pháp trừ phân mảnh vùng ảnh 11 1.3.2 Sử dụng thuật toán Lucas – Kanade để tính vận tốc đối tượng chuyển động 12 1.3.3 Phương pháp hiệu chỉnh camera để xác định vận tốc 16 1.3.3.1 Mô tả chương trình 16 1.3.3.2 Xây dựng thuật toán phát dò vết dối tượng chuyển động .16 1.3.3.3 Xây dựng thuật toán xác định vận tốc đối tượng chuyển động 17 1.3.4 Phương pháp camera stereo cho xác định vận tốc đối tượng chuyển động 19 1.3.4.1 Mô tả phương pháp .19 1.3.4.2 Tổng quan Stereo 20 1.3.4.3 Khoảng cách trục Y 20 1.3.4.4 Khoảng cách trục X 20 1.3.4.5 Tính toán vận tốc .21 KẾT LUẬN PHẦN 22 PHẦN THỰC THI CÁC THUẬT TOÁN XỬLÝ ẢNH CÓ SẴN DÙNG THƯVIỆN Mà NGUỒN MỞOPENCV 23 2.1 Tìm hiểu chung thư viện mã nguồn mở OpenCV 23 2.1.1 OpenCV gì? .23 2.1.2 Vì lựa chọn OpenCV? 24 2.1.3 Cấu trúc nội dung OpenCV nào? 25 2.2 Cài đặt OpenCV 26 2.2.1 Cài đặt 26 2.2.2 Tùy chỉnh cài đặt Windows 26 2.2.3 Sau cài đặt .27 2.3 Thực thi thuật toán xử lý ảnh có sẵn dùng thư viện mã nguồn mở OpenCV 27 2.3.1 Đọc ghi ảnh .27 2.4.4 Giải thuật phân nhóm khuôn mặt 40 KẾT LUẬN PHẦN 41 PHẦN III ĐÁNH GIÁ THỰC NGHIỆM .42 3.1 Công thức đánh giá thực nghiệm .42 3.2.2 UCF Sports Action Dataset 45 3.2.3 Highway Traffic Clustering Database 46 3.2.3 Face dataset 46 3.2.4 Walk dataset 47 Kết thực nghiệm 47 Đánh giá thực nghiệm chức theo dõi vật thể chọn người dùng: 47 Đánh giá thực nghiệm chức theo dõi khuôn mặt: 49 Đánh giá thực nghiệm chức theo dõi người bộ: 49 TÀI LIỆU THAM KHẢO 50 MỞ ĐẦU Lý chọn đề tài Với phát triển nhanh chóng loại máy móc đại máy ảnh số, máy quay số, máy vi tính, điện thoại di động … lượng thông tin người thu dạng hình ảnh lớn Để lượng thông tin trở nên có ích người cần có thao tác để tiến hành xử lý từ tạo điều kiện cho phát triển không ngừng kỹ thuật xử lý hình ảnh Xử lý ảnh công nghệ ứng dụng rộng rãi nhiều lĩnh vực đời sống xã hội Không dừng lại việc xử lý vết nhèo, tái chế phục hồi ảnh cũ, ngày công nghệ xử lý ảnh mang lại tiến vượt bậc nhận dạng vân tay, nhận dạng khuôn mặt, nhận dạng đối tượng …v.v kết hợp với lĩnh vực trí tuệ nhân tạo Thị giác máy lĩnh vực phát triển Khái niệm xử lý ảnh thị giác máy – Computer vision có liên quan tới nhiều ngành học hướng nghiên cứu khác Từ năm 1970 mà lực tính toán máy tính ngày trở nên mạnh mẽ hơn, máy tính lúc xử lý tập liệu lớn hình ảnh, đoạn phim khái niệm kỹ thuật thị giác máy ngày nhắc đến nghiên cứu nhiều ngày Thị giác máy bao gồm lý thuyết kỹ thuật liên quan nhằm mục đích tạo hệ thống nhân tạo tiếp nhận thông tin từ hình ảnh thu tập liệu đa chiều Việc kết hợp thị giác máy với kỹ thuật khác công nghệ thông tin, truyền thông, điện tử, điều khiển tự động, khí… cho nhiều ứng dụng đời sống hàng ngày khoa học, an ninh, quân sự… Ngày nay, ứng dụng thị giác máy trở nên rộng lớn đa dạng, len lỏi vào lĩnh vực từ quân sự, khoa học, vũ trụ, y học, sản xuất, tự động hóa tòa nhà… Mà lĩnh vực giao thông việc ứng dụng xử lý ảnh phương pháp xác định vận tốc xe cộ vô cần thiết tạo tiền đề cho việc xử lý vi phạm giao thông giúp cho việc quản lý giao thông tương lai tốt Xuất phát từ nhu cầu thực tế, em xin mạnh dạn chọn đề tài: “Nghiên cứu so sánh phương pháp xác định vận tốc xe cộ dùng xử lý ảnh” (Comparative study of vehicle speed estimation methods using image processing ) Mục tiêu nhiệm vụ nghiên cứu Mục đích đề tài nhằm nghiên cứu thuật toán phát theo vết, từ tính toán vận tốc đối tượng chuyển động từ liệu video, làm sở để xây dựng hệ thống xác định vận tốc đối tượng tham gia giao thông + Xác định đối tượng giao thông chuyển động + Dò vết ước lượng vận tốc sử dụng phương pháp optical flow, phương pháp trừ phân mảnh vùng ảnh + Sử dụng thuật toán Lucas – Kanade để tính vận tốc đối tượng chuyển động + Tạo tiền đề cho việc xác định vận tốc đối tượng vi phạm, làm chứng cho việc xử lý vi phạm, góp phần nâng cao ý thức chấp hành tham gia giao thông người dân + Thực thi thuật tóan xử lý ảnh có sẵn dùng sử dụng OpenCV + So sánh độ phức tạp, độ xác thời gian thực Bên cạnh đề tài mong muốn giúp cho người có nhìn toàn diện vai trò khả ứng dụng công nghệ xử lý ảnh vào thực tế đời sống xã hội Đối tượng phạm vi nghiên cứu - Đối tượng nghiên cứu: Trong báo cáo này, liệu xử lý đoạn video có sẵn quay từ camera tĩnh ghi lại với chuẩn AVI (Audio Video Interleave) - Phạm vi nghiên cứu: Phạm vi nghiên cứu đề tài liên quan đến lĩnh vực xử lý ảnh số thực thi thuật toán xử lý ảnh thông qua việc sử dụng OpenCV Phương pháp nghiên cứu • Phương pháp nghiên cứu lý thuyết + Tìm hiểu phương pháp trừ (background subtraction) để phát chuyển động + Tìm hiểu phương pháp phân mảnh vùng(region based segmentation) để dò vết đối tượng + Tìm hiểu phương pháp xác định vận tốc đối tượng chuyển động sử dụng camera calibration + Tìm hiểu cách thực thi thuật toán xử lý ảnh dùng OpenCV • Phương pháp nghiên cứu thực nghiệm + Tiến hành phân tích cài đặt: thuật toán trừ để phát chuyển động, thuật toán phát theo vết đối tượng chuyển động từ liệu video, từ xác định vận tốc đối tượng chuyển động + So sánh đánh giá kết đạt Kết dự kiến Nắm vững cài đặt thành công thuật toán: phát chuyển động phương pháp trừ nền, truy vết đối tượng phương pháp phân mảnh vùng (region based segmentation), từ xây dựng hành công chương trình xác định vận tốc đối tượng chuyển động Thực thi thuật toán xử lý ảnh có sẵn dùng thư viện mã nguồn mở OpenCV Tạo bảng so sánh kết quả, độ xác phương pháp phát theo vết đối tượng chuyển động dựa tập video có sẵn So sánh độ phức tạp, độ xác thời gian thực thuật toán xác định vận tốc đối tượng chuyển động Ý nghĩa khoa học thực tiễn luận văn • Về mặt lý thuyết + Ứng dụng thành công công nghệ xử lý ảnh vào thực tế + Tạo tiền đề cho nghiên cứu tương lai • Về mặt thực tiễn Giúp giảm công sức, tăng hiệu việc xác định đối tượng vi phạm tốc độ tham gia giao thông (qua hầm,cầu…) Bố cục báo cáo Phần Các thuật toán xác định vận tốc xe cộ dùng xử lý ảnh Phần Thực thi thuật toán xử lý ảnh có sẵn dùng thư viện mã nguồn mở OpenCV Phần So sánh độ phức tạp, độ xác thời gian thực Danh mục hình vẽ Hình Hình Hình Hình Hình Hình Hình Hình Hình Hình Hình 10 Hình 11 Hình 12 Nội dung Trang Quá trình xử lý ảnh Các bước hệ thống xử lý ảnh Kết sau tiền xử lí video Frames mức Frames mức Frames mức Optical flow mức Sơ đồ quy chiếu từ video sang thực tế Hướng chuyển động nhìn từ xuống Hệ thống chuẩn hai camera với độ dài tiêu cự f khoảng cách Quá trình phát triển OpenCV Cấu trúc OpenCV PHẦN CÁC THUẬT TOÁN XÁC ĐỊNH VẬN TỐC CỦA XE CỘ DÙNG XỬ LÝ ẢNH 1.1 Tìm hiểu chung xử lý ảnh Khoảng mười năm trở lại đây, phần cứng máy tính thiết bị liên quan có tiến vượt bậc tốc độ tính toán, dung lượng chứa, khả xử lý v.v giá giảm đến mức máy tính thiết bị liên quan đến xử lý ảnh không thiết bị chuyên dụng Khái niệm ảnh số trở nên thông dụng với hầu hết người xã hội việc thu nhận ảnh số thiết bị cá nhân hay chuyên dụng với việc đưa vào máy tính xử lý trở nên đơn giản Con người thu nhận thông tin qua giác quan, thị giác đóng vai trò quan trọng Những năm trở lại với phát triển phần cứng máy tính, xử lý ảnh đồ hoạ phát triển cách mạnh mẽ có nhiều ứng dụng sống Xử lý ảnh đồ hoạ đóng vai trò quan trọng tương tác người máy Quá trình xử lý ảnh xem trình thao tác ảnh đầu vào nhằm cho kết mong muốn Kết đầu trình xử lý ảnh ảnh “tốt hơn” kết luận Ảnh tốt Ảnh XỬ LÝ ẢNH Kết luận Hình Quá trình xử lý ảnh Ảnh xem tập hợp điểm ảnh điểm ảnh xem đặc trưng cường độ sáng hay dấu hiệu vị trí đối tượng không gian xem hàm n biến P(c1, c2, , cn) Do đó, ảnh xử lý ảnh xem ảnh n chiều Hệ định Trích chọn đặc điểm Đổi sánh rút kết luận Hậu xử lý Tiền xử lý Lưu trữ Thu nhận ảnh (sanner,camera sensor…) Hình Các bước hệ thống xử lý ảnh Hình biểu diễn sơ đồ tổng quát hệ thống xử lý ảnh: + Khối thu nhận ảnh: có nhiệm vụ tiếp nhận ảnh đầu vào + Khối tiền xử lý: có nhiệm vụ xử lý nâng cao chất lượng ảnh giảm nhiễu, phân vùng, tìm biên v.v… + Khối trích chọn đặc điểm: có nhiệm vụ trích chọn đặc trưng quan trọng ảnh tiền xử lý để sử dụng hệ định 1.2 Tiền xử lý Video Với trình tiền xử lý video, sử dụng thuật toán : thuật toán tích chập (convolution) nhằm lọc bớt tín hiệu không gần với đường viền (edge), tức làm rõ đường viền vật thể, giúp xác định vật thể tốt Tích chập (convolution) phép toán quan trọng biểu diễn cho hệ thống rời rạc tuyến tính, xử lý ảnh, cho phép làm nhiều thứ: tính toán dẫn xuất, phát cạnh, làm mờ… Tất việc thực với “hạt nhân chập” (convolution kernel) Hạt nhân chập ma trận nhỏ, có giá trị gọi “điểm neo” (anchor point) Điểm neo dùng để xác định vị trí tính toán hạt nhân chập với ảnh Để thực tích chập hạt nhân chập trượt qua điểm ảnh thực phép tích chập Theo công thức: ��−1 ��−1 �(�, �) = ∑ �=0 ∑ �(� + � − ��, � + � − ��)�(�, �) �=0 (2-1) Trong đó, cường độ điểm ảnh I(x,y), hạt nhân chập G(i,j) (với 0