Nghiên cứu phát triển thuật toán đo tốc độ của xe ô tô

Trong khi đó ở các nước phương tây, để giải quyết những vấn đề đó, một hệ thống theo dõi sử dụng camera không cần đến sự hiện diện của con người, được thiết lập ở ngã tư kiểm soát dòng x

-

NGUYỄN THỊ THẢO

   

 

NGHIÊN CỨU PHÁT TRIỂN THUẬT TOÁN

ĐO TỐC ĐỘ XE Ô TÔ 

   

-

NGUYỄN THỊ THẢO

  

NGHIÊN CỨU PHÁT TRIỂN THUẬT TOÁN

ĐO TỐC ĐỘ XE Ô TÔ 

   Chuyên ngành : KỸ THUẬT ĐIỆN TỬ 

 

 LUẬN VĂN THẠC SĨ  KỸ THUẬT  CHUYÊN NGÀNH: KỸ THUẬT ĐIỆN TỬ 

       NGƯỜI HƯỚNG DẪN KHOA HỌC :       PGS.TS. NGUYỄN TIẾN DŨNG 

    

LỜI CẢM ƠN II DANH MỤC CÁC CHỮ VIẾT TẮT III MỤC LỤC HÌNH ẢNH IV

MỞ ĐẦU 1

CHƯƠNG 1 TỔNG QUAN VỀ CÁC PHƯƠNG PHÁP ĐO TỐC ĐỘ XE Ô TÔ 4

1.1. Tổng quan về các phương pháp giám sát phương tiện giao thông 4

1.1.1. Thực trạng của hệ thống giao thông ở Việt Nam 4

1.1.2. Giải pháp hệ thống ITS ở phương Tây 5

1.1.3. Tổng quan về sự phát triển của hệ ITS 6

1.2. Hướng tiếp cận của luận văn 9

1.2.1. Phương pháp phát hiện chuyển động 9

1.2.2. Phương pháp đo tốc độ phương tiện 11

CHƯƠNG 2 ỨNG DỤNG KĨ THUẬT XỬ LÝ ẢNH TRONG GIẢI QUYẾT BÀI TOÁN GIAO THÔNG 14

2.1. Sơ lược về lý thuyết xử lý ảnh 14

2.1.1. Đặt vấn đề 14

2.1.2. Khái niệm xử lý ảnh 14

2.2. Các giai đoạn xử lý ảnh 15

2.2.1. Thu nhận ảnh 15

2.2.2. Tiền xử lý 16

2.2.3. Phân đoạn ảnh 16

2.2.4. Biểu diễn ảnh 17

2.2.5. Nhận dạng và nội suy ảnh 17

2.2.6. Cơ sở tri thức 18

2.3. Một số ứng dụng phổ biến của xử lý ảnh trong giao thông 18

2.3.1. Nhận dạng biển số xe 18

2.3.2. Phát hiện, cảnh báo biển báo và đèn tín hiệu 19

2.3.3. Phát hiện, cảnh báo vật cản và dự báo tắc đường 20

2.4.2. Mô hình hỗn hợp Gaussian (GMM) trong xử lý ảnh 24

2.4.3. Nhận diện Blob 27

2.4.4. Ghi nhãn thành phần được kết nối 30

CHƯƠNG 3 PHÁT HIỆN, PHÂN LOẠI VÀ ƯỚC LƯỢNG CHUYỂN ĐỘNG ĐỐI TƯỢNG Ô TÔ 32

3.1. Tìm hiểu về bộ công cụ xử lý ảnh và thị giác máy tính trong MATLAB 32

3.1.1. Bộ công cụ xử lý ảnh 32

3.1.2. Computer Vision Toolbox 36

3.2. Quy trình nghiên cứu về đếm và ước lượng vận tốc xe 44

3.2.1. Thu thập dữ liệu 45

3.2.2. Xử lý dữ liệu 47

3.3.  Phân  tích,  đánh  giá  kết  quả  thuật  toán  đếm  đối  tượng  và  ước  lượng  tốc  độ  phương tiện 56

3.3.1. Quá trình mô phỏng 56

3.3.2. Đánh giá kết quả 57

KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN ĐỀ TÀI 62

TÀI LIỆU THAM KHẢO 63

LỜI CAM ĐOAN  Tên tôi là: Nguyễn Thị Thảo

LỜI CẢM ƠN 

Trước tiên, tôi xin bày tỏ lòng biết ơn tới PGS.TS. Nguyễn Tiến Dũng đã tận tình hướng dẫn, truyền đạt những kiến thức và kinh nghiệm quý báu giúp tôi hoàn thành Bản luận văn thạc sĩ này. 

Tôi  xin  gửi  lời  cảm  ơn  chân  thành  tới  tập  thể  các  thầy,  cô  giáo  trong  Viện Điện tử - Viễn thông, Trường Đại học Bách khoa Hà Nội đã tạo ra một môi trường tốt để tôi học tập và nghiên cứu. Tôi cũng xin cảm ơn các thầy cô trong Viện Đào tạo sau đại học đã quan tâm đến khóa học này, tạo điều kiện thuận lợi cho các học viên trong suốt quá trình học tập và thực hiện đề tài. 

Cuối cùng, tôi xin bày tỏ lòng biết ơn tới toàn thể gia đình, cảm ơn bạn bè và đồng nghiệp đã luôn cổ vũ, động viên tôi trong suốt thời gian qua.  

Tuy  đã  cố  gắng  hết  sức,  nhưng  do  thời  gian  và  kiến  thức  còn  hạn  chế  nên luận văn không tránh khỏi sai sót, tôi rất mong sự bổ sung, góp ý của các thầy cô. 

                       Nguyễn Thị Thảo 

 

DANH MỤC CÁC CHỮ VIẾT TẮT

CAMShift  : Continuously Adaptive Mean Shift DoG  : Difference of Gaussian 

DoH  : Determinant of the Hessian 

EM  : Expectation Maximization GMM  : Gaussian Mixture Model HOG  : Histogram of Oriented Gradient ITS   : Intelligent Traffic System KLT   : Kanade-Lucas-Tomasi LoG   : Laplacian of the Gaussian 

MỤC LỤC HÌNH ẢNH

Trang 

Hình 1.1. Hình ảnh tắc đường tại Hà Nội 4

Hình 1.2. Trung tâm quản lý giao thông (TMS) ở Athens 5

Hình 1.3. Hệ thống giám sát giao thông ở Hồng Kông 5

Hình 1.4. Hệ thống giám sát giao thông sử dụng sóng radar 7

Hình 1.5. Hệ thống giám sát giao thông đa làn bằng xử lý ảnh 8

Hình 1.6. Ảnh đã được thực nghiệm ở trên 1 tuyến đường của Hà Nội (hầm Kim Liên) 12

Hình 2.1. Các giai đoạn xử lý ảnh 14

Hình 2.2. Quá trình thu nhận và số hóa ảnh thực .15

Hình 2.3. Ví dụ về quá trình thu ảnh giao thông 16

Hình 2.4. Quá trình phân đoạn frame ảnh từ video 17

Hình 2.5. Quá trình nhận dạng kí tự trên biển số xe 18

Hình 2.6. Ứng dụng xử lý ảnh trong nhận dạng biển số xe 19

Hình 2.7. Ứng dụng xử lý ảnh phát hiện đèn đỏ và biển báo giao thông 19

Hình 2.8. Ứng dụng xử lý ảnh phát hiện vật cản 20

Hình 2.9. Ứng dụng xử lý ảnh phát hiện và dự báo tắc đường 20

Hình 2.10. Ví dụ EM: Các thành phần hỗn hợp và dữ liệu 22

Hình 2.11. Hàm likehood của 2 giá trị trung bình của thành phần hỗn hợp θ1 và θ2 .22

Hình 2.12. Quá trình nhận dạng blob 27

Hình 3.1. Ví dụ hiển thị video trong Matlab 33

Hình 3.2. Ví dụ nâng cao chất lượng ảnh mầu đa dải 34

Hình 3.3. Ví dụ phân tích ảnh phát hiện biên 34

Hình 3.4. Ví dụ tái cấu trúc ảnh dựa trên dữ liệu hình chiếu 35

Hình 3.7. Một vài ví dụ của ứng dụng thị giác máy 37

Hình 3.8. Đối chiếu các điểm tương đồng giữa 2 frame ảnh 38

Hình 3.9. Ghi nhận dựa trên  thuộc tính  được sử dụng để ổn định video .39

Hình 3.10. Ví dụ về phát hiện đối tượng chuyển động 40

Hình 3.11. Đối tượng được nhận dạng và theo dõi trong 2 frame ảnh 41

Hình 3.12. Ước lượng chuyển động của các xe được phát hiện 42

Hình 3.13. Xóa nhòe video trong Matlab 42

Hình 3.14. Quá trình hiển thị video khi xử lý 43

Hình 3.15. Quá trình thêm đồ họa vào video khi xử lý 44

Hình 3.16. Tổng quan về hệ giám sát giao thông sử dụng phần mềm Matlab 45

Hình 3.17. Phân tích vị trí khi cài đặt camera 45

Hình 3.18. Thiết lập góc hướng của camera 46

Hình 3.19. Lựa chọn không gian làm việc phù hợp cho camera 46

Hình 3.20. Xác định làn xe cần thiết 46

Hình 3.21. Lưu đồ quy trình xử lý video 47

Hình 3.22. Ảnh nền sau khi thực hiện trừ nền với GMM chưa qua lọc nhiễu 51

Hình 3.23. Ảnh nền sau khi xóa nhiễu 51

Hình 3.24. Đối tượng được phát hiện và đánh dấu bằng hình vuông bao quanh 53

Hình 3.25. Sơ đồ khối thuật toán đếm 54

Hình 3.26. Sơ đồ khối thuật toán ước lượng vận tốc xe 55

Hình 3.27. Hình ảnh thu được từ video 56

Hình 3.28. Phát hiện nền 56

Hình 3.29. Đếm đối tượng 57

Hình 3.30. Tính vận tốc chuyển động của xe 57

Hình 3.31: Giao diện thêm nhiễu vào video gốc 58

Hình 3.32. Ước lượng vận tốc xe trước và sau khi bổ sung nhiễu Gauss 58

Hình 3.33. Mô phỏng trên các video đầu vào khác nhau lấy từ camera tĩnh 59

Hình 3.34. Mô phỏng trên các video đầu vào khác nhau lấy từ camera động 60

MỞ ĐẦU

1 Tính cấp thiết của vấn đề nghiên cứu

Ở  Việt  Nam,  vấn  đề  điều  khiển  các  phương  tiện  giao  thông  khi  xảy  ra  tắc nghẽn giao thông  rất khó khăn và thường phải nhờ vào sự điều hành của cảnh sát giao thông. Tuy nhiên, số lượng cảnh sát giao thông vẫn còn rất hạn chế. Hơn thế nữa, do thiếu thốn trang thiết bị kỹ thuật, quá trình điều khiển giao thông không dễ dàng trong giờ cao điểm. Trong khi đó ở các nước phương tây, để giải quyết những vấn đề đó, một hệ thống theo dõi sử dụng camera không cần đến sự hiện diện của con người, được thiết lập ở ngã tư kiểm soát dòng xe và tình trạng giao thông. Giải pháp đó có thể tiết kiệm rất nhiều nguồn lực cũng như thuận tiện cho các trình điều khiển giao thông và cập nhật thông tin giao thông. 

Phần  mềm  theo  dõi  giao  thông  được  xây  dựng  trên  ngôn  ngữ  lập  trình MATLAB.  Chương  trình  thử  nghiệm  xử  lý  video  đầu  vào,  phát  hiện  và  đếm  các phương  tiện  di  chuyển.  Đoạn  video  được  ghi  lại  bởi  các  camera  cố  định,  vì  vậy chúng ta có thể bỏ qua các rung động và chuyển động không mong muốn. Điều đó 

có nghĩa là các camera cho chúng ta video với tiêu chuẩn đủ điều kiện. Nhiệm vụ của đề tài là xử lý video mẫu.  

2 Mục tiêu nghiên cứu của luận văn

Mục tiêu của đề tài là phát triển một hệ thống có thể đếm số lượng xe đi qua một  điểm  xác  định,  và  cũng  phân  loại  từng  loại  xe  thông  qua  kích  thước  xe,  ước 

các  làn đường  mà  phương  tiện  đang  tham  gia.  Hệ  thống  hoạt  động  mà  không  cần bất kỳ đầu vào có sẵn nào và có khả năng tự động hiệu chỉnh camera bằng cách phát hiện  điểm  nhấn  trong  chuỗi  frame  của  video. Hệ thống  nếu  được  phát  triển  tốt  có thể  làm  việc  trong  thời  gian  thực  và  do  đó  nó  có  thể  triển  khai  trong  thực  tế  ứng dụng giám sát giao thông. 

3 Đối tượng và phạm vi nghiên cứu

Vấn đề “Nghiên cứu phát triển thuật toán đo tốc độ xe ô tô” được thực hiện 

chủ yếu trên môi trường ngoài trời. Trong điều kiện ở Việt Nam hiện nay, việc gắn các  camera  giao  thông  của  các  cơ  quan  quản  lý  và  điều  khiển  giao  thông  ở  các đường quốc lộ (đường cao tốc) là phổ biến, tập dữ liệu dùng cho việc thực nghiệm cũng thu được một cách dễ dàng hơn. Dữ liệu video nghiên cứu trong luận văn tập trung vào việc nghiên cứu dữ liệu video thu được từ các cung đường quốc lộ. Luận văn tập trung trình bày và giải quyết cốt lõi của hệ thống phát hiện, ước lượng vận tốc phương tiện giao thông thông qua quá trình xử lý hình ảnh và đưa ra thông tin. Bản chất của quá trình này là: phân tách video thành các khung hình; phát hiện đối tượng chuyển động trong cảnh video; dựa vào các đặc trưng hình học, chuyển động 

để phân loại và kết hợp với những đặc tính không gian, thời gian khác để đếm các loại  đối  tượng  chuyển  động  có  trong  video.  Đối  tượng  nghiên  cứu  của  luận  văn gồm: Bài toán phát hiện, ước lượng vận tốc đối tượng chuyển động; Các công trình 

đã  và  đang  nghiên  cứu  về  vấn  đề  phát  hiện,  ước  lượng  vận  tốc  đối  tượng  chuyển động; Các  thuật  toán,  phương  pháp  đã áp  dụng  trong  vấn  đề  này. Các  đoạn  video quay cảnh giao thông. 

Tổng quát lại, đây là một phạm vi rộng, bao gồm: phát hiện, ước lượng vận tốc  đối  tượng  chuyển  động.  Luận  văn  tập  trung  vào  việc  nghiên  cứu  một  số  thuật toán phát hiện đối tượng chuyển động trong vùng quan tâm. 

Đề  tài  này  là  cơ  sở  của  một  ứng  dụng  giám  sát  video  giao  thông  thời  gian thực. Sau khi hoàn thiện các thuật toán, chúng ta có thể xây dựng một hệ thống để phát hiện xe và theo dõi bằng cách sử dụng một camera gắn tại một vị trí cố định. 

Hệ thống có thể chạy trong thời gian thực trên máy tính.  

Sự chuyển động thời gian thực được theo dõi bởi camera sẽ chuyển đến trạm giám  sát.  Các  dữ  liệu  đầu  vào  sẽ  được  tự  động  xử  lý  và  hiển  thị  thông  tin  của phương tiện. Ngoài ra, hệ thống này cũng có thể giúp người dùng theo dõi dự báo tình trạng giao thông. Qua tương tác với các hệ thống máy tính, các lực lượng cảnh sát kịp thời có thể đưa ra giải pháp giải quyết các vấn đề. 

4 Cấu trúc của luận văn

Phần mở đầu. Giới thiệu về tình trạng giao thông, hệ thống giao thông thông minh, phương pháp phát hiện và theo dõi vận tốc xe. 

Chương  1.  Giới  thiệu  tổng  quan  về  các  phương  pháp  ứng  dụng  trong  hệ thống giám sát giao thông hiện nay và phương pháp sử dụng cảm biến video, phân tích các thuật toán xử lý ảnh phổ biến đang được sử dụng và căn cứ vào điều kiện giao thông tại Việt Nam đưa ra bài toán nghiên cứu.  

Chương 2. Ứng dụng kĩ thuật xử lý ảnh trong giải quyết bài toán giao thông. Chương  này  sẽ  cung  cấp  các  thuật  toán  áp  dụng  để  phát  hiện  đối  tượng  trong  thị giác máy tính, các thuật toán này rất quan trọng, ảnh hưởng đến độ chính xác của chương trình.  

Chương 3. Giới thiệu các nguyên tắc cơ bản xử lý ảnh trong MATLAB, nó rất hữu ích cho người đọc để hiểu hơn về xử lý kỹ thuật số, đọc và xử lý video cung cấp thuật toán áp dụng để phát hiện các  đối tượng trong thị giác máy tính, sau đó tập  trung  vào  thuật  toán  áp  dụng.  Chương  này  mô  tả  việc  thực  hiện  và  mô  phỏng các thuật toán bằng phần mềm MATLAB. Cuối cùng sẽ tính toán ước lượng vận tốc 

ô tô và hiển thị trên video.  

Phần  kết  luận.  Trình  bày  những  đóng  góp  và  hướng  nghiên  cứu  phát  triển tiếp theo của luận văn.  

1

CHƯƠNG 1 TỔNG QUAN VỀ CÁC PHƯƠNG PHÁP ĐO TỐC ĐỘ XE Ô TÔ 1.1 Tổng quan về các phương pháp giám sát phương tiện giao thông

1.1.1 Thực trạng của hệ thống giao thông ở Việt Nam

Ở Việt  Nam,  gắn  liền  với  sự  phát  triển và  tốc  độ  đô thị  hóa  nhanh,  dân  cư thành  phố  không  ngừng  gia  tăng  do  thu  hút  các  nguồn  lực  lao  động  từ  các  vùng miền  khác  nhau  đổ  về  các  khu  công  nghiệp  lao  động  và  sinh  sống.  Kinh  tế  phát triển,  đời  sống  con  người  ngày  càng  nâng  cao,  nhu  cầu  đi  lại  ngày  càng  tăng  kéo theo  số  lượng  phương  tiện  xe  cá  nhân  ở  thành  phố  tăng  nhanh  đột  biến.  Mọi  ngã đường  đều  bị  chật  cứng,  hiện  tượng  ùn  tắc  xảy  ra  liên  tục,  kéo  dài  hàng  giờ,  và những hệ lụy khác như: ô nhiễm môi trường vì khói thải xe hay phải cần đến nhiều lực lượng chuyên trách để điều tiết giao thông. Mật độ người tham gia giao thông quá đông nên những vụ tai nạn giao thông xảy ra thường xuyên, làm thiệt hại lớn về người và của cải. Đồng thời, vấn đề điều khiển các phương tiện giao thông khi xảy 

ra  tắc  nghẽn  giao  thông  gặp  rất  nhiều  khó  khăn  và  thường  phải  nhờ  vào  sự  điều hành của cảnh sát giao thông. Tuy nhiên, số lượng cảnh sát giao thông vẫn còn rất hạn chế. Bên cạnh đó, do thiếu thốn trang thiết bị kỹ thuật, quá trình điều khiển giao thông không dễ dàng trong giờ cao điểm. Đây thực sự là một thách thức đối với vấn 

đề quản lý ở Việt Nam.  

 

Hình 1.1 Hình ảnh tắc đường tại Hà Nội

1.1.2 Giải pháp hệ thống ITS ở phương Tây

Trong khi đó ở các nước phương Tây, để giải quyết những vấn đề đó, một hệ thống  giám  sát  giao  thông  tự  động  được  sử  dụng.  Hệ  thống  này  sẽ  giúp  cho  việc điều  khiển giao  thông  trở nên  thuận  tiện  và  an  toàn  giúp người  sử dụng  có  những hiệu chỉnh phù hợp làm giảm tình trạng tắc đường [1]. Hình 1.2 và 1.3 là hệ thống giám sát giao thông thông minh tại một số nước phát triển. 

1.1.3 Tổng quan về sự phát triển của hệ ITS

Hệ thống giám sát giao thông tự động là một phần vô cùng quan trọng trong việc  sử  dụng  và  kiểm  soát  hạ  tầng  giao  thông.  Các  tham  số  ước  lượng  trạng  thái giao thông sẽ đóng vai trò lớn trong việc phát triển hệ thống giao thông thông minh. Thông  thường,  những  thông  tin  này  sẽ  được  thu  thập  bởi  các  loại  cảm  biến  khác nhau để đưa ra cập nhập về tình trạng giao thông [2]. Theo cách truyền thống, việc xác định tốc độ xe cộ hay giám sát được thực hiện bằng công nghệ radar (hình 1.4), đặc  biệt  phát  hiện  bằng  máy  radar.  Sự  vận  hành  của  hệ  thống  rada  được  biết  đến như  hiệu  ứng  Doppler.  Các  khái  niệm  cơ  bản  của  hệ  thống  này  là  chuyển  dịch Doppler xảy ra khi âm thanh tạo ra bị phản xạ với xe đang chuyển động và tần số 

âm phản xạ bị thay đổi yếu đi. Phương pháp này, với các thiết bị và công thức toán học không gian, tìm  được tốc độ của xe đang di chuyển. Tuy nhiên, phương pháp này  vẫn  còn  nhiều  bất  lợi  như  lỗi  cosin  xảy  ra  khi  định  hướng  radar  không  theo đường  định  hướng  của  xe  tới.  Hơn  nữa,  chi  phí  của  thiết  bị  là  một  trong  những nguyên nhân quan trọng, và cũng bị bóng mờ (shading) (sự phản xạ sóng radar từ hai xe khác nhau với chiều cao khác biệt), và nhiễu vô tuyến (gây ra bởi sự tồn tại của tần số giống hệt nhau của các sóng vô tuyến mà được truyền tải quảng bá) là hai yếu  tố  ảnh  hưởng  khác  mà  gây  ra  các  lỗi  cho  việc  xác  định  tốc  độ  xe.  Điều  cuối cùng, điều mà cảm biến radar chỉ có thể theo dõi một xe tại bất kì thời điểm cũng là điểm hạn chế của phương pháp này [3]. 

 

Hình 1.4 Hệ thống giám sát giao thông sử dụng sóng radar

Nhiều nghiên cứu và ứng dụng thực hiện phát hiện xe và xác định tốc độ của chúng  cũng  đã  được  thực  hiện.  Cách  phát  hiện  xe  dựa  vào  sự  khác  nhau  của  các khung hình (Ferrier, Rowe và Blake, 1994) [4], camera không hiệu chỉnh (Pumrin 

và  Dailey,  2002)  [5],  quỹ  đạo  di  chuyển  (Melo  và  các  cộng  sự,  2006)  [6],  quang hình học (Jianping và các cộng sự, 2009) [7] và ảnh ăng ten số (Fumio và cộng sự, 

2008  [8];  Wen  và  Fumio,  2009  [9])  đã  được  giới  thiệu.  Huei-Yung  và  Kun-Jhih (2004) đã dùng ảnh mờ để tìm ra tốc độ xe và Pumrin và Dailey (2002) đã sử dụng phát hiện chuyển động để tự động đo tốc độ. Shisong và Toshio (2006) [10] đã đưa 

ra lợi ích của việc theo dõi điểm đặc trưng cho việc đo tốc độ xe. 

Yu và các cộng sự đã mô tả một thuật toán đánh giá mật độ giao thông và tốc 

độ trung bình từ ảnh nén định dạng MPEG Skycam. [11] Tác giả đã tính toán hệ số biến đổi cosin rời rạc (DCT) và phân tích vector chuyển động qua các khung hình. 

Sự định hướng, độ lớn và bộ lọc kiến trúc thường dùng để loại bỏ các vector lặp lại. Sau khi ánh xạ mặt ảnh cho sự sắp xếp, tốc độ xe trung bình được đánh giá qua một video 10s, với tỉ lệ khung hình là 10 fps. 

Pelegri  và  cộng  sự  đã  phát  triển  và  kiểm  chứng  cảm  biến  từ  GMR  để  xác định tốc độ xe ô tô. [12] Xe cộ gây ra sự thay đổi về trường điện từ của cảm biến khi chúng di chuyển qua cảm biến. Kỹ thuật theo dõi của họ không sử dụng camera nhưng  điều  quan trọng để  chỉ  ra  sự  đa  dạng  của  nghiên  cứu  kỹ  thuật  theo  dõi  đối tượng và thông tin tốc độ của xe. 

Li và cộng sự đã xác định tốc độ xe bằng cách dùng camera CCD và quan sát 

vị trí xe chạy trong các khung hình video. [13] Tốc độ được xác định theo cách hình học bằng hai vị trí của xe và mối quan hệ không gian của chúng.  

He và cộng sự đã phát triển một hệ thống nhúng để đo lường giao thông [14]. 

Họ đã sử dụng việc trừ nền để hỗ trợ việc phát hiện xe cộ. Những nhà nghiên cứu này sau đó sử dụng những hình bình hành cho việc xác định vùng đặc trưng (ROI) 

Gần  đây,  nhờ  vào  sự  phát  triển  của  công  nghệ  cảm  biến  và  máy  tính,  một trong những kĩ thuật mới được đề xuất đó là sử dụng kĩ thuật xử lý ảnh để giám sát thông  tin  giao  thông.  Cảm  biến  video  hay  camera  trở  thành  xu  thế  và  đối  tượng nghiên  cứu  của  nhiều  nhà  khoa  học  cũng  như  các  công  ty  cung  cấp  dịch  vụ  giao thông thông minh bởi  nó có giá  thành rẻ, dễ lắp đặt, bảo dưỡng  và  thay thế. Hình 1.5 là kết quả của hệ thống giám sát sử dụng camera trên đường cao tốc. 

 

Hình 1.5 Hệ thống giám sát giao thông đa làn bằng xử lý ảnh

Bên  cạnh  đó,  hệ  thống  giám  sát  giao  thông  bằng  công  nghệ  xử  lý  ảnh  cho phép người dùng phân tích nhiều vùng tham số của phương tiện giao thông bởi sự 

đa dạng trong thuật toán xử lý. Ví dụ, hệ thống giám sát giao thông bằng cảm biến video  có  thể  giúp  người  dùng  giám  sát  luồng  giao  thông,  sự  quay  đầu  của  xe  (rất quan trọng khi thiết kế điểm giao), đo tốc độ, phân loại phương tiện, giám sát trạng thái tắc đường và tai nạn [15]. Ngoài ra công nghệ xử lý ảnh và cảm biến video cũng 

có  rất  nhiều  ứng  dụng  khác  khi  phát  triển  xe  tự  hành,  chủ  yếu  là  vị  trí  tương  đối phương tiện trong làn và tránh vật cản [3].  

Hiện nay, có một số thuật toán xử lý ảnh đang được phát triển để ứng dụng trong giám sát giao thông. Có thể thống kê một số thuật toán và một số ứng dụng tương ứng như sau. Đối với bài toán  phân làn tự động sử dụng camera tĩnh (dùng cho hệ thống giám sát thông minh) một số tác giả sử dụng thuật toán phát hiện vùng làn  (lane-region  detection)  và  phát  hiện  biên  làn  (lane-border  detection)  [15].  Đối với bài toán phát hiện đối tượng một số tác giả sử dụng phương pháp phân ngưỡng. 

sử  dụng  phương  pháp  đồng  nhất  đa  lưới  vùng  quan  tâm  (ROI)  [17]. Ngoài ra  còn một số thuật toán nổi tiếng khác cũng thường xuyên được sử dụng, ví dụ như thuật toán trừ nền (Background subtraction). Thuật toán này có nhược điểm là không phát hiện được đối tượng tĩnh và phải cập nhập ảnh nền một cách thường xuyên do điều kiện ánh sáng và không gian thay đổi [18,19]. Thuật toán này sẽ sử dụng ảnh tham chiếu khi không có phương tiện làm ảnh gốc và so sánh thời gian thực với ảnh thu được. Sự khác biệt giữa chúng càng lớn thì  mật độ giao thông càng cao. Kỹ thuật này đo mật độ giao thông bằng cách so sánh tương quan giữa hình ảnh trực tuyến và ảnh tham chiếu. Đồng thời thuật toán trừ nền cũng có thể dùng để đo tốc độ của đối tượng chuyển động bằng cách tính tỷ số giữa quãng đường dịch chuyển bằng pixel 

và thời gian quy đổi thông qua số frame ảnh.  

1.2 Hướng tiếp cận của luận văn

1.2.1 Phương pháp phát hiện chuyển động

Phát  hiện  xe  là  thuật  toán chuyên biệt  xuất  phát  từ  thuật  toán  phát  hiện  vật thể. Khi cho một nguồn ảnh đầu vào (có thể là tín hiệu hình từ camera hoặc từ một file  video  định  dạng  AVI  hoặc  MP4),  thuật  toán  xác  định  xem  trong  khung  hình nhận được đó có xe đang được kỳ vọng hay không. Nếu có xe thì ngay lập tức chỉ ra 

vị  trí  và  phạm  vi  chiếm  chỗ  của  đối  tượng  xe  đó  có  trong  ảnh.  Đây  là  bước  quan trọng đầu tiên trong hầu hết các ứng dụng phân tích vật thể nói chung và xe tham gia giao thông nói riêng (ví dụ: nhận dạng kiểu dáng xe, định vị xe trong ảnh, bám theo xe, nhận biết vị trí và tư thế của xe trong ảnh, …). 

Trong ứng dụng giám sát video điều đầu tiên cần đến là mô hình nền và sau 

đó là phát hiện các đối tượng chuyển động. Cách tốt nhất để thu nhận nền là lưu trữ ảnh nền khi không có bất kỳ đối tượng chuyển động nào, nhưng trong môi trường thực  thì  khó  có thể  như  vậy. Hơn  nữa,  nó  cũng  luôn luôn  thay  đổi  dưới điều  kiện thực tế như thay đổi ánh sáng, các đối tượng đến hoặc rời khỏi cảnh. 

nghiên  cứu  sử  dụng  phương  pháp  mô  hình  trừ  nền  để  phát  hiện  các  đối  tượng chuyển động sau đó sẽ xử lý trên tập phát hiện được: bao gồm các phương pháp loại 

bỏ nhiễu, phát hiện biên, loại bỏ bóng, phân hoạch các khối chuyển động. 

 Phương pháp trừ nền

Có hàng trăm các nghiên cứu gần đây nhằm phát triển phương pháp trừ nền, chia  thành  các  nhánh  khác  nhau,  tuy  nhiên,  trong  số  đó  các  hướng  tiếp  cận  nhiều nhất  là  phương  pháp  hỗn  hợp  Gaussian  vì  ưu  điểm  phù  hợp  với  những  ứng  dụng ngoài trời. 

 Một số mô hình trừ nền

Cách  tốt  nhất  để  thu  nhận  nền  là  lưu  trữ  ảnh  nền  khi  không  có  bất  kỳ  đối tượng chuyển động nào, nhưng trong môi trường thực thì khó có thể như vậy. Hơn nữa, dưới điều kiện thực tế nền cũng luôn thay đổi như thay đổi ánh sáng, các đối tượng  đến  hoặc  rời  khỏi  cảnh.  Để  giải  quyết  vấn  đề  này,  nhiều  phương  pháp  mô hình nền đã được phát triển [21, 22] và được phân loại thành các loại sau [20]: 

Mô hình nền cơ bản: sử dụng giá trị trung bình hoặc bình quân hoặc phân 

tích lược đồ xám cho toàn thời gian. 

Mô hình nền thống kê:  sử  dụng  một  Gauss  đơn  hoặc  một  hỗn  hợp  Gauss 

hoặc  một  tính  toán  mật  độ  lõi.  Các  biến  thống  kê  được  sử  dụng  để  phân  loại  các điểm ảnh là điểm tiền cảnh hay là nền. 

Mô hình nền mạng nơ ron: Mô hình nền được biểu diễn bằng trị trung bình 

của  các  hệ  số  của  một  mạng  nơ  ron  được  đào  tạo  trên  N  khung  sạch.  Mạng  huấn luyện như thế nào để phân loại mỗi điểm ảnh là nền hoặc tiền cảnh. 

Mô hình Gauss hỗn hợp: Stauffer [23] đã đưa ra phương pháp trộn các mô 

hình nền lại để giải quyết vấn đề ánh sáng thay đổi, các hành động  lặp lại, sự lộn xộn từ khung cảnh thực tế. Mục đích là chứng minh một mô hình nền đơn thì không thể  xử  lý  được  các  khung  hình  liên  tục  trong  một  thời  gian  dài.  Sử  dụng  phương pháp pha trộn phân tán Gauss để biểu diễn mỗi điểm ảnh trên  một mô hình. Theo luận điểm đó, thực hiện và tích hợp phương pháp này vào trong hệ thống giám sát. Phương  pháp  tiếp  cận  trên  mô  hình  điểm  ảnh  bằng  việc  xem  xét  giá  trị  điểm  ảnh quan sát với vài mô hình Gauss đơn.  

1.2.2 Phương pháp đo tốc độ phương tiện

Tốc độ của xe trong mỗi frame được tính toán dựa vào vị trí của xe trong mỗi frame,  do  đó  công  việc  kế  tiếp  là  tìm  ra  hộp  giới  hạn  đối  tượng  (blobs  bounding box) và quỹ tâm (centroid). Quỹ tâm của đối tượng là phần quan trọng để tìm hiểu khoảng cách của xe đang di chuyển trong các khung hình (frame) liên tiếp và do đó khi tốc độ khung hình của sự di chuyển được biết đến thì việc tính toán tốc độ trở 

nên có thể

Camera  có  khả  năng  thu  được  24fps  (frame  per  second  –  khung  hình  trên giây), 30fps hoặc có thông số khác tùy theo mục đích chế tạo camera. Ở trong nội 

Hình 1.6 Ảnh đã được thực nghiệm ở trên 1 tuyến đường của Hà Nội (hầm Kim Liên)

Kích  thước  của  khung  hình  đã  biết,  độ  dài  của  quãng  dịch  chuyển  phương tiện  được  tham  chiếu  giữa  khoảng  cách  thật  vào  khung  hình  và  độ  dài  vạch  kẻ đường. Trong hình mô tả, vạch kẻ đường có kích thước 2m giữa 2 vạch có khoảng cách  3m.  Từ  đó  dự  đoán  được  gần  chính  xác  quãng  đường  mà  phương  tiện  giao thông di chuyển. 

Ngoài ra, phương pháp sử dụng điểm quan sát ở đầu xe hay đuôi xe là cơ sở tính toán ước lượng ra khoảng cách xe di chuyển trong khoảng thời gian t chưa thực 

sự hợp lý do góc phương tiện ở mỗi nơi khác nhau do camera. Bởi vậy, em đề xuất 

sử dụng phương pháp sử dụng trọng tâm của cả phương tiện dựa theo điểm trên và điểm dưới xa nhau nhất có thể phát hiện được. 

- Tốc độ của phương tiện ảnh hưởng tới sự di chuyển của phương tiện giữa các frame liên tiếp nhau. Ví dụ: một chiếc ô tô đi với vận tốc 36km/h tương đương với 10m/s. Trong 1giây 24 frame thu được, khoảng cách di chuyển của phương tiện 

giữa frame 1 và frame thứ 24 là 10m. Bởi vậy, để ước lượng được tốc độ chính xác hơn,  phương  pháp  sử  dụng  là  lấy  các  cặp  frame  không  liên  tiếp  để  so  sánh  sự  di chuyển của phương tiện. 

- 1giây thu được 24 frame, tức là thời gian giữa frame 1 và 2 là: 1/23 giây. Nếu sử dụng cặp frame (1 và 10) thì thời gian giữa cặp frame này là: 9/23 giây. 

-  Công  thức  tính  vận  tốc  v=s/t.  Sử  dụng  quãng  được  phương  tiện  di  chuyển được trong cặp frame (x và y), thời gian di chuyển giữa cặp frame này là (y-x)/23 giây. 

Kết luận chương 1

Trong chương 1 tác giả đã giới thiệu tổng quan về các phương pháp giám sát phương tiện giao thông phổ biến hiện nay từ đó đi đến lựa chọn hướng nghiên cứu 

và bài toán phù hợp với điều kiện thực tế tại Việt Nam. Bên cạnh đó tác giả cũng đề 

ra tính cấp thiết và mục tiêu của đề tài.   

 

CHƯƠNG 2 ỨNG DỤNG KĨ THUẬT XỬ LÝ ẢNH TRONG GIẢI QUYẾT

BÀI TOÁN GIAO THÔNG 2.1 Sơ lược về lý thuyết xử lý ảnh

2.1.1 Đặt vấn đề

Con người thu nhận thông tin qua các giác quan, trong đó thị giác đóng vai trò  quan  trọng  nhất.  Những  năm trở  lại  đây  cùng  với  sự phát  triển  của  phần  cứng máy tính, xử lý ảnh phát triển một cách mạnh mẽ và có nhiều ứng dụng trong cuộc sống. Xử lý ảnh đóng một vai trò quan trọng trong tương tác người máy. Xử lý ảnh 

số  không  chỉ  nhằm  nâng  cao  chất  lượng  của  ảnh  mà  còn  có  thể  phân  tích  ảnh  để phục vụ một nhiệm vụ chuyên biệt nào đó. 

2.1.2 Khái niệm xử lý ảnh

Hiện nay trên thế giới, nghiên cứu ứng dụng xử lý ảnh đang là hướng nghiên cứu  của nhiều  lĩnh vực [24].  Các thiết  bị hiện  nay ứng  dụng  công  nghệ xử lý  ảnh trong  điều  khiển  ngày  càng  nhiều  và  ngày  càng  cho  thấy  sự  ưu  việt  của  nó.  Quá trình xử lý ảnh được xem như là quá trình thao tác ảnh đầu vào nhằm cho ra kết quả mong muốn. Kết quả đầu ra của một quá trình xử lý ảnh có thể là một ảnh “tốt hơn” hoặc một kết luận. 

Biểu diễn 

và mô tả 

Nhận dạng, nội suy 

Cơ sở tri thức 

2.2 Các giai đoạn xử lý ảnh

2.2.1 Thu nhận ảnh

Ảnh được thu từ nhiều nguồn khác nhau [24]: máy ảnh, máy quay phim, máy quét, ảnh vệ tinh v.v… Sau đó ảnh thu được được biến đổi về các cấu trúc được lưu trữ trong máy tính, có thể hiển thị ra các thiết bị ngoại vi như là máy in, màn hình… 

  

 

Hình 2.2 Quá trình thu nhận và số hóa ảnh thực

Quá trình thu nhận ảnh là quá trình biến đổi thông tin đối tượng từ dạng quang năng thành dạng điện năng và số hóa dưới dạng ma trận chứa thông tin của ảnh. 

Hình 2.3 Ví dụ về quá trình thu ảnh giao thông

2.2.2 Tiền xử lý

Tiền xử lý ảnh là quá trình sử dụng các kỹ thuật xử lý ảnh để làm ảnh tốt lên theo mục đích sử dụng. Mục đích của tiền xử lý ảnh là : 

-  Điều  chỉnh  độ  chiếu  sáng  để  khắc  phục  hậu  quả  của  việc  chiếu  sáng không đều. 

-  Giảm nhỏ thành  phần  nhiễu  của  ảnh tức  là  các  đối  tượng  xuất  hiện  ngoài 

 dụ,  trong  nhận  dạng  ký  tự  trên  phong  bì  thư,  chúng  ta  miêu  tả  các đặc trưng  của từng ký tự giúp phân biệt ký tự này với ký tự khác. 

2.2.5 Nhận dạng và nội suy ảnh

Nhận  dạng  ảnh  là  quá  trình  xác  định  ảnh.  Quá  trình  này  thường  thu  được bằng cách so sánh với mẫu chuẩn đã được học (hoặc lưu) từ trước. Nội suy là phán đoán  theo  ý  nghĩa  trên  cơ  sở  nhận  dạng  [24].  Ví  dụ,  một  loạt  chữ  số  và  nét  gạch ngang  trên  phong  bì  thư  có  thể  được  nội  suy  thành  mã  điện  thoại.  Có  nhiều  cách phân loại ảnh khác nhau về ảnh. Theo lý thuyết về nhận dạng, các mô hình toán học 

về ảnh được phân theo hai loại nhận dạng ảnh cơ bản: 

Một số đối tượng nhận dạng khá phổ biến hiện nay đang được áp dụng trong khoa học và công nghệ là: nhận dạng ký tự  (chữ in, chữ viết tay, chữ ký điện tử), nhận dạng văn bản (Text), nhận dạng vân tay, nhận dạng mã vạch, nhận dạng mặt người v.v… 

cơ sở tri thức được phát huy. 

2.3 Một số ứng dụng phổ biến của xử lý ảnh trong giao thông

2.3.1 Nhận dạng biển số xe

Quá trình xử lý ảnh với mục đích nhận dạng biển số xe cho phép phát hiện nhanh  biển  đăng  kí  của  người  sử  dụng  nhằm  nâng  cao  hiệu  quả  quản  lý  kho  bãi,  kiểm soát ra vào hoặc kiểm tra sự hợp lệ của phương tiên giao thông nhằm đảm bảo 

an toàn.  

 

2.3.3 Phát hiện, cảnh báo vật cản và dự báo tắc đường

Tương tự như bài toán phát hiện biển báo giao thông và đèn giao thông, việc ứng dụng xử lý ảnh phát hiện vật cản giúp cho chúng ta có thể phát triển công nghệ 

tự lái và các xe tự hành. Người ngồi trên xe có thể không cầm lái nhưng hệ thống camera gắn trên phương tiện giúp phát hiện và tránh được vật cản. 

 

Hình 2.8 Ứng dụng xử lý ảnh phát hiện vật cản

  Đặc biệt xử lý ảnh còn được ứng dụng trong việc dự báo tắc đường. 

 

Hình 2.9 Ứng dụng xử lý ảnh phát hiện và dự báo tắc đường

2.4 Thuật toán áp dụng để phát hiện và theo dõi đối tượng

2.4.1 Thuật toán cực đại hóa kỳ vọng

Thuật toán cực đại hóa kỳ vọng (tiếng Anh hay được gọi là EM viết tắt của Expectation-Maximization)  là  một  kỹ  thuật  được  dùng  rộng  rãi  trong  thống  kê  và học  máy để  giải  bài  toán  tìm  hợp  lý cực  đại  hoặc hậu  nghiệm  cực  đại (MAP)  của 

 Bản chất toán học của thuật toán cực đại hóa kỳ vọng

EM  là  một  thuật  toán  tối  ưu  có  tính  lặp  dùng  để  ước  lượng  các  biến  được quan sát Θ xác định bởi các tham số U. Tuy nhiên, ta không biết được một vài biến tiềm ẩn J. Trong thực tế, ta muốn tối ưu xác xuất hậu nghiệm của các tham số Θ xác định bởi dữ liệu U, có biến ẩn J: 

Hình 2.10 Ví dụ EM: Các thành phần hỗn hợp và dữ liệu

Trong hình 2.10 ở trên, dữ liệu bao gồm ba mẫu được vẽ từ mỗi thành phần hỗn  hợp,  được  thể  hiện  ở  trên  như  các  tam  giác  và  hình  tròn.  Trung  bình  của  các thành phần hỗn hợp là  -2 và 2 tương ứng. 

 

Hình 2.11 Hàm likehood của 2 giá trị trung bình của thành phần hỗn hợp θ1 và θ2

Chú ý vấn đề ước lượng hỗn hợp được thể hiện ở hình 2.10, với mục tiêu là ước lượng 2 giá trị trung bình θ1 và θ2 được xác định bởi 6 mẫu được vẽ từ sự trộn lẫn  nhưng  không  biết  hỗn  hợp  nào  mỗi  mẫu  được  vẽ.  Không  gian  trạng  thái  là  2 

mà  không  ảnh  hưởng  tới  chất  lượng  của  giải  pháp.  Bên  cạnh  đó  hàm  likehihood được tính bằng tích phân tất cả các liên kết dữ liệu có thể có, và vì vậy chúng ta có thể tìm một giải pháp khả năng cực đại mà không phải giải quyết các vấn đề tương ứng. Tuy nhiên, dù chỉ có 6 mẫu, vẫn yêu cầu việc tính tổng trên không gian của 64 liên kết dữ liệu có thể có. 

 Tìm một giới hạn tối ưu

EM cố gắng tìm những giới hạn tốt nhất, được định nghĩa là giới hạn B(Θ; 

Θt) chạm tới hàm log P(U, Θ) ở ước lượng hiện tại Θt.  Bằng trực giác, việc tìm giới hạn tốt nhất ở mỗi vòng lặp sẽ bảo đảm rằng ta thu được một ược lượng được tối ưu 

Θt+1 khi  ta  tối  đa  giới  hạn  đối  với  Θ.  Từ  khi  ta  biết  B(Θ;  Θt)  là  các  giới  hạn  thấp hơn, giới hạn tối ưu ở Θt có thể được tìm bằng việc tối đa giới hạn: 

Ở  mỗi  vòng  lặp,  thuật  toán  EM  đầu  tiên  tìm  một  tối  ưu  giới  hạn  thấp  hơn B(Θ; Θt) ở ước lượng hiện tại Θt (phương trình 2.2) và rồi tối đa giới hạn này để thu được một ước lượng tối ưu Θt+1 (phương trình 2.3). Bời vì, giới hạn được thể hiện như một sự kỳ vọng. Bước đầu tiên được gọi là bước E (Expectation step), bước thứ hai là bước M (Maximization step). 

2 1

m i i

đủ để mô hình giá trị điểm ảnh trong khi tính toán nhiễu thu được. Nếu chỉ ánh sáng thay  đổi  theo  thời  gian,  một  Gaussian  đơn,  tương  thích  trên  mỗi  điểm  ảnh  là  đủ. Trong thực tế, nhiều mặt phẳng thường xuất hiện trong các khối cụt của 1 điểm ảnh 

và điều kiện ánh sáng thay đổi. Vì vậy, Gaussian đa tương thích là cần thiết. Ta sử dụng một hỗn hợp của Gaussian tương thích để xấp xỉ tiến trình này [23]. 

Tiến trình  nền  sẽ  tính  toán  các  tham  số  của  Gaussian.  Các giá trị điểm  ảnh không  trùng  với  tiến  trình  nền  của  điểm  ảnh  được  gộp  lại  bằng  các  sử  dụng  các thành  phần  được  kết  nối.  Cuối  cùng,  các  thành  phần  này  được  theo  dấu  qua  các frame. Tiến trình điểm ảnh là việc xác định giá trị điểm ảnh theo thời gian. Đây là một chuỗi thời gian của giá trị điểm ảnh: 

X1,  ,  X t I x y i 0,  ,  :10   i t        (2.5) 

I là chuỗi ảnh.   là lịch sử gần đây của của mỗi điểm ảnh được mô hình bởi hỗn hợp của phân bố Gaussian K. Xác suất của quan sát giá trị điểm ảnh hiện tại là: 

 

1 Σ 2 1/ 2 2

1 ( ,  ,  )

Ta thực hiện xấp xỉ giá trị trung bình K trực tuyến. Mỗi giá trị mới, X t, được kiểm tra lại phân bố Gaussian K tồn tại, cho tới khi kết quả phù hợp giá trị điểm ảnh trong 2.5 độ lệch cơ sở.  

Nếu không có phân bố K nào giống với giá trị điểm ảnh hiện tại. phân bố có khả năng xảy ra ít nhất là phân bố với giá trị hiện tại như giá trị trung bình, sự biến đổi cao lúc đầu, và trọng lượng thấp. Trọng lượng của phân bố K ở thời gian t, ωk,t

Một ưu điểm qua trọng của phương pháp trên là khi có các tiến trình nền, nó không phá hủy mô hình đang tồn tại của nền. Màu sắc nền gốc duy trì sự hỗn hợp cho tới khi nó trở thành phân bố khả năng nhất và một màu sắc mới được quan sát. 

Do đó nếu một đối tượng K có không di chuyển đủ lâu nó sẽ trở thành một phần của nền  và nếu  nó  di  chuyển  nền  sẽ được  tính  toán lại.  Phân  bố  miêu  tả  nền trước  đó vẫn tồn tại vơi cùng µ và σ2, nhưng một ω thấp hơn sẽ nhanh chóng hợp lại vào nền. Khi các tham số của mô hình của mỗi điểm ảnh thay đổi, ta muốn xác định cái nào của Gaussian của hỗn hợp được tạo bởi tiến trình nền.  Đầu tiên, Gaussian 

bị phụ thuộc bởi giá trị của ω/σ. Giá trị này tăng, cả phân bố đạt nhiều bằng chứng hơn cũng như phương sai giảm đi. Sau khi ước lượng các tham số của hỗn hợp, nó 

đủ phù hợp từ phân bố tương ưng tới phân bố nền có khả năng nhất, bởi vì chỉ các giá trị liên quan mô hình tương ứng sẽ thay đổi. Rồi phân bố B đầu tiên được chọn như mô hình nền: 

mô hình tạo ra bởi các chuyển động nền có tính lặp lại có thể dẫn tới nhiều hơn một màu có trong mô hình nền. Điều này tạo ra hiệu ứng trong suốt cho phép nền chấp nhận 2 hoặc nhiều hơn màu khác biệt. 

2.4.3 Nhận diện Blob

Trong  computer  vision,  phương  pháp  nhận  diện  đốm  màu  nhằm  mục  đích nhận diện các vùng trong ảnh số khác biệt trong thuộc tính. Blob là một vùng của ảnh có thuộc tính là không đổi hoặc gần như không đổi [28]. Tất cả các điểm trong Blob có thể được xác định trong một vài trường hợp là tương tự nhau. 

        (2.12)       (2.13) 

Do đó, kết quả của áp dụng toán tử Laplace: 

              (2.14) Được tính toán, tạo ra các phản hồi dương mạnh cho các đốm màu tối kích thước   và phản hồi âm mạnh cho đốm màu sáng tương tự kích thước. Một vấn 

đề chính khi áp dụng toán tử này ở một phạm vi duy nhất đó là các phản hồi toán tử phụ  thuộc  rất  nhiều  vào  mối  quan  hệ  giữa  kích  thước  của  các  cấu  trúc  đốm  màu trong  miền  ảnh  và  kích  thước  của  nhân  Gaussian  dùng  cho  làm  mịn  trước.  Để  tự động thu được các đốm  màu của kích thước khác (không rõ) trong  miền ảnh, một cách tiếp cận đa phạm vi là cần thiết. 

Một cách đơn giản để có được sự nhận diện đốm màu đa phạm vi với việc lựa chọn phạm vi tự động là để xác định các toán tử Laplace được chuẩn hóa phạm vi. 

         (2.15) 

Và để phát hiện cực đại/cực tiểu phạm vi không gian, đó là những điểm mà đồng thời là cực đại/cực tiểu cục bộ của   về cả không gian và quy mô. Như vậy, do một ảnh đầu vào hai chiều rời rạc   một khoảng phạm vi rời rạc không gian ba chiều   được tính và một điểm được coi là một sáng (tối) đốm màu nếu giá trị tại thời điểm này là lớn hơn (nhỏ hơn) so với giá trị nó trong tất cả 

Laplace của toán tử Gauss  cũng có thể được tính như một trường hợp giới hạn của sự khác biệt giữa hai hình ảnh Gauss được làm mịn. 

      (2.18) Phương  pháp  này  được  gọi  là  sự  khác  biệt  của  phương  pháp  Gauss  (DoG) gần  đúng.  Bên  cạnh  vấn  đề  chuyên  môn  nhỏ,  tuy  nhiên,  toán  tử  này  về  bản  chất tương  tự  như  các  Laplace  và  có  thể  được  xem  như  là  một  xấp  xỉ  của  các  toán  tử Laplacian. Trong một kiểu dáng tương tự như đối với các máy nhận diện đốm màu Laplace, đốm màu có thể được phát hiện từ các cực trị không gian phạm vi của các sai phân của Gauss. 

 Các yếu tố quyết định của Hessian

Bằng  cách  xem  xét  các  yếu  tố  quyết  định  quy  mô  bình  thường  hóa  của Hessian, cũng được gọi là toán tử Monge – Ampère: 

       (2.19) 

HL biểu  thị  ma  trận  Hessian  của  L và  sau  đó  việc phát  hiện  cực  đại  không gian phạm vi của toán tử này thu được một bộ dò đốm màu sai phân đơn giản khác với lựa chọn quy mô tự động: 

       (2.20) Các  điểm  đốm  màu  (   và  quy  mô    cũng  được  xác  định  từ  một  định nghĩa hình học toán tử sai phân dẫn đến các mô tả đốm màu mà là hiệp biến với sự tiến dịch, quay và thu phóng trong lĩnh vực hình ảnh. Xét về lựa chọn quy mô, các đốm  màu  được  xác  định  từ cực  trị  không gian  phạm vi  của  các  yếu  tố  quyết  định của Hessian (DoH) cũng có tính chất lựa chọn quy mô tốt hơn một chút dưới biến đổi affine phi-Euclide hơn toán tử Laplacian thường được sử dụng. Trong dạng đơn giản,  các  yếu  tố  quyết  định  quy  mô  bình  thường  hóa  của  Hessian  tính  từ  Haar wavelet được sử dụng như là các toán tử điểm quan trọng cơ bản trong mô tả SURF cho matching ảnh và nhận diện đối tượng. 

quyết định của các toán tử Hessian thực hiện tốt hơn so với các toán tử Laplacian hoặc  xấp  xỉ  vi  phân  của  Gaussian  cho  ảnh  dựa  trên  matching  bằng  cách  sử  dụng SIFT giống như mô tả hình ảnh. 

 Thuật toán Linderberg’s watershed dựa trên phát hiện đốm màu mức độ xám

Với mục đích phát hiện các đốm màu mức xám (cực trị cục bộ với mức độ) 

từ một tương tự đầu nguồn, Lindeberg phát triển một thuật toán dựa trên tiền phân loại điểm ảnh, kết nối  khu vực cách khác có  cường độ như nhau, thứ tự giảm dần của  các giá  trị  cường  độ. Sau đó, so sánh  này được  thực hiện  giữa các láng  giềng gần nhất của một trong hai điểm ảnh hoặc khu vực được kết nối. 

Để đơn giản, chúng ta hãy xem xét các trường hợp phát hiện các  đốm  màu mức độ xám sáng và để cho các ký hiệu "điểm lân cận cao hơn" cho "điểm ảnh lân cận có giá trị mức độ xám  cao hơn". Sau đó, ở bất cứ giai đoạn nào trong thuật toán (thực hiện giảm dần bậc của các giá trị cường độ) được dựa trên các quy tắc phân loại sau: 

iv Còn lại, nó có một hoặc nhiều hơn các điểm lân cận cao hơn, đó là tất cả các bộ phận của đốm màu giống nhau. Thì nó cũng phải là một phần của đốm màu đó. 

2.4.4 Ghi nhãn thành phần được kết nối 

Ghi nhãn thành phần được kết nối (hoặc phân tích thành phần được kết nối, khai thác đốm màu, ghi nhãn vùng, phát hiện đốm màu, hoặc khai thác vùng) là một ứng dụng thuật toán của lý thuyết đồ thị, nơi tập hợp con của các thành phần kết nối được  dán  nhãn  duy  nhất  dựa  trên  một  heuristic  đã  có  [29].  Ghi  nhãn  thành  phần 

được kết nối không phải là để không bị nhầm lẫn với sự phân chia. Ghi nhãn thành phần kết nối được sử dụng trong Computer vision để phát hiện các khu vực kết nối trong các ảnh số nhị phân, mặc dù màu sắc hình ảnh và dữ liệu với chiều cao hơn cũng  có  thể  được  xử  lý.  Khi  tích  hợp  vào  một  hệ thống  nhận dạng hình  ảnh  hoặc giao diện tương tác của con người-máy tính, ghi nhãn thành phần được kết nối có thể hoạt động trên sự biến đổi các thông tin. Khai thác đốm màu thường được thực hiện trên ảnh nhị phân kết quả từ một bước tạo ngưỡng. Các đốm màu có thể được tính, lọc, và theo dõi. 

Khai thác Blob liên quan nhưng khác biệt từ nhận dạng đốm màu: 

- Một thành phần tại một thời điểm: Đây là một phương pháp nhanh chóng 

và  rất  đơn  giản  để  thực  hiện  và  hiểu  được.  Nó  dựa  trên  phương  pháp  đồ  thị  giao nhau trong lý thuyết đồ thị. Trong ngắn hạn, một khi các điểm ảnh đầu tiên của một thành phần kết nối được tìm thấy, tất cả các điểm ảnh kết nối của thành phần kết nối được dán nhãn trước khi đi vào các điểm ảnh tiếp theo trong hình ảnh. Thuật toán này là một phần của Vincent và Soille của thuật toán phân khúc ngoặt. 

-  Two-pass:  Tương  đối  đơn  giản  để  thực  hiện  và  hiểu,  các  thuật  toán  pass lặp lại qua dữ liệu 2 chiều, nhị phân. Các thuật toán thực hiện two pass lên ảnh: pass đầu tiên vượt qua để gán nhãn tạm thời và thu lại tương đương và pass thứ hai 

two-để thay thế mỗi nhãn tạm bởi các nhãn nhỏ nhất của lớp tương đương của nó. Các 

dữ liệu đầu vào có thể được sửa đổi tại chỗ (trong đó mang nguy cơ mất dữ liệu), hoặc ghi nhãn thông tin có thể được duy trì trong một cấu trúc dữ liệu bổ sung. 

Kết luận chương 2

Chương  2  giới  thiệu  sơ  lược  về  lý  thuyết  xử  lý  ảnh  và  ứng  dụng  của  công nghệ này trong lĩnh vực giám sát giao thông. Đồng thời, tác giả cũng giới thiệu về thuật toán cực đại hóa kì vọng, cùng với mô hình hỗn hợp Gauss (GMM) nhằm xác định nền của ảnh.