Phát hiện khói lửa dựa vào xử lý ảnh có đặc điểm là dùng các camera, webcam nên tầm quan sát khá xa, có thể áp dụng cho môi trường rộng lớn với tốc độ tính toán và xử lý rất nhanh.. Phát
TỔNG QUAN
Đặt vấn đề
1.1.1 Giới thiệu sơ lược vấnđềvà ý nghĩa khoa học của đề tài
Hỏa hoạn là một thảm họa và có thể tàn phá bất cứ nơi đâu với mức độ hết sức hủy diệt Việc phát hiện sớm khói và lửa cùng với hệ thống robot tự động sẽ giúp dập tắt đám cháy trước khi nó vượt tầm kiểm soát của con người và gây ra các thảm họa nghiêm trọng
Với sự phát triển của khoa học ngày nay, ngày càng có nhiều phương pháp và các loại cảm biến cảnh báo hỏa hoạn được phát triển và ra đời Việc sử dụng cảm cảm biến chuyên dụng chỉ có thể phát hiện hỏa hoạn trong phạm vi hẹp, hơn nữa, các cảm biến này thường đắt tiền, không phù hợp cho áp dụng rộng rãi trong công nghiệp và đời sống
Sự phát triển của vi xử lý, vi điều khiển kéo theo sự phát triển của các thuật toán xử lý ảnh, và kết quả là sự ra đời của các thuật toán để phát hiện khói, lửa phục vụ cho việc cảnh báo sớm hỏa hoạn Phát hiện khói lửa dựa vào xử lý ảnh có đặc điểm là dùng các camera, webcam nên tầm quan sát khá xa, có thể áp dụng cho môi trường rộng lớn với tốc độ tính toán và xử lý rất nhanh Bên cạnh đó, hệ thống xử lý ảnh này có thể tích hợp vào một camera giám sát khi mà camera giám sát ngày càng được sử dụng nhiều và có mặt ở rất nhiều nơi Điều này có thể giúp giảm giá thành hệ thống và ngày càng được sử dụng rộng rãi hơn
Có nhiều phương pháp, thuật toán xử lý ảnh để phát hiện khói, lửa nhưng hầu hết chúng đều được phát triển trên nền Window với những công cụ hỗ trợ rất mạnh từ môi trường này Việc phát triển thuật toán trên nền Window có đặc điểm là nhanh, độ chính xác rất cao, tuy nhiên, giá thành rất cao, khả năng di động thấp và chiếm không gian lớn Đề tài này đề cập việc phát triển thuật toán xử lý ảnh phát hiện khói lửa trên nền nhúng, từ đó nó có thể được tích hợp vào một vi điều khiển và gửi tín hiệu cảnh báo về máy tính hoặc một hệ thống cảnh báo đã xây dựng trước, kịp thời phát hiện ra đám cháy
Chương 1: TỔNG QUAN ngay trước khi nó hình thành Hệ thống còn có thể tích hợp trong các camera giám sát để cảnh báo khói lửa ở các nhà xưởng, nơi công cộng, khu rừng, hoặc có thể làm bộ phận cảm biến cho robot cứu hỏa
Hệ thống phát hiện khói có thể ứng dụng trong các nhà kho rộng lớn, nơi chứa các bình khí gas, khí độc, ứng dụng trên các tuyến đường, đường hầm, nhà ga,… Việc phát hiện sớm đám cháy sẽ giúp chúng ta chủ động dập tắt đám cháy trước khi nó lan rộng và gậy thiệt hại nghiêm trọng
Những nguy cơ gây hỏa hoạn khác như các thiết bị điện quá nóng, nến, hút thuốc, các dụng cụ nấu ăn, thiết bị sưởi ấm cũng cần được giám sát vì nguy cơ gây hỏa hoạn cao và hỏa hoạn thường xảy ra ở những nơi này
Các bữa tiệc ngoài trời, nơi mọi người nấu nướng hay hút thuốc cũng có thể xảy ra hỏa hoạn và cần được giám sát
Hệ thống này cũng có thể tích hợp vào các camera giám sát để cảnh báo cháy rừng khi mà camera giám sát được gắn ở mọi nơi.
Nghiên cứu tổng quan
Nhận dạng là quá trình phân loại các đối tượng được biểu diễn theo một mô hình nào đó và gán chúng một tên (gán cho đối tượng một tên gọi, tức là một dạng) dựa theo những quy luật và mẫu chuẩn Quá trình nhận dạng dựa vào những mẫu học biết trước gọi là nhận dạng có thầy hay học có thầy, trong những trường hợp ngược lại gọi là học không có thầy
Nhận dạng ảnh là giai đoạn cuối cùng của xử lý ảnh, có ba cách tiếp cận khác nhau trong lý thuyết nhận dạng nói chung và nhận dạng ảnh nói riêng.
- Nhận dạng dựa vào phân hoạch không gian
- Nhận dạng dựa vào cấu trúc
- Nhận dạng dựa vào kỹ thuật mạng nơron
Hai cách tiếp cận đầu là cách tiếp cận kinh điển Các đối tượng ảnh quan sát và thu nhận được phải trải qua giai đoạn tiền xử lý nhằm tăng cường chất lượng, làm nổi các chi tiết, tiếp theo là trích chọn và biểu diễn các đặc trưng, cuối cùng mới là giai đoạn nhận dạng Cách tiếp cận thứ ba hoàn toàn khác Nó dựa vào cơ chế đoán nhận, lưu trữ và phân biệt đối tượng mô phỏng theo hoạt động của hệ thần kinh con người Do cơ chế đặc biệt, các đối tượng thu nhận bởi thị giác người không cần qua giai đoạn cải thiện mà chuyển ngay sang giai đoạn tổng hợp, đối sánh với các mẫu đã lưu trữ để nhận dạng
Trích chọn đặc trưng Phân lớp Đánh giá
Quá trình tiền xử lý
Hình 1.1 Sơ đồ tổng quát của một hệ thống nhận dạng ảnh
1.2.1.2 Mô hình và bản chất của quá trình nhận dạng
Trong nhận dạng người ta chia thành hai họ lớn:
- Họ mô tả theo tham số
- Họ mô tả theo cấu trúc
Cách mô tả được lựa chọn sẽ xác định mô hình của đối tượng Như vậy, sẽ có hai loại mô hình: mô hình tham số và mô hình cấu trúc
Mô hình tham số: sử dụng một vectơ để đặc tả đối tượng Mỗi phần tử của vectơ mô tả một đặc tính của đối tượng Thí dụnhư trong các đặc trưng chức năng, người ta sử dụng các hàm cơ sở trực giao để biểu diễn.Việc lựa chọn phương pháp biểu diễn sẽ làm đơn giản cách xây dựng Tuy nhiên việc lựa chọn đặc trưng nào là hoàn toàn phụ thuộc vào ứng dụng Thí dụ, trong nhận dạng chữ, các tham số là các dấu hiệu:
Số điểm chạc ba, chạc tư
Mô hình cấu trúc: Cách tiếp cận trong mô hình này dựa vào việc mô tả đối tượng nhờ một số khái niệm biểu thị các đối tượng cơ sở trong ngôn ngữ tự nhiên Để mô tả đối tượng người ta dùng một số dạng nguyên thủy như đoạn thẳng, cung… Chẳng hạn một hình chữ nhật được định nghĩa gồm 4 đoạn thẳng vuông góc với nhau từng đôi một
Mô hình ngữ pháp hình thức G = (V, V n , P, S) mô tả cách xây dựng các đối tượng phức tạp từ các đối tượng nguyên thủy Mô hình này sử dụng bộ ký hiệu kết thúc V t , bộ ký hiệu không kết thúc V n và tập luật sản xuất P Cấu trúc một dạng được coi là kết quả của việc áp dụng luật sản xuất P theo các nguyên tắc xác định, bắt đầu từ dạng gốc S.
- V t là bộ ký hiệu kết thúc;
- V n là bộ ký hiệu không kết thúc;
- S là dạng (ký hiệu bắt đầu)
Quá trình nhận dạng gồm 3 giai đoạn chính:
- Chọn mô hình biểu diễn đối tượng
- Chọn luật ra quyết định (phương pháp nhận dạng) và suy diễn
Trong việc lựa chọn để biểu diễn đối tượng, đối tượng có thể được xác định theo cách định lượng (mô hình tham số) hay định tính (mô hình cấu trúc) Khi đối tượng đã được xác định, quá trình nhận dạng chuyển sang giai đoạn thứ hai-giai đoạn học (Learning) Học là giai đoạn cung cấp tri thức cho hệ thống Mục đích học nhằm cải thiện, điều chỉnh việc phân loại tập đối tượng thành các lớp Nhận dạng là tìm ra quy luật và các thuật toán để có thể gắn đối tượng vào một lớp hay nói một cách khác gán cho đối tượng một tên
Học có thầy: kỹ thuật phân loại nhờ kiến thức biết trước gọi là học có thầy Đặc điểm cơ bản của kỹ thuật này là người ta có một thư viện các mẫu chuẩn Mẫu cần nhận dạng sẽ được đem so sánh với mẫu chuẩn để xem nó thuộc loại nào Vấn đề chủ yếu là thiết kế một hệ thống để có thể đối sánh đối tượng trong ảnh với mẫu chuẩn và quyết định gán cho chúng vào một lớp Việc đối sánh nhờ vào các thủ tục ra quyết định dựa trên một công cụ gọi là hàm phân lớp hay hàm ra quyết định
Học không có thầy là kỹ thuật phân lớp tự định nghĩa các lớp và đặc điểm của mỗi lớp Kỹ thuật này gặp khó khăn vì số lớp và đặc điểm của lớp không được biết trước Phương pháp này tiến hành gộp nhóm có thể và lựa chọn nhóm tốt nhất Xuất phát từ tập dữ liệu, nhiều thủ tục xử lý sẽ phân lớp và nâng cấp dần để đạt được phương án phân loại tối ưu.
1.2.2 Tổng quan hệ thống nhúng và thu nhận ảnh
Trong thực tế có nhiều hệ thống nhúng dựa trên các kiến trúc vi điều khiển khác nhau và chạy trên các nền tảng khác nhau đang được sử dụng
Hình 1.2 Board nhúng PandaBoard chạy trên nền tảng Linux và ARM Cortex-A9
Chương 1: TỔNG QUAN Điểm mạnh của pandaBoard là có cấu trúc phần cứng khá mạnh với CPU ARM Cortex A9 1GHz dual-core, RAM 1GB, hổ trợ khá đầy đủ kết nối ngoại vi Tuy nhiên, giá thành cao nên phù hợp với các hệ thống đòi hỏi nhanh và phức tạp
1.2.2.2 Các board nhúng phát triển trên dòng vi điều khiển ARM của FriendlyARM
Hình 1.3 Một board nhúng Mini2440 của FriendlyARM sử dụng vi điều khiển
Các board nhúng của FriendlyARM có giá thành thấp, tuy nhiên cấu trúc phần cứng khá yếu nên thích hợp cho các công việc học tập, nghiên cứu không phù hợp cho các hệ thống xử lý ảnh đòi hỏi tốc độ tính toán cao
Hình 1.4 Board nhúng Raspberry Pi dựa trên vi điều khiển ARM11 và Linux
Board nhúng Raspberry Pi có thế mạnh là hổ trợ ngoại vi rất đầy đủ, tuy nhiên cấu trúc phần cứng chưa mạnh và không phù hợp cho các hệ thống xử lý ảnh
1.2.2.4 Board nhúng sử dụng trong đề tài
Mạch xử lý trung tâm được sử dụng trong đề tài là board nhúng BeagleBone
Vi điều khiển AM335x 1GHz ARM Cortex-A8 trên Black phù hợp với xử lý ảnh nhúng nhờ tốc độ cao, kiến trúc hỗ trợ phân luồng và khả năng xử lý 30 khung hình/giây với ảnh màu 640x480 Kết hợp với RAM DDR3 dung lượng 512MB và hệ điều hành Linux tích hợp sẵn, Black trở thành lựa chọn tối ưu cho các ứng dụng xử lý ảnh nhúng.
Hình 1.5 Board nhúng BeagleBone Black sử dụng trong đề tài
Các thông số của board mạch : - 512MB DDR3 RAM
- 2GB 8-bit eMMC on-board flash storage - 3D graphics accelerator
- NEON floating-point accelerator - 2x PRU 32-bit microcontrollers - USB client for power & communications - USB host
- Ethernet - HDMI - 2x 46 pin headers - Ångstrửm Linux - Android
1.2.2.5 Hệ thống thu nhận ảnh
Mục tiêu đề tài
Tạo ra hệ thống có thể phát hiện khói sử dụng hình ảnh thu về từ camera
Hệ thống được thiết kế sao cho có thể phát hiện khói ngay khi nó vừa hình thành và chưa phát triển quá lớn
Hệ thống được thực thi trên một board nhúng thay vì máy tính để giảm giá thành, tạo ra độ cơ động và có thể tích hợp được vào các camera giám sát
Các kết quả nhận dạng khói được gửi về máy tính hoặc gửi về một vi điều khiển khác để thực thi các công việc khác nếu cần thiết thông qua chuẩn giao tiếp Wifi, Ethernet hoặc I2C
Hệ thống phải tránh các cảnh báo sai - phát hiện khói nơi không có khói, nghĩa là bỏ qua các đối tượng giống như là khói
Sử dụng USB Webcam làm thiết bị thu nhận hình ảnh để giảm chi phí hệ thống.
CƠ SỞ LÝ THUYẾT
Những vấn đề cơ bản trong xử lý ảnh số
Gốc của ảnh (ảnh tự nhiên) là ảnh liên tục về không gian và độ sáng Để xử lý bằng máy tính (số), ảnh cần phải được số hoá Số hoá ảnh là sự biến đổi gần đúng một ảnh liên tục thành một tập điểm phù hợp với ảnh thật về vị trí (không gian) và độ sáng (mức xám) Khoảng cách giữa các điểm ảnh đó được thiết lập sao cho mắt người không phân biệt được ranh giới giữa chúng Mỗi một điểm như vậy gọi là điểm ảnh (PEL:
Picture Element) hay gọi tắt là Pixel Trong khuôn khổ ảnh hai chiều, mỗi pixel ứng với cặp tọa độ (x, y) Điểm ảnh (Pixel) là một phần tử của ảnh số tại toạ độ (x, y) với độ xám hoặc màu nhất định Kích thước và khoảng cách giữa các điểm ảnh đó được chọn thích hợp sao cho mắt người cảm nhận sự liên tục về không gian và mức xám (hoặc màu) của ảnh số gần như ảnh thật Mỗi phần tử trong ma trận được gọi là một phần tử ảnh
2.1.2 Độ phân giải của ảnh Độ phân giải (Resolution) của ảnh là mật độ điểm ảnh được ấn định trên một ảnh số được hiển thị Theo định nghĩa, khoảng cách giữa các điểm ảnh phải được chọn sao cho mắt người vẫn thấy được sự liên tục của ảnh Việc lựa chọn khoảng cách thích hợp tạo nên một mật độ phân bổ, đó chính là độ phân giải và được phân bố theo trục x và y trong không gian hai chiều
Ví dụ: Độ phân giải của ảnh trên màn hình CGA (Color Graphic Adaptor) là một lưới điểm theo chiều ngang màn hình: 320 điểm chiều dọc * 200 điểm ảnh (320*200)
Màn hình CGA 12" có độ mịn hơn so với màn hình CGA 17" ở cùng độ phân giải 320x200 Nguyên nhân là do mặc dù cùng mật độ điểm ảnh (độ phân giải), nhưng màn hình có diện tích lớn hơn sẽ dẫn đến độ mịn (mức liên tục của các điểm ảnh) thấp hơn.
Chương 2: CƠ SỞ LÝ THUYẾT
Một điểm ảnh (pixel) có hai đặc trưng cơ bản là vị trí (x, y) của điểm ảnh và độ xám của nó Dưới đây chúng ta xem xét một số khái niệm và thuật ngữ thường dùng trong xử lý ảnh Định nghĩa: Mức xám của điểm ảnh là cường độ sáng của nó được gán bằng giá trị số tại điểm đó
Các thang giá trị mức xám thông thường: 16, 32, 64, 128, 256 (Mức 256 là mức phổ dụng Lý do: từ kỹ thuật máy tính dùng 1 byte (8 bit) để biểu diễn mức xám:
Mức xám dùng 1byte biểu diễn: 28%6 mức, tức là từ 0 đến 255) Ảnh đen trắng: là ảnh có hai màu đen, trắng (không chứa màu khác) với mức xám ở các điểm ảnh có thể khác nhau Ảnh nhị phân: ảnh chỉ có 2 mức đen trắng phân biệt tức dùng 1 bit mô tả 21 mức khác nhau Nói cách khác: mỗi điểm ảnh của ảnh nhị phân chỉ có thể là 0 hoặc 1 Ảnh màu: trong khuôn khổ lý thuyết ba màu (Red, Blue, Green) để tạo nên thế giới màu, người ta thường dùng 3 byte để mô tả mức màu, khi đó các giá trị màu:
2.1.4 Quan hệ giữa các điểm ảnh
Một ảnh số giả sử được biểu diễn bằng hàm f(x, y) Tập con các điểm ảnh là S; cặp điểm ảnh có quan hệ với nhau ký hiệu là p, q Chúng ta nêu một số các khái niệm sau
Các lân cận của điểm ảnh: Giả sử có điểm ảnh p tại toạ độ (x, y) p có 4 điểm lân cận gần nhất theo chiều đứng và ngang (có thể coi như lân cận 4 hướng chính: Đông, Tây, Nam, Bắc)
{(x-1, y); (x, y-1); (x, y+1); (x+1, y)} = N 4(p) trong đó: số 1 là giá trị logic; N 4(p) tập 4 điểm lân cận của p
Các lân cận chéo: Các điểm lân cận chéo N p (p) (Có thể coi lân cận chéo la 4 hướng: Đông-Nam, Đông-Bắc, Tây-Nam, Tây-Bắc) p (p)
Tập kết hợp: N 8 (p) = N 4 (p) + N p (p) là tập hợp 8 lân cận của điểm ảnh p
Các mối liên kết điểm ảnh:
Các mối liên kết được sử dụng để xác định giới hạn (Boundaries) của đối tượng vật thể hoặc xác định vùng trong một ảnh Một liên kết được đặc trưng bởi tính liền kề giữa các điểm và mức xám của chúng
Giả sử V là tập các giá trị mức xám Một ảnh có các giá trị cường độ sáng từ thang mức xám từ 32 đến 64 được mô tả như sau : V={32, 33, … , 63, 64}
Liên kết 4: Hai điểm ảnh p và q được nói là liên kết 4 với các giá trị cường độ sáng V nếu q nằm trong một các lân cận của p, tức q thuộc N 4(p)
Liên kết 8: Hai điểm ảnh p và q nằm trong một các lân cận 8 của p, tức q thuộc
Liên kết m (liên kết hỗn hợp): Hai điểm ảnh p và q với các giá trị cường độ sáng V được nói là liên kết m nếu q thuộc N 4(p) hoặc q thuộc N p (p)
Không gian màu RGB được tạo từ 3 thành phần cơ bản R, G, B.Sự pha màu mang tính chất cộng Mỗi màu được biểu diễn bởi một bộ ba số (R,G,B) Thành phần R, G, B là 1 số thực có giá trị từ 0 đến 255
Hình 2.1 Hệ màu RGB dưới dạng khối 3 chiều
Chương 2: CƠ SỞ LÝ THUYẾT
Không gian màu HSV là một hệ tọa độ trụ mô tả không gian màu RGB và trực quan hơn bao gồm H, S, V mô tả cho màu sắc (Hue), độ bão hòa màu (Saturation), và độ sáng (Value) Giá trị H được thể hiện thông qua góc vòng tròn Đi theo hướng ngược chiều kim đồng hồ, tại giá trị không độ là màu đỏ (R), sau đó biến thiên đến màu xanh lục (Green) tại giá trị 120 độ, màu xanh lá (Blue) tại 240 độ và quay trở về màu đỏ 360 độ.Không gian màu này thường được ứng dụng trong thị giác máy, đồ họa máy tính
Hình 2.2 Hệ tọa độ trụ cho không gian màu HSV
Không gian YCbCr thường được dùng trong ảnh JPEG, các các chuẩn video
Thích hợp cho việc nén và giải nén dữ liệu theo tần số Các thành phần trong không gian này:
Y: thành phần độ sáng(ảnh xám)
Cb và Cr: thành phần sắc thái màu
2.1.6 Các thành phần cơ bản của hệ thống xử lý ảnh Đầu đo Bộ số hóa Máy tính số
Hình 2.3 Các thành phần chính của hệ thống xử lý ảnh
Thu nhận ảnh
Các thiết bị thu nhận ảnh thường là camera hoặc máy quét, có khả năng chụp ảnh đen trắng Các thiết bị này được chia thành hai loại chính: Raster và Vector, tương ứng với hai loại ảnh thông dụng là ảnh Raster và ảnh Vector.
Các thiết bị thu nhận ảnh thông thường Raster là camera, các thiết bị thu nhận ảnh thông thường Vector là sensor hoặc bàn số hoá Digitalizer hoặc được chuyển đổi từảnh Raster Nhìn chung các hệ thống thu nhận ảnh thực hiện 2 quá trình
Thu nhận: biến đổi năng lượng quang học thành năng lượng điện (giai đoạn lấy mẫu)
Tổng hợp: tổng hợp năng lượng điện thành ảnh (giai đoạn lượng tử hóa)
2.2.2 Lấy mẫu và lượng tử hóa 2.2.2.1 Lấy mẫu
Lấy mẫu là một quá trình, qua đó ảnh được tạo nên trên một vùng có tính liên tục được chuyển thành các giá trị rời rạc theo tọa độ nguyên Quá trình này gồm 2 lựa chọn:
Chương 2: CƠ SỞ LÝ THUYẾT
- Một là: khoảng lấy mẫu
- Hai là: cách thể hiện dạng mẫu
Lựa chọn thứ nhất được đảm bảo nhờ lý thuyết lấy mẫu của Shannon Lựa chọn thứ hai liên quan đến độ đo (Metric) được dùng trong miền rời rạc
Khoảng lấy mẫu (Sampling Interval): Ảnh lấy mẫu có thể được mô tả như việc lựa chọn một tập các vị trí lấy mẫu trong không gian hai chiều liên tục Đầu tiên mô tả qua quá trình lấy mẫu một chiều với việc sử dụng hàm delta:
Các dạng lấy mẫu (Tesselation)
Dạng lẫy mẫu (Tesselation) điểm ảnh là cách bài trí các điểm mẫu trong không gian hai chiều Một số dạng mẫu điểm ảnh được cho là dạng chữ nhật, tam giác, lục giác Mỗi một mẫu, ngoài việc thể hiện hình dáng còn cho biết đặc điểm liên thông của chúng Ví dụ, mẫu chữ nhật có liên thông 4 hoặc 8 (nói về các mẫu liền kề); mẫu lục giác có liên thông 6; mẫu tam giác có liên thông 3 hoặc 6
Mẫu điểm ảnh chữ nhật Mẫu điểm ảnh tam giác Mẫu điểm ảnh lục giác
Hình 2.4 Các dạng mẫu điểm ảnh
Lượng tử hóa là một phép ánh xạ từ một tập các giá trị lấy mẫu liên tục sang một tập các giá trị rời rạc hữu hạn Nói cách khác, đây là quá trình chuyển đổi biên độ liên tục thành biên độ rời rạc.
Giả sử Z là một giá trị lấy mẫu (số thực) tại vị trí nào đó của mặt phẳng ảnh, và
Z min