A /, _ / ? NGHIÊN CỨU - TRAO ĐOI H Ệ T H Ố N G PH Á T H IỆ N VÀ C Ả N H BÁ O H Ỏ A H O Ạ N D Ù N G C A M E R A T H Ờ I G IA N T H Ự C P G S.T S H ồng Đ ình C hiến 1, TS N guyễn P h a n C n g 1, N guyễn V ăn L ên 2, P h a n T h n h P h t Khoa Điện-điện tử, trường Đại học Bà Rịa-Vũng Tàu Khoa Điện-điện tử, trường Đại học Bách Khoa HCM Tóm tắt Hỏa hoạn ln mang đến hậu nghiêm trọng lường hết Việc nghiên cứu chế tạo hệ thống giám sát tự động cảnh báo hỏa hoạn kèm hình ảnh cho nhiều đối tượng quản lý (cơ quan PCCC,chủ nhân ), để kịp thời ứng phó nhanh có cố xảy ,nhằm giảm thiểu thiệt hại cần thiết.Bài viết trình bày phương pháp phát cảnh báo hỏa hoạn sử dụng camera thời gian thực, dùng công nghệ cảm quan máy tính Open CV (computer vision) Hệ thống tự động tích hợp cơng nghệ cao phát hỏa hoạn việc nhận dạng đặc trưng lửa (màu sắc,diện tích ,tốc độ cháy ,) Camera thu nhận hình ảnh gửi máy tính,máy tính phân tích,xử lý ảnh thực đưa kết luận có hỏa hoạn hay khơng.Khi phát có hỏa hoạn máy tính gởi tín hiệu báo động có hình ảnh trường qua mạng đường dẫn googlemap tới trung tâm PCCC ,gửi tin nhắn báo động qua module Sim 900A tới chủ nhân , đồng thời kích hoạt hệ thống chuông báo động nơi phát hỏa hoạn để kịp thời ứng cứu chỗ Từ khóa: phát cảnh báo hỏa hoạn phân tích màu sắc, camera ,xử lý ảnh, Open CV,Sim 900A Abstract Fire usually causes serious disasters Thus, we decided to reseach and make a system which has fu ll ability to promptly detect and warn on the fire right when it breaks out in other to minimize the damages it may cause In this paper, we present how to detect and provoke warning through Open Source Computer Vision (Open CV) In this system,the fire detection method is based on color analysis Camera recives images and sends to the attached computer The computer will process and analyze real-time images to identify the fire outbreak I f there are signals o f a fire, the coputer will issue the warning images to the house owners through the analyze GPRSactivated module Sim 900A, and send the fire warning and direction images o f googlemap to the fire fighting departments Keywords: fire detection and warning, color analysis, camera, image processing, Open C V , Sim 900A I G IỚ I T H IỆ U Thực trạng hỏa hoạn Việt N am giới diễn phức tap gây nhiều hậu nghiêm trọng người tài sản Theo thống kê trang http://www.baomoi.com/ 80% vụ cháy xảy vào ban đêm, thời gian người ngủ, khơng có người canh giữ kho bãi, siêu thị, văn phịng Dẫn đến cơng tác phịng cháy chữa cháy khó khăn TẬP SAN KHOA HỌC VÀ ĐÀO TẠO 21 A /, _ / ? NGHIÊN CỨU - TRAO ĐOI Dưới biểu đồ thống kê số vụ cháy, thiệt hại người tài sản năm gần đây: Hình 1: Biểu đồ thống kê số vụ cháy năm 2011, 2012 2013 (update tháng 12/2013) Hình 2: Biểu đồ thống kê số người chết cháy nổ năm 2011, 2012 2013 (update tháng 12/2013) Hình 3: Biểu đồ thống kê thiệt hại cháy nổ năm 2011,2012 2013 (update tháng 11/2013) Q ua số liệu thống kê cho thấy tình hình cháy nổ Việt N am diễn theo chiều hướng gia tăng số vụ lẫn thiệt hại 22 TẬP SAN KHOA HỌC VÀ ĐÀO TẠO người tài sản Xuất phát từ thực trạng đó, việc nghiên cứu m ột hệ thống tự động tích hợp cơng nghệ cao có khả tự động giám sát diện rộng,cảnh báo nhanh chóng có cố xảy rát cần thiết cấp bách, nhằm có giải pháp ứng cứu kịp thời để giảm thiểu đến mức thấp m hỏa hoạn gây Có nhiều giải pháp để phát cảnh báo hỏa hoạn kinh điển đưa như: dùng cảm biến nhiệt độ, cảm biến khói, đầu báo lửa v.v Hạn chế phương pháp chúng phát đám cháy xảy gần vị trí đặt cảm biến, độ xác khơng cao, khơng có hình ảnh trường cháy,vùng giám sát nhỏ, công tác điều tra nguyên nhân gặp khó khăn Thêm vào đó, việc ứng cứu chưa kịp thời lực lượng PCCC nguyên nhân gia tăng thiệt hại đám cháy gây Sở dĩ có ngun nhân cơng tác PCCC không đáp ứng kịp với tốc độ tăng trưởng kinh tế, phương thức báo cháy chủ yếu điện thoại nên m ất nhiều thời gian để xác minh lấy thông tin, khâu tổ chức chữa cháy ban đầu hiệu không cao, lực lượng mỏng, thiếu phương tiện kinh phí cần thiết để tổ chức việc phòng cháy chữa cháy Để khắc phục khuyết điểm trên, dùng phương pháp xử lý ảnh đại , kết hợp tích hợp hệ thống truyền dẫn để phát cảnh báo hỏa hoạn nhanh, kèm hình ảnh trường Hệ thống nhanh chóng truyền liệu đến quan PCCC gần để nhanh chóng có giải pháp ứng cứu kịp thời Máy tính cơng cụ quan trọng trợ giúp người sản xuất đời sống Để đảm đương cơng việc phức tạp, máy tính phải có khả suy nghĩ trí tuệ tương đối Trước hết, máy tính phải có cảm nhận giới người Công nghệ cảm ứng phát triển mạnh năm gần đây- với nhiều giác quan hồn hảo giúp máy tính cảm nhận thân gia tốc, vận tốc, định vị, định hướng, v.v Tuy nhiên, A /, _ / ? NGHIÊN CỨU - TRAO ĐOI máy tính chưa thể cảm nhận giới xung quanh - ngoại trừ m ột số thông tin nhiệt độ, áp lực, khoảng cách M ảng ghép quan trọng cịn thiếu thị giác Thị giác đem đến thơng tin khái qt hóa tập hợp thành mơ hình Thị giác hồn thiện nâng tầm trí tuệ nhân tạo (AI) lên tầm cao mới, máy tính trở nên gần gũi tương tác với người thuận lợi Hình 4: Sơ đồ hệ thống cảnh báo hỏa hoạn N hóm nghiên cứu tìm hiểu hạn chế nhận dạng lửa trước chưa nhận dạng xác đối tượng nhiều điều kiện mơi trường, nhận dạng sai đối tượng có màu giống lửa chưa nhận dạng lửa nguồn cháy khác đưa giải pháp hịan tồn có khả khắc phục hạn chế Để nhận dạng lửa xác, tránh nhận dạng sai lệch đối tương có màu giống lửa, giải pháp đưa phương pháp phát hỏa hoạn theo điều kiện chặt chẽ dựa vào thơng tin tìm hiểu đánh giá từ thực tiễn N hóm kiểm nghiệm lại cách xử lý nhiều video đám cháy hệ thống nhận dạng xác, đặc biệt đối tượng có màu giống lửa hệ thống phân biệt xác Điểm khác chúng tơi sử dụng cam era IP thay cam era thường điều giúp chúng hệ thống chúng tơi có khả kiểm sốt m ột vùng rộng nhờ cam era có khả tự quay nhiều hướng từ m ột máy chủ quản lý nhiều khu vực khác không giới hạn khoảng cách cần có mạng kết nối vào camera II P H Ư Ơ N G P H Á P 2.1 Giải thuật chương trình Trong phần chúng tơi xin trình bày giải thuật xác định lửa Giải thuật chủ yếu dựa nguyên tắc tiếp cận mơ hình màu ,do tính đơn giản hiệu Do chúng tơi chọn khơng gian màu RGB YCbCr Việc phân loại điểm ảnh cho lửa xác định qua điều kiện M ột điểm cho lửa thỏa m ãn điều kiện chặt chẽ qua sơ đồ sau: Hình 5: Sơ đồ giải thuật phát lửa Mơ hình màu RGB sử dụng mơ hình bổ sung ánh sáng đỏ, xanh xanh lam tổ hợp với theo nhiều phương thức khác để tạo thành m àu khác M ột hình ảnh tạo pixel, pixel đại diện không gian vector màu R(x,y) ,G(x,y), B(x,y) tương ứng với vị trí khơng gian (x,y) TẬP SAN KHOA HỌC VÀ ĐÀO TẠO 23 A /, _ / ? NGHIÊN CỨU - TRAO ĐOI 2.1.1 Điều kiện Qua trình nghiên cứu lý thuyết tính tốn từ thực nghiệm , thấy vùng có lửa kênh R có giá trị cường độ cao kênh G, kênh G có gí trị cường độ cao kênh B (a) (b) (c) (d) Hình 6: Ảnh gốc cột (a), kênh màu R, G, B tương ứng cột (b), (c), (d) Đe giải thích rõ cho ý tưởng , chọn ảnh mẫu hình 5(a) khoanh vùng pixel lửa hình 5(b) với màu xanh cây, tính tốn giá trị trung bình R,G,B vùng pixel lửa B ảng 1: G iá tr ị tru n g bìn h R ,G ,B tro n g , (a) (b) Từ kết Bảng rõ ràng , thấy trung bình pixel hiển thị lửa có giá trị cường độ R lớn G giá trị cường độ G lớn B.Vì cho vị trí khơng gian (x,y) điểm ảnh lửa phải thỏa mãn quy tắc sau: I> A _ í ^ > }') > B {x,y) [ o í net o1'í00 (1) — ] _ - _ 2.1.2 Điều kiện Điều kiện thứ đặt điều kiện ngưỡng màu để khoanh vùng lửa Điều kiện đưa sau trình tìm hiểu đo đạc từ frame ảnh thực tế v ù n g lử a Ảnh R G B 199 118 53 198 116 57 170 93 50 ÍA) Hình 7: Ảnh gốc cột (a), Ảnh phân vùng lửa cột (b) 24 TẬP SAN KHOA HỌC VÀ ĐÀO TẠO (b) A /, _ / ? NGHIÊN CỨU - TRAO ĐOI Hình 8: Ảnh gốc (a), Ảnh phân vùng lửa (b) Histogram vùng pixel lửa kênh màu R, G, B D ựa việc thực nghiệm số lượng lớn mẫu ảnh lửa, đề điều kiện để phát pixel lửa l90)r*(G(x,y)> 10ơ)r*B(x, y) Ể ỉ Cb(x, ỵ) * ■I ĩ ' I I Cr-*"ữ» ( x * y ) Bảng 2: Giá trị trung bình kênh màu Y, Cb, C r MxN tx=l t/=] C r ( X ’ y ) 2.1.3 Điều kiện Từ bảng , phát triển điều kiện Hai điều kiện đưa sau kiểm nghiệm phân tích nhiều m ẫu thử Hai điều kiện phát pixel lửa vị trí (x,y) f Y ( x ,y )> C b ( x ,y ) Với (x,y) giá trị pixel , M xN tổng số pixel vùng chọn o th e r w is e (3) 1, if C r(x,y) > C b(x,y) R A ^y) = 0, o th e r w is e TẬP SAN KHOA HỌC VÀ ĐÀO TẠO (4 ) 25 A /, _ / ? NGHIÊN CỨU - TRAO ĐOI 2.1.4 Điều kiện Khu vực lửa thường khu vực sáng tồn cảnh, giá trị trung bình kênh Ymean, Cb mean, Cr mean chứa thơng tin có giá trị Từ hình 10 quan sát thấy khu vực có lửa giá trị Y lớn thành phần Y mean, giá trị Cb nhỏ Cb mean, giá trị Cr lớn Cr mean N hững quan sát kiểm định từ xây dựng điều kiện sau: Hình 10: Đường cong ROC để xác định giá trị ngưỡng TH ], ím \ y) > n(Cb(x, y) < r* G K y )> ;"x v )) ' (5) 2.1.5 Điều kiện M ột điều dễ dàng quan sát thấy hình 10c 10d Ở thấy m ột khác biệt đáng kể thành phần màu Cb Cr pixel lửa Đối với điểm lửa thành phần Cb chủ yếu màu đen ( cường độ thấp) thành phần Cr chủ yếu màu trắng ( cường độ cao) Từ thực tế suy điều kiện thỏa mãn pixel lửa sau: Từ hình 10 ta thấy tỉ lệ dương tính cao đồng nghĩa với tỷ lệ báo hiệu giả cao Bằng việc cân đối hai tỉ lệ đề xuất chọn TH=70 tương ứng với tỷ lệ phát 95% tỉ lệ phát sai nhỏ 30% 2.1.6 Điều kiện Từ việc phân tích biểu đồ vị trí vùng lửa phân đoạn thể hình 12c, xác định số giá trị ngưỡng cho Cb Cr , không xem xét giá trị Y thành phần độ sáng phụ thuộc vào điều kiện chiếu sáng ¡otherwise (6) Với giá trị ngưỡng TH xác định thực nghiệm theo phương pháp đường cong ROC Đường cong ROC thu cách thử nghiệm giá trị khác TH (từ đến 100) 100 ảnh 26 TẬP SAN KHOA HỌC VÀ ĐÀO TẠO (a) (b) (c) Hình 11: Ảnh gốc RGB (a), Ảnh chuyển từ RGB sang YcbCr (b), Vùng lửa vùng màu xanh dương ảnh YcbCr (c) A /, _ / ? NGHIÊN CỨU - TRAO ĐOI còi trường, gọi điện tới người quản lý, gửi cảnh báo hình ảnh trường tới trung tâm PCCC gần để họ có hướng giải nhanh chóng hiệu nhằm giảm thiểu tối đa thiệt hại hỏa hoạn gây (a) (b) Hình 12: Histogram vùng lửa kênh màu Cb (a), Cr (b) D ựa theo quan sát trình thực nghiệm nhiều lần , đưa điều kiện điểm pixel lửa sau: 2.2.1 Cảnh báo calling SMS Bình thường vi xử lý chế độ lắng nghe , nhận tín hiệu điều khiển báo có hỏa hoạn từ máy tính truyền xuống vi xử lý gửi tín hiệu cảnh báo loa trường đồng thời gửi tín hiệu xuống module SIM gọi điện cho người quản lý Q uá trình gọi điện kết thúc nhận tín hiệu phản hồi từ người quản lý Trong trường hợp số điện thoại thứ người quản lý không lien lạc được, vi xử lý gửi lệnh xuống module SIM gọi điện tới số điện thoại dự phòng (7) 2.1.7 Xác định hướng chuyển động D ựa vào đặc điểm chuyển động lửa , xây dựng điều kiện xét hướng chuyển động giải thuật chương trình, nhằm loại bỏ ảnh hưởng vật có màu giống lửa chuyển động vùng xem xét Hình 13 : Module SIM 900A 2.2 Cảnh báo Khi hệ thống phát hỏa hoạn xác, cần tự động gửi tín hiệu cảnh báo loa- 2.2.2 Gửi cảnh báo kết nối mạng sử dụng GPRS đồ googlemap Đê truyên tín hiệu tới trung tâm PCCC , tân dụng chức GPRS module đê kết nối m ạng truyên tín hiệu cảnh báo □ ^ Gửi cảnh báo qua GPRS Đầu tiên vi xử lý kích hoạt chức GPRS module SIM v chuyên sang chế độ chờ nhận tín hiệu báo hỏa hoạn truyên xuống từ máy tính Vi xử lý gửi lệnh xuống m odule SIM yêu cầu kết nối tới sever trung tâm PCCC thông quan GPRS Qua trình kết nối thành cơng vi xử lý yêu cầu TẬP SAN KHOA HỌC VÀ ĐÀO TẠO 27 A /, _ / ? NGHIÊN CỨU - TRAO ĐOI module SIM gửi số “ID ” địa cam era tơi server trung tâm PCCC “ID ” m ột số đăng kí trung tâm phịng cháy chữa cháy chưa thông tin tọa độ nhà,tên chủ nhân,số te l □ Chương trình cảnh báo trung tâm PCCC Bình thường chương trình chế độ chờ, nhận yêu cầu kết nối từ Client chương trình kết nối nhận số “ID ” s r-: ~ địa cam era Chương trình kiểm tra số “ID ” xem có năm sở liệu hay Hình 15: Chương trình nhận thơng khơng khơng có chương trình đưa tin cảnh báo hỏa hoạn báo lỗi có chương trình phát tín hiệu báo hỏa hoạn loa-cịi hiển thị vị trí xảy hỏa hoạn đồ googlemap tìm đường găn từ trung tâm tới nơi xảy hỏa hoạn Đồng thời chương trình hiển thị thông tin liên quan tới địa điểm xảy hỏa hoạn : Tên chủ nhân, địa chỉ, số điện thoại liên lạc với chủ n hân Ngoài để kiểm tra thông tin báo cháy trường vụ cháy chương trình kết nối trực tiếp tới cam era IP trường Q ua việc xác định trường vụ cháy trung tâm PCCC Hình 16: Chương trình xem trực đưa biện pháp kịp thời để giảm thiểu tiếp hình ảnh trường nơi có hỏa hoạn tối đa thiệt hại hỏa hoạn gây đồng giúp ích cho công tác điều tra nguyên nhân gây hỏa hoạn III K Ế T Q U Ả T H Ự C N G H IỆ M M ột pixel ảnh phân loại lửa [ ■: I thỏa tất điều kiện từ tới Q ua trình / ~ ••••'' t; r phân đoạn giải thích đơn giản qua ■ ■> bước hình 18 Hình 19 cho ta thấy m ột số kết thực nghiệm Ị ; : " • U I* É Hình 14: Chương trình chế độ bình thường 28 TẬP SAN KHOA HỌC VÀ ĐÀO TẠO A /, _ / ? NGHIÊN CỨU - TRAO ĐOI Hình 17: Các bước phát lửa, (a) Ảnh gốc RGB, (b) - > (h) Vung lửa đ^ược xác đĩnh theo điều kiện từ đến 7, (i) Vùng thỏa điều kiện điểm lửa Bảng 3: số liệu thống kê kết thực nghiệm: D ỉi f i n b ị t Ãak ỉánrl Àtok ỈÌB| dơ ¿»1* ti» I ỊWU KU>1 tlsĩ KM tử ■tkHJ KkDflf (tỉ Di lit m í* LUt* 50 ĨO ĨO 50 50 g « tì ỉ Ỵ p ïll bits G ĩ i B ọcbi^ 100 1» xi< % % sa t i n*i KU (tu Itat oik* 50 ti SỈEŨ Ihrc 54 ËÛ cìmh biũ ui K h ỉ.! Hình 18: Kết thực nghiệm nhận dạng lửa ban đêm ban ngày, (a) Ảnh gốc, (b) ảnh vùng lửa Trên sở xác định điểm thỏa mãn điều kiện , đưa chúng vào đối tượng nghi ngờ có lửa Khi cho cam era Ip dừng lại vị trí nghi ngờ có lửa tiếp tục kiêm tra đối tượng nghi ngờ lửa có chun động hay khơng băng cách trừ ảnh N ếu không thây chuyên động chứng tỏ khơng có lửa tiếp tục cho cam era quay N ếu có chun động chúng tơi ghi nhận có lửa có ghi nhận có lửa liên tiếp xảy gửi cảnh báo hỏa hoạn loa gửi SMS , Calling Q ua thực nghiệm tính tốn, nhóm có đề xt xác định mức độ cháy lửa thông qua diện tích m rộng lửa N ếu diện tích nhỏ 80 pixel quy định bình thường chưa có báo động ( giúp giảm báo động giả nhiễu) Nếu diện tích lớn 100 pixel nhỏ 250 pixel đưa cảnh báo nguy hiểm có nguy cháy N ếu diện tích lớn 250 pixel đưa cảnh báo có hỏa hoạn 11% IV K Ế T LU Ậ N -H Ư Ớ N G P H Á T T R IỂ N Trong đề tài nghiên cứu m àu sắc đề xuât sử dụng không gian màu RGB Y cbCr Từ m ột loạt điều kiện kết hợp với việc xác định chuyên động lửa xác định đê phân loại m ột điêm ảnh lửa Q ua thực nghiệm ,m hình hệ thống báo cháy tích hợp tự động đạt độ tin cậy tuyệt đối 100 % ban đêm ( rât cần thiết cảnh báo xác ) , có chút suy giảm vào ban ngày chưa tối ưu thơng số ngưỡng Thuật tốn đơn giản, tính tốn nhanh điều làm cho phù hợp đê sử dụng hệ thống cảnh báo hỏa hoạn thời gian thực Với việc tích hợp hệ thống cảnh báo hỏa hoạn băng việc gọi điện thoại, hiên thị thông tin vi trí đồ googlemap, tìm đường ngắn nhât tới nơi xảy hỏa hoạn, quan sát trực tiếp trường xảy hỏa hoạn.Hệ thống báo cháy tự động tích hợp giúp ích cho việc phát ngăn chặn vụ hỏa hoạn cách hiệu kịp thời Hệ thống chế tạo thử nghiệm thành cơng,có độ tin cậy cao linh hoạt cao, khắc phục khuyết điêm m TẬP SAN KHOA HỌC VÀ ĐÀO TẠO 29 A /, _ / ? NGHIÊN CỨU - TRAO ĐOI đề tài nghiên cứu trước nhận dạng xác lửa hơn,tốc độ xử lý nhanh có khả nhận dạng lửa từ nguồn khác nhau.Đặc biệt tích hợp thành cơng hệ thống báo động có tính thực hiệu ứng phó nhanh-chính xác cao Trong thời gian mong m uốn hợp tác nâng cấp, hoàn thiện hệ thống đưa vào ứng dụng thực tế ( nhà xưởng, nhà kho, chợ, xưởng,văn phòng,siêu thị, tòa nhà ) Hệ thống kiểm nghiệm cách xử lý video làm nhiều mơ hình thực nghiệm, điều chỉnh thông số thực tế Xem kết thực nghiệm http://www.youtub watch?v=HLk0ssjYAnU http://www.youtub watch?v=k5qZ9W lAqjs http://www.youtub trang: e.com/ e.com/ e.com/ watch?v=Xqp6U W TD STU T ài liệu th am khảo: [1] Image Processing Based Forest Fire Detection Vipin V Asst Professor, Department o f ECE, St.Joseph’s College o f Engineering, Palai, India [2] J.R Gonzalez, M Palahi, A.Trasobares, T Pukkala, “A fire probability model for forest stands in Catalonia (north-east Spain),” Annals o f Forest Science, pp.169-176, 2006 [3] L Yu, N Wang, X M eng, “Real-time Forest Fire Detection with W ireless Sensor N etw orks”, Proceedings o f International Conference on W ireless Communication, N etw orking and M obile Computing, vol.2, pp.1214-1217,2005 [4] Smoke detection in videousing wavelets and suppor vector machines JayavardhanaGubbi , 30 TẬP SAN KHOA HỌC VÀ ĐÀO TẠO SlavenM arusic, M arim uthuPalaniswami [5] Com puter vision based m ethod for real tim e fire and flame detection qB U g 'u r To'reyin a,*, Y ig lth an Dedeog^lu b, Ug"ur G u d u k b a y b, A Enis CD etin a ... thiết cảnh báo xác ) , có chút suy giảm vào ban ngày chưa tối ưu thông số ngưỡng Thuật tốn đơn giản, tính tốn nhanh điều làm cho phù hợp đê sử dụng hệ thống cảnh báo hỏa hoạn thời gian thực Với... biệt tích hợp thành cơng hệ thống báo động có tính thực hiệu ứng phó nhanh-chính xác cao Trong thời gian mong m uốn hợp tác nâng cấp, hoàn thiện hệ thống đưa vào ứng dụng thực tế ( nhà xưởng, nhà... động vùng xem xét Hình 13 : Module SIM 900A 2.2 Cảnh báo Khi hệ thống phát hỏa hoạn xác, cần tự động gửi tín hiệu cảnh báo loa- 2.2.2 Gửi cảnh báo kết nối mạng sử dụng GPRS đồ googlemap Đê truyên