BÁO CÁO MÔN HỌC HỆ THỐNG CƠ ĐIỆN TỬ THÔNG MINH Project: Thermal imaging camera service for Unmanned Aerial Vehicle

BÁO CÁO MÔN HỌC HỆ THỐNG CƠ ĐIỆN TỬ THÔNG MINH Project: Thermal imaging camera service for Unmanned Aerial Vehicle BÁO CÁO MÔN HỌC HỆ THỐNG CƠ ĐIỆN TỬ THÔNG MINH Project: Thermal imaging camera service for Unmanned Aerial Vehicle

TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI BÁO CÁO MÔN HỌC HỆ THỐNG CƠ ĐIỆN TỬ THÔNG MINH Project: Thermal imaging camera service for Unmanned Aerial Vehicle HOÀNG THANH TÙNG hoangthanhtung2606@gmail.com Ngành Kỹ thuật Cơ điện tử Chuyên ngành Hệ thống Cơ điện tử thông minh Giảng viên hướng dẫn: TS Hồng Hồng Hải Chữ ký GVHD Bộ mơn: Viện: Cơ điện tử Cơ khí HÀ NỘI, 1/2021 MỤC LỤC CHƯƠNG GIỚI THIỆU 1.1 Camera ảnh nhiệt 1.2 Máy bay không người lái CHƯƠNG CÔNG NGHỆ CAMERA NHIỆT 2.1 Công nghệ ảnh nhiệt Quang phổ điện từ xạ nhiệt Độ nhạy nhiệt NETD Infrared Thermography 2.2 Các loại Infrared Detectors Cooled Infrared Detectors Uncooled Infrared Detectors CHƯƠNG NGUYÊN LÝ HỆ THỐNG 3.1 Lựa chọn module phần cứng 3.2 Thông số kỹ thuật phần cứng Raspberry Pi Raspberry Pi Camera Module V2 Flir Lepton 3.5 10 3.3 Nguyên lý hoạt động chung hệ thống 10 Phát đối tượng cần đo nhiệt độ 10 Đo nhiệt độ đối tượng 10 Truyền liệu mặt đất 11 CHƯƠNG KẾT LUẬN 12 TÀI LIỆU THAM KHẢO 13 DANH MỤC HÌNH VẼ Hình 1.1 Hệ thống Camera ảnh nhiệt [2] Hình 1.2: Một hình ảnh thu từ camera nhiệt [2] Hình 1.3: Một số loại máy bay không người lái [3] Hình 2.1: Vùng quang phổ hồng ngoại vùng lân cận [4] Hình 2.2: Sự ảnh hưởng giá trị NETD đến việc đo nhiệt độ [5] Hình 2.3: Phát xạ nhận camera nhiệt [6] Hình 2.4: Camera Flir Neutrino LC sử dụng Cooled infrared detector Hình 2.5: Camera Flir Boson 320 sử dụng Uncooled infrared detector Hình 3.1: Sơ đồ kết nối module phần cứng Hình 3.2: Phát đối tượng cần đo nhiệt độ đường dây tải điện 10 Hình 3.3: Hình ảnh thu từ camera nhiệt 11 Hình 3.4: Phương thức truyền hình ảnh lệnh điều khiển 11 DANH MỤC BẢNG BIỂU Bảng 3.1: Danh sách module phần cứng chọn CHƯƠNG GIỚI THIỆU 1.1 Camera ảnh nhiệt Camera ảnh nhiệt hay gọi lại camera hồng ngoại (tên tiếng anh thermographic camera, infrared camera thermal imaging camera) thiết bị tạo ảnh sử dụng phát xạ hồng ngoại, tương tự camera thường sử dụng ảnh sáng nhìn thấy để tạo nên ảnh Camera ảnh nhiệt sử dụng ảnh sáng hống ngoại với bước sóng từ 1000nm (1µm) đến 14000nm (14µm) Phương phát để thu thập phatsn tích liệu thu tử cảm biến bên camera gọi thermargraphy [1] Mỗi đối tượng có nhiệt độ lớn độ khơng tuyệt đối (-273.15°C = Kelvin) đề phát xạ điện tử từ bề mặt nó, cường độ xạ tỷ lệ với nhiệt độ bên Một phần nằm xạ điện tử xạ hồng ngoại, mà sử dụng để đô nhiệt độ vật thể Những xạ xun qua khơng khí, với dự giúp đỡ thấu kính (lens) xạ hồng ngoại hội tụ vào thành phần cảm biến, mà sau sinh tín hiệu điện tỷ lệ với xạ Tín hiệu điện khuếch đại đưa vào mạch xử lý tín hiệu số (DSP) để chuyển thành tín hiệu đầu tỷ lệ với nhiệt độ vật thể Các giá trị đo sẻ sử dụng để hiển thị sử dụng cho nghiệp vụ xử lý [2] Hình 1.1 Hệ thống Camera ảnh nhiệt [2] Hình 1.2: Một hình ảnh thu từ camera nhiệt [2] 1.2 Máy bay không người lái Máy bay không người lái (tên tiếng anh Unmanned Aerial Vehicle, hay thường gọi Drone) máy bay khơng có phi cơng buồng lái Máy bay không người lái thành phần hệ thống bay không người lái Một hệ thống bay không người lái bao gồm máy bay không người lái, điều khiển mặt đất hệ thống để giao tiếp hai phần Các máy bay khơng người lái hoạt động nhiều chế độ tự hành khác nhau, điều khiển từ xa người vận hành mặt đất, điều khiển tự động máy tính [3] So với nhóm máy bày khác, máy bay không người lái thường sử dụng cho nhiệm vụ đặt thù nguy hiểm với người Mặc dù chúng khởi đầu chủ yếu ứng dụng quân sự, việc sử dụng mở rộng nhanh chóng tới thương mại, khoa học, giải trí, nông nghiệp ứng dụng khác giám sát bảo vệ, giao hàng, chụp ảnh không, kiểm tra sở hạ tầng, … [3] Hình 1.3: Một số loại máy bay không người lái [3] CHƯƠNG CƠNG NGHỆ CAMERA NHIỆT 2.1 Cơng nghệ ảnh nhiệt Quang phổ điện từ xạ nhiệt Chúng ta biết rằng, quang phổ xạ hay gọi sóng ảnh sáng mà mắt cảm thụ qua voãng mạc phần nhỏ dải quang phổ lớn Người ta gọi dải quan phổ nhìn thấy quang phổ khả kiến Mỗi loại vật thể ngồi quang phổ khả kiến có xạ quan phổ khác mà phần lớn chúng vơ hình với người, loại có bước sóng Bức xạ nhiệt số đó, có bước sóng dài so với ánh sáng khả kiến, thường khơng nhìn thấy mắt người Công nghệ ảnh nhiệt sử dụng dải quang phổ xạ nhiệt để tái tạo hình ảnh dải nhiệt mẫu Hình 2.1: Vùng quang phổ hồng ngoại vùng lân cận [4] Hình 2.1: Vùng quang phổ hồng ngoại vùng lân cận Hình 2.1, từ trái sang phải cho thấy quan phổ khả kiến (400nm đến 700nm) quang phổ mà nhìn thấy mắt thường Các bước sóng dài hơn, có vùng hồng ngoại bước sóng ngắn (SWIR) 0.8 µm đến 1.7 µm Liền kề quang phổ SWIR dải hồng ngoại có bước sóng trung hình (MWIR), dải MWIR mở rộng kéo dài từ 1.7 µm đến µm Dải MWIR theo sau khoảng trống từ µm đến µm Khoảng dự suy giảm khí mạnh khu vực đó, phần tử H2O CO2 có xu hướng làm giảm đáng kể xạ hồng ngoại khu vực Do đó, khoảng bước sóng khơng hữu ích cho camera hồng ngoại Cuối vùng hồng ngoại bước sóng dài (LWIR) kèo dài từ µm đến 14 µm Viedjc phần chia quang phổ dựa vào độ nhạy quang phổ cảm biến camera hồng ngoại Các camera ảnh nhiệt hống ngoại có loại cảm biến phù hợp với dải SWIR, MWIR LWIR Mỗi camera có ứng dụng khác Phần lớn camera nhiệt bán sử dụng hoạt động dài LWIR Độ nhạy nhiệt NETD NETD (Noise Equivalent Temperature Difference) đại lượng đánh giá cảm biến camera nhiệt phân biệt khác biệt nhỏ phát xạ hồng ngoại ảnh tốt Đơn vị NETD mili-Kelvin (mK), nhiều trường hợp hiểu NETD độ tương phản ảnh nhiệt Trong ảnh nhiệt nhiều nhiễu, giá trị NETD biến cao [5] Hình 2.2: Sự ảnh hưởng giá trị NETD đến việc đo nhiệt độ [5] Hình 2.2 biểu diễn hình ảnh thu từ hai camera nhiệt vật thể Camera thứ có NETD 60 mK, camera thứ hai có NETD 80 mK Ta thấy vùng ảnh có nhiệt độ thấp bị nhiễu nhiều ảnh thu từ camera có NETD 80 mK 20 mK khơng khác biệt nhiều có khả ảnh hường lơn đến chất lượng ảnh nhiệt độ xác phép đo nhiệt độ Infrared Thermography Phát xạ hồng ngoại lượng phát từ bề mặt đối tượng có nhiệt độ lớn độ khơng tuyệt đối Bức xạ phát môt hàm nhiệt độ vật liệu, nhiệt độ cao cường độ phát xạ hồng ngoại lớn Những thành phần tổng lượng phát xạ tương ứng với ba thông số độ hấp thụ, độ truyền dẫn độ phản xạ vật thể Ba thống số sử dụng để mô tả tượng: hấp thụ quang phổ   , phản xạ quang phổ  truyền dẫn quang phổ   Ba thống số có giá trị phụ thuộc bước sóng, tổng chúng ln ln         PT 2.1 Trong trường hợp vật liệu mờ đục, PT 2.1 rút gọn thành PT 2.2, toàn lượng nhận hấp thụ phản xạ      PT 2.2 Những vật liệu có thống số phản xạ thơng số truyền dẫn khơng gọi blackbody Đối với blackbody ta có    Theo định luật Stefan-Boltzmann, ta có lượng phát xạ hồng ngoại blackbody tính PT 2.3 Wb    T PT 2.3 Trong đó,  số Thơng số emissivity vật thể tương ứng với bước sóng  định nghĩa tỷ số lượng phát xạ vật thể lượng phát xạ blackbody giá trị nhiệt độ (PT 2.4)   W Wb PT 2.4 Năng lượng phát xạ vật thể thống thường phần lượng phát xạ từ blackbody Do thống số emissivity nằm khoảng (0, 1), vật thể thơng thường có thơng số emissivity số khơng phụ thuộc bước sóng gọi greybody W W      Wb Wb PT 2.5 Thông số emissivity đối tượng thật số khơng phụ thuộc vào bước sóng, chúng khơng thể coi greybodies Tuy nhiên, thường giả sử khoảng bước sóng nhỏ thống số emissivity coi số Giả sử sử dụng để coi vật thể thực greybody, chúng coi nhu bời chất ta tính giá trị trung bình emissivity khoảng bước sóng nhỏ [6] Từ PT 2.3 PT 2.5, ta thu phương trình Stefan-Boltzmann cho greybody sau: W     T PT 2.6 Nếu tất lượng xạ chiếu đến vật thể bị hấp thụ (khơng truyền dẫn phản xạ), giá trị độ hấp thụ Ở nhiệt độ nhắt định, toàn lượng hấp thụ phải tái xạ (phát ra), thơng số emissivity vật thể Từ ta có độ hấp thụ blackbody với emissivity Thật vậy, theo định luật Kirchhoff , giá trị thông số emissivity độ hấp thụ với nhiệt độ bước sóng [6]     PT 2.7 Từ PT 2.2 PT 2.7, ta có PT 2.8      PT 2.8 Để đo nhiệt độ đối tượng, ta tiến hành đo phát xạ hồng ngoại phát từ đối tượng chuyển giá trị lượng giá trị nhiệt độ Tuy nhiên, tất phát xạ nhận đến từ đối tượng đích, để đo giá trị nhiệt độ xác, phát xạ đến từ nguồn khác (như đối tượng xung quanh từ khơng khí) phải loại bỏ Tồn phát xạ nhận camera (Wtot ) đến từ ba nguồn: phát xạ đối tượng đích ( Eobj ) , phát xạ môi trường xung quanh đối tượng phản xạ lại ( Erefl ) , phát xạ khơng khí ( Eatm ) [6] Wtot  Eobj  Erefl  Eatm PT 2.9 Hình 2.3: Phát xạ nhận camera nhiệt [6] Nguồn đầu tiền phát xạ đến từ đối tượng đích Tuy nhiên khơng phải tồn phát xạ phát từ đối tượng camera nhận được, bời có phần lượng hấp thụ khơng khí Do đó, lượng phát xạ đối tượng biểu diễn PT 2.10 Eobj   obj  atm    (Tobj )4 PT 2.10 Greybody có thơng số độ phản xạ lớn khơng, chúng phản xạ lại lượng hồng ngoại phát từ đối tượng xung quanh Thông số độ phản xạ tính từ emissivity PT 2.8 Một phần lượng phản xạ hấp thụ khơng khí, ta có cơng thức tính thành phần thứ hai camera nhận PT 2.11 Erefl  (1   obj )  atm    (Trefl )4 PT 2.11 Thành phần thứ ba phát xạ hồng ngoại khơng khí tính cơng thức Eatm  (1  atm )    (Tatm )4 PT 2.12 Từ phương trình PT 2.9, PT 2.10, PT 2.11 PT 2.12 ta có cơng thức tính nhiệt độ đối tượng sau: Tobj  Wtot  (1   obj )  atm    (Trefl )4  (1   atm )    (Tatm )4 PT 2.13  obj  atm   Để áp dụng PT 2.12, ta cần biết trước thông số: emissivity đối tượng ( obj ) , nhiệt độ phản xạ (Trefl ) , độ truyền dẫn khơng khí ( atm ) nhiệt độ khơng khí (Tatm ) Độ truyền dẫn khơng khí thường đươc tính tốn dựa khoảng cách từ đối tượng đến camera độ ẩm môi trường xung quanh Thông thường, giá trị gần Nhiệt độ khơng khí có thông qua cảm biến nhiệt độ môi trường Tuy nhiên, emissivity khơng khí (1   atm ) gần khơng, thành phần ảnh hưởng đến việc đo nhiệt độ Mặt khác, thông số emissivity đối tượng cần đo nhiệt độ lại ảnh hưởng lớn đến trình đo nhiệt độ nên giá trị cần đo đạt xác 2.2 Các loại Infrared Detectors Camera nhiệt chia làm hai loại là: Cooled Infrared Detectors Uncooled Infrared Detectors Cooled Infrared Detectors Cooled detectors loại cảm biến thường đặt bên môi trường chân không làm lạnh Sự làm lạnh cần thiết với hoạt động vật liệu bán dẫn Thông thường nhiệt độ hoạt động loại bán dẫn nằm khoảng từ K đến nhiệt độ phịng, tùy thuộc vào cơng nghệ cảm biến Hầu hết loại cooled detectors đại hoạt động khoảng từ 60 K đêbs 100 K (-213°C đến -173°C), phụ thuộc vào hoạt mức độ hoạt động Nếu không làm lạnh, nhứng loại cảm biến bị “mù” bị lóa xạ chúng Nhược điểm loại detectors chi phí để sản xuất vận hành đắt đỏ Việc làm lạnh tốn nhiều lượng thời gian Các camera sửa dụng loại detector cần có vài phút để làm lạnh trước bắt đầu vận hành Các hệ thống làm lạnh sử dụng phổ biến sử dụng bơm nhiệt điện, khơng hiểu khả làm lạnh cịn hạn chế lại nhỏ gọn tương đối đơn giản Để đạt chất lượng ảnh cao sử dụng cho ảnh đối tượng có nhiệt độ thấp hệ thống làm lạnh tốt điều cần thiết Mặc dù hệ thống làm lạnh cồng kềnh đắt đỏ, loại cooled infraded detector cho các ảnh nhiệt có chất lượng tốt hẳn loại uncooled, thường loại đối tượng có nhiệt độ thấp nhiệt độ phòng Vật liệu sử dụng cho Cooled Infrared Detector dựa loạt chất bán dẫn khe hẹp bao gồm indium antimonide (3-5 μm), indium arsenide, mercury cadmium telluride (MCT) (1-2 μm, 3-5 μm, 8-12 μm), lead sulfide, and lead selenide [1] Hình 2.4: Camera Flir Neutrino LC sử dụng Cooled infrared detector Uncooled Infrared Detectors Uncooled thermal camera sử dụng cảm biến hoạt động nhiệt độ môi trường xung quanh, cảm biến ổn định nhiệt độ gần nhiệt đội môi trường xung quanh nhờ thành phần ổn định nhiệt độ Các loại uncooled detector sử dụng cảm biến hoạt động cách thay đổi điện trở, điện áp, dòng điện làm nóng xạ hồng ngoại Các thay đổi sau đo đạt so sánh với giá trị nhiệt độ hoạt động cảm biến Uncooled infrared sensors ổn định nhiệt độ định để giảm thiểu nhiễu cho ảnh, chúng khơng cần làm lạnh xuống nhiệt độ thấp, khơng cần tới hệ thống làm lạnh cồng kềnh đắt đỏ, lượng tiêu thụ giảm Điều làm cho lại camera có giá thành rẻ nhỏ gọn Tuy nhiên, độ phân giải chúng chất lượng ảnh thấp loại cooled detectors khác biệt công nghệ gia công giới hạn công nghệ Một uncooled thermal camera cần phải xử lý với nhiệt độ phát Vật liệu sản xuất Uncooled detectors hầu hết dựa pyroelectric ferroelectric công nghệ microbolometer Vật liệu sử dụng để tạo thành pixel có đặc tính phụ thuộc nhiệt độ cao, cách nhiệt với mơi trường đọc tín hiệu điện Hình 2.5: Camera Flir Boson 320 sử dụng Uncooled infrared detector CHƯƠNG NGUYÊN LÝ HỆ THỐNG 3.1 Lựa chọn module phần cứng Bảng 3.1: Danh sách module phần cứng chọn STT Tên thiết bị Raspberry Pi Raspberry Pi Camera Module V2 Flir Lepton 3.5 Số lượng 1 Hình 3.1: Sơ đồ kết nối module phần cứng 3.2 Thông số kỹ thuật phần cứng Raspberry Pi  Vi xử lý Broadcom BCM2711, Cortex-A72 (ARM v8), 64-bits SoC, xung nhịp 1.5GHz  RAM 4GB LPDDR4-2400  Wifi chuẩn 2.4 GHz 5.0 GHz IEEE 802.11ac, Bluetooth 5.0, BLE  Cổng mạng Gigabit Ethernet  cổng USB 3.0 cổng USB 2.0  Chuẩn 40 chân GPIO  cổng Micro HDMI xuất hình  cổng MIPI DSI cho hình  cổng MIPI CSI cho camera  cổng AV  Khe cắm thẻ MicroSD  Nguồn điện DC 5V-3A chuẩn USB-C Raspberry Pi Camera Module V2       Ống kĩnh tiêu cự cố định Độ phân giải cảm biến 3280 x 2464 Hỗ trợ video 1080p30, 720p60, 480p90 Kích thước 25mm x 23mm x 9mm Trọng lượng 3g FOV ngang: 62.2 °  FOV dọc 48.8 ° Flir Lepton 3.5          Cơng nghệ cảm biến Uncooled microbolometer Dải bước sóng LWIR, μm đến 14 μm Độ phân giải cảm biến 160 x 120 Tốc độ khung hình 8.7Hz NETD < 50 mK Radiometric camera Kích thước 29.5mm x 29mm FOV ngang 57 ° FOV dọc 71 ° 3.3 Nguyên lý hoạt động chung hệ thống Phát đối tượng cần đo nhiệt độ Ta áp dụng thuật tốn học sâu cho hình ảnh thu từ camera thường để phát đối tượng đối tượng cần đo nhiệt độ Hình 3.2: Phát đối tượng cần đo nhiệt độ đường dây tải điện Tọa độ đối tượng cần đo nhiệt độ chuyển đến cho thuật toán matching tọa độ để suy tọa độ vật thể khung hình tương ứng thu từ camera nhiệt Đo nhiệt độ đối tượng Xử lý liệu nhiệt độ thu từ camera nhiệt, kết hợp với tọa độ thu từ camera thường để đưa nhiệt độ đối tượng Như biết phần 2.1.3, liệu nhiệt độ thu dễ bị ảnh hưởng bới yếu đố ngoại cảnh góc nhìn, nhiệt độ mơi trường, đối tượng xung quanh Do đó, thuật tốn tính tốn nhiệt độ cần calib để phù hợp với toán đặt đo nhiệt độ cho đường dây tải điện cao 10 Hình 3.3: Hình ảnh thu từ camera nhiệt Truyền liệu mặt đất Hình 3.4: Phương thức truyền hình ảnh lệnh điều khiển Để truyền hình ảnh lệnh điều khiển máy tính drone, ta sử dụng phương thức HTTP RTSP qua mạng wifi Cụ thể, module Raspberry Pi kết nối với modem wifi, đồng thời máy tính mặt đất kết nối với modem wifi Biết địa IP Raspberry Pi máy tính, ta hồn tồn sử dụng phương thức HTTP để truyền lệnh điều khiển lên Drone lấy liệu hình ảnh từ Drone qua phương thức RTSP 11 CHƯƠNG KẾT LUẬN Máy bay khơng người lái UAV hay cịn gọi Drone có lẽ khơng cịn q xa lạ với giới cơng nghệ nay, ứng dụng xoanh quanh tiến lợi Drone ngày phát triền sử dụng cho việc quay phim chụp ảnh từ cao, giao hàng, khảo sát cơng trình, khảo sát địa hình người khó khăn tiếp cận, giám sát động vật hoang dã, giám sát cơng trình lớn nông trại lớn, … Trong báo cáo này, phương án sử dụng camera nhiệt tích hợp cho Drone trình bày Module đóng gói nhỏ gọn gồm mạch Raspberry Pi hai camera Dữ liệu từ module gửi máy tính mặt đất thơng qua sóng Wifi để phục vụ cho nghiệp vụ xử lý khác Việc tích hợp thành công camera nhiệt lên Drone đem lại nhiều ứng dụng phát lửa cháy, phát rò rỉ khí ga, tìm kiến cứu nạn, báo trì cơng trình có kích thước lớn gây khó khăn cho người đường dây điện cao, cánh đồng pin mặt trời lớn, … 12 TÀI LIỆU THAM KHẢO [1] "Wikipedia," 24 December 2020 [Online] Available: https://en.wikipedia.org/wiki/Thermographic_camera [Accessed 10 January 2021] [2] Basic Principles of non-contact temperature measurement, Berlin: Optris GmbH, 2019 [3] "Wikipedia," January 2021 [Online] Available: https://en.wikipedia.org/wiki/Unmanned_aerial_vehicle [Accessed 10 January 2021] [4] K M M Vollmer, "Fundamentals of Infrared Thermal Imaging," in Infrared Thermal Imaging: Fundamentals, Research and Applications, Second Edition, WILEY-VCH, 2017, p Chapter [5] "MoviTHERM advanced thermography solutions," MoviTHERM , [Online] Available: https://movitherm.com/knowledgebase/netd-thermal-camera/ [6] Ruben Usamentiaga, Pablo Venegas, Jon Guerediaga, Laura Vega, Julio Molleda and Francisco G Bulnes, "Infrared Thermography for Temperature Measurement and Non-Destructive Testing," MDPI, pp 12305-12348, 2014 13