Thuật toán lọc điểm từ dữ liệu đám mây điểm để thành lập DEM

Để phân loại lớp bề mặt đất và khơng bề mặt đất (lớp địa vật) có nhiều thuật tốn lọc nhằm tối đa tự động hóa trong q trình lọc điểm. Các thuật tốn này được phân nhóm theo 3 tiêu chí cơ bản đó là [35]:

 Cơ sở dựa vào độ dốc – đỉnh địa hình

 Cơ sở mơ hình tốn địa mạo

 Cơ sở bề mặt phủ

Mỗi thuật toán cho kết quả với độ tin cậy và độ chính xác khác nhau phụ thuộc vào mục đích, u cầu của mơ hình DEM cần thành lập.

3.2.1. Thuật tốn lọc dữ liệu dựa trên đám mây điểm được phân đoạn

Để phát hiện điểm địa hình thuộc tập hợp điểm A (tập hợp của đám mây điểm) của hệ thống quét laser dựa vào “hàm hiệu số độ cao cực đại” giữa hai điểm pi và pj. Ứng dụng lý thuyết topo học, DEM được định nghĩa như sau [37,38]:

𝐷𝐸𝑀 = {𝑝𝑖 ∈ 𝐴|∀𝑝𝑖 ∈ 𝐴: (ℎ𝑝𝑖 − ℎ𝑝𝑗) ≤ ∆ℎ𝑚𝑎𝑥(𝑑(𝑝𝑖, 𝑝𝑗))} (3.1)

Biểu thức (3.1) thể hiện: DEM là tập hợp các điểm địa hình pi được lọc từ tập hợp A nếu tồn tại điểm pj nào khác, sao cho hiệu số độ cao giữa các điểm (ℎ𝑝𝑖− ℎ𝑝𝑗) nhỏ hơn hiệu số độ cao cực đại ∆ℎ𝑚𝑎𝑥 trong phạm vi khoảng cách 𝑑(𝑝𝑖, 𝑝𝑗) giữa chúng. Các điểm pi được sắp xếp tuần tự theo độ dài tăng dần bắt đầu từ điểm pmin cục bộ có độ cao thấp nhất (hmin). Độ dốc địa hình b được tính tốn dựa vào độ dài khoảng cách 𝑑 (𝑝𝑖, 𝑝𝑚𝑖𝑛) và chênh cao (ℎ𝑖− ℎ𝑚𝑖𝑛):

𝑏 = (𝑑(𝑝𝑖, 𝑝𝑚𝑖𝑛), (ℎ𝑖− ℎ𝑚𝑖𝑛)) (3.2)

Phụ thuộc vào tham số ngưỡng độ cao a và phương sai a của nó, đồng thời phụ thuộc vào độ dốc địa hình b và phương sai b cũng như tham số ka , kb mơ tả đặc thù địa hình, giá trị ∆hmax xác định theo hàm hồi quy sau:

∆hmax = a + ka2 a2 + b.d + kb2d2b2 (3.3)

Sau khi tính DEM lần thứ nhất theo (3.1) và (3.3), chúng ta tiến hành lọc số liệu địa hình ra khỏi tập hợp thơ (chứa các số liệu địa hình và số liệu địa vật) dựa vào khoảng cách dọc theo phương dây dọi (trục Z) của DEM. Trước hết cần xác lập ngưỡng k1 , k2 (k1<k2) chúng ta sẽ có chuẩn lọc điểm như sau:

 (hi - hmin) <k1/ cosb → điểm đó là điểm địa hình.

 (hi - hmin) >k2/ cosb → điểm đó là điểm địa vật.

 k1/cosb ≤ (hi - hmin) ≤ k2/cosb → điểm không được lọc (không phân loại)

3.2.2. Thuật toán lọc dữ liệu quét laser mặt đất bằng bộ lọc thích ứng độ dốc và xử lý dữ liệu thô bằng việc phân cụm lý dữ liệu thơ bằng việc phân cụm

Thuật tốn lọc điểm địa vật bằng bộ lọc thích ứng độ dốc và xử lý dữ liệu thô bằng việc phân cụm rất cần thiết trong thực tế. Mỗi địa vật này đặc trưng bằng giá trị phương sai trong luật phân phối sai số.

Điểm P( xj, yj, zj ) được lọc từ N điểm Qi( xi, yi, zi) với i= 1, 2, 3, …,N nếu

khoảng cách từ điểm P tới điểm Qi (viết tắt là d(P, Qi)) nhỏ hơn hoặc bằng ngưỡng r cho trước, nghĩa là:

d(P, Qi) ≤ r (3.4)

trong đó: r là một tham số phụ thuộc vào mật độ điểm quét và khoảng cách

d(P, Qi) được tính theo cơng thức

𝑑(𝑃, 𝑄𝑖) = √(𝑥𝑃− 𝑥𝑄𝑖)2+ (𝑦𝑃− 𝑦𝑄𝑖)2+ (𝑧𝑃− 𝑧𝑄𝑖)2 (3.5)

Nếu điểm P và Qi cùng thuộc mặt phẳng cục bộ aX + bY + cZ + d = 0 thì khoảng cách d(P, Qi) giữa chúng tới mặt phẳng đó phải nhỏ nhất; nghĩa là số hiệu chỉnh khoảng cách (theo trục Z) của điểm i (viết tắt là vi) sẽ có dạng:

  2 2 2 2 2 1 1 (a, b,c,d) i i i i i vi i xi yi zi ax by cz d v X a b c                = min (3.8)

Có 3 trường hợp xảy ra:

(1)_ Tồn tại mặt phẳng cục bộ và điểm P thuộc mặt phẳng đó.

(2)_ Tồn tại mặt phẳng cục bộ và điểm P khơng thuộc mặt phẳng đó. (3)_ Khơng tồn tại mặt phẳng cục bộ.

3.2.3. Thuật tốn lọc dữ liệu qt bằng bổ sung mơ hình hóa bề mặt và phát triển mơ hình TIN tăng cường bộ lọc

Nguyên lý cơ bản của phương pháp mơ hình hóa bề mặt và phát triển mơ hình TIN để tăng cường bộ lọc dựa trên bề mặt phủ tiệm cận dần tới bề mặt địa hình thực bằng việc sử dụng các tham số bề mặt như mơ hình TIN, nội suy theo đường ngắn nhất, diện tích nhỏ nhất, mơ hình hình dạng hiện thời, mơ hình phẳng mỏng Spline.

Trong tổng số các phương pháp dựa trên cơ sở bề mặt phủ, việc phát triển mơ hình TIN và tăng cường phép lọc là một trong những phương pháp tiêu biểu mà cấu trúc đầu vào mơ hình TIN dựa trên mơ hình sơ lược DTM (lưu dạng Grid). Thường kích thước ơ vng lưới Grid lớn hơn kích thước của đối tượng khơng ở mặt đất mang tính đặc trưng địa hình được thu nhỏ tối đa [8,12] dễ được xác định. Các điểm mặt đất còn lại được tăng cường nhận dạng từ các điểm chưa được lọc sẽ đưa vào dữ liệu sơ bộ DTM dựa trên cơ sở đường đồng mức và tiêu chí góc [26,43]. Kết hợp đồng bộ với các phầm mềm phân tích địa hình Terrasolid, Lastools và ALDPAT [28,32,42] để thực hiện nhiệm vụ nội suy nhận dạng và phân lớp đối tượng bề mặt đất và không mặt đất. Việc phát triển mơ hình TIN địa hình để tăng cường bộ lọc phụ thuộc nhiều vào mức độ chi tiết của bề mặt địa hình và những cẩn trọng để hiệu chỉnh các tham

số tạo khn dáng địa hình gần nhất với bề mặt địa hình của mặt đất. Việc xác định các tham số đó dựa trên đặc tính giá trị của phương pháp phân tích thống kê của các điểm tương đồng (cùng tên).

Hình 3.3. Sơ đồ khối của thuật tốn phép lọc mơ hình hóa bề mặt và phát triển mơ hình TIN tăng cường bộ lọc [28,42]

Việc ứng dụng mơ hình hóa bề mặt phủ DTM dạng Grid lên cảnh quan đối

Dữ liệu đám mây điểm

Mơ hình hóa bề mặt phủ

Tìm tâm điểm đối tượng đặc trưng mặt

Tâm các điểm mặt đất

Tạo cấu trúc sơ bộ dữ liệu ban đầu

Bước 1:

Tạo dữ liệu sơ bộ DTM

Chuẩn bị dữ liệu đầu vào DTM

Ước tính tham số theo phân tích thống kê

Kết quả cuối cùng DTM Phát triển mơ hình TIN

và tăng cường bộ lọc Tham số được ước tính

Bước 2:

Ước tính tham số

Bước 3:

Tinh lọc dữ liệu ban đầu DTM

X - Vị trí của phần tử mặt phủ tại thời điểm t.

𝐹𝑒𝑥𝑡(𝑋, 𝑡) - Lực tác động ngoài, tức là lực trọng trường.

𝐹𝑖𝑛𝑡(𝑋, 𝑡) - Lực tác động trong tạo bởi liên kết giữa các phần tử mặt phủ. Khi bề mặt phủ chuyển về mặt phẳng đo, sự chuyển vị trí của mỗi phần tử mặt phủ chỉ chịu dưới ngoại lực được tính theo cơng thức (3.10)

𝑋(𝑡 + ∆𝑡) = 2𝑋(𝑡) − 𝑋(𝑡 − ∆𝑡) + 𝑔∆𝑡2 (3.10)

∆𝑡 - là bước thời gian và g - là gia tốc tự do.

Sau khi các thành phần bề mặt phủ được chuyển về bằng một ngoại lực, một nội lực được ép định vị lại các thành phần bề mặt phủ được tính theo cơng thức:

𝑑⃗ = ∑ (1

2)𝑅𝑇

3

𝑅𝑇=1 𝑏(𝑝⃗𝑖 − 𝑝⃗𝑜)∆𝑛⃗⃗ (3.11)

Ở đây: 𝑑⃗ - là chuyển vị véc tơ của phần tử mặt phủ.

b - là 0 khi phần tử không thay đổi vị trí (đứng n), trường hợp khác nó sẽ có giá trị bằng 1.

𝑝⃗𝑜 - là vị trí tại thời điểm của phần tử mặt phủ

𝑝⃗𝑖 - là vị trí của phần tử bên cạnh được kết nối với 𝑝⃗𝑜.

𝑛⃗⃗ - là véc tơ chuẩn hóa khi các điểm hướng thẳng đứng, 𝑛⃗⃗ = (0,0,1)𝑇 RT - là thời gian được lặp lại để kiểm tra độ vững bền của bề mặt phủ. Quá trình tinh lọc dữ liệu ban đầu DTM trên cơ sở phát triển mơ hình TIN và tăng cường bộ lọc được tiến hành theo 6 bước:

Bước 1: Tìm điểm tương đồng (cùng tên) mơ hình TIN dựa trên diện mạo của điểm chưa được lọc.

Bước 2: Tính tốn độ dốc, các điểm đặc trưng địa hình của mơ hình TIN.

Bước 3: Thao tác các điểm đối xứng, đỉnh, góc, được lọc dữ liệu với nhãn Pvertex (Xv, Yv, Zv) với giá trị độ cao cao nhất của mơ hình TIN và những điểm chưa được lọc là: Punfiltered (Xu, Yu, Zu,).

Những điểm đối xứng (tương đồng) là: Pmirror (Xm, Ym, Zm) của Punfiltered (Xu, Yu, Zu,) được tính theo cơng thức:

{

𝑥𝑚 = 2𝑥𝑣− 𝑥𝑢 𝑦𝑚 = 2𝑦𝑣− 𝑦𝑢 𝑧𝑚 = 𝑧𝑢

(3.12)

Bước 4: Tính khoảng cách d và góc θ của mơ hình TIN với các điểm được lọc về dạng Vertex. Nếu cả hai giá trị tính tốn nhỏ hơn giá trị cực đại d và θ thì điểm chưa lọc sẽ là nhãn (Vertex) của điểm mặt đất.

Bước 5: Tính thang độ của mơ hình TIN trên mặt phẳng với tọa độ X, Y. Nếu hệ số (RATIO) thang độ max - thang độ min nhỏ hơn thang độ của các điểm tương đồng thì được cập nhật bổ sung vào dữ liệu đầu vào DTM.

Bước 6: Lặp lại bước 1 → bước 5 cho đến khi tất cả những điểm chưa được lọc xong xây dựng lên kết quả cuối cùng DTM.

Chỉ số đánh giá độ chính xác của thuật toán được xác định bằng loại I, loại II và tổng sai số. { 𝐿𝑜ạ𝑖 𝐼 = 𝑎 𝑐 𝐿𝑜ạ𝑖 𝐼𝐼 = 𝑏 𝑑 𝑇ổ𝑛𝑔 𝑠𝑎𝑖 𝑠ố =𝑎+𝑏 𝑐+𝑑 (3.13)

Ở đây: a - là số của những điểm mặt đất được phân loại khơng chính xác như là điểm khơng thuộc mặt đất.

b - là số của những điểm khơng ở mặt đất phân loại khơng chính xác như điểm mặt đất.

c và d - là tổng những số điểm mặt đất và không ở mặt đất tương ứng. Qua thực tiễn cho thấy phương pháp mơ hình hóa bề mặt cho phép tạo ra dữ liệu đầu vào là mơ hình số DTM dạng Grid sẽ tạo phát triển mơ hình TIN nhằm tăng

3.3.1. Sơ đồ khối của chương trình

Hình 3.4. Sơ đồ khối chương trình hỗ trợ xử lý dữ liệu đám mây điểm

Ghi chú: CSF (Cloth Simulation Filtering) – Bộ lọc mơ hình hóa bề mặt

3.3.2. Mơ tả các bước của sơ đồ khối

- Các số liệu đầu vào đưa vào chương trình định dạng *.las file. Dữ liệu sẽ được import và được chương trình kiểm tra đúng định dạng hay không.

- Nếu định dạng chuẩn chương trình sẽ tiếp tục kiểm tra mật độ đám mây điểm để đánh giá và đọc giá trị màu sắc để hiển thị trên giao diện chính.

2. Bước giảm mật độ đám mây điểm

- Nếu máy cấu hình yếu hoặc khơng đủ cấu hình để thực hiện xử lý khối dữ liệu lớn, chương trình có thể sử dụng thuật tốn giảm mật độ điểm.

- Dữ liệu đám mây điểm sẽ được giảm bớt mật độ bằng thông số giá trị mật độ điểm yêu cầu. Giá trị này tương ứng với khoảng cách giữa các điểm của đám mây điểm sẽ được sử dụng để xử lý. Ví dụ mật độ điểm gốc là 6mm/1 điểm nếu nhập vào 10cm thì số liệu sau khi xử lý sẽ là 10cm/1 điểm. Số liệu sẽ được giảm gần 50% mà vẫn giữ được độ chính xác.

- Sau khi giảm mật độ điểm, chương trình sẽ cho phép hiển thị số liệu đám mây điểm đã giảm

3. Bước lọc dữ liệu thủ công

- Dữ liệu sau khi đã giảm mật độ điểm được sử dụng trực tiếp vào bước này.

- Chương trình sẽ yêu cầu vẽ vùng chọn dữ liệu để lọc loại bỏ.

- Sau khi vẽ vùng xong, chương trình sẽ tách vùng lọc sang một layer mới và được hiển thị riêng thành dữ liệu đám mây bị lọc.

- Số liệu cịn lại sau khi lọc sẽ được chương trình sử dụng tiếp tục.

4. Bước lọc dữ liệu địa hình

- Đây là bước chính để xây dựng địa hình.

- Các dữ liệu qua các bước trên có thể tham gia vào bước này.

- Dữ liệu sẽ được sử dụng các tham số của thuật tốn phân loại địa hình CSF để tính tốn. Các thơng số này có thể được hiệu chỉnh để có sản phẩm chuẩn nhất đối với từng loại dữ liệu đầu vào. Các thông số bao gồm:

+ Thơng số độ dốc địa hình và chọn loại địa hình tham gia tính tốn. + Thơng số ngưỡng độ phân giải dữ liệu đầu vào để tính tốn.

ngữ lập trình hướng đối tượng bậc cao, dùng để phát triển website và nhiều ứng dụng khác nhau. Python được tạo ra bởi Guido van Rossum và được phát triển trong một dự án mã mở (open source).

Với cú pháp đơn giản Python là ngôn ngữ nổi tiếng về sự chặt chẽ, nhanh, mạnh, và có mặt ở mọi hệ điều hành.

2. Mơi trường làm việc của chương trình

Chương trình làm việc trên môi trường windows hỗ trợ cả nền tảng 32bit và 64bit.

3. Yêu cầu phần cứng cài đặt

Chương trình u cầu cấu hình khơng q cao để chạy, tuy nhiên để xử lý khối dữ liệu lớn cần máy tính có cấu hình cao.

u cầu cấu hình tương đối:

- CPU: Intel® Core™ i7

- Ram: 16GB DDR4

- Ổ cứng: SSD

- VGA rời bộ nhớ 2GB GDDR4

4. Cài đặt chương trình

a. Chuẩn bị file cài đặt, tên file là PMXLDLDMD__Installer.exe

c. Hoàn thành cài đặt file chạy phần mềm có tên PMXLDLDMD.exe

5. Giao diện chính của chương trình

Hình 3.5. Các chức năng chính của chương trình

Bước 1. Cơng tác chuẩn bị;

Bước 2. Khảo sát khu vực thi công;

Bước 3. Lập thiết kế quét LiDAR mặt đất; Bước 4. Đo nối khống chế;

Bước 5. Thu nhận dữ liệu LiDAR; Bước 6. Xử lý dữ liệu;

Bước 7. Điều tra, đối soát ngoại nghiệp và đo đạc bổ sung; Bước 8. Thành lập mơ hình số độ cao;

Bước 9. Kiểm tra, thẩm định, nghiệm thu chất lượng sản phẩm; Bước 10. Giao nộp sản phẩm.

Trên cơ sở đó, nghiên cứu sinh tập trung chủ yếu vào công đoạn xử lý lọc đám mây điểm bằng chương trình được tác giả xây dựng phục vụ thành lập mơ hình số độ cao DEM nhằm kiểm định và minh chứng cho kết quả nghiên cứu.

3.4.1. Khu vực tiến hành thực nghiệm thu thập dữ liệu

Tiến hành thực nghiệm thu thập dữ liệu bằng hệ thống quét laser mặt đất Faro S350 plus tại 02 địa điểm, cụ thể:

 Địa điểm thứ nhất là khu vực làng Gia Phú xã Bình Dương huyện Gia Bình tỉnh Bắc Ninh. Đây là khu vực tương đối bằng phẳng tuy nhiên mật độ dân số đơng, có đầy đủ các yếu tố địa vật như nhà cửa, ao hồ, cây cối. Tiến hành quét laser mặt đất sau đó xử lý bằng chương trình lọc điểm đáp ứng yêu cầu của dữ liệu địa hình tỷ lệ 1/500. Từ đó làm cơ sở so sánh, đánh giá độ chính xác của mơ hình DEM được thành lập bằng cơng nghệ qt laser mặt đất với mơ hình

DEM của khu vực đã có bản đồ địa hình tỷ lệ 1/500 khoảng cao đều 0,5m (được thành lập bằng công nghệ UAV kết hợp với công tác đo đạc trực tiếp ngoài thực địa năm 2020).

 Địa điểm thứ hai là khu vực đồi Lim thuộc thị trấn Lim huyện Tiên Du tỉnh Bắc Ninh. Đây là khu vực đồi núi cao nhưng cũng có đầy đủ các yếu tố địa vật đặc trưng như nhà cửa, cây cối. Tiến hành quét laser mặt đất sau đó xử lý bằng chương trình lọc điểm đáp ứng yêu cầu của dữ liệu địa hình tỷ lệ 1/2.000. Từ đó làm cơ sở so sánh, đánh giá độ chính xác của mơ hình DEM được thành lập với mơ hình DEM của khu vực đã có bản đồ địa hình tỷ lệ 1/2.000 khoảng cao đều 1m (được thành lập bằng công nghệ Lidar hàng khơng năm 2015).

Ngồi ra, đồng thời quá trình quét laser mặt đất thu thập dữ liệu đám mây điểm thì tác giả tiến hành lựa chọn mỗi khu vực khoảng 10 điểm địa vật đặc trưng và xác định chính xác tọa độ và độ cao bằng máy toàn đạc điện tử làm cơ sở so sánh, đánh giá độ chính xác với dữ liệu đám mây điểm sau khi xử lý bằng chương trình nêu trên.

3.4.2. Kết quả thực nghiệm và đánh giá độ chính xác

3.4.2.1. Đối với khu vực làng Gia Phú xã Bình Dương huyện Gia Bình - Bắc Ninh

Xây dựng DEM bằng hệ thống quét Faro S350 plus:

Hình 3.6. Máy quét Faro S350 plus đặt tại thực địa [75]

Lưu ý: Độ phân giải của máy quét, độ phân kỳ của chùm tia cũng ảnh hưởng

đến việc thiết kế tiêu đo. Nếu tiêu đo q nhỏ thì khi để khoảng cách khơng phù hợp