Khả năng ứng dụng phân loại bề mặt lớp phủ bằng thuật toán support vector machine

Kinh tế & Chính sách KHẢ NĂNG ỨNG DỤNG PHÂN LOẠI BỀ MẶT LỚP PHỦ BẰNG THUẬT TOÁN SUPPORT VECTOR MACHINE Nguyễn Thị Oanh, Phùng Minh Tám KS Trường Đại học Lâm nghiệp TÓM TẮT Lớp phủ bề mặt phản ánh điều kiện trạng thái tự nhiên bề mặt trái đất, ví dụ đất rừng, thảm cỏ, sa mạc, v.v Sử dụng liệu ảnh viễn thám giải đốn, phân tích đánh giá biến động lớp phủ bề mặt phạm vi rộng với hiệu kinh tế cao theo thời gian không gian Trên giới thuật toán Support Vector Machine (SVM) ứng dụng để phân loại lớp phủ bề mặt từ tư liệu ảnh viễn thám Cơ sở để thực toán phân loại lớp phủ bề mặt từ ảnh viễn thám đặc trưng phổ ảnh viễn thám Thuật toán SVM thực toán phân loại dựa đặc trưng phổ ảnh viễn thám đa phổ Quá trình phân loại lớp phủ từ ảnh viễn thám sử dụng SVM thực theo bước: Định nghĩa mẫu lớp phủ, chọn vùng mẫu, huấn luyện mẫu, phân loại liệu Tiến hành thực nghiệm phần mềm Envi 4.7 với ảnh phổ hãng Quickbird độ phân giải phổ 2,4 m (một phần khu vực Mỹ Đình – Hà Nội) phương pháp phân loại khác tiến hành so sánh, phân tích, tổng hợp kết thu Nhận thấy, phương pháp phân loại SVM phân loại với độ xác tốt ổn định phương pháp khác số lượng mẫu thực tế thay đổi Ngoài ra, sử dụng phương pháp SVM ranh giới lớp phủ thể rõ ràng Từ khóa: Phân loại ảnh, phân loại bề mặt lớp phủ, Support Vector Machine, thuật tốn phân loại có giám sát, thuật toán SVM, ứng dụng thuật toán SVM I ĐẶT VẤN ĐỀ Thuật toán Support Vector Machine – SVM ứng dụng nhiều lĩnh vực như: Nhận diện khuôn mặt (Osuna, Freund Girosi, 1997), phân loại văn (Joachims, 1997), nhận dạng chữ viết tay, phân loại Email – lọc thư rác Trên giới SVM ứng dụng để phân loại lớp phủ bề mặt từ tư liệu ảnh viễn thám nhiều nghiên cứu Brown người khác (1997) cho thấy độ xác việc phân loại nâng cao rõ rệt so với phương pháp phân loại thông thường Tuy nhiên, Việt Nam việc sử dụng phương pháp phân loại ảnh viễn thám SVM chưa nghiên cứu áp dụng Mặc dù có nghiên cứu Nguyễn Đức Lộc Nguyễn Quang Minh (2013) chứng minh thuật tốn SVM có nhiều điểm mạnh so với thuận tốn phân loại thơng thường mang tính truyền thống nước ta phương pháp hình hộp, phương pháp khoảng cách nhỏ nhất, phương pháp xác suất cực đại với độ 140 xác phân loại lớp phủ bề mặt đạt khoảng 70 - 80 % khơng ổn định, phương pháp phân loại thuật tốn SVM chưa sử dụng phổ biến phân loại lớp phủ Chính vậy, việc nghiên cứu thử nghiệm sử dụng thuật toán SVM khả ứng dụng phân loại bề mặt lớp phủ cần thiết làm sở để thực phương pháp phân tích ảnh viễn thám hiệu với độ xác cao II ĐỐI TƯỢNG, PHƯƠNG PHÁP NGHIÊN CỨU 2.1 Đối tượng phạm vi nghiên cứu - Thuật toán SVM - Chức phân loại phần mềm Envi - Ứng dụng SVM phân loại liệu lớp phủ sử dụng từ ảnh viễn thám Đề tài nghiên cứu khả phân loại lớp phủ bề mặt SVM phần mềm Envi so sánh kết phân loại với phương pháp khác 2.2 Phương pháp nghiên cứu Trong đề tài nghiên cứu sử dụng phương pháp nghiên cứu sau: TẠP CHÍ KHOA HỌC VÀ CƠNG NGHỆ LÂM NGHIỆP SỐ 1-2015 Kinh tế & Chính sách - Phương pháp thu thập số liệu thứ cấp: Đây phương pháp áp dụng nhằm thu thập số liệu công bố đề tài nghiên cứu nội dung khả ứng dụng thuật toán SVM vào lĩnh vực khác - Phương pháp thực nghiệm: Sử dụng công cụ phân loại phần mềm Envi tiến hành phân loại có kiểm định phương pháp khác nhau, phương pháp tiến hành phân loại nhiều lần với số mẫu thay đổi (tăng dần vùng mẫu – tăng pixel ảnh) - Phương pháp phân tích xử lí số liệu: Trên sở số liệu thu thập kết thực nghiệm, tiến hành phân tích, so sánh độ phân loại chúng dựa vào mẫu thực tế, phần mềm Envi có cơng cụ tính ma trận sai số để đánh giá độ xác tồng thể Overall Accuracy Kappa Coefficient Dựa vào kết đánh giá độ xác tổng thể kết hợp với quan sát mắt làm để đưa kết luận III KẾT QUẢ NGHIÊN CỨU 3.1 Giới thiệu chung SVM Máy vectơ hỗ trợ (SVM - từ viết tắt tên tiếng Anh: Support Vector Machine) khái niệm thống kê khoa học máy tính cho tập hợp phương pháp học có giám sát liên quan đến để phân loại phân tích hồi quy Thuật tốn SVM ban đầu tìm Vladimir N.Vapnik dạng chuẩn sử dụng lề mềm tìm Vapnik Corinna Cortes năm 1995 SVM dạng chuẩn nhận liệu vào phân loại chúng vào hai lớp khác SVM thuật toán phân loại nhị phân Với mẫu huấn luyện thuộc hai thể loại cho trước, thuật tốn huấn luyện SVM xây dựng mơ hình SVM để phân loại liệu khác vào hai thể loại Một mơ hình SVM cách biểu diễn điểm không gian lựa chọn ranh giới hai thể loại cho khoảng cách từ mẫu huấn luyện tới ranh giới xa Các liệu biểu diễn không gian thuật toán dự đoán thuộc hai thể loại tùy vào liệu nằm phía ranh giới Hình 01 H2 tốt 3.2 Nội dung phương pháp SVM Đặc trưng định khả phân loại phân loại hiệu suất tổng quát hóa, khả phân loại liệu dựa vào tri thức tích lũy q trình huấn luyện Thuật toán huấn luyện đánh giá tốt sau q trình huấn luyện, hiệu suất tổng qt hóa phân loại nhận cao Hiệu suất tổng quát hóa phụ thuộc vào hai tham số sai số huấn luyện lực máy học Trong sai số huấn luyện tỷ lệ lỗi phân loại tập liệu huấn luyện Còn lực máy học xác định kích thước Vapnik-Chervonenkis (kích thước VC) Kích thước VC khái niệm quan trọng họ hàm phân tách (hay phân loại) Đại lượng xác định số điểm cực đại mà họ hàm phân tách hồn tồn khơng gian đối tượng Một phân loại tốt phân loại có lực thấp (có nghĩa đơn giản nhất) đảm bảo sai số huấn luyện nhỏ Phương pháp SVM xây dựng dựa ý tưởng Phân loại SVM chuẩn theo phân loại hai lớp: Ý tưởng phương pháp cho trước tập mẫu huấn luyện biểu diễn TẠP CHÍ KHOA HỌC VÀ CƠNG NGHỆ LÂM NGHIỆP SỐ 1-2015 141 Kinh tế & Chính sách khơng gian vector, liệu điểm Phương pháp tìm siêu phẳng f tốt chia điểm thành hai lớp riêng biệt Chất lượng siêu phẳng định khoảng cách, gọi lề, điểm liệu gần lớp đến mặt phẳng Khi đó, khoảng cách lề lớp mặt phẳng định tốt, đồng thời việc phân loại xác Mục đích phương pháp tìm khoảng cách lề lớn Để liệu phân loại vào lớp khác Hình 02 Nguyên lý SVM Nhưng liệu khơng phân loại vào lớp liệu gọi khơng phân tách tuyến tính Lúc này, SVM có hai cách giải quyết: - Cách thứ sử dụng mặt siêu phẳng lề mềm, nghĩa cho phép số mẫu huấn luyện nằm phía sai mặt siêu phẳng phân tách vị trí rơi vào vùng mặt siêu phẳng phân tách mặt siêu phẳng hỗ trợ tương ứng - Cách thứ hai sử dụng ánh xạ phi tuyến Φ để ánh xạ điểm liệu đầu vào sang không gian có số chiều cao Trong khơng gian này, điểm liệu trở thành khả tách tuyến tính, phân tách với lỗi so với trường hợp sử dụng không gian ban đầu Một mặt định tuyến tính khơng gian tương ứng với mặt định phi tuyến khơng gian ban đầu 142 Nếu nhiều mẫu có nhiều lớp ý tưởng toán phân loại nhiều lớp chuyển toán phân loại hai lớp cách xây dựng nhiều phân loại hai lớp để giải 3.3 Ứng dụng SVM phân loại lớp phủ từ ảnh vệ tinh Phân loại xử lý tư liệu ảnh viễn thám gán khoảng cấp độ xám định thuộc nhóm đối tượng có tính chất tương đối đồng nhằm phân biệt nhóm với khuôn khổ ảnh cho trước Dựa vào tính chất phổ cấu trúc khơng gian đặc tính đối tượng ta phân loại theo quy luật Phân loại thực theo phương pháp giải đoán mắt nhờ trợ giúp máy tính Kỹ thuật phân loại nhờ trợ giúp máy tính ngày áp dụng thực tế với hai phương pháp phân loại có kiểm định (Supervised Classification) phân loại không kiểm định (Unsupervised Classification) Cơ sở để thực toán phân loại lớp phủ bề mặt từ ảnh viễn thám đặc trưng phổ ảnh viễn thám Thuật toán SVM thực toán phân loại dựa đặc trưng phổ ảnh viễn thám đa phổ Quá trình phân loại lớp phủ từ ảnh viễn thám sử dụng SVM thực theo bước sau: Bước 1: Định nghĩa mẫu lớp phủ Các mẫu lớp phủ đưa vào cần có khác biệt phổ cấu trúc tự nhiên chúng Đặc biệt đầy đủ thỏa mãn với yêu cầu phân loại đặt Bước 2: Chọn vùng mẫu - vùng mẫu lựa chọn cần có tính đặc thù tư liệu ảnh số lượng vùng mẫu nhiều xác Bước 3: Huấn luyện mẫu - Dựa vào mẫu chọn SVM “huấn luyện” để xác định đặc trưng phổ định hình cấu trúc mẫu lớp phủ TẠP CHÍ KHOA HỌC VÀ CƠNG NGHỆ LÂM NGHIỆP SỐ 1-2015 Kinh tế & Chính sách Bước 4: Phân loại liệu mới: Tất pixel có ảnh phân loại vào lớp phủ định nghĩa thuật toán SVM 3.4 Thực nghiệm Khu vực thực nghiệm: Một phần khu vực Mỹ Đình - Hà Nội Khu vực thực nghiệm nằm phía Đơng xã Mỹ Đình, Từ Liêm, Hà Nội Với diện tích 400 m2 Khu vực vùng trũng thấp đất yếu, có nhiều hồ, đầm, nên khó khăn việc tiêu nước, gây úng ngập cục thường xuyên vào mùa mưa Thành phần lớp phủ khu vực chọn làm thực nghiệm phong phú, gồm có: Đường giao thơng, thực vật, nhà mặt nước Phần mềm sử dụng: Envi 4.7 Tư liệu viễn thám: Ảnh phổ hãng Quickbird với độ phân giải phổ 2,4 m Hình 03 Ảnh phổ hãng Quickbird phần khu vực Mỹ Đình – Hà Nội Hình 04 Huấn luyện mẫu SVM Nguyên tắc thực phân loại theo phương pháp SVM Trong giới hạn đề tài chúng tơi xin trình bày phương pháp phân loại lớp phủ bề mặt có kiểm định sử dụng thuật toán Support Vector Machine Phương pháp thực hai giai đoạn để phân loại lớp phủ cụ thể huấn luyện mẫu tiến hành phân loại Huấn luyện mẫu phân loại lớp phủ bề mặt từ tư liệu ảnh viễn thám diễn sau: TẠP CHÍ KHOA HỌC VÀ CÔNG NGHỆ LÂM NGHIỆP SỐ 1-2015 143 Kinh tế & Chính sách Lấy mẫu Việc lấy mẫu tiến hành ảnh tiến hành thực địa, để hạn chế sai số, đảm bảo khách quan xác phải thực địa để lấy mẫu tốt Các mẫu lớp phủ đưa vào cần có khác biệt phổ cấu trúc tự nhiên Nhưng không điều kiện nên nghiên cứu sử dụng ảnh vệ tinh tương đối rõ nét lấy mẫu ảnh Ta chọn lớp phủ bề mặt gồm: Mặt nước (Mat Nuoc), đường giao thông (Duong GT), nhà (Dat o), ruộng thảm thực vật (Ruong) Để phân biệt mẫu lớp phủ khác ta chọn màu cho lớp phủ: Red, Green, Blue, Yellow, Cyan… Ở thực nghiệm này, ta lấy 04 mẫu lớp Mat Nuoc, 07 mẫu lớp Tham TV, 05 mẫu lớp Hình 05 Kết phân loại theo phương pháp SVM Hình 06 Kết phân loại theo phương pháp Xác suất Hình 07 Kết phân loại theo phương pháp Khoảng cách cực đại nhỏ Kết sau phân loại phương pháp thể hình 06, hình 07, hình 08 so sánh với kết chuẩn đoán mắt ảnh ta thấy rằng: Tất phương pháp có vài nhầm lẫn lớp đường giao thông lớp nhà ở, thảm thực vật mặt nước phổ phản xạ chúng có giá trị độ xám tương tự 144 Duong GT, 07 mẫu lớp Dat o 03 mẫu lớp Ruong Từ vùng mẫu lựa chọn ta có tổng số pixel loại mẫu Tiến hành phân loại Sử dụng mẫu chọn tiến hành phân loại theo phương pháp phân loại có kiểm định Các lấy mẫu chọn sử dụng chung cho tất phương pháp phân loại (Phương pháp SVM, xác suất cực đại khoảng cách nhỏ nhất) Với phương pháp SVM, thuật toán SVM “huấn luyện” để xác định đặc trưng phổ định hình cấu trúc mẫu lớp phủ Tất pixel có ảnh phân loại vào lớp phủ định nghĩa Kết sau phân loại, ta thu lớp phủ bề mặt với lớp mặt nước (Blue), thảm thực vật (Green), đường giao thông (Red), nhà (Yellow), ruộng (Cyam) sau: Đánh giá độ xác Dựa vào ma trận sai số hệ số Kappa để đánh giá tương đối độ xác kết phân loại Nhìn vào ma trận sai số để biết độ xác kết phân loại cách so sánh ảnh phân loại với tài liệu bề mặt thực tế biết ENVI thành lập ma trận TẠP CHÍ KHOA HỌC VÀ CƠNG NGHỆ LÂM NGHIỆP SỐ 1-2015 Kinh tế & Chính sách sai số sử dụng ảnh bề mặt thực tế, sử dụng mẫu ROIs thực tế Kết so sánh xuất hình dạng ma trận sai số, bảng ma trận kết bao gồm độ xác kết phân loại Support Vector Machine Bảng 01 Ma trận sai số phương pháp SVM Class Duong GT Nha o Ruong Tham TV Mat Nuoc Total GT Nha 12 33 0 46 17 0 20 Ruong 0 33 36 ThamTV 0 86 86 MN 0 0 184 184 Độ xác Overall Accuracy = (353/372) 94.8925%, Hệ số Kappa = 0.9242 Maximum Likelihood (Xác suất cực đại ) Bảng 02 Ma trận sai số phương pháp Xác suất cực đại Class Duong GT Nha o Ruong Tham TV Mat Nuoc Total GT 17 0 20 Nha 37 0 46 Ruong 0 34 36 Tham TV 0 86 86 MN 27 148 184 Overall Accuracy = (322/372) 86.5591% Hệ số Kappa = 0.8110 Minimum Distance (Khoảng cách nhỏ nhất) Bảng 03 Ma trận sai số phương pháp Khoảng cách nhỏ Class Duong GT Nha o Ruong Tham TV Mat Nuoc Total GT 16 0 20 Nha 20 18 4 46 Overall Accuracy = (333/372) 89.5161% Hệ số Kappa = 0.8439 Kết số nhận xét Chuẩn đoán ảnh mắt so sánh với kết thực phương pháp phân loại khác ta thấy: Các phương pháp có vài nhầm lẫn lớp phủ có thành phần Ruong 29 36 Tham TV 0 86 86 MN 0 0 184 184 cấu tạo giống nhau, dẫn đến phổ phản xạ chúng có giá trị độ xám tương tự Vậy nên, điều quan trọng phân loại ảnh viễn thám lựa chọn mẫu cho lớp mẫu thể rõ tính đặc thù Xét hệ số Kappa phương pháp: - Phương pháp SVM: Hệ số Kappa = 0.9242; TẠP CHÍ KHOA HỌC VÀ CƠNG NGHỆ LÂM NGHIỆP SỐ 1-2015 145 Kinh tế & Chính sách - Phương pháp xác suất cực đại: Hệ số Kappa = 0.8110; - Phương pháp khoảng cách nhỏ nhất: Hệ số Kappa = 0.8439 Kết hợp với ma trận sai số ta dễ dàng nhận thấy khả phân loại phương pháp SVM có độ xác cao phương pháp khác Hơn nữa, nhìn vào kết phân loại, mắt thường ta dễ dàng nhận ra, ranh giới đối tượng phân loại SVM rõ nét xác Ta nhận thấy SVM có đặc trưng sau: - Thứ nhất, ln kết hợp với liệu có ý nghĩa mặt lý - Thứ hai, cần tập mẫu thực tế để huấn luyện nhỏ Để đánh giá khách quan độ xác phương pháp phân loại thực phân loại với ảnh khác phân loại nhiều lần, với số lượng mẫu thực tế thay đổi (tăng dần số vùng lấy mẫu ảnh – pixel ảnh tăng lên) Đối với phương pháp phân loại thơng thường độ xác (Overall Accuracy, Kappa Coefficient) không ổn định tăng số lượng mẫu tăng lên khác biệt mẫu lớn Nhưng với phương pháp SVM độ xác cao ổn thay đổi số lượng mẫu thực tế Ta quan sát đồ thị biến đổi Kappa để thấy rõ Đồ thị biến động Kappa sau: Hình 09 Sự thay đổi độ xác Kappa số lượng mẫu thay đổi Với ưu điển phương pháp SVM cần số lượng mẫu thực tế mà độ xác phân loại lớp phủ cao hợp thực địa khó lấy mẫu, khu vực rộng lớn tiết kiệm chi phí thời gian IV KẾT LUẬN Trần Đình Trí (2010), Giáo trình Cơ Sở Viễn Thám, mơn Đo Ảnh Và Viễn Thám, Đại học Mỏ Địa Chất Trần Vân Anh, Nguyễn Thị Yên Giang, Hướng dẫn sử dụng ENVI 4.3, môn Đo Ảnh Và Viễn Thám, Đại học Mỏ - Địa Chất Trần Vân Anh, Giáo trình Viễn thám, môn Đo Ảnh Và Viễn Thám, Đại học Mỏ - Địa Chất Thái Sơn (2006), Luận văn thạc sĩ khoa học “Kỹ thuật support vector machines ứng dụng”, Đại học Bách Khoa Hà Nội Nguyễn Minh Giang, Nguyễn Mạnh Hiền (2005), Phân loại văn tiếng Việt với vector hỗ trợ SVM Phương pháp phân loại SVM phân loại với độ xác tốt ổn định phương pháp khác số lượng mẫu thực tế thay đổi Hơn nữa, nhìn mắt vào bề mặt lớp phủ sau phân loại đối chiếu với ảnh ban đầu ta dễ dàng thấy phương pháp SVM ranh giới lớp phủ rõ ràng - Thuật toán SVM có độ xác cao so với thuật tốn thơng thường - Thuật tốn SVM có ưu điểm trường 146 TÀI LIỆU THAM KHẢO TẠP CHÍ KHOA HỌC VÀ CÔNG NGHỆ LÂM NGHIỆP SỐ 1-2015 ... mẫu có nhiều lớp ý tưởng tốn phân loại nhiều lớp chuyển toán phân loại hai lớp cách xây dựng nhiều phân loại hai lớp để giải 3.3 Ứng dụng SVM phân loại lớp phủ từ ảnh vệ tinh Phân loại xử lý tư... sở để thực toán phân loại lớp phủ bề mặt từ ảnh viễn thám đặc trưng phổ ảnh viễn thám Thuật toán SVM thực toán phân loại dựa đặc trưng phổ ảnh viễn thám đa phổ Quá trình phân loại lớp phủ từ ảnh... SVM, thuật toán SVM “huấn luyện” để xác định đặc trưng phổ định hình cấu trúc mẫu lớp phủ Tất pixel có ảnh phân loại vào lớp phủ định nghĩa Kết sau phân loại, ta thu lớp phủ bề mặt với lớp mặt