(Luận văn) phương pháp lan truyền độ tương tự trong phân cụm dữ liệu và ứng dụng

ĐẠI HỌC THÁI NGUYÊN TRƢỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG TẠ DUY KHÁNH lu an n va tn to PHƢƠNG PHÁP LAN TRUYỀN ĐỘ TƢƠNG TỰ TRONG p ie gh PHÂN CỤM DỮ LIỆU VÀ ỨNG DỤNG d oa nl w nf va an lu z at nh oi lm ul LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH z m co l gm @ an Lu Thái Nguyên - 2015 n va ac th Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn si ĐẠI HỌC THÁI NGUYÊN TRƢỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG TẠ DUY KHÁNH lu PHƢƠNG PHÁP LAN TRUYỀN ĐỘ TƢƠNG TỰ TRONG an n va PHÂN CỤM DỮ LIỆU VÀ ỨNG DỤNG tn to p ie gh Chuyên ngành: KHOA HỌC MÁY TÍNH Mã số: 60 48 01 01 d oa nl w nf va an lu LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH z at nh oi lm ul NGƢỜI HƢỚNG DẪN KHOA HỌC: z PGS.TS NGUYỄN ĐÌNH HĨA m co l gm @ an Lu Thái Nguyên - 2015 n va ac th Số hóa Trung tâm Học liệu – ĐHTNii http://www.lrc.tnu.edu.vn si LỜI CÁM ƠN Đầu tiên, xin gửi lời cảm ơn sâu sắc đến thầy giáo, cán hướng dẫn khoa học PGS.TS Nguyễn Đình Hóa tận tình hướng dẫn tơi từ buổi tiếp cận với đề tài khoa học Trong q trình làm luận văn, tơi nhận giúp đỡ nhiệt tình từ nhóm nghiên cứu TS Lê Hồng Sơn Trung tâm tính tốn hiệu cao, trường ĐH KHTN đề tài NCKH cấp ĐHQG, mã số GG.14.60 Tơi xin bày tỏ lịng biết ơn đến thầy cô giáo trường Đại học Công lu nghệ thông tin Truyền thông – Đại học Thái Nguyên, cán Trung tâm an Đơng Đơ - Hà Nội, tận tình giảng dạy tạo điều kiện cho học tập, n va nghiên cứu hoàn thành luận văn gh tn to Tôi xin chân thành cảm ơn bạn học viên lớp CK12H, CK13H – Khoa p ie học máy tính giúp đỡ, tạo điều kiện cho tơi suốt trình học tập w thực luận văn oa nl Cuối cùng, xin gửi lời cảm ơn sâu sắc đến gia đình, đồng nghiệp d bạn bè tôi, người động viên, tạo điều kiện cho lao động lu nf va an học tập suốt thời gian qua Tơi xin cam đoan luận văn cơng trình nghiên cứu riêng cá nhân tôi, lm ul không chép Luận văn tự nghiên cứu, đọc, dịch tài liệu, tổng z at nh oi hợp thực Nội dung lý thuyết luận văn có sử dụng số tài liệu tham khảo trình bày phần tài liệu tham khảo Chương trình phần z mềm kết luận văn trung thực chưa công bố m co l gm Một lần nữa, xin chân thành cảm ơn! @ hệ thống khác an Lu n va ac th Số hóa Trung tâm Học liệu – ĐHTN i http://www.lrc.tnu.edu.vn si MỤC LỤC LỜI CÁM ƠN i MỤC LỤC………………………………………………………………………ii DANH MỤC CÁC TỪ VIẾT TẮT iv DANH MỤC CÁC HÌNH VẼ v MỞ ĐẦU CHƢƠNG 1: HỆ THỐNG THÔNG TIN ĐỊA LÝ VÀ PHÂN CỤM DỮ LIỆU ĐỊA LÝ lu an n va tn to 1.1 Tổng quan hệ thống thông tin địa lý 1.1.1 Lịch sử đời 1.1.2 Định nghĩa 1.1.3 Các thành phần hệ thống thông tin địa lý 1.1.4 Dữ liệu hệ thống thông tin địa lý 10 p ie gh 1.2 Phân cụm liệu địa lý 11 1.2.1 Phân cụm liệu 11 1.2.2 Một số kỹ thuật phân cụm liệu 12 1.2.2.1 Thuật toán phân cụm theo phân cấp 13 1.2.2.2 Thuật toán phân cụm phân hoạch : Phân cụm k-means 14 1.2.2.3 Phân cụm mờ 16 d oa nl w lu nf va an 1.3 Dữ liệu địa lý vấn đề phân cụm đối tƣợng địa lý 17 1.3.1 Cấu trúc liệu GIS 18 1.3.1.1 Hai mơ hình liệu khơng gian 18 1.3.1.2 Dữ liệu thuộc tính 19 1.3.2 Các vấn đề phân cụm liệu địa lý 20 z at nh oi lm ul CHƢƠNG 2: PHÂN CỤM BẰNG THUẬT TOÁN LAN TRUYỀN ĐỘ TƢƠNG TỰ 22 z m co l gm @ 2.1 Các khái niệm sở 22 2.1.1 Ý tưởng thuật toán 22 2.1.2 Các cơng thức thuật toán AP 24 2.1.3 Thuật toán AP nguyên thủy 25 an Lu 2.2 Thuật toán lan truyền AP tự thích nghi 27 2.2.1 Phương pháp thích ứng giảm dần 28 2.2.2 Kỹ thuật thích nghi p-scanning 30 n va ac th Số hóa Trung tâm Học liệu – ĐHTNii http://www.lrc.tnu.edu.vn si 2.3 Thuật toán lan truyền AP với tập liệu hỗn hợp kiểu số kiểu phân loại 31 2.3.1 Khoảng cách ý nghĩa 32 2.3.2 Phương pháp 32 2.3.3 Cải thiện độ đo tương tự 34 2.3.4 Thích nghi thuật toán lan truyền 36 CHƢƠNG 3: XÂY DỰNG ỨNG DỤNG PHÂN CỤM DỮ LIỆU ĐỊA LÝ 39 3.1 Bài toán thực tế cách tiếp cận phân cụm liệu 39 3.1.1 Bài toán khai thác liệu quan trắc khí tượng 39 3.1.2 Lựa chọn giải pháp kỹ thuật công nghệ 40 lu 3.2 Các phần mềm GIS 40 an 3.3 Tìm hiểu phần mềm mã nguồn mở MapWindow 42 n va gh tn to 3.4 Thiết kế plug-in phần mềm mã nguồn mở Mapwindown 44 3.4.1 Thêm plug-ins từ Visual Studio vào MapWindow 44 3.4.2 Xây dựng ứng dụng với Active X map control Visual Studio 45 p ie Kết chạy thử nghiệm 53 d oa nl w KẾT LUẬN 56 Một số kết đạt luận văn 56 Những hạn chế hướng phát triển 56 nf va an lu TÀI LIỆU THAM KHẢO 57 z at nh oi lm ul z m co l gm @ an Lu n va ac th Số hóa Trung tâm Học liệu – ĐHTNiii http://www.lrc.tnu.edu.vn si DANH MỤC CÁC TỪ VIẾT TẮT STT Từ viết tắt GIS Từ tiếng Anh Ý nghĩa Hệ thống thông tin địa lý Geographical Information System lu an AP affinity propagation Thuật toán lan truyền độ tương tự CSDL Database Cơ sở liệu SIL Silhouette Công thức Silhouette DEM Digital Elevation Model Mơ hình kỹ thuật số độ cao DTM Digital Terrain Model Mơ hình kỹ thuật số địa hình TIN Triangulated Irregular Lưới tam giác không n va gh tn to ie p Network SQL Ngơn ngữ truy vấn có cấu trúc Structured Query oa nl w d Language nf va an lu z at nh oi lm ul z m co l gm @ an Lu n va ac th Số hóa Trung tâm Học liệu – ĐHTNiv http://www.lrc.tnu.edu.vn si DANH MỤC CÁC HÌNH VẼ Hình 1.1: Các thành phần hệ thống thông tin địa lý Gis Hình 1.2: Thuật tốn phân cụm K-means Hình 1.3: Cấu trúc vector raster Hình 2.1: Đồ thị Affinity Propagation (AP) Hình 2.2: Minh họa hiệu ba kỹ thuật rời rạc hóa khác Hình 3.1: Phần mềm mã nguồn mở Mapwindow Hình 3.2: Kiếm tra plug-ins vừa add MapWindow lu an Hình 3.3: Kéo thả Map Control vào form n va Hình 3.4: Kéo Legend vào form to tn Hình 3.5: Kéo thêm DataGridView vào form Table p ie gh Hình 3.6: Giao diện plugin APCluster d oa nl w nf va an lu z at nh oi lm ul z m co l gm @ an Lu n va ac th Số hóa Trung tâm Học liệu – ĐHTNv http://www.lrc.tnu.edu.vn si MỞ ĐẦU Đặt vấn đề Nguồn liệu dồi cung cấp nhiều thơng tin, từ nhân loại đúc rút thành tri thức trình phát triển xã hội loài người Với phát triển cơng nghệ điện tốn hệ thống lưu trữ liệu khối lượng tài nguyên số ngày trở nên phong phú đồ sộ Trong xã hội đại, thơng tin đóng vai trị then chốt Nhu cầu xử lý liệu, trích rút thơng tin, kịp thời khai thác chúng để mang lại hiệu thiết thực cho công tác quản lý, hoạt lu động sản xuất kinh doanh,… ngày trở nên cấp thiết an n va Khai phá liệu nói chung để trích rút thơng tin phân cụm liệu nói to riêng trọng tâm nghiên cứu khoa học máy tính Phân gh tn cụm liệu biện pháp để tìm kiếm tri thức, ta chưa biết p ie nhiều thông tin miền ứng dụng Phân cụm coi công cụ độc lập để xem xét phân bố liệu, bước tiền xử lý cho bước sau Phân cụm oa nl w liệu có nhiều ứng dụng hầu hết lĩnh vực hoạt động kinh tế, xã hội d Có nhiều phương pháp thuật toán phân cụm liệu khác nhau, tùy theo cách lu nf va an tiếp cận tốn góc độ Một phương pháp đề xuất tương đối gần Phương pháp lan truyền độ tương tự lm ul Thuật toán lan truyền độ tương tự (Affinity Propagation - AP) thuật z at nh oi toán phân cụm liệu đưa Frey & Dueck vào năm 2007 dựa ý tưởng thuật toán lan truyền độ tin cậy suy diễn mạng xác xuất Bayes, z dựa sở toán học lý thuyết xác suất Thuật toán lan truyền làm việc @ gm dựa tương đồng (affinity nghĩa giống nhau, tương thích, hấp co l dẫn) cặp điểm liệu đồng thời xem xét tất điểm liệu m tâm cụm tiềm năng, theo thuật ngữ tất điểm liệu có tập hình mẫu tốt (phân cụm tương ứng) n va http://www.lrc.tnu.edu.vn ac th Số hóa Trung tâm Học liệu – ĐHTN1 an Lu hình mẫu (exemplar) tiềm năng, trao đổi thông điệp giá trị thực si Thuật tốn phân cụm AP có số ưu điểm: cho kết phân cụm tốt, đặc biệt trường hợp có số lượng lớn cụm, phát cụm có hình dáng bất kỳ, khơng u cầu phải xác định trước số cụm Nó cho phép dễ dàng thực phân cụm thỏa mãn số điều kiện xác định trước đó, tức phân cụm bán giám sát Đặc tính thích hợp cho phân cụm liệu GIS ràng buộc điều kiện địa hình tự nhiên quản lý hành cần tính đến tốn thực tế Luận văn chọn đề tài “Phương pháp lan truyền độ tương tự phân cụm liệu ứng dụng” hướng nghiên cứu chính, với mục tiêu khám phá lu an điểm mạnh, điểm yếu phương pháp này, hiểu biết sâu thêm n va cách tiếp cận phân cụm, đồng thời nâng cao kỹ thực hành triển khai ứng gh tn to dụng Đối tƣợng phạm vi nghiên cứu p ie Đối tượng nghiên cứu phương pháp phân cụm liệu, tập trung oa nl w vào thuật toán lan truyền độ tương tự d Phạm vi nghiên cứu điểm mạnh, điểm yếu tiềm ứng dụng lu nf va an phương pháp lan truyền độ tương tự phân cụm liệu địa lý Hƣớng nghiên cứu đề tài lm ul Luận văn dự kiến hướng nghiên cứu là: z at nh oi Nghiên cứu lý thuyết: tìm hiểu sâu thuật tốn lan truyền độ tương tự, sở nắm vững chất phương pháp lan truyền độ tin cậy z gm @ suy diễn mạng xác xuất Bayes dựa sở toán học lý thuyết xác suất l m co Nghiên cứu ứng dụng: Cài đặt thử nghiệm thuật tốn với liệu mơ Những nội dung nghiên cứu n va http://www.lrc.tnu.edu.vn ac th Số hóa Trung tâm Học liệu – ĐHTN2 an Lu để đánh giá, phân tích đánh giá kết quả; thử với liệu thực tế si Nội dung nghiên cứu luận văn bao gồm: Tìm hiểu tổng quan phân cụm liệu; điểm đặc thù toán phân cụm liệu địa lý; Một số đặc điểm thuật toán lan truyền độ tương tự, sở lý thuyết toán học phân tích thực nghiệm Về thực hành: Cài đặt thử nghiệm thuật tốn với liệu mơ để đánh giá, phân tích đánh giá kết quả; thử với liệu thực tế Làm quen với hệ thống thông tin địa lý nguồn mở; sở liệu địa lý; cách viết plugin tích hợp phép phân tích liệu địa lý lu an Phƣơng pháp nghiên cứu n va Phương pháp nghiên cứu lý thuyết: tổng quan, phân tích kết tn to nghiên cứu có, nhận biết ưu nhược điểm, lựa chọn cách tiếp cận phù hợp ie gh để giải toán ứng dụng p Nghiên cứu thực nghiệm qua phân tích kết thử nghiệm với liệu mơ oa nl w phỏng; liệu thực tế; so sánh đánh giá kết luận d Ý nghĩa khoa học đề tài lu nf va an Đề tài nghiên cứu có ý nghĩa khoa học, góp phần làm hiểu biết sâu sắc phương pháp lan truyền độ tương tự phân cụm liệu lm ul Ứng dụng thực tế: phân cụm liệu môi trường, không khí, thời tiết… z at nh oi nhận từ trạm quan trắc khí tượng để xác định tiểu vùng mơi trường khí tượng địa phương, khu vực z gm @ Bố cục luận văn Luận văn bao gồm chương với phần Mở đầu, phần Kết luận, phần m co l Mục lục, phần Tài liệu tham khảo an Lu Chương 1: Tổng quan phân cụm liệu GIS phân cụm liệu địa lý: Trình bày khái niệm bản, cách tiếp cận, phương pháp, thuật tốn; n va http://www.lrc.tnu.edu.vn ac th Số hóa Trung tâm Học liệu – ĐHTN3 si  Ngôn ngữ: Visual C++, C#, Visual Basic, Visual Basic NET and Delphi 3.4 Thiết kế plug-in phần mềm mã nguồn mở Mapwindown 3.4.1 Thêm plug-ins từ Visual Studio vào MapWindow  Bước 1: Tạo project VS, chọn ngôn ngữ C#.NET, loại Class Library, framework Net 3.5  Bước 2: add reference cho project cách: lu o Bấm Chuột phải vào tên project, chọn properties an va o Trên form properties, chọn tab reference, click button Add Tại n form Reference Manager, chọn Menu Browse, click button Browse to gh tn đến thư mục C:\Program Files MapWindow, check chọn thư mục: p ie MapWinGIS.ocx MapWininterfaces.dll Click OK để add w reference, sau set thuộc tính Copy Local file reference oa nl False d  Bước 3: Quay trở lại form Reference Manager, chọn Menu lu vào Reference nf va an Assemblies\Framework, check chọn System.Drawing, bấm OK để add lm ul  Bước 4: Quay trở lại hình Code, thêm dịng z at nh oi using MapWindow.Interfaces; Trên đầu trang mã khác using bên cạnh dòng “Public Class Class1” thêm “: Iplugin” nhấn z Implement Interface để VS tự gen đoạn code gm @  Bước 5: Tìm đến thuộc tính Author, Description, Name Version l co hình code, bỏ dòng get{throw new NotImplementedException();} m thay get { return "tên thuộc tính";}, riêng thuộc tính an Lu BuilDate thay get{ return System.DateTime.Now.ToString(); }, n va http://www.lrc.tnu.edu.vn ac th Số hóa Trung tâm Học liệu – ĐHTN44 si thuộc tính SerialNumber thay get{ return null;} sau build project  Bước 6: Copy file DLL vừa tạo vào thư mục C:\Program Files \MapWindow (Ấn chuột phải vào tên project lại Solution Explorer, chọn Open Folder in File Explorer để tìm đến thư mục chứa DLL)  Bước 7: Kiểm tra việc add plug-ins MapWindow: Mở MapWindow, vào menu Plug-ins thấy plug-ins vừa tạo add vào Bấm chọn plug-ins để sử dụng plug-in project MapWindow lu an n va p ie gh tn to d oa nl w nf va an lu lm ul z at nh oi Hình 3.2: Kiếm tra plug-ins vừa add MapWindow 3.4.2 Xây dựng ứng dụng với Active X map control Visual Studio z @ gm Active X map control với MapWinGIS.ocx sử dụng để cung cấp l chức GIS lập đồ cho ứng dụng Windows Forms m co MapWinGIS.ocx nguồn mở miễn phí, lập trình dựa hệ thống thông an Lu tin địa lý điều khiển ActiveX lập trình giao diện ứng dụng (API) n va http://www.lrc.tnu.edu.vn ac th Số hóa Trung tâm Học liệu – ĐHTN45 si thêm vào Windows Visual Basic, C #, Delphi, ngơn ngữ khác có hỗ trợ ActiveX, cung cấp ứng dụng với đồ Cài đặt Active X map control 4.9.3.5 Link download đây: http://mapwingis.codeplex.com/releases/view/541892 Để đưa Active X map control vào form Visual studio ta làm sau:  Bước 1: Tạo project VB, ngôn ngữ C#.NET, loại ứng dụng Windows Forms Application, framework NET 3.5 Sau tạo thành công mộtWindow form Application, thực đặt tên, lu an ID cho form cách: va n Ấn chuột phải vào form, chọn Properties to gh tn Thiết lập thuộc tính (Name) Text cho form Thuộc tính (Name) w form p ie coi ID form để gọi đến form Thuộc tính Text để hiển thị tên d oa nl  Bước 2: Đưa Active X vào Visual Studio cách: an lu Tại công cụ chọn TOOL  Choose Toolbox Item  COM nf va components  đánh dấu tích vào Map Control  OK Map Control: z at nh oi lm ul Sau add xong, kiểm tra mục Tool box form thấy control  Bước 3: Đưa Map Control vào form cách: kéo chức Map Control từ Toolbox thả vào form, form khung có toạ độ z m co l gm @ hình: an Lu n va http://www.lrc.tnu.edu.vn ac th Số hóa Trung tâm Học liệu – ĐHTN46 si lu an n va tn to p ie gh Hình 3.3: Kéo thả Map Control vào form w Đặt (Name) cho Map Control vừa kéo vào AxMap1 oa nl  Bước 4: tạo Legend : Mục đích tạo điều khiển lớp layer (cho d phép layer hiển thị, nằm trên) lu nf va an Các bước thực hiện: -Bước 4.1: Tại Tool  Choose Toolbox Item, Net Framework lm ul Component  Brower đến C:\Program Files\MapWindow  chọn z at nh oi MapWinInterfaces.dll, tick chọn Legend Sau tick chọn xong, control Legned add vào Toolbox: z -Bước 4.2: Kéo Legend từ Toolbox thả vào phía bên trái form Thiết lập m co l gm @ thuộc tính (Name) Legend an Lu n va http://www.lrc.tnu.edu.vn ac th Số hóa Trung tâm Học liệu – ĐHTN47 si lu an n va tn to Hình 3.4: Kéo Legend vào form p ie gh Tạo liên kết Legend Mapcontrol: d oa nl w Chuyển sang hình code form, viết kiện load cho form sau: nf va an lu private void TestMap_Load(System.Object sender, System.EventArgs e) { Legend.Map = AxMap.GetOcx(); } lm ul -Bước 5.1: Tạo Layer z at nh oi  Bước 5: Thêm chức Tạo layer Xoá layer z Thêm button vào form, đặt thuộc tính Text Tạo layer @ m co l gm Viết kiện Click cho button Tạo layer sau: an Lu n va http://www.lrc.tnu.edu.vn ac th Số hóa Trung tâm Học liệu – ĐHTN48 si lu private void BtAdd_Click(object sender, EventArgs e) { int handle = 0; MapWinGIS.Shapefile sf = new MapWinGIS.Shapefile(); OpenFileDialog open1 = new OpenFileDialog(); open1.Filter = sf.CdlgFilter; if (open1.ShowDialog(this) == System.Windows.Forms.DialogResult.OK) { sf.Open(open1.FileName); handle = Legend.Layers.Add(sf, true); Legend.Map.LayerName(handle) = System.IO.Path.GetFileNameWithoutExtension(sf.Filename); } } an n va Thêm button vào form, đặt thuộc tính Text Xố layer, Name BtDel gh tn to -Bước 5.2: Xoá Layer p ie Viết kiện Click cho button Xoá layer sau: w d oa nl private void BtDel_Click(object sender, EventArgs e) { AxMap.RemoveAllLayers(); Legend.Layers.Clear(); } nf va an lu lm ul  Bước 6: Chọn màu cho vùng hiển thị z at nh oi Thêm button vào form, đặt thuộc tính Text Set Color, Name Bttcolour Từ toolbox, kéo control ColorDialog vào cạnh button Set Color z m co l gm @ Viết kiện click cho button Set Color sau: an Lu n va http://www.lrc.tnu.edu.vn ac th Số hóa Trung tâm Học liệu – ĐHTN49 si lu private void BttColour_Click(object sender, EventArgs e) { int hnd = 0; System.UInt32 col = 0; hnd = Legend.SelectedLayer; if (ColorDialog1.ShowDialog == System.Windows.Forms.DialogResult.OK) { Col = System.Convert.ToUInt32(Information.RGB(ColorDialog1.Color.R, ColorDialog1.Color.G, ColorDialog1.Color.B)); AxMap.set_ShapeLayerFillColor(hnd, col); Legend.Refresh(); AxMap.Refresh(); } an n va  Bước 7: Tạo bảng hiển thị liệu layer add vào form ie gh tn to } p -Bước 7.1: Tạo bảng: nl w Tạo window form project cách: an lu file Table.cs d oa Bấm chuột phải vào tên project, chọn Add, chọnWindow form…; Đặt tên nf va Tạo thêm Data grid vào form: Từ tool box, kéo control DatagridView vào DataGridView1 Fill z at nh oi lm ul form, đặt Name cho control DataGridView1, set thuộc tính dock z m co l gm @ an Lu n va http://www.lrc.tnu.edu.vn ac th Số hóa Trung tâm Học liệu – ĐHTN50 si lu an n va gh tn to Hình 3.5: Kéo thêm DataGridView vào form Table p ie nl w Chuyển sang hình code form Table, thêm dịng khai báo Shape d oa file vào sau dòng Public class Table: an lu nf va MapWinGIS.Shapefile pshape = default(MapWinGIS.Shapefile); lm ul Tạo sub với tham số myShapeFile As MapWinGIS.Shapefile z at nh oi cách thêm đoạn code phía vào public Class Table z public New(ref MapWinGIS.Shapefile myShapeFile) { pshape = myShapeFile; InitializeComponent(); } m co l gm @ n va http://www.lrc.tnu.edu.vn ac th Số hóa Trung tâm Học liệu – ĐHTN51 an Lu Viết kiện load cho form Table sau: si lu an n va p ie gh tn to private void Table_Load(object sender, EventArgs e) { DataTable myDataTable = new DataTable(); DataRow myDataRow = null; int i = 0; int j = 0; int k = 0; for (i = 0; i