Tạo cơ sở dữ liệu đảng viên - (LUẬN văn THẠC sĩ) ứ- 123docz.net

Tạo cơ sở dữ liệu đảng viên với tên QLDVTuyPhuoc:

Từ giao diện Neo4J, nhấn nút Add graph rồi chọnCreate a local

Graph để tạo mới cơ sở dữ liệu trên máy hiện hành:

Hình 3.1 Tạo CSDL QLDVTuyPhuoc

Bấm nút Start để bắt đầu sử dụng CSDL.

Hình 3.3 CSDL QLDVTu P u đã ở đ ng

Nhấn vào Manage để vào quản lý và sử dụng.

Hình 3.4 Giao diện quản lý CSDL QLDVTuyPhuoc

Cơ sở dữ liệu đảng viên của Đảng bộ Huyện Tuy phƣớc đã đƣợc tạo lập và lƣu trữ trên cơ sở dữ liệu mô hình quan hệ dƣới dạng các bảng. Luận văn thực hiện chuyển các bảng này thành các nút và mối quan hệ trong cơ sở dữ liệu đồ thị.

3.1.2 Chuyển dữ liệu từ cơ sở dữ liệu quan hệ s ng cơ sở dữ liệu đồ thị

Dữ liệu từ các bảng của cơ sở dữ liệu đảng viên đƣợc chuyển thành các bảng trong Microsoft Excel.

Bƣ c 1: Từ bộ dữ liệu của cơ sở dữ liệu quan hệ đƣợc lƣu trữ trên các

sheet trong file excel (m i sheet tƣơng ứng với một bảng của cơ sở dữ liệu quan hệ), thực hiện lƣu từng sheet thành từng file .csv – tƣơng ứng với từng bảng của cơ sở dữ liệu quan hệ nhƣ sau:

Bản 3-1 Danh sách các bảng trích từ ơ sở dữ liệu đảng viên

TT Tên bảng/sheet Ý n Ghi chú

1 Dangbo Lƣu thông tin bảng đảng bộ

Có 5 trƣờng, bao gồm khóa chính 2 Chibo Lƣu thông tin chi bộ Có 6 trƣờng, bao

gồm khóa chính + 1 khóa ngoại

3 DmTrinhdoHocvan Lƣu danh mục các loại trình độ học vấn

Có 4 trƣờng, bao gồm khóa chính 4 DmTrinhdoChuyenmon Lƣu danh mục các loại

chuyên môn đƣợc đào tạo

Có 4 trƣờng, bao gồm khóa chính

5 DmKqXeploai Lƣu các loại kết quả xếp loại đảng viên hàng năm nhƣ: xs, tốt,..

Có 3 trƣờng, bao gồm khóa chính

6 DmTinhtp Lƣu danh sách tỉnh thành phố

Có 4 trƣờng, bao gồm khóa chính 7 DmQuanhuyen Lƣu danh sách quận

huyện

Có 5 trƣờng, bao gồm khóa chính + 1 khóa ngoại

8 DmChucvu Lƣu danh sách các loại chức vụ

Có 4 trƣờng, bao gồm khóa chính 9 DmXeploaicongtac Lƣu các loại kết quả xếp

loại công tác theo quá

Có 4 trƣờng, bao gồm khóa chính

trình công tác của đảng viên

10 DmQuanhe Lƣu các loại mối quan hệ giữa đảng viên với các thành viên trong gia đình nhƣ: cha, mẹ, vợ, chồng,

Có 8 trƣờng, bao gồm khóa chính

11 Dmloaitaisan Lƣu các loại tài sản kê khai

Có 5 trƣờng, bao gồm khóa chính 12 Dmlydotanggiamts Lƣu các lý do tăng /

giảm tài sản

Có 8 trƣờng, bao gồm khóa chính 13 Dangvien Lƣu thông tin đảng viên Có 19 trƣờng, bao

gồm khóa chính + 4 khóa ngoại

14 DanhmucXeploainam Lƣu danh sách các tiến hành xếp loại đảng viên năm của các chi bộ

Có 6 trƣờng, bao gồm khóa chính + 1 khóa ngoại

15 Xeploaidangviennam Lƣu kết quả xếp loại năm của từng đảng viên

Có 5 trƣờng, bao gồm khóa chính + 3 khóa ngoại

16 Sinhoatdang Lƣu các lần sinh hoạt đảng của chi bộ Có 5 trƣờng, bao gồm khóa chính + 1 khóa ngoại 17 Dangvienthamgiasinhhoa tdang

Lƣu tình trạng tham gia sinh hoạt đảng của từng đảng viên

Có 5 trƣờng, bao gồm khóa chính + 2 khóa ngoại

18 Quatrinhcongtac Lƣu quá trình công tác của đảng viên

Có 9 trƣờng, bao gồm khóa chính + 4 khóa ngoại

19 Quanhegiadinh Lƣu danh sách thành viên có mối quan hệ gia đình với đảng viên

Có 10 trƣờng, bao gồm khóa chính + 4 khóa ngoại

20 Kekhaithunhaphangnam Lƣu thông tin đảng viên kê khai thu nhập hàng năm

Có 5 trƣờng, bao gồm khóa chính + 1 khóa ngoại

21 Kekhaithunhapchitiettaisa n

Lƣu kê khai tăng giảm tài sản chi tiết hàng năm

Có 10 trƣờng, bao gồm khóa chính + 4 khóa ngoại

22 Vanban Lƣu danh mục văn bản do TW ho c đảng bộ Tuy phƣớc ban hành

Có 9 trƣờng, bao gồm khóa chính + 1 khóa ngoại

23 Banhanhvanbantoichibo Lƣu việc ban hành văn bản tới các chi bộ

Có 7 trƣờng, bao gồm khóa chính + 3 khóa ngoại

Bƣ c 2:Trong giao diện của CSDL QLDVTuyPhuoc, chọn chức năng

Import.

Hình 3.5 Import dữ liệu vào CSDL QLDVTuyPhuoc

Bƣ c 3: Nạp các file .csv đã import thành các nút của cơ sở dữ liệu.

Câu lệnh cypher import file csv thành các nút có dạng như s u:

Load csv with headers from 'file:///[filecsv]' as [Objects] create

(n:*Label+ ,property1: *Objects+.*columnname1+,…, propertyN:

[Objects].[columnnameN]})

Trong đó:

- [filecsv] : tên file csv. Ví dụ: DangBo.csv

- Objects : tên đại diện dùng tham chiếu thay thế cho tên file, dùng trong quá trình import.

- [Label]: là nhãn của nút, ví dụ: Dangvien - Property1 PropertyN: tên thuộc tính của nút

- columnname1 columnnameN : tên cột trong file csv.

Bƣ c 4: Tạo mối quan hệ giƣa các nút.

Câu lệnh cypher tạo mối quan hệ giữa các nút có dạng như s u:

Load csv with headers from 'file:///[filecsv]' as [Objects] match (a:[LabelA] {key: [Objects].[keyA]}), (b:[ LabelB] {key: [Objects].[foireignkey]})

create (a) – [r:Tructhuoc] -> (b)

Trong đó:

- [filecsv] : tên file csv. Ví dụ: DmQuanhuyen.csv

- Objects : tên đại diện dùng tham chiếu thay thế cho tên file, dùng trong quá trình import

- [LabelA]: tên nút a cần liên kết với nút b - [LabelB]: tên nút b sẽ có nút liên kết tới - [keyA]: là cột khóa chính của nút a

- [foreignkey] là tên cột mã tƣơng ứng cột key của nút có nhãn là a [LabelA] trong file csv.

- [r:Tructhuoc]: r: là ký hiệu mối quan hệ (bắt buộc), Tructhuoc là tên của mối quan hệ do mình tự đ t nh m biểu đạt mối quan hệ giữa 2 nút. Khi truy vấn trong cypher, tên mối liên hệ này rất quan trọng. Cơ sở dữ liệu sử dụng khóa ngoại và một cột dữ liệu trong bảng con để diễn tả mối quan hệ. C n cơ sở dữ liệu đồ thị diễn tả qua mối quan hệ. Đó chính là sự khác biệt đáng kể nhƣ đã trình bày trong phần lý thuyết cơ sở dữ liệu đồ thị.

3.1.3Minh họa

Chuyển dữ liệu bảng DangBo:

- File dữ liệu Dangbo.csv:

File này chứa dữ liệu bảng Dangbo, m i cột trong file tƣơng ứng với một trƣờng trong bảng Dangbo của cơ sở dữ liệu quan hệ. - Quy tắc chuyển đổi:

M i dòng chuyển sang cơ sở dữ liệu đồ thị là một nút, m i nút có các thuộc tính tƣơng ứng tên cột trên file csv, có nhãn là Dangbo.

- Lệnh import:

Load csv with headers from 'file:///DangBo.csv' as DangBos create

(a1:Dangbo {key: DangBos.key, ten: DangBos.ten, truso: DangBos.truso,

dienthoai: DangBos.dienthoai, stt: DangBos.stt})

Chuyển dữ liệu bảng Chibo:

- File dữ liệu Chibo.csv:

File này chứa dữ liệu bảng Chibo, m i cột trong file tƣơng ứng với một trƣờng trong bảng Chibo của cơ sở dữ liệu quan hệ. - Quy tắc chuyển đổi:

Đối với bảng này, có một cột khóa ngoại madangbo – liên kết với bảng Dangbo, khi chuyển sang cơ sở dữ liệu cột khóa ngoại này sẽ bị lƣợc bỏ và chuyển thành mối quan hệ [Tructhuoc] giữa hai nút có nhãn là Dangbo và Chibo (Quy tắc 6 – Lƣu ý quy tắc này đƣợc áp dụng xuyên suốt đối với các bảng có khóa ngoại). M i dòng chuyển sang cơ sở dữ liệu đồ thị là một nút, m i nút có các thuộc tính tƣơng ứng tên cột trên file csv, có nhãn là Chibo, có mối quan hệ [Tructhuoc].

- Lệnh import:

Load csv with headers from 'file:///Chibo.csv' as Chibos create (a1:Chibo {key: Chibos.key, ten: Chibos.ten, truso: Chibos.truso, dienthoai: Chibos.dienthoai, stt: Chibos.stt})

Tạo lập mối liên hệ giữa Chibo với Dangbo

Load csv with headers from 'file:///Chibo.csv' as Chibos match

(a:Chibo {key: Chibos.key}), (b:Dangbo {key: Chibos.madangbo}) create (a)

– [r:Tructhuoc] -> (b)

Thử xem lại kết quả: match (n) return (n)

Tiến hành tƣơng tự cho các bảng và các mối quan hệ còn lại. Chi tiết xem ở Phụ lục 1.

3.2.Thực hiện các truy vấn

Trƣớc khi truy vấn, thực hiện chuyển đổi ngày đƣợc import vào từ file csv có dạng dd-MMM-yy về thành yyyy-mm-dd theo đúng format m c định của Neo4j. Đây cũng là cách kiểm tra Cypher thao tác với dữ liệu đồ thị.

Ví dụ với thuộc tính Dangvien.ngaysinh nhƣ sau:

Bƣ c 1: Thực hiện đ nă  yyyy

match (d:Dangvien) set d.ngaysinh= left(d.ngaysinh,6) + '-'+ case when right(d.ngaysinh,2)<='99' and right(d.ngaysinh,2)>='30' then '19' else '20' end + right(d.ngaysinh,2)return d

Bƣ c 2: Thực hiện đ i tháng từ MMM  dd

match(d:Dangvien) set d.ngaysinh=replace(d.ngaysinh,'Jan','01') match(d:Dangvien) set d.ngaysinh=replace(d.ngaysinh,'Feb','02') match(d:Dangvien) set d.ngaysinh=replace(d.ngaysinh,'Mar','03') match(d:Dangvien) set d.ngaysinh=replace(d.ngaysinh,'Apr','04') match(d:Dangvien) set d.ngaysinh=replace(d.ngaysinh,'May','05') match(d:Dangvien) set d.ngaysinh=replace(d.ngaysinh, 'Jun','06') match(d:Dangvien) set d.ngaysinh=replace(d.ngaysinh,'Jul','07') match(d:Dangvien) set d.ngaysinh=replace(d.ngaysinh,'Aug','08') match(d:Dangvien) set d.ngaysinh=replace(d.ngaysinh,'Sep','09') match(d:Dangvien) set d.ngaysinh=replace(d.ngaysinh,'Oct','10') match(d:Dangvien) set d.ngaysinh=replace(d.ngaysinh,'Nov','11') match(d:Dangvien) set d.ngaysinh=replace(d.ngaysinh,'Dec','12')

Bƣ c 3: Thực hiện đ i ngày dạn “ -mm- ” về dạn “ - mm-d ”

match (d:Dangvien) set d.ngaysinh=right(d.ngaysinh,4) + '- '+right(left(d.ngaysinh,5),2) + '-' + left(d.ngaysinh,2)

Thực tƣơng tự với tất cả các ngày khác.

Luận văn đã thực hiện các truy vấn đã trình bày trong chƣơng 2, dƣới đây là một số minh họa tiêu biểu. Chi tiết các kết quả truy vấn khác xem ở Phụ lục 2.

1. Danh sách tổng số Đảng viên của 1 chi bộ trong Đảng bộ Tuy phƣớc

2. Danh sách Đảng viên theo giới tính trong các chi bộ của Đảng bộ Tuy phƣớc

4. Danh sách Đảng viên có trình độ học vấn Đại học

5. Danh sách các lần tham gia sinh hoạt Đảng của Đảng viên trong chi bộ

match (n2:Dangvienthamgiasinhhoatdang)-[:Dvthamgiashd]->(n1:Dangvien)- [:Tructhuoc]->(c:Chibo), (n3:Dangvienthamgiasinhhoatdang)-[:Thamgiashd]- >(s:Sinhhoatdang) where n2.tinhtrang='Comat' and n3.key=n2.key return c.ten as Chibo, n1.ten as Dangvien, s.key as MaSinhhoat, s.ngaysinhhoat as Ngay, s.phanloai as Loai

6. Danh sách các lần vắng m t sinh hoạt Đảng của Đảng viên trong chi bộ

match (n2:Dangvienthamgiasinhhoatdang)-[:Dvthamgiashd]->(n1:Dangvien)- [:Tructhuoc]->(c:Chibo), (n3:Dangvienthamgiasinhhoatdang)-[:Thamgiashd]- >(s:Sinhhoatdang) where n2.tinhtrang='Vangmat' and n3.key=n2.key return c.ten as Chibo, n1.ten as Dangvien, s.key as MaSinhhoat, s.ngaysinhhoat as Ngay, s.phanloai as Loai

7. Danh sách văn bản đã ban hành trong năm 2020 và triển khai cho chi bộ có mã là CBBTC

match (b1:Banhanhvanbantoichibo)-[:banhanhtoichibo]-

>(n1:Chibo),(b2:Banhanhvanbantoichibo)-[:vanbanbanhanhtoichibo]- >(v:Vanban) where n1.key='CBBTC' and date(v.ngaybanhanh).year=2020 and b1.key=b2.key return v.so as SoVb, v.noidung as Tenvb, b1.ngaybanhanh as ngaybanhanh,b1.tennguoibanhanh as nguoibanhanh, n1.ten as Tenchibo

8. Danh sách xếp loại Đảng viên hoàn thành xuất sắc nhiệm vụ năm 2019 của các chi bộ match (n:Xeploaidangviennam)-[:Chiboxeploaidangviennam]- >(x:DmXeploainam)-[:chiboxeploainam]->(c:Chibo), (n1:Xeploaidangviennam)-[:xeploaidangviennam]->(d:Dangvien), (n3:Xeploaidangviennam)-[:ketquaxeploai]->(k:DmKqXeploai) where x.nam='2019' and n.key=n1.key and n3.key=n1.key and k.key='XS' return c.ten as Chibo, x.nam, d.ten as TenDv , x.ngaydanhgia, x.noidung, k.ten as Xeploai

9. Danh sách Đảng viên đảng bộ Tuy phƣớc có c ng đơn vị công tác (có từ 2 đảng viên trở lên công tác tại 1 đơn vị)

match (qt)-[:qtctcuadangvien]->(dv:Dangvien)-[:Tructhuoc]- >(c:Chibo)-[:Tructhuoc]->(d:Dangbo) with d.key as Dangbo, qt.donvicongtac

as donvi, count(*) as sodangvien where sodangvien>1 and Dangbo='DBTuyPhuocBinhDinh' return Dangbo, donvi, sodangvien

10.Danh sách Đảng viên có thành viên trong gia đình là Đảng viên thuộc đảng bộ Tuy phƣớc

match(q1:Quanhegiadinh)-[:ladangvien]->(c1:Chibo)-[:Tructhuoc]- >(d1:Dangbo), (q2 :Quanhegiadinh)-[:Coquanhe]->(dv:Dangvien)-

[:Tructhuoc]->(c2:Chibo)-[:Tructhuoc]->(d2:Dangbo) where q1.key = q2.key and d1.key='DBTuyPhuocBinhDinh' return dv.ten as Dangvien, q1.Hoten as Thanhvien, c1.ten as ChiBo

11.Danh sách Đảng viên có vợ/chồng là Đảng viên thuộc đảng bộ Tuy phƣớc

match(q1 :Quanhegiadinh)-[:ladangvien]->(c1:Chibo)-[:Tructhuoc]- >(d1:Dangbo), (q2 :Quanhegiadinh)-[:Coquanhe]->(dv:Dangvien)-

[:Tructhuoc]->(c2:Chibo)-[:Tructhuoc]->(d2:Dangbo), (q3 :Quanhegiadinh)- [:Loaiquanhe]->(h:DmQuanhe) where q1.key = q2.key and q2.key=q3.key and h.lavochong='1' and d1.key='DBTuyPhuocBinhDinh' return dv.ten as Dangvien, q1.Hoten as Thanhvien, c1.ten as ChiBo

3.3.Nhận xé v đ n

Với kết quả bƣớc đầu chuyển đổi cơ sở dữ liệu đảng viên từ mô hình quan hệ sang mô hình đồ thị cho thấy phƣơng pháp chuyển đổi đƣợc trình bày ở chƣơng 1 có thể chuyển cơ sở dữ liệu mô hình quan hệ sang mô hình đồ thị. Với cơ sở dữ liệu trên mô hình đồ thị vừa chuyển đổi, tất cả các yêu cầu truy vấn dữ liệu thƣờng dùng trên mô hình quan hệ đều thực hiện đƣợc.

Ngoài ra, trên mô hình đồ thị còn có thể bổ sung thêm các thuộc tính cho từng đối tƣợng (nút), các thuộc tính cho từng quan hệ nên cơ sở dữ liệu đảng viên sẽ phong phú hơn, tăng khả năng quản lý. Đ c biệt với những truy vấn trên các mối quan hệ thì mô hình đồ thị có ƣu thế vƣợt trội.

3.4.Kết luận ƣơn 3

Chƣơng này đã trình bày một số kết quả thực nghiệm chuyển đổi cơ sở dữ liệu đảng viên từ mô hình quan hệ sang mô hình đồ thị. Một số truy vấn trên mô hình đồ thị đƣợc thực hiện cho kết quả tốt.

KẾT LUẬN

Xuyên suốt đề tài, từ khâu hiểu về cơ sở dữ liệu đồ thị, xây dựng cơ sở dữ liệu quản lý đảng viên trên ứng dụng cơ sở dữ liệu đồ thị và thực nghiệm đã cho chúng ta thấy đƣợc toàn cảnh việc ứng dụng cơ sở dữ liệu đồ thị vào bài toán cụ thể.Đề tài đã nêu bật đƣợc các ƣu nhƣợc điểm của các hệ quản trị cơ sở dữ liệu quan hệ và cơ sở dữ liệu đồ thị, đồng thời,đã chỉ rõ khi nào nên sử dụng cơ sở dữ liệu quan hệ và khi nào nên sử dụng cơ sở dữ liệu đồ thị, xu thế và các ứng dụng trong tƣơng lai, nhất là với các hệ thống bigdata, cloud data và ứng dụng trên nền tảng web, internet vạn vật,

Trong phạm vi đề tài này là bài toán Quản lý đảng viên huyện Tuy phƣớc, một bài toán cần thiết và thiết thực, đề tài tập trung nghiên cứu xây dựng và chuyển đổi ứng dụng từ cơ sở dữ liệu quan hệ sang cơ sở dữ liệu đồ thị nh m tận dụng đƣợc thế mạnh của cơ sở dữ liệu đồ thị, đó là khả năng truy vấn, là khả năng dễ mở rộng và dễ thay đổi, phù hợp với các hệ thống có lƣợng dữ liệu lớn và có mối quan hệ phức tạp, chồng chéo, dữ liệu đa dạng và nhiều cấp. Qua đó, giúp chúng ta có cách nhìn trực quan, rõ ràng và nắm bắt cách thức để chuyển đổi từ hệ thống cũ sang hệ thống mới một cách nhanh nhất và hiệu quả nhất, sử dụng lại đƣợc các bộ dữ liệu cũ thay vì nhập lại mới toàn bộ ngay từ đầu, mất rất nhiều thời gian và công sức.

M c d đã cố gắng hết sức nhƣng do thời gian thực hiện đề tài có hạn nên chắc chắn vẫn còn nhiều vấn đề chƣa đƣợc lột tả hết, trình bày hết, tôi hy vọng rồi đây bài toán này sẽ tiếp tục đƣợc nghiên cứu mở rộng và ứng dụng vào thực tế, không chỉ cho Đảng bộ Tuy Phƣớc – Bình Định mà c n đƣợc ứng dụng rộng rãi cho các đảng bộ khác trong tỉnh,

Ngoài ra, với lƣợng thông tin cung cấp trong đề tài phong phú, đa dạng và đầy hữu ích, tôi hy vọng đề tài sẽ là nguồn tham khảo hữu ích, giúp ích đƣợc rất nhiều cho việc phát triển và xây dựng các hệ thống quản lý mới, áp dụng mô hình quản trị cơ sở dữ liệu tiên tiến hiện nay vào cuộc sống.

DANH MỤC TÀI LIỆU THAM KHẢO

[1].Deepak Singh Rawat, Navneet Kumar Kashyap, Graph Database: A Complete GDBMS Survey, International Journal for Innovative Research in Science & Technology, Volume 3, Issue 12, 2017.

[2].Renzo Angles, The Property Graph Database Model, Proceedings of the 12th Alberto Mendelzon International Workshop on Foundations of Data Management, Cali, Colombia, May 21-25, 2018.CEUR Workshop Proceedings 2100, CEUR-WS.org 2018.

[3].Patil N. S., Kiran P, Kavya N. P., Naresh Patel K. M., A Survey on Graph Database Management Techniques for Huge Unstructured Data, International Journal of Electrical and Computer Engineering (IJECE), Vol. 8, No. 2, 2018, pp. 1140-1149.

[4].Renzo Angles And Claudio Gutierrez, Survey of Graph Database Models

, ACM Comput. Surv., 2008.

[5].Y. Unal and H. Oguztuzun (2018), Migration of Data from Relational Database to Graph Database, In ICIST’18: 8th International Conference on Information Systems and Technologies, March 16–18, Istanbul, Turkey. ACM, New York, NY, USA.

[6].Ian Robinson, Jim Webber, and Emil Eifrem, 2013, Graph Databases , O’Reilly Media, Inc., 1005 Gravenstein Highway North, Sebastopol, CA 95472.

PHỤ LỤC

Phụ lục 1. Chuy n ơ sở dữ liệu đảng viên từ các bảng sang mô hình quan hệ

1. Chuyển dữ liệu bảng DangBo: