1 Tổng quan1.1 Giới thiệu Trong đồ án này, nhóm em tập trung vào việc tìm hiểu về Neo4j - cơ sở dữ liệu đồ thị mạnh mẽ nhất hiệntại [1] – và cách Neo4j giải quyết các vấn đề liên quan đế
Giới thiệu
Trong đồ án này, nhóm em nghiên cứu Neo4j - cơ sở dữ liệu đồ thị mạnh mẽ nhất hiện nay, và cách thức mà Neo4j giải quyết các vấn đề quản lý và phân tích dữ liệu phức tạp trong nhiều lĩnh vực Đồ án cũng cung cấp cái nhìn tổng quan về vai trò quan trọng của cơ sở dữ liệu đồ thị trong bối cảnh dữ liệu lớn, đồng thời so sánh Neo4j với DGraph, chỉ ra ưu điểm và hạn chế của từng loại Một phần quan trọng của đồ án là thực hành với ngôn ngữ Cypher, ngôn ngữ truy vấn của Neo4j Neo4j nổi bật với khả năng xử lý hiệu quả các mối quan hệ phức tạp, mở rộng quy mô linh hoạt, duy trì hiệu suất truy vấn ổn định và tối ưu hóa hiệu suất nhờ vào tài nguyên bộ nhớ và kỹ thuật phân rã truy vấn khi dữ liệu lớn, làm cho nó trở thành lựa chọn lý tưởng cho phân tích mạng lưới và tối ưu hóa các hệ thống yêu cầu xử lý dữ liệu phức tạp trong thời gian thực.
Đồ thị trong lĩnh vực quản lý thông tin
Mô hình dữ liệu đồ thị được phát triển nhằm quản lý và biểu diễn các mối quan hệ phức tạp giữa các thực thể Khác với mô hình quan hệ truyền thống, mô hình đồ thị sử dụng các nút (nodes) và các cạnh (edges) để thể hiện dữ liệu, giúp dễ dàng mô hình hóa các liên kết trong hệ thống thực tế Cách tiếp cận này mang lại sự tự nhiên và trực quan cho nhiều bài toán phân tích dữ liệu, cho phép giải quyết hiệu quả các vấn đề khi mối quan hệ là yếu tố quan trọng.
Trong bối cảnh dữ liệu lớn, việc xử lý và phân tích mối quan hệ phức tạp là thách thức lớn Mô hình đồ thị cho phép lưu trữ và truy vấn các mối quan hệ nhanh chóng, giúp hệ thống xử lý dữ liệu trực quan và hiệu quả hơn so với mô hình quan hệ Điều này rất quan trọng trong các lĩnh vực như mạng xã hội, đề xuất sản phẩm, và phát hiện gian lận, nơi mối quan hệ giữa các đối tượng là yếu tố cốt lõi cho phân tích.
Trong mô hình dữ liệu đồ thị, có ba thành phần chính [5]:
• Node: Đại diện cho một thực thể hoặc một đối tượng trong hệ thống, ví dụ như một người dùng, một sản phẩm, hay một sự kiện.
• Edge: Đại diện cho mối quan hệ giữa các đỉnh Cạnh có hướng hoặc không có hướng, tùy thuộc vào bản chất của mối quan hệ.
Các thuộc tính của đỉnh và cạnh trong đồ thị có thể cung cấp thông tin chi tiết về bản chất của thực thể hoặc mối quan hệ giữa chúng Việc mô tả các thuộc tính này giúp tăng cường sự hiểu biết về cấu trúc và chức năng của hệ thống đang được phân tích.
Các liên kết giữa các đỉnh là yếu tố chính trong mô hình dữ liệu đồ thị, với mỗi cạnh thể hiện một mối quan hệ cụ thể giữa các thực thể, có thể là một chiều hoặc hai chiều Khả năng mô hình hóa các mối liên kết đa dạng này giúp các hệ thống đồ thị mạnh mẽ hơn trong việc phân tích các mạng lưới phức tạp.
Ưu và nhược điểm của cơ sở dữ liệu đồ thị
Tính hiệu quả khi làm việc với dữ liệu có mối quan hệ phức tạp
Cơ sở dữ liệu đồ thị được thiết kế để xử lý mối quan hệ phức tạp và truy vấn liên kết trực tiếp mà không cần thực hiện phép nối, đặc biệt hữu ích cho các bài toán mạng xã hội và truy vấn cây phả hệ Ngược lại, các hệ cơ sở dữ liệu quan hệ hiện đại thường vượt trội trong các truy vấn phức tạp và tính toán tổng hợp nhờ vào khả năng tối ưu hóa chỉ mục và thuật toán xử lý hiệu quả Do đó, việc lựa chọn cơ sở dữ liệu nên dựa trên đặc điểm dữ liệu và mục tiêu cụ thể của ứng dụng.
Khả năng mở rộng
Cơ sở dữ liệu đồ thị có khả năng mở rộng vượt trội, cho phép xử lý hiệu quả khối lượng lớn dữ liệu và nhiều mối quan hệ phức tạp Tính năng này giúp hệ thống duy trì hiệu suất ổn định ngay cả khi khối lượng dữ liệu gia tăng.
Thách thức trong xử lý giao dịch hoặc truy vấn so với các hệ quản trị quan hệ truyền thống
Cơ sở dữ liệu đồ thị có thể gặp khó khăn trong việc duy trì tính nhất quán khi phải xử lý nhiều giao dịch phức tạp.
Hệ quản trị cơ sở dữ liệu quan hệ truyền thống vẫn tỏ ra hiệu quả trong việc hỗ trợ các phép tính toán đơn giản và các bài toán có ít mối quan hệ.
Mục tiêu của đồ án
Từ những gì đã khái quát ở trên, nhóm đặt ra các mục tiêu cho đồ án như sau:
• Tìm hiểu chung về Neo4j: đặc trưng, kiến trúc, tính năng cốt lõi, ứng dụng thực tiễn
• Hiểu được vai trò và ý nghĩa của cơ sở dữ liệu đồ thị nói chung và Neo4j nói riêng
• Thực hành với ngôn ngữ Cypher – ngôn ngữ truy vấn cho cơ sở dữ liệu đồ thị
• Có thể so sánh Neo4j với một số cơ sở dữ liệu khác như Draph hoặc các cơ sở dữ liệu quan hệ
2 Các đặc trưng của Neo4j
Tổng quan về Neo4j
Lịch sử phát triển của Neo4j và sự phổ biến của nó trong lĩnh vực cơ sở dữ liệu đồ thị
Neo4j, ra đời vào năm 2007 bởi Neo Technology (nay là Neo4j, Inc.), là cơ sở dữ liệu đồ thị đầu tiên trên thị trường Kể từ khi ra mắt, Neo4j đã phát triển thành một hệ sinh thái phong phú với nhiều công cụ và ứng dụng, cho phép tích hợp công nghệ đồ thị vào môi trường làm việc Hiện nay, Neo4j nổi bật với khả năng xử lý và lưu trữ dữ liệu theo mô hình đồ thị, hỗ trợ các ứng dụng yêu cầu cấu trúc dữ liệu linh hoạt và liên kết sâu, như phân tích mạng lưới, khoa học dữ liệu và trí tuệ nhân tạo Sự phổ biến của Neo4j đến từ khả năng quản lý các mối quan hệ phức tạp, điều mà các cơ sở dữ liệu quan hệ truyền thống thường gặp khó khăn trong việc xử lý với hiệu suất cao.
Các ứng dụng phổ biến của Neo4j trong công nghiệp
Neo4j được ứng dụng rộng rãi trong các ngành yêu cầu phân tích mạng lưới hoặc các cấu trúc phức hợp, như:
• Phát hiện gian lận [11]: Đặc biệt hiệu quả trong phát hiện giao dịch bất thường qua phân tích các mẫu liên kết.
• Quản lý chuỗi cung ứng [12]: Theo dõi chuỗi cung ứng và tối ưu hóa mạng lưới logistics.
• Mạng xã hội [13]: Mô hình hóa quan hệ giữa người dùng, sở thích, và tương tác.
• Đề xuất sản phẩm [14]: Tạo các gợi ý sản phẩm cá nhân hóa dựa trên các mạng lưới sở thích.
Quy trình hoạt động của Neo4j
2.1.3.1 Cách Neo4j quản lý và xử lý dữ liệu đồ thị Neo4j lưu trữ dữ liệu đồ thị theo dạng các nút (nodes), quan hệ (relationships), và thuộc tính (properties) Các nút và quan hệ đều được phân loại theo nhãn (label), giúp truy vấn và lọc dữ liệu hiệu quả hơn Bằng cách sử dụng bộ nhớ đệm cho các thao tác truy vấn, Neo4j tối ưu hiệu suất xử lý ngay cả khi làm việc với đồ thị phức tạp.
2.1.3.2 Cơ chế vận hành của Neo4j từ khi nhận truy vấn đến khi trả về kết quả Khi một truy vấnCypher được gửi đến, Neo4j tiến hành phân tích cú pháp truy vấn, sau đó tạo kế hoạch thực thi tối ưu Sau khi truy vấn được chạy, Neo4j trả về kết quả cho người dùng Cơ chế này tối ưu cho các truy vấn đồ thị phức tạp, giúp giảm thiểu thời gian và tài nguyên hệ thống.
Đặc điểm chính của Neo4j
Ngôn ngữ truy vấn Cypher: cú pháp và đặc trưng
Cypher là ngôn ngữ truy vấn của Neo4j, được thiết kế với cú pháp dễ đọc và gần gũi với ngôn ngữ tự nhiên Ngôn ngữ này cho phép người dùng truy vấn các mối quan hệ và phân tích dữ liệu một cách trực quan Điểm nổi bật của Cypher là cú pháp hình mẫu như MATCH, RETURN, CREATE, và MERGE, giúp tối ưu hóa việc truy vấn mạng lưới so với SQL trong các cơ sở dữ liệu quan hệ, và nó đã trở thành ngôn ngữ truy vấn tiêu chuẩn cho nhiều cơ sở dữ liệu đồ thị khác.
Trong Cypher, một pattern được biểu diễn bằng dấu ngoặc tròn cho Node và dấu ngoặc vuông cho các relationships, với tính chất vô hướng hoặc có hướng được thể hiện qua dấu gạch ngang và kích thước chữ Ngoài ra, pattern cũng cho phép linh hoạt hơn khi có thể thêm thuộc tính vào nút để thực hiện tìm kiếm hoặc tạo nút với các điều kiện cụ thể.
1 (:Person {name: 'Alice' , a ge : 3 0} ) hoặc kết hợp nhiều nút và quan hệ phức tạp để mô hình hóa liên kết sâu hơn, chẳng hạn:
1 (:Person {name: 'Alice' })-[:KNOWS]->(:Person {name: 'Bob'})-[:LIVES_IN]->(:City {name: 'New York' })
Trong bài viết này, chúng ta sẽ khám phá thông tin về những người tên là Alice biết Bob, người đang sống ở thành phố New York Câu truy vấn Cypher được sử dụng để kết hợp các mẫu với pattern nhằm truy xuất dữ liệu liên quan.
1 MATCH (p:Person {name: 'Alice' })-[:KNOWS]->(:Person {name: 'Bob'})-[:LIVES_IN]->(:City {name: 'New York'})
Có nghĩa là trả về những Node p (có label là Person, có thuộc tính name là ’Alice’) biết người có tên là
’Bob’ sống ở thành phố New York.
Chức năng và yếu tố quan trọng
2.2.2.1 Khả năng xử lý các truy vấn phức tạp (Graph Traversal) Neo4j nổi bật nhờ khả năng xử lý các truy vấn phức tạp thông qua quá trình ”traverse” mạng lưới Các thuật toán như Dijkstra, Breadth-First Search (BFS), và Depth-First Search (DFS) giúp tăng tốc độ xử lý và tối ưu hóa các truy vấn, đặc biệt khi cần truy vấn qua nhiều tầng quan hệ.
2.2.2.2 ACID compliance và tính toàn vẹn dữ liệu [16] Neo4j đảm bảo các thuộc tính ACID (Atom- icity, Consistency, Isolation, Durability) để giữ tính toàn vẹn dữ liệu Đối với hệ thống cơ sở dữ liệu đồ thị, tuân thủ ACID là một ưu điểm vì giúp đảm bảo mỗi thao tác cập nhật hoặc truy vấn đều diễn ra một cách nhất quán và an toàn, giảm thiểu rủi ro dữ liệu hỏng hoặc không đồng nhất.
2.2.2.3 Khả năng mở rộng Neo4j cung cấp khả năng mở rộng đáng kể theo chiều ngang (Horizontal Scaling) [17]:
Sharding trong Neo4j cho phép phân chia dữ liệu thành nhiều mảnh nhỏ, giúp hệ thống quản lý hiệu quả lượng dữ liệu lớn mà không cần lưu trữ toàn bộ trên một máy.
Neo4j hỗ trợ kiến trúc tự động khởi tạo các phiên bản copies trên các máy chủ tối ưu khi số lượng truy vấn cơ sở dữ liệu tăng lên Điều này dựa trên các yêu cầu hệ thống và nghiệp vụ đã được cài đặt trước, giúp tối ưu hóa quá trình truy vấn dữ liệu một cách hiệu quả.
• Composite Database: Dựa vào kiến trúc Fabric, Neo4j có thể kết hợp các shards lại với nhau để quản lý.
Lợi ích
Neo4j là một công cụ mạnh mẽ cho việc phân tích các mối quan hệ phức tạp, nổi bật với khả năng mở rộng linh hoạt và hiệu suất cao Đối với các dự án cần truy vấn nhanh chóng và khả năng mở rộng dễ dàng, Neo4j chính là sự lựa chọn hàng đầu.
Quy trình triển khai hệ thống
Thiết lập môi trường làm việc
• Chuẩn bị môi trường và yêu cầu hệ thống
Yêu cầu phần cứng cho Neo4j bao gồm tối thiểu 2 CPU, 2GB RAM và 10GB dung lượng lưu trữ cho hệ thống vừa và nhỏ Để đảm bảo hiệu suất ổn định khi xử lý dữ liệu lớn hoặc thực hiện các truy vấn phức tạp, cần tăng cường dung lượng bộ nhớ và sức mạnh xử lý.
Neo4j yêu cầu hệ điều hành hỗ trợ bao gồm Windows, macOS và Linux, cùng với Java (thường là JDK 11 trở lên) Để Neo4j hoạt động chính xác, người dùng cần đảm bảo đã cài đặt và cấu hình môi trường Java đúng cách.
• Cài đặt và cấu hình Neo4j
Tải và cài đặt Neo4j: Truy cập trang chủ Neo4j và chọn phiên bản phù hợp Neo4j cung cấp hai phiên bản chính [19]:
– Community Edition: Miễn phí, phù hợp cho dự án nhỏ hoặc cá nhân.
– Enterprise Edition: Có phí, cung cấp thêm các tính năng bảo mật và tối ưu hóa nâng cao cho doanh nghiệp.
Để thiết lập cấu hình ban đầu cho Neo4j, bạn cần điều chỉnh các thông số quan trọng trong tệp neo4j.conf, bao gồm cổng kết nối (dbms.connector.bolt.listen_address), giới hạn bộ nhớ tối đa (dbms.memory.heap.max_size), và các tùy chọn bảo mật khác Hãy đảm bảo rằng cấu hình này phù hợp với yêu cầu cụ thể của ứng dụng và môi trường triển khai.
Để bảo vệ tài khoản quản trị, hãy thiết lập mật khẩu và cấu hình quyền hạn cho người dùng trong Neo4j, nơi hỗ trợ phân quyền chi tiết cho từng vai trò và hoạt động Bên cạnh đó, việc bật mã hóa SSL trong tệp neo4j.conf sẽ đảm bảo dữ liệu được mã hóa khi truyền qua mạng, ngăn chặn truy cập trái phép giữa client và server.
Các bước cài đặt Neo4j trên các môi trường Local, Cloud
Cài đặt Neo4j trên môi trường Local là lựa chọn lý tưởng cho phát triển và thử nghiệm nhỏ Neo4j Desktop cung cấp phiên bản tương thích với nhiều hệ điều hành như Windows, macOS và Linux, cho phép người dùng thao tác trực tiếp với dữ liệu trong môi trường phát triển.
– Windows [23]: Cài đặt Neo4j Desktop từ trang chủ Sau khi cài đặt, khởi động Neo4j và truy cập qua giao diện Neo4j Browser [24] hoặc Cypher Shell [25].
– Linux và macOS: Neo4j có thể cài đặt qua homebrew trên macOS [26] hoặc thông qua apt trên Linux [27] Ví dụ:
# Trên macOS: brew install neo4j
Sau khi cài đặt và khởi động dịch vụ Neo4j, hãy truy cập giao diện Cypher Shell hoặc Neo4j Browser tại địa chỉ http://localhost:7474 Tiến hành kiểm tra khả năng truy vấn với dữ liệu mẫu để đảm bảo rằng hệ thống hoạt động ổn định.
• Cài đặt trên môi trường Cloud:
Neo4j Aura: Dịch vụ đám mây của Neo4j cung cấp nền tảng triển khai và quản lý cơ sử dữ liệu trực tuyến
Để bắt đầu, hãy đăng ký tài khoản tại đây và tiến hành tạo một cơ sở dữ liệu mới Đảm bảo chọn cấu hình tài nguyên phù hợp với quy mô của dự án để đạt hiệu quả tối ưu.
Neo4j Aura cung cấp endpoint bảo mật cho phép kết nối an toàn với cơ sở dữ liệu thông qua Cypher Shell hoặc Neo4j Browser Kết nối này được bảo vệ bằng SSL, giúp giảm thiểu rủi ro trong quá trình truyền dữ liệu.
Hình 1: Cơ sở dữ liệu trên Neo4j Aura
Neo4j Aura cung cấp công cụ giám sát và sao lưu tự động tích hợp sẵn, giúp quản lý hiệu quả và phục hồi cơ sở dữ liệu khi cần thiết.
Quy trình thực hiện bài toán
Phân tích yêu cầu và xác định use case
• Xác định yêu cầu bài toán
Hiểu rõ yêu cầu nghiệp vụ và các mục tiêu chính là bước đầu tiên trong việc giải quyết bài toán Cần phân tích các yếu tố như đối tượng cần quản lý, mối quan hệ giữa các đối tượng, và các thao tác mà hệ thống cần hỗ trợ để đảm bảo tính hiệu quả và khả năng vận hành của hệ thống.
Để quản lý mạng xã hội hiệu quả, cần xác định các đối tượng chính như "Người dùng", "Bài viết", "Bình luận" và "Kết bạn", cùng với các mối quan hệ giữa chúng, chẳng hạn như người dùng kết bạn và người dùng thích bài viết.
• Định nghĩa các use case chính
Dựa trên yêu cầu nghiệp vụ, cần xác định các use case chính mà hệ thống phải hỗ trợ Những use case này bao gồm các câu hỏi truy vấn mà hệ thống cần trả lời và các chức năng mà hệ thống cần thực hiện.
Ví dụ: ”Tìm bạn chung giữa hai người dùng”, ”Lấy danh sách các bài viết mà người dùng thích”,hay ”Tìm tất cả người dùng có cùng sở thích.”
Thiết kế mô hình dữ liệu đồ thị ban đầu
• Xác định các node và relationship
Node là đại diện cho các đối tượng trong bài toán, chẳng hạn như "User ", "Product" và "Order" Mỗi loại đối tượng này có những thuộc tính riêng biệt và được lưu trữ dưới dạng node.
– Relationship: Đại diện cho mối quan hệ giữa các node, như “Friend”, “Like” Mối quan hệ có thể có các thuộc tính riêng như “Date”, “Quantity”, v.v.
Ví dụ: Trong hệ thống mạng xã hội, node có thể là “User”, và relationship là “Friend”.
Để tối ưu hóa thiết kế, cần xác định các thuộc tính cần thiết cho mỗi node và relationship Những thuộc tính này sẽ lưu trữ thông tin quan trọng và thường xuyên được truy vấn.
Ví dụ: Với node “User”, các thuộc tính có thể bao gồm “Name”, “Email”, “Age” Với relationship
“Friend”, thuộc tính có thể là “Date”.
• Kiểm tra tính đầy đủ của mô hình với use case
Dựa trên các use case đã xác định, cần kiểm tra xem mô hình dữ liệu có đủ thông tin để đáp ứng tất cả các yêu cầu hay không Nếu phát hiện thiếu sót, cần bổ sung các node hoặc relationship phù hợp để hoàn thiện mô hình.
Tạo dữ liệu mẫu và kiểm thử mô hình ban đầu
• Xây dựng mô hình instance với dữ liệu mẫu
Sử dụng ngôn ngữ truy vấn Cypher của Neo4j để tạo dữ liệu mẫu giúp trực quan hóa và kiểm thử mô hình đồ thị trong các tình huống thực tế Dữ liệu mẫu này rất quan trọng để kiểm tra tính hợp lý và hiệu quả của mô hình dữ liệu.
Ví dụ: Tạo một vài người dùng và mối quan hệ kết bạn giữa họ để kiểm tra mô hình.
1 MERGE (user1:User {name: 'Alice', age: 30}),
2 (user2:User {name: 'Bob', age: 25}),
3 (user3:User {name: 'Charlie', age: 35});
• Kiểm thử use case trên mô hình
Thực hiện các truy vấn dựa trên các use case của mô hình dữ liệu nhằm kiểm tra độ chính xác của kết quả trả về, đồng thời đảm bảo rằng mô hình đáp ứng đầy đủ các yêu cầu ban đầu.
Để xác minh tính chính xác của mô hình, cần thực hiện truy vấn tìm kiếm bạn chung giữa hai người dùng, nhằm đảm bảo rằng cấu trúc và mối quan hệ giữa các đối tượng đã được phản ánh đúng.
1 CREATE (user1:User {name: 'Alice'})-[:FRIEND]-(common:User)-[:FRIEND]-(user2:User {name: 'Bob'})
Đánh giá hiệu suất là quá trình quan trọng để phân tích thời gian phản hồi của các truy vấn và kiểm tra hiệu suất của mô hình Nếu các truy vấn tiêu tốn nhiều thời gian hoặc yêu cầu tài nguyên lớn, điều này cho thấy cần phải cải thiện mô hình để nâng cao hiệu quả hoạt động.
Tối ưu hóa và cải tiến mô hình
• Tối ưu hóa bằng cách thêm chỉ mục
Tạo chỉ mục cho các thuộc tính thường xuyên được truy vấn giúp tăng tốc độ truy xuất dữ liệu, đặc biệt là với các thuộc tính phổ biến như “Tên người dùng” và “Mã sản phẩm”.
Ví dụ: Nếu hệ thống có truy vấn tìm kiếm người dùng theo “Tên”, có thể tạo chỉ mục cho thuộc tính này.
1 MERGE INDEX ON :User(name);
• Xem xét mối quan hệ có trọng số
Nếu một số mối quan hệ có trọng số quan trọng trong truy vấn, chẳng hạn như mức độ tương tác giữa người dùng trên mạng xã hội, việc bổ sung trọng số vào các mối quan hệ có thể giúp điều chỉnh các truy vấn và tận dụng thông tin hiệu quả hơn.
Ví dụ: Mối quan hệ “Kết bạn” có thể có trọng số phản ánh mức độ thân thiết dựa trên số lần tương tác.
1 MERGE (user1)-[:FRIEND {weight: 0.8}]->(user2);
• Sử dụng caching để cải thiện hiệu suất [29]
Cấu hình cache cho các truy vấn phổ biến và dữ liệu thường xuyên được truy xuất là một giải pháp hiệu quả để nâng cao tốc độ truy cập dữ liệu Cơ chế caching không chỉ giảm thiểu số lượng truy cập vào bộ lưu trữ chính mà còn cải thiện đáng kể tốc độ phản hồi của hệ thống.
Lặp lại và tinh chỉnh mô hình
• Điều chỉnh mô hình dựa trên phản hồi và hiệu suất
Sau khi kiểm thử và tối ưu hóa, cần lặp lại quy trình để cải thiện mô hình dữ liệu Phản hồi từ kết quả truy vấn và yêu cầu thực tế có thể yêu cầu điều chỉnh hoặc mở rộng mô hình.
Ví dụ: Nếu phát hiện rằng một số truy vấn thường gặp vấn đề về hiệu suất, cần điều chỉnh mô hình hoặc thêm các thuộc tính bổ sung.
• Quản lý thay đổi trong mô hình
Khi có sự thay đổi trong yêu cầu hoặc cấu trúc dữ liệu, việc áp dụng phương pháp quản lý phiên bản là cần thiết để đảm bảo tính nhất quán của mô hình và bảo tồn dữ liệu hiện có Neo4j cho phép cập nhật các node và relationship theo phiên bản mới mà không làm mất dữ liệu cũ.
• Đảm bảo tính linh hoạt cho mô hình
Hệ thống đồ thị cần có tính linh hoạt để mở rộng trong tương lai khi có yêu cầu mới, bao gồm khả năng thêm node và mối quan hệ mới mà không làm ảnh hưởng đến dữ liệu và cấu trúc hiện tại.
Triển khai và giám sát
• Triển khai mô hình vào môi trường thực tế
Sau khi mô hình được kiểm thử và tối ưu, bước tiếp theo là triển khai hệ thống vào môi trường thực tế Quá trình này bao gồm việc cấu hình môi trường, xác định các thông số vận hành và thực hiện kiểm tra tích hợp với các hệ thống khác, nếu có.
• Thiết lập công cụ giám sát
Cài đặt và sử dụng các công cụ giám sát hiệu suất như Prometheus và Grafana là cần thiết để theo dõi hoạt động của hệ thống trong quá trình vận hành Những công cụ này cho phép giám sát các chỉ số quan trọng như số lượng truy vấn, thời gian phản hồi và mức sử dụng tài nguyên, từ đó giúp tối ưu hóa hiệu suất hệ thống.
• Định kỳ đánh giá và tối ưu hóa hệ thống
Để duy trì hiệu suất hệ thống, cần thực hiện đánh giá định kỳ và tối ưu hóa Việc này bao gồm kiểm tra lại các chỉ mục, đánh giá hiệu suất truy vấn và thực hiện các điều chỉnh cần thiết khi có yêu cầu thay đổi.
Quy trình triển khai hệ thống và thực hiện bài toán với cơ sở dữ liệu đồ thị Neo4j là một chu trình lặp đi lặp lại, bao gồm phân tích yêu cầu, thiết kế mô hình dữ liệu, kiểm thử và tối ưu hóa Quy trình này đảm bảo mô hình dữ liệu phản ánh chính xác cấu trúc và mối quan hệ giữa các đối tượng, đồng thời tối ưu hóa hiệu suất cho các truy vấn và thao tác dữ liệu Việc lặp lại và tinh chỉnh mô hình không chỉ cải thiện hiệu suất và tính linh hoạt của hệ thống mà còn đảm bảo tính nhất quán và dễ quản lý trong quá trình triển khai và vận hành.
4 Ứng dụng và Kết quả thực nghiệm
Giới thiệu về Cơ sở dữ liệu Movies
Cơ sở dữ liệu Movies trong Neo4j là một tập dữ liệu mẫu giúp minh họa việc lưu trữ và truy vấn dữ liệu đồ thị, bao gồm thông tin về phim, diễn viên, đạo diễn, nhà sản xuất và các mối quan hệ giữa họ Nó là công cụ hữu ích để hiểu cách hoạt động của Neo4j và ngôn ngữ truy vấn Cypher trong việc xử lý dữ liệu phức tạp Nhóm nghiên cứu đã bổ sung dữ liệu cá nhân và thực nghiệm với các truy vấn, với quá trình và kết quả chi tiết sẽ được trình bày dưới đây Source code cho phần thực nghiệm cũng có thể được tìm thấy tại đây.
Mô hình dữ liệu
Node
• Movie: Đại diện cho các bộ phim, chứa các thuộc tính như title (tiêu đề), released (năm phát hành), tagline (khẩu hiệu).
• Person: Đại diện cho cá nhân như diễn viên, đạo diễn, nhà sản xuất, với các thuộc tính như name
Relationship
• ACTED_IN: diễn viên tham gia bộ phim.
• DIRECTED: đạo diễn chỉ đạo bộ phim.
• PRODUCED: nhà sản xuất tài trợ cho bộ phim.
• WROTE: nhà biên kịch viết bộ phim.
• REVIEWED: nhà phê bình đánh giá bộ phim.
• FAN: mối quan hệ hâm mộ giữa các cá nhân.
• KNOWS: mối quan hệ quen biết giữa các cá nhân.
Dữ liệu bổ sung của nhóm
Nhóm đã cập nhật cơ sở dữ liệu với thông tin riêng để thực hiện buổi demo, bao gồm dữ liệu về các thành viên trong nhóm và giảng viên hướng dẫn Dữ liệu này cũng thể hiện mối quan hệ giữa giảng viên và các thành viên liên quan đến bộ phim “ĐỒ ÁN QLTT” mà nhóm đang thực hiện.
Demo và kết quả
Thêm dữ liệu vào cơ sở dữ liệu Movies 2
1 https://github.com/Healer-H/learn-neo4j
Do môi trường biên dịch của LaTeX không hỗ trợ tiếng Việt có dấu, nhóm đã quyết định sử dụng tiếng Việt không dấu trong báo cáo.
Hình 2: Biểu diễn đồ thị của cơ sở dữ liệu Movies
1 CREATE (thuy:Person {name: "Co Thuy"}) ;
2 CREATE (hieu1:Person {name: "Huynh Minh Hieu" , MSSV: 22520434, age: 20});
3 CREATE (an:Person {name: " L e T u ng B ao A n", MSSV: 22520016, age: 20});
4 CREATE (dat:Person {name: "Cao Thanh Dat", MSSV: 22520205, age: 18});
5 CREATE (quynh:Person {name: "Bang Nguyen Quynh Anh" , MSSV: 22520037, age: 20});
6 CREATE (hieu2:Person {name: "Vu Minh Hieu", MSSV: 22520451, age: 20});
8 CREATE (movie:Movie {title: "DO AN QLTT"}) ;
14 CREATE (hieu2)-[:ACTED_IN]->(movie);
15 CREATE (dat)-[:ACTED_IN]->(movie);
26 RETURN thuy, hieu1, an, dat, quynh, hieu2, movie;
Hình 3: Dữ liệu bổ sung của nhóm
Dựa trên dữ liệu trả về, có thể xác nhận rằng dữ liệu đã được thêm thành công vào cơ sở dữ liệu, với các node và mối quan hệ giữa chúng được tạo ra đúng như mong đợi.
Tìm người có tên ”Huỳnh Minh Hiếu”
1 MATCH (a:Person {name:'Huynh Minh Hieu'})
Hình 4: Kết quả tìm kiếm người có tên ”Huỳnh Minh Hiếu”
Tìm tất cả những bộ phim do diễn viên ”Tom Hanks” đóng
1 MATCH (a:Person {name:'Tom Hanks'})-[:ACTED_IN]->(m:Movie)
Hình 5: Kết quả tìm kiếm bộ phim do diễn viên ”Tom Hanks” đóng
Thêm một bộ phim có tên ’Captian Marvel’ và các thông tin khác của bộ phim
1 CREATE (a:Movie {title:'Captain Marvel' , released:2019,
2 tagline: 'Everything begins with a (her)o.' }) RETURN a
Hình 6: Kết quả thêm một bộ phim có tên ’Captian Marvel’ Xóa một node trong cơ sở dữ liệu
1 MATCH (a:Person {name:'Huynh Minh Hieu'}) DELETE a
Hình 7: Kết quả xóa một node trong cơ sở dữ liệu
Khi xóa một node có liên kết với các node khác, sẽ xảy ra lỗi nếu không sử dụng lệnh detach Do đó, để xóa node và tất cả các liên kết của nó một cách an toàn, cần phải áp dụng lệnh detach.
Xóa một bộ phim cùng các quan hệ liên kết của nó
1 MATCH (a:Movie {title: 'Parasite'}) DETACH DELETE a
Hình 8: Kết quả xóa một bộ phim cùng các quan hệ liên kết của nó
Tạo hoặc cập nhật thông tin của một node trong cơ sở dữ liệu
1 MERGE (a:Person {name:'Huynh Minh Hieu'})
3 ON MATCH SET a.point = COALESCE(a.point, 0) + 1
Hình 9: Kết quả tạo hoặc cập nhật thông tin của một node trong cơ sở dữ liệu
Query này sử dụng lệnh MERGE để tìm hoặc tạo một node Person có tên ”Huỳnh Minh Hiếu”
• Nếu node chưa tồn tại: Tạo node mới và thiết lập thuộc tính born với giá trị 2004
• Nếu node đã tồn tại: Cập nhật thuộc tính point Nếu point chưa tồn tại, thiết lập giá trị mặc định là
Tìm kiếm những người có tên bắt đầu bằng ’Tom’
1 MATCH (a:Person) WHERE a.name STARTS WITH 'Tom' RETURN a
Hình 10: Kết quả tìm kiếm những người có tên bắt đầu bằng ’Tom’
Tìm các bộ phim phát hành trong thập niên 1990
1 MATCH (a:Movie) WHERE a.released > 1990 AND a.released < 2000 RETURN a
Hình 11: Kết quả tìm các bộ phim phát hành trong thập niên 1990
Tìm các node liên quan đến một bộ phim trong phạm vi tối đa 4 bước quan hệ
1 MATCH (doan:Movie {title:"DO AN QLTT"})-[*0 4]-(p)
Kết quả tìm kiếm cho thấy các node liên quan đến một bộ phim trong phạm vi tối đa 4 bước quan hệ Bài viết cũng đề cập đến việc tìm đường đi ngắn nhất giữa Kevin Bacon và Al Pacino, thể hiện mối liên hệ giữa các diễn viên trong ngành điện ảnh.
2 (bacon:Person {name: "Kevin Bacon" })-[*]-(a:Person {name: 'Al Pacino' })
Hình 13: Kết quả tìm đường đi ngắn nhất giữa Kevin Bacon và Al Pacino
Gợi ý các diễn viên có thể đóng với Tom Hanks và Tom Cruise qua các diễn viên chung
1 MATCH (a:Person {name:'Tom Hanks'})-[:ACTED_IN]->(m)(m2)