Chương 2: Các công nghệ quản lý dữ liệu phi cấu trúc
2.1. Công nghệ của hãng Microsoft
2.1.2. Công nghệ SQLServer của Microsoft
Microsoft SQL Server là hệ quản trị CSDL quan hệ phát triển bởi hãng phần mềm khổng lồ Microsoft. Nhờ vào hệ quản trị CSDL này, giao dịch trong các ngân hàng, thị trường cổ phiếu, thông tin nhân sự... của các doanh nghiệp luôn hoạt động trơn tru và tối ưu hóa hiệu suất sử dụng cũng như giá trị đầu tư ban đầu. Với sự phát triển theo thời gian, các phiên bản mới được cải tiến để phù hợp với xu thế của công nghệ và thực tiễn. Trong luận văn này, sẽ đi sâu vào SQLServer 2008. Microsoft SQL Server 2008 cung cấp một giải pháp linh hoạt mà làm cho nó có thể lưu trữ dữ liệu phi cấu trúc và kết hợp nó với các dữ liệu quan hệ để thiết lập việc sử dụng các số liệu trong các công ty toàn giải pháp tích hợp.
2.1.2.1. Giới thiệu về SQL Server
Trong những năm gần đây, cá nhân và các công ty tạo ra và lưu trữ dữ liệu kỹ thuật số với số lượng mở rộng nhanh chóng. Trong quá khứ, các công ty sử dụng hệ thống máy tính và cơ sở dữ liệu có các định dạng cấu trúc như bán quan hệ hoặc định dạng tài liệu cố định để lưu trữ hầu hết các dữ liệu kinh doanh, ứng dụng phần mềm, dữ liệu được lưu trữ bằng cách sử dụng các cấu trúc để thực hiện hoạt động kinh doanh. Tuy nhiên, ngày hôm nay, một phần lớn dữ liệu được lưu trữ bằng việc sử dụng các công cụ mạnh mẽ như để tạo tài liệu, chụp ảnh kỹ thuật số, quét tài liệu, video và các định dạng âm thanh. Ví dụ, xem xét những gì thay đổi việc bảo hiểm một chính sách áp dụng trong 15 năm qua. 15 năm trước, ứng dụng này thường duy trì một hàng đơn giản và cột để lưu trữ các hồ sơ khiếu nại bảo hiểm. Bảo hiểm tuyên bố một ứng dụng quản lý có xu hướng của một nhóm bao gồm cả hình ảnh, hình ảnh và tài liệu của hồ sơ khiếu nại. Nó có thể cần phải định dạng dựa trên XML để hiển thị các dữ liệu yêu cầu, để tích hợp với hệ thống khác, và nó có thể bao gồm các chức năng cao cấp như hình dung không gian, báo cáo và phân tích.
Số hóa bởi trung tâm học liệu http://www.lrc.tnu.edu.vn/
SQL Server 2008 cung cấp một số vượt ra ngoài hệ thống cơ sở dữ liệu truyền thống, để có thể lưu trữ, quản lý và truy vấn tất cả các loại dữ liệu, dữ liệu nền tảng phát triển khả năng, bao gồm cả dữ liệu phi cấu trúc nhị phân, XML và dữ liệu không gian. Tập trung vào các dữ liệu phi cấu trúc và mô tả việc sử dụng SQL Server 2008 lưu trữ, quản lý và sử dụng dữ liệu phi cấu trúc tùy chọn.
Hầu hết các công ty lưu trữ trong một cơ sở dữ liệu của dữ liệu kinh doanh quan trọng, thao tác dữ liệu trong lưu trữ, hệ thống quản lý dữ liệu và các ứng dụng trên được đầu tư rất nhiều. Tuy nhiên, phát triển kinh doanh tạo ra rất nhiều hình ảnh kỹ thuật số, tài liệu, video và các định dạng đa phương tiện khác trong dữ liệu không quan hệ và phi cấu trúc - định dạng dữ liệu mới này nhanh chóng trở thành một quy trình kinh doanh chính thức và không chính thức là một thành phần chính của ứng dụng kinh doanh hiện tại của họ với tích hợp, điều chỉnh để thực hiện theo yêu cầu, hoặc đơn giản là cung cấp một kinh nghiệm người dùng phong phú hơn.
2.1.2.2. Thách thức của dữ liệu phi cấu trúc
Thách thức đầu tiên được xem xét, nhưng cũng có thể là thách thức rõ ràng nhất là số lượng lớn lưu trữ dữ liệu phi cấu trúc. Trong khi chi phí và chi phí quản lý ở mức tối thiểu thì liệu có linh hoạt để đáp ứng lưu trữ dữ liệu không quan hệ và các nhu cầu cụ thể của hệ thống. Khi có kế hoạch để lưu trữ dữ liệu phi cấu trúc, cần phải xem xét các vấn đề chính bao gồm:
- Lưu trữ dữ liệu phi cấu trúc chi phí không chỉ bao gồm chi phí phần cứng mà bao gồm cả chi phí quản lý.
- Vị trí lưu trữ dữ liệu phi cấu trúc vật lý, chẳng hạn như các máy chủ tập tin và lưu trữ gắn mạng (NAS) thiết bị.
- Quyền lực quản lý và chính sách lưu trữ.
- Tập tin dữ liệu phi cấu trúc và các liên kết tích hợp dữ liệu quan hệ, duy trì cấu trúc và phi cấu trúc nguồn dữ liệu, các vấn đề của tính thống nhất giữa các nguồn dữ liệu.
- Duy trì quan hệ với các dữ liệu liên quan và quản lý dữ liệu phi cấu trúc chi phí đến mức tối thiểu.
- Hiệu suất và khả năng mở rộng
Số hóa bởi trung tâm học liệu http://www.lrc.tnu.edu.vn/
- Bảo vệ dữ liệu phi cấu trúc để đảm bảo tính nhất quán của dữ liệu liên quan đến mối quan hệ.
- Phi cấu trúc dữ liệu sẵn có và thu hồi.
- Sử dụng các thách thức của dữ liệu phi cấu trúc
Hơn nữa, về các vấn đề liên quan để lưu trữ dữ liệu phi cấu trúc, cần phải xem xét làm thế nào dữ liệu sẽ được các công ty ứng dụng. Một số điển hình xem xét bao gồm:
- Thành lập các dữ liệu có cấu trúc và sử dụng dữ liệu phi cấu trúc của các ứng dụng, bao gồm cả những thách thức gặp phải trong việc phát triển viết mã để tạo, trích xuất, cập nhật và xóa dữ liệu phi cấu trúc, và duy trì mối quan hệ giữa các nguồn dữ liệu phi cấu trúc dữ liệu liên quan và thống nhất giữa các nguồn giao dịch.
- Chỉ mục và tìm kiếm dữ liệu phi cấu trúc.
- Khai thác rõ ràng siêu dữ liệu có sẵn (như các thuộc tính khu vực hoặc tập tin từ bảng).
- Nội dung văn bản được chuyển đổi sang định dạng có thể tìm kiếm và truy vấn (ví dụ, chuyển đổi file audio sang dạng văn bản, mà có thể là một công cụ truy vấn cơ sở dữ liệu hoặc văn bản gốc lấy.)
2.1.2.3. SQL Server 2008 để giải quyết những vấn đề thách thức - Giảm việc quản lý các loại dữ liệu khác nhau.
- Đơn giản hóa việc sử dụng các dữ liệu quan hệ và các ứng dụng dữ liệu quan hệ phát triển.
2.1.2.4. SQL Server 2008 được lưu giữ trong dữ liệu phi cấu trúc
Phụ thuộc vào các dữ liệu quan hệ và dữ liệu không quan hệ các ứng dụng thường sử dụng ba kiến trúc như sau:
- Mối quan hệ giữa các dữ liệu cơ sở dữ liệu và tập tin hệ thống và máy chủ tệp tin trên một đối tượng không quan hệ nhị phân lớn (BLOB).
- Mối quan hệ giữa cơ sở dữ liệu BLOB và sử dụng chỉ cho việc lưu trữ dữ liệu không quan hệ.
- Cơ sở dữ liệu quan hệ và dữ liệu không quan hệ.
Số hóa bởi trung tâm học liệu http://www.lrc.tnu.edu.vn/
Mỗi phương pháp có ưu và nhược điểm riêng. Ví dụ, máy chủ tập tin, hoặc chỉ lưu trữ dữ liệu phi cấu trúc BLOB sẽ làm giảm chi phí chi cho mỗi GB, nhưng nó thường làm tăng việc quản lý và sự phức tạp của ứng dụng, bởi vì các ứng dụng đã phải duy trì có chứa dữ liệu BLOB cơ sở dữ liệu và hệ thống riêng biệt của hồ sơ và các hồ sơ liên quan đến tính toàn vẹn của đối tượng. Mặt khác, các dữ liệu được lưu giữ trong cơ sở dữ liệu BLOB một cách dễ dàng lưu trữ dữ liệu tập trung, nhưng thường mang lại chi phí cao hơn và kết quả là sự xuống cấp hiệu năng.
SQL Server 2008 thêm hai tính năng được sử dụng để lưu trữ dữ liệu BLOB trong những tính năng mới:
- FileStream: Có thể thiết lập thuộc tính cho các dữ liệu được lưu trữ trong hệ thống tập tin, nhưng trực tiếp trong bối cảnh quản lý cơ sở dữ liệu và truy cập.
- Remote BLOB nhớ: Một giao diện phía client lập trình ứng dụng (API), làm giảm việc xây dựng dựa trên một BLOB trong lưu trữ bên ngoài và một quan hệ dữ liệu trong cơ sở dữ liệu cho các ứng dụng phức tạp.
SQL Server 2005 giới thiệu một loại dữ liệu, nó cho phép lưu trữ lên đến 2.147.483.647 byte dữ liệu nhị phân có giá trị lớn. Khi sử dụng điều chỉnh tối đa, có thể thiết lập các loại hình giá trị lớn trong bảng tùy chọn hàng để kiểm soát dữ liệu được lưu trữ ở dạng vật lý của trang dữ liệu. Khi tùy chọn này được thiết lập ở chế độ ON, tất cả các giá trị được lưu giữ trong một trang liên kết riêng biệt, dữ liệu được ghi trong trang này sẽ tiết kiệm được một liên kết đến các trang này, gốc của con trỏ 16bit.
Khi tùy chọn này được thiết lập ở chế độ OFF, giá trị tối đa là 8.000 byte dữ liệu được lưu giữ trong dòng này trên trang, trong khi giá trị lớn hơn được lưu trữ trong một liên kết trang riêng biệt.
2.1.2.5. Tìm kiếm dữ liệu phi cấu trúc
Trong các phiên bản trước, SQL Server hỗ trợ tìm kiếm văn bản gốc. Tuy nhiên, nó dựa vào một dịch vụ bên ngoài là Windows Search Service - như tìm kiếm bằng văn bản. Sử dụng dịch vụ bên ngoài có hai nhược điểm sau đây:
- Phụ thuộc vào các dịch vụ bên ngoài làm cho việc triển khai phức tạp hơn và khó hỗ trợ hơn.
- Tìm kiếm sự kết hợp của văn bản gốc và tiêu chuẩn hiệu suất truy vấn SQL bị ảnh hưởng. Tối ưu hoá truy vấn không thể được tạo ra với tìm kiếm văn bản gốc.
Số hóa bởi trung tâm học liệu http://www.lrc.tnu.edu.vn/