SERVER
1.3.1. Tổng quan về hệ quản trị cơ sở dữ liệu Microsoft SQL Server
Hệ quản trị cơ sở dữ liệu Microsoft SQL Server (MSSQL) là một trong những hệ quản trị cơ sở dữ liệu thông dụng hiện nay. Đây là hệ quản trị cơ sở dữ liệu thường được sử dụng với các hệ thống trung bình, với ưu điểm có các công cụ quản lý mạnh mẽ giúp cho việc quản lý và bảo trì hệ thống dễ dàng, hỗ trợ nhiều phương pháp lưu trữ, phân vùng và đánh chỉ mục phục vụ cho việc tối ưu hóa hiệu năng. Với phiên bản MSSQL 2005 Microsoft đã có những cải tiến đáng kể nâng cao hiệu năng, tính sẵn sàng của hệ thống , khả năng mở rộng và bảo mật . Phiên bản mới này còn cung cấp nhiều công cụ cho người phát triển ứng dụng được tích hợp với bộ Visual Studio do Microsoft cung cấp. Dưới đây là mô hình về các dịch vụ của SQL server 2005.
Hình 1-8 : Các dịch vụ của SQL Server 2005
MSSQL 2005 có 4 dịch vụ lớn: Database Engine,Intergration Service, Reporting service, Analysis Services. Trong phiên bản MSSQL 2005 này đã có những cải tiến đáng kể như sau:
21
• DataBase Engine : được phát triển để thực thi tốt hơn với việc hỗ trợ cả dữ liệu có cấu trúc và dữ liệu phi cấu trúc( XML). • Khả năng sẵn sàng của hệ thống được nâng cao hơn vì MSSQL
2005 hỗ trợ các chức năng: cơ sở dữ liệu gương (Database mirroring), failover clustering, snapshots và khôi phục dữ liệu nhanh.
• Việc quản lý chỉ mục được thực hiện song song với việc hoạt động của hệ thống. Người dùng có thể thêm chỉ mục, xây dựng lại chỉ mục hay xóa một chỉ mục đi trong khi hệ thống vẫn được sử dụng.
• Chức năng phân vùng dữ liệu được hỗ trợ: Trong phiên bản này người dùng có thể phân vùng các bảng và chỉ mục cũng như quản lý phân vùng dữ liệu một cách dễ dàng. Việc hỗ trợ phân vùng dữ liệu giúp nâng cao hiệu năng hoạt động của hệ thống. • Dịch vụ đồng bộ hóa dữ liệu được mở rộng với việc hỗ trợ mô
hình đồng bộ hóa ngang hàng. Đây là dịch giúp đồng bộ hóa dữ liệu giữa các máy chủ dữ liệu, dịch vụ này làm khả năng mở rộng của hệ thống được nâng cao.
• Dịch vụ tích hợp (Integration Service ) thiết kế lại cho phép người dùng tích hợp dữ liệu và phân tích dữ liệu từ nhiều nguồn khác nhau. Hỗ trợ việc quản lý chất lượng dữ liệu và làm sạch dữ liệu, một công việc quan trọng trong tiến trình ETL.
• Dịch vụ phân tích dữ liệu (Analysis Service ): cung cấp khung nhìn tích hợp và thống nhất về dữ liệu cho người dùng, hỗ trợ việc phân tích dữ liệu .
• Công cụ khai phá dữ liệu (Data mining ) được tích hợp hỗ trợ nhiều thuật toán khai phá dữ liệu, điều này hỗ trợ cho việc phân
tích và khai phá dữ liệu và xây dựng các hệ thống hỗ trợ ra quyết định cho người quản lý.
• Dịch vụ xây dựng quản lý báo cáo (Reporting Service) được dựa trên nền tảng quản trị doanh nghiệp thông minh và được quản lý qua dịch vụ web. Báo cáo có thể được xây dựng với ngôn ngữ truy vấn MDX. Việc xây dựng báo cáo dễ dàng thông qua các công cụ trên Business Intelligent, người dùng truy cập báo.
1.3.2. Xây dựng kho dữ liệu trong SQL Server để lưu trữ thông tin
Nguồn dữ liệu cho kho dữ liệu có thể bao gồm nhiều nguồn khác nhau. Chúng ta sẽ dùng dịch vụ SSIS để xây dựng tiến trình ETL để lấy dữ liệu từ hệ thống nguồn và đẩy vào kho dữ liệu.
Hình 1.9 biểu diễn phương pháp sử dụng các công cụ của MSSQL 2008 để xây dựng kho dữ liệu và hệ thống báo cáo cho người dùng .
Dữ liệu trong kho dữ liệu được lưu trữ dưới dạng mô hình cơ sở dữ liệu quan hệ sẽ được quản lý bởi hệ quản trị cơ sở dữ liệu quan hệ SQL Server. Hoặc sử dụng dịch vụ SSAS để xây dựng nên OLAP database.
Cuối cùng, chúng ta sẽ dùng các công cụ BI và SSRS để trích xuất dữ liệu để xử lý hoặc tạo báo cáo cho người dùng xem. Nếu trích xuất dữ liệu từ hệ quản trị cơ sở dữ liệu quan hệ ta sẽ dùng ngôn ngữ SQL thông thường hoặc dùng MDX để truy vấn trên cubes [15].
23
Hình 1-9: Mô hình xây dựng kho dữ liệu
1.3.3. Tích hợp dữ liệu trong SQL Server
Sử dụng SQL Server Integration Service(SSIS)
SSIS là một thành phần của SQL Server, nó được phát triển từ công cụ Data Transformation Services của phiên bản SQL Server 7.0, một công cụ để thực thi việc chuyển đổi dữ liệu. SSIS là nền tảng cho việc tích hợp dữ liệu, các chức năng của nó nhanh và mềm dẻo cho việc phát triển tiến trình ETL cho xây dựng kho dữ liệu, ngoài ra SSIS còn cung cấp các công cụ tự động bảo trì và tự động cập nhật dữ liệu cho cơ sở dữ liệu nhiều chiều và cubes [15].
SSIS cung cấp một giao diện phát triển với các tool bằng đồ họa cho việc xây dựng tiến trình. Người phát triển sử dụng công cụ phát triển SQL Server Business Intelligence Development Studio (BIDS), đây là công cụ dựa trên bộ MicrosoftVisual Studio. Người dùng có thể kéo và thả các đối tượng của SSIS trong giao diện đồ họa hay có thể lập trình bằng mã lệnh trong giao diện soạn thảo.
Hình 1-10: Công cụ phát triển SSIS
Các đối tượng của SSIS bao gồm:
- Các kết nối: Chứa đựng những thông tin để kết nối tới nguồn dữ liệu.
- Các nhiệm vụ: Đây là một đơn vị thực thi trong SSIS, dùng để thực thi một nhiệm vụ như: truy vấn, chạy một chương trình ứng dụng, hay thực thi công việc bảo trì hệ thống. (adsbygoogle = window.adsbygoogle || []).push({});
- Các ràng buộc: Các nhiệm vụ liên kết với nhau bằng các ràng buộc, các ràng buộc chỉ định nhiệm vụ nào được thực hiện sau khi một nhiệm vụ kết thúc tùy theo kết quả của nhiệm vụ vừa hoàn thành.
- Các xử lý sự kiện: SSIS cho phép thực thi một số thao tác để xử lý khi có một sự kiện xảy ra. Ví dụ như việc làm sạch dữ liệu khi có lỗi xảy ra.
25
Các biến: Các nhiệm vụ có thể liên kết với các biến để lưu trữ kết quả, thực hiện việc quyết định (như trong ràng buộc, hay ở một nhiệm vụ khác), hay thực thi một số cấu hình.
SSIS cung cấp công cụ để thiết lập luồng dữ liệu (DataFlow), các thành phần của luồng dữ liệu dùng để tạo ra tiến trình ETL. DataFlow là thành phần quan trọng nhất trong một package của SSIS, bao gồm rất nhiều thành phần để thiết lập việc trích xuất, biến đổi dữ liệu, và nạp dữ liệu vào kho dữ liệu. Đây là công cụ rất mạnh cho việc xây dựng tiến trình ETL.
Sử dụng SQL Server Analysis Service (SSAS)
SSAS trong là một trong những dịch vụ chính của SQL Server 2005 dùng để xây dựng các chiều và cubes cho DWH, trong phiên bản mới này còn hỗ trợ một số thuật toán khai phá dữ liệu điều này cung cấp cho người quản lý có cái nhìn sâu sắc về dữ liệu của họ hơn. SSAS là một phần của nền tảng quản lý doanh nghiệp thông minh (BI), nó không chỉ là một thành phần của SQL Server, nó còn được sử dụng trên .NET Framework và môi trường phát triển Visual Studio.
SSAS trong SQL Server 2005 đã được tái kiến trúc nhằm nâng cao khả năng mở rộng và tính tin cậy, trong môi trường doanh nghiệp, và khả năng bảo mật dữ liệu. SSAS cung cấp khả năng tích hợp nhiều đối tượng (instance) của SSAS điều này tăng khả năng mở rộng ngoài ra dịch vụ này còn cung cấp các thuật toán để quản lý hiệu quả các cubes lớn trong một đối tượng. SSAS 2005 cung cấp đa dạng các công cụ để tạo OLAP (OnLine Analytical Processing) một cách hiệu quả và quản lý dễ dàng.
Hình 1-11: Kiến trúc của SSAS
Trong phiên bản mới này SSAS hỗ trợ XML theo chuẩn XML/A. Điều này có nghĩa việc tra đổi dữ liệu giữa SSAS với các client là XML, sự thay đổi này nâng cao khả năng tương tác giữa các máy client và máy chủ. Như ở hình 1-11 SSAS cung cấp ba kiểu kết nối với client. Việc lưu trữ siêu dữ liệu trong cũng được thực hiện dưới dạng XML. Ngoài ra trong phiên bản này
27
còn cho phép người dùng tùy chọn việc lưu trữ dữ liệu và dữ liệu tổng hợp dưới dạng đối tượng của SSAS hay dạng cơ sở dữ liệu quan hệ. Việc lưu trữ dữ liệu theo định dạng đối tượng của SSAS có thể xử lý tốt hơn và truy vấn nhanh hơn dạng cơ sở dữ liệu quan hệ. Có 3 cách lưu trữ dữ liệu chính trong SSAS.
• MOLAP (MultiDemension OnLine Analytical Processing): Đây là mô hình lưu trữ mà dữ liệu theo định dạng của SSAS. Cách lưu giữ này cho hiệu quả truy vấn tốt nhất và có thể xử lý các tính toán phức tạp. Điểm yếu của cách truy vấn này là tốn dung lượng và không thể xem được dữ liệu mới cho đến khi xây dựng lại cubes.
• ROLAP (Relational OLAP): đây là cách lưu trữ mà dữ liệu chính được lưu trữ trong cơ sở dữ liệu quan hệ. Cách truy vấn trên SSAS được thay đổi sang kiểu truy vấn trên cơ sở dữ liệu quan hệ mỗi khi thực thi điều này làm giảm hiệu năng của truy vấn, các truy vấn thường rất chậm so với mô hình trên. Điểm mạnh của cách lưu trữ này là dung lượng cube chỉ giới hạn bởi dung lượng của cơ sở dữ liệu quan hệ. • HOLAP (Hybrid OLAP): Đây là mô hình tích hợp của cả hai mô hình
trên dữ liệu thông thường được lưu trữ dưới dạng cơ sở dữ liệu quan hệ trong khi các dữ liệu tổng hợp được lưu trữ dưới dạng đối tượng SSAS. Nếu dữ liệu yêu cầu là dạng tổng hợp thì sẽ thực hiện truy vấn tại SSAS còn nếu dữ liệu yêu cầu là dạng chi tiết truy vấn sẽ được dịch và truy vấn tại cơ sở dữ liệu quan hệ. Điều này làm tăng tốc độ xử lý của mô hình ROLAP và tận dụng được khả năng lưu trữ của mô hình ROLAP.
Dịch vụ SSAS của SQL Server 2005 cung cấp cho người dùng các tính năng mạnh mẽ trong phân tích dữ liệu. Đây là công cụ mạnh để xây dựng các hệ thống xử lý giao dịch trực tuyến.
Sử dụng ngôn ngữ truy vấn MDX
Ngôn ngữ MDX(MultiDemensional eXpression) là ngôn ngữ truy vấn cho cơ sở dữ liệu nhiều chiều, nó tương tự ngôn ngữ SQL cho cơ sở dữ liệu dạng quan hệ, tuy nhiên đây là ngôn ngữ tính toán vì thế nó tương có cú pháp giống công thức của bảng tính. MDX do Microsoft giới thiệu vào năm 1997 cùng với SQL Server 7.0 nhanh chóng được các nhà phát triển chấp nhận đã trở thành chuẩn cho hệ thống OLAP. Từ năm 2001 khi XMLA ra đời MDX được mở rộng và hỗ trợ truy vấn với MDX (MDXML).
Ngôn ngữ MDX hỗ trợ mạnh cho tính toán trên khối dữ liệu nhiều chiều, nó hỗ trợ việc truy cập dữ liệu một cách trực quan và dễ dàng. Người dùng có thể trích xuất dữ liệu từ cube với số chiều bất kỳ. MDX có thể trả lời được các câu hỏi phức tạp trong kinh doanh ở thế giới thực như: trong các khu vực bán được nhiều sản phẩm nhất đâu là dòng sản phẩm bán chạy nhất? .
MDX được xây dựng cho các hệ thống phân tích dữ liệu chính vì thế nó có thể xử lý được những truy vấn một cách dễ dàng. MDX có thể xử lý dữ liệu một cách mềm dẻo, kết quả trả về của MDX cũng rất linh hoạt. Các phép truy vấn phức tạp trong SQL như pivot được sử dụng một cách dễ dàng trong MDX.
MDX không hỗ trợ các ngôn ngữ định nghĩa dữ liệu (DDL) tuy nhiên ngôn ngữ thao tác dữ liệu (DML) của MDX có hỗ trợ thực thi một số thao tác định nghĩa dữ liệu.
Cấu trúc của MDX giống như SQL nhưng mở rộng hơn để thao tác với cơ sở dữ liệu nhiều chiều. Câu truy vấn MDX có cấu trúc như sau :
SELECT [Mô tả về chiều thứ nhất], [Mô tả về chiều thứ hai]…..
FROM [Mô tả về khối dữ liệu] WHERE [điều kiện cắt các lớp]
29
Mệnh đề SELECT dùng để xác định các chiều cảu tập hợp kết quả. Mệnh đề FROM xác định nguồn dữ liệu (cube) dùng để lấy dữ liệu. Mệnh đề WHERE dùng để xác định chiều cắt dữ liệu, nhằm lọc dữ liệu đầu ra.
Truy vấn MDX có thể chứa các thông tin như sau : o Số lượng chiều (tối đa 128 chiều).
o Các thành viên của mỗi chiềucho từng chiều. o Tên khối dữ liệu
o Các thành viên từ một chiều dùng để cắt (lọc).
Phát biểu SELECT của câu truy vấn MDX còn hỗ trợ các cú pháp tuỳ chọn khác, như là từ khóa WITH và việc sử dụng các hàm MDX để xây dựng các thành viên bằng việc tính toán để thêm vào 1 trục hoặc 1 chiều cắt. (adsbygoogle = window.adsbygoogle || []).push({});
Cú pháp của câu truy vấn MDX tương tự như cú pháp SQL, tuy nhiên, có 1 số khác biệt như sau :
− Cú pháp MDX phân biệt các tập hợp bằng việc dùng dấu ngoặc nhọn { } bao quanh các bộ hay thành viên.
− Câu truy vấn MDX có thể chứa tới 128 chiều, nhưng chỉ có 5 chiều đầu tiên là có aliase (tên phụ). Một trục có thể được tham chiếu bởi thứ tự của nó trong câu MDX hay bởi tên phụ của nó nếu có.
− Trong câu truy vấn SQL, mệnh đề FROM có thể chỉ đến nhiều bảng dữ liệu. Tuy nhiên, mệnh đề FROM trong câu truy vấn MDX bị giới hạn ở 1 khối duy nhất. Thông tin từ các khối khác có thể được tham khảo theo từng giá trị bằng cách dùng hàm LookupCube.
Mệnh đề WHERE được dùng để mô tả chiều cắt dữ liệu. Nếu 1 chiều không được đề cập trong mệnh đề WHERE, SQL Analysis Services vẫn xem
nó là 1 chiều cắt, nhưng được lọc theo số thành viên mặc định của nó. Mệnh đề WHERE có thể thay đổi tiến trình lọc cho 1 chiều nào đó, giúp tinh chỉnh dữ liệu kết quả.
Sử dụng SQL Server Reporting Serveices (SSRS)
Hình 1-12: Kiến trúc của Reporting Services
SSRS là một dịch vụ của SQL Server , nó là hệ thống quản lý các báo cáo. Hỗ trợ việc tạo báo cáo, quản lý các báo cáo, và quản lý truy cập thông qua nền tảng web.
SSRS sử dụng ngôn ngữ định nghĩa báo cáo (RDL) và ngôn ngữ đánh dấu mở rộng XML. Công cụ soạn thảo báo cáo được tích hợp trên công cụ BIDS dựa trên bộ Visual studio cùng với thành phần Crystal Reports. Người dùng có thể soạn thảo các báo cáo một cách dễ dàng trên nền tảng đồ họa, sau khi báo cáo được tạo có thể trích xuất ra nhiều định dạng khác nhau như: Excel, PDF, CSV, XML, TIFF hay dưới dạng văn bản web.
31
thông qua dịch vụ web thay vì sử dụng công cụ Report Manager. Với công cụ Report Manager người dùng có thể xem các báo cáo, quản lý các báo cáo cũng như quản lý và bảo trì các định nghĩa nguồn dữ liệu được sử dụng cho báo cáo và quản lý bảo mật cho báo cáo . Các báo cáo có thể được phân phối thông qua mail hoặc các hệ thống file. Việc quản lý bảo mật được thực thi với nhiều cấp độ việc này giúp quản lý mạnh mẽ và linh hoạt hơn. Như ở trên hình 1-12 các thành phần chính của hệ SSRS bao gồm:
- Nguồn dữ liệu: nguồn dữ liệu cho dịch vụ báo cáo bao gồm nhiều loại dữ liệu như SQL Server , Analysis Service, DB2, Oracle, ADO.Net. SSRS truy cập nguồn dữ liệu thông qua các trình điều khiển OLE DB hay ODBC.
- Công cụ xuất báo cáo: cho phép người dùng xuất báo cáo ra dạng ngôn ngữ định dạng báo cáo hoặc ra các định dạng văn bản như : HTML, XML,PDF, EXCEL, CSL hoặc các định dạng khác.
- Công cụ bảo mật: chuẩn báo mật cho SSRS dựa trên các kiểu bảo mật của IIS và chứng thực người dùng của windows.
- Công cụ chuyển phát báo cáo: SSRS cho phép người dùng truy cập báo cáo qua web hoặc chuyển phát cho người dùng qua email hay dạng file