Hệ thống DataWarehouse trên mạng lưu trữ hợp nhất

Một phần của tài liệu (LUẬN văn THẠC sĩ) công nghệ mạng lưu trữ và ứng dụng luận văn ths công nghệ thông tin 1 01 10 (Trang 70)

- Dữ liệu của hệ thống Data Warehouse sẽ được chuyển từ tủ đĩa DW Disk Array cũ sang hai tủ đĩa DW Disk Array mới (hai tủ đĩa cũ của hệ thống OLTP).

- Tủ đĩa DW Disk Array 1 sẽ được đặt tại Trung tâm chính còn tủ đĩa DW Disk Array 2 sẽ được đặt tại Trung tâm dự phòng. Dữ liệu trên hai tủ đĩa sẽ được mirror với nhau nhằm tăng tính sẵn sàng và tính an toàn cho hệ thống.

- Khi ghi, dữ liệu sẽ được ghi đồng thời vào hai tủ đĩa.

- Để tăng tính an toàn cho dữ liệu của hệ thống, thì dữ liệu trên hai tủ đĩa này sẽ được backup vào hai tủ Tape Library 1 và Tape Library 2.

Khôi phục sau sự cố:

- Trường hợp 1: Nếu tủ đĩa DW Disk Array 1 xảy ra sự cố, thì chương trình ứng dụng vẫn hoạt động bình thường trên tủ đĩa DW Disk Array 2.

- Trường hợp 2: Nếu tủ đĩa DW Disk Array 2 xảy ra sự cố, thì chương trình ứng dụng vẫn hoạt động bình thường trên tủ đĩa DW Disk Array 1.

- Trường hợp 3: Dữ liệu trên cả hai tủ đĩa đều bị hỏng, thì dữ liệu sẽ được phục hồi từ các tủ Tape Library 1 hoặc Tape Library 2.

Hệ thống Training

Hình 3- 7: Hệ thống Đào tạo trên mạng lưu trữ hợp nhất

- Dữ liệu trên hệ thống Training cũ sẽ được chuyển sang tủ đĩa TRN Disk Array mới.

- Dữ liệu của hệ thống Training sẽ được ghi vào tủ đĩa TRN Disk Arary.

- Dữ liệu từ tủ đĩa TRN Disk Array sẽ được backup vào các tủ Tape Library 1 hoặc Tape Library 2.

Khôi phục sau sự cố:

- Nếu dữ liệu trên tủ đĩa TRN Disk Array bị hỏng, dữ liệu sẽ được khôi phục từ các tủ tape hoặc sẽ được tạo lại từ hệ thống OLTP.

3.3.3. Tăng cường khả năng sẵn sàng của hệ thống fabric

Hệ thống mạng SAN sẽ được chia làm hai fabric, mục đích:

Khôi phục sau sự cố:

- Trường hợp 1: Các switch trên site tại Trung tâm chính xảy ra sự cố, hệ thống sẽ được chuyển qua hoạt động trên site ở Trung tâm dự phòng.

- Trường hợp 2: Một trong hai switch tại Trung tâm chính bị hỏng: Mỗi thiết bị trong mạng sẽ có ít nhất hai đường kết nối, mỗi đường kết nối tới một fabric riêng. Khi một trong hai switch tại trung tâm chính xảy ra sự cố, đường truyền của hệ thống vẫn được đảm bảo bởi vì đường truyền sẽ được thiết lập thông qua switch còn lại.

3.3.4. Phương pháp đồng bộ giữa hai tủ đĩa

Để đồng bộ dữ liệu giữa hai tủ đĩa, có hai phương pháp: đồng bộ theo mức hệ điều hành và đồng bộ theo mức thiết bị lưu trữ. Việc đồng bộ dữ liệu theo mức hệ điều hành sẽ chiếm một lượng tài nguyên không nhỏ của server do đó sẽ ảnh hưởng tới việc xử lý các giao dịch khác. Việc đồng bộ theo mức thiết bị lưu trữ sẽ giải quyết được hạn chế trên. Vì vậy, ta sẽ chọn phương pháp đồng bộ dữ liệu theo mức thiết bị lưu trữ.

Theo mức thiết bị lưu trữ, sẽ có hai phương pháp nhân bản dữ liệu, đó là: nhân bản đồng bộ (synchronous duplication) và nhân bản dị bộ (asynchronous duplication).

- Phương pháp nhân bản đồng bộ:

Hình 3-9: Nhân bản đồng bộ

 Thao tác ghi dữ liệu từ server xuống thiết bị lưu trữ sẽ chiếm mất nhiều thời gian hơn bởi vì: tiến trình ghi dữ liệu từ server xuống thiết bị lưu trữ phải qua bốn bước như hình vẽ trên:

o Bước 2: dữ liệu từ bộ nhớ đệm của thiết bị lưu trữ thứ nhất sẽ được ghi sang bộ nhớ đệm của thiết bị lưu trữ thứ hai.

o Bước 3: thiết bị lưu trữ thứ hai gửi tín hiệu xác nhận việc ghi dữ liệu thành công về cho thiết bị lưu trữ thứ nhất.

o Bước 4: thiết bị lưu trữ thứ nhất sẽ gửi xác nhận ghi dữ liệu thành công về server.

 Tuy nhiên, ưu điểm của phương pháp này là dữ liệu giữa hai thiết bị lưu trữ luôn luôn đồng nhất.

- Phương pháp nhân bản dị bộ:

Hình 3-10: Nhân bản dị bộ

 Thao tác ghi dữ liệu từ server xuống thiết bị lưu trữ chiếm ít thời gian. Tiến trình ghi dữ liệu từ server xuống thiết bị lưu trữ qua các bước sau:

o Bước 1: server ghi dữ liệu xuống bộ nhớ đệm của thiết bị lưu trữ thứ nhất.

o Bước 2: thiết bị lưu trữ thứ nhất gửi tín hiệu thông báo cho server biết việc ghi dữ liệu đã thành công.

o Bước 3: dữ liệu từ bộ nhớ đệm của thiết bị lưu trữ thứ nhất sẽ được ghi qua bộ nhớ đệm của thiết bị lưu trữ thứ hai.

o Bước 4: thiết bị lưu trữ thứ hai gửi tín hiệu xác nhận việc ghi dữ liệu qua thiết bị lưu trữ thứ hai thành công.

 Tuy vậy, nhược điểm của phương pháp này đó là: sau bước thứ hai, việc dữ liệu ghi sang thiết bị lưu trữ thứ hai có thể không thành công, tuy nhiên server sẽ không kiểm soát được tình trạng này, khi đó dữ liệu giữa hai thiết bị lưu trữ sẽ không nhất quán.

- Đối với hệ thống giao dịch OLTP, vấn đề nhất quán và toàn vẹn dữ liệu là quan trọng nhất, nên ta sẽ chọn phương pháp nhân bản đồng bộ để triển khai đồng bộ dữ liệu giữa hai tủ đĩa.

3.3.5. Nâng cao tính sẵn sàng (clustering)

Hệ thống máy tính sẵn sàng cao (high availability) cho phép các dịch vụ ứng dụng vẫn tiếp tục hoạt động cho dù xảy ra lỗi phần cứng hoặc phần mềm. Khi có một thành phần nào đó bị lỗi thì thành phần dự phòng sẽ đảm nhiệm [14].

Cluster là một là một nhóm máy chủ được nối mạng (gọi là node) có đủ phần dự phòng về phần cứng và phần mềm để đảm bảo không dừng dịch vụ khi xảy ra lỗi. Các dịch vụ ứng dụng được nhóm lại thành các gói (package). Khi xảy ra lỗi về dịch vụ, node, mạng hoặc các tài nguyên khác thì điều khiển gói sẽ được chuyển qua node khác trong cluster, đảm bảo tính sẵn sàng của các dịch vụ.

Hình 3-11: Mô hình cluster 2 node

Hình trên mô tả mô hình cluster điển hình với hai node, trong đó node 1 chạy gói dịch vụ A và node 2 chạy gói dịch vụ B.

Dịch vụ mạng TCP/IP, sẽ được sử dụng để truyền các thông điệp heartbeat giữa các node trong cluster để điều khiển hoạt động của cluster, cũng như các loại truyền thông khác giữa các node.

Failover

Phần mềm quản lý cluster sẽ giám sát tình trạng của các node trong cluster, các máy chủ đang chạy trong cluster sẽ được gọi là các node hoạt động. Khi tạo các gói

đó. Khi một node hoặc đường truyền của node đó bị lỗi, điều khiển gói sẽ được chuyển qua node dự phòng đang hoạt động.

Hình 3-12: Cluster sau khi xảy ra failover

Xây dựng cluster cho hệ thống OLTP

Đối với hệ thống OLTP, có tất cả là bốn máy chủ, vì vậy ta sẽ tạo một cluster bốn node, trong đó:

- Node 1 (máy chủ OLTP1) là node chạy chính, đặt tại Trung tâm xử lý chính. - Node 2 (máy chủ OLTP2) là node dự phòng thứ nhất, đặt tại Trung tâm xử lý

chính, nếu node chạy chính xảy ra lỗi thì các gói dịch vụ sẽ được chuyển qua node 2 này.

- Node 3 (máy chủ OLTP3) là node dự phòng thứ hai, đặt tại Trung tâm dự phòng, nếu node 1 và node 2 xảy ra lỗi, thì các gói dịch vụ sẽ được chuyển qua chạy trên node này.

- Node 4 (máy chủ OLTP4) là node dự phòng thứ 3, đặt tại Trung tâm dự phòng, nếu node 1, node 2 và node 3 xảy ra lỗi, thì các gói dịch vụ sẽ được chuyển qua chạy trên node này.

Trên cluster của hệ thống OLTP, ta sẽ thiết lập các gói dịch vụ sau:

- Thứ nhất, gói dịch vụ DISK sẽ cung cấp tài nguyên tủ đĩa cho hệ thống. Khi đó chỉ node nào trong cluster có gói dịch vụ này sẽ có quyền truy cập vào hệ thống tủ đĩa, các node còn lại sẽ không thể truy cập được.

- Thứ hai, gói dịch vụ IP sẽ cung cấp một địa chỉ IP duy nhất cho chương trình ứng dụng. Khi đó chương trình ứng dụng sẽ sử dụng địa chỉ IP này mà không cần quan tâm đến địa chỉ IP thực sự của node đang chạy chương trình ứng dụng.

Xây dựng cluster cho hệ thống Data Warehouse

Đối với hệ thống Data Warehouse, chỉ có hai máy chủ, máy chủ DW1 được đặt tại Trung tâm xử lý chính và máy chủ DW2 được đặt tại Trung tâm dự phòng. Khi đó ta sẽ xây dựng cluster hai node cho hệ thống Data Warehouse, trong đó:

- Node 1 (máy chủ DW1) sẽ là node chạy chính.

- Node 2 (máy chủ DW2) sẽ là dự phòng. Khi node 1 xảy ra lỗi thì các gói dịch vụ của hệ thống Data Warehouse sẽ được chuyển qua chạy trên node này. Tương tự như hệ thống OLTP, hệ thống Data Warehouse sẽ có hai gói dịch vụ sau: - Thứ nhất, gói dịch vụ DISK cung cấp tài nguyên về tủ đĩa cho máy chủ chạy

chính trong hệ thống DataWarehouse.

- Thứ hai, gói IP sẽ cung cấp một địa chỉ IP duy nhất cho chương trình ứng dụng, chương trình ứng dụng sẽ hoạt động trên địa chỉ IP này mà không cần quan tâm đến các gói dịch vụ đang chạy trên node nào trong cluster.

Xây dựng cluster cho hệ thống Training

Đối với hệ thống Training, ta chỉ có một máy chủ TRN và một tủ đĩa được đặt tại Trung tâm xử lý chính, vì vậy ta không cần phải xây dựng cluster cho hệ thống này. Tuy nhiên, ta vẫn có thể xây dựng cluster với một node, khi đó cluster chỉ có ý nghĩa cho các card mạng trên máy chủ TRN.

3.3.6. Phân vùng (zoning)

Zoning cho phép phân vùng SAN thành các nhóm logic. Phân vùng có thể được sử dụng như rào chắn giữa các vùng khác nhau. Một thành viên chỉ có thể truyền thông với các thành viên khác trong cùng một vùng, chứ không thể truyền thông được với các thành viên khác ngoài vùng [15].

Các phân vùng có thể giao nhau, có nghĩa là một thành viên có thể đồng thời thuộc nhiều phân vùng khác nhau.

Ngoài đặc trưng về bảo mật, phân vùng giúp ta tạo các môi trường riêng. Ví dụ như phân chia giữa môi trường dùng để nghiên cứu và thử nghiệm với môi trường kinh doanh, hoặc giữa các nhóm làm việc, hoặc ta có thể phân vùng giữa môi trường Unix và Windows.

Điều này rất có ích để đảm bảo tính an toàn cho các tài nguyên, bởi vì không phải tất cả các thiết bị lưu trữ đều có khả năng bảo vệ tài nguyên khỏi việc truy cập bất hợp pháp của các máy chủ, giúp bảo vệ các dữ liệu quan trọng.

Trên một switch có thể có nhiều phân vùng, tất cả các phân vùng trên switch sẽ tạo nên một cấu hình phân vùng. Trên một switch có thể có nhiều cấu hình phân vùng, tuy nhiên tại một thời điểm chỉ một cấu hình được kích hoạt.

Hình sau mô tả một fabric với 3 phân vùng (zone):

Hình 3-13: Phân vùng trên fabric

Ở hình trên, thiết bị RAID có trong các phân vùng Blue zone và Green zone. Các đối tượng trong một phân vùng chỉ có thể giao tiếp với đối tượng khác trong cùng phân vùng đó. Ví dụ, Server1 chỉ có thể giao tiếp với thiết bị trong Loop1; Server3 chỉ có thể giao tiếp với các thiết bị RAID và Loop1.

Sau khi zoning được kích hoạt, nếu thiết bị không được định nghĩa trong một phân vùng nào, thiết bị đó sẽ bị cách ly và không thể truy cập được bởi các thiết bị khác trong fabric (ví dụ Loop1 JBODs ở hình trên).

Các phân vùng có thể cấu hình động và thay đổi kích cỡ, tuỳ theo số thiết bị trong fabric. Có thể vô hiệu hóa zoning bất kỳ lúc nào. Khi zoning được vô hiệu hóa, fabric ở chế độ nonzoning, thiết bị truy cập tự do với các thiết bị khác trong fabric.

Cấu hình phân vùng không thay đổi khi reboot hoặc bật nguồn. Nếu 2 switch ở trong một fabric, chúng có thể cách ly (ví dụ, do lỗi kết nối ISL giữa 2 switch); tuy nhiên, khi kết hợp lại, chúng vẫn giữ nguyên cấu hình fabric trừ khi một switch có sự thay đổi về cấu hình.

Triển khai:

Đối với hệ thống mạng lưu trữ của Ngân hàng, sau khi hợp nhất vào một hệ thống mạng SAN, cần phải phân vùng nhằm:

- Đảm bảo an toàn dữ liệu cho mỗi hệ thống.

- Dễ dàng quản lý tài nguyên của mỗi hệ thống khi số lượng thiết bị trong hệ thống tăng lên đáng kể.

Hệ thống có thể được phân thành bốn phân vùng sau:

Phân vùng của hệ thống OLTP

Hình 3-14: Phân vùng hệ thống OLTP trên fabric

Phân vùng thứ nhất này, bao gồm các thành phần sau:

 Các máy chủ OLTP1, OLTP2.

 Tủ đĩa OLTP Disk Array 1.

 Tủ tape Tape Library 1.

Khi đó, chỉ có các máy chủ OLTP1 và OLTP2 mới có thể truy cập được các tủ đĩa OLTP Disk Array 1, tủ Tape Library 1. Còn các máy chủ khác như DW hay TRN là không thể truy cập được vào vùng này.

Hình 3-15: Phân vùng hệ thống Data Warehouse trên fabric

Phân vùng thứ hai này bao gồm các thành phần sau:

 Server DW1

 Tủ đĩa DW Disk Array 1

 Tủ Tape Library 1

Khi đó, sẽ đảm bảo chỉ có máy chủ DW mới có thể truy cập vào tủ đĩa DW Disk Array, còn các máy chủ khác như OLTP hay TRN sẽ không truy cập được vào vùng này.

Phân vùng hệ thống Training

Phân vùng thứ ba này bao gồm các thành phần sau:

 Server TRN

 Tủ đĩa TRN Disk Array

 Tủ Tape Library 1

Khi đó, sẽ đảm bảo cho máy chủ TRN truy cập được tủ đĩa TRN Disk Array, các máy chủ còn lại như OLTP hay DW sẽ không thể truy cập được vào vùng này.

Phân vùng máy chủ quản trị

Hình 3-17: Phân vùng máy chủ quản trị trên fabric

Phân vùng thứ tư này bao gồm các thành phần sau:

 Server SAN Mgt dùng để quản lý các thiết bị trong SAN

 Tủ đĩa OLTP Disk Array

 Tủ đĩa DW Disk Array

 Tủ đĩa TRN Disk Array

 Tủ Tape Library

Máy chủ quản trị phải truy cập được vào các thiết bị này để có thể thực hiện các hoạt động như cấu hình, quản trị, giám sát,...

3.3.7. Cải tiến hệ thống sao lưu và phục hồi dữ liệu

Sao lưu và phục hồi dữ liệu là một trong những vấn đề rất quan trọng đối với các doanh nghiệp để bảo vệ dữ liệu an toàn. Với dung lượng lưu trữ tăng gấp đôi sau mỗi năm, các thao tác sao lưu và phục hồi sẽ rất khó và phức tạp.

Mô hình backup dữ liệu của các hệ thống hiện nay như sau:

Có hai Cell Manager được cài đặt trực tiếp trên các máy chủ của hệ thống OLTP đó là máy chủ OLTP 2 (tại Trung tâm xử lý chính) và máy chủ OLTP 4 (tại Trung tâm dự phòng). Trong đó, máy chủ OLTP 2 là Cell Manager chạy chính, còn máy chủ OLTP 4 là Cell Manager dự phòng, khi Cell Manager chạy chính hỏng, Cell Manager dự phòng sẽ được kích hoạt.

Nhƣợc điểm:

- Các Cell Manager được cài đặt trên chính các máy chủ xử lý giao dich nên sẽ làm giảm hiệu năng của máy chủ.

- Hiện tại, việc chuyển đổi Cell Manager không được linh hoạt. Cụ thể, nếu Cell Manager chạy chính bị lỗi, việc chuyển đổi sang Cell Manager dự phòng mất rất nhiều thời gian, phải thực hiên quá nhiều thao tác.

- Dữ liệu của hệ thống rất lớn vì vậy thời gian để thực hiện một phiên full backup chiếm quá nhiều thời gian, điều này là không thể chấp nhận được đối với hệ thống giao dịch 24/7.

Cải tiến:

- Cần có hai máy chủ Cell Manager riêng, triển khai theo mô hình cluster hai node. Việc này rất dễ dàng sau khi ta đã tích hợp các hệ thống vào một mạng

Một phần của tài liệu (LUẬN văn THẠC sĩ) công nghệ mạng lưu trữ và ứng dụng luận văn ths công nghệ thông tin 1 01 10 (Trang 70)

Tải bản đầy đủ (PDF)

(105 trang)