Hình 3.2.3 Một ví dụ quản lý tiến trình trong ánh xạ dữ liệu

Một phần của tài liệu NHÀ KHO DỮ LIỆU (Data Warehouse) (Trang 35)

No No yes yes no yes yes No Proc 124

Những yêu cầu cho việc quản lý tiến trình

Hình 3.2.3 cũng cho thấy rõ kiểu và phạm vi của những chức năng cần thiết và phép ánh xạ qui định cho việc quản lý tiến trình.

- Kế hoạch của tiến trình:

Kế hoạch của tiến trình là danh sách đứng đầu của các tiến trình ánh xạ dữ liệu mà là cần thiết để di trú dữ liệu trong Nhà kho dữ liệu. Một tiến trình gồm có các nhiệm vụ và các điểm quyết định. Nó có thể đợc bắt đầu nhiều lần hoặc chỉ một lần tại các khoảng đều đều (ví dụ nh hàng ngày, hàng tuần v.v..) hoặc tại các ngày, các thời kỳ hoặc thời gian đặc biệt. Nó có thể bao gồm các bớc di chú BDW hoặc BIW. Thành phần quản trị tạo ra và duy trì danh sách lịch biểu.

- Định nghĩa tiến trình ánh xạ:

Mạng lới của những nhiệm vụ và những điểm quyết định mà tạo ra tiến trình phải đợc định nghĩa và đợc bảo trì. Để phức tạp, tiến trình đợc sử dụng nhiều lần, định nghĩa tiến trình ánh xạ yêu cầu khá phức tạp, công cụ minh hoạ bằng đồ thị là thành phần tích hợp của yếu tố quản lý tiến trình. Để đơn giản hoặc các tiến trình biến cố đơn, định nghĩa tiến trình ánh xạ yêu cầu kiểu chức năng truyền thống dựa trên chơng trình điều khiển lô.

Nhiệm vụ khởi đầu:Những nhiệm vụ khởi đầu trên hệ phần cứng và phần mềm trong toàn bộ môi trờng mà Nhà kho dữ liệu hoạt động, bao gồm những cái trong môi trờng hoạt động, cần phải hỗ trợ.

Tình trạng hỏi vấn thông tin: Ngoài các nhiệm vụ ban đầu trên nhiều hệ, ngời quản lý tiến trình cũng phải hỏi vấn về tình trạng của các thành phần đang chạy trên tất cả các hệ.

Phạm vi của mỗi yếu tố nh thu nạp hoặc truyền dữ liệu, tháo gỡ đợc các lỗi điều khiển của nó, hơn là việc cho phép sự quản lý tiến trình quan tâm đến nó đợc giải quyết đầy đủ. Nói chung là mỗi yếu tố càng độc lập càng tốt.

Trong hình 3.2-3 , ví dụ, sự thu nạp đợc chỉ ra nh là một nhiệm vụ đơn giản, tiến trình. Proc 123 chỉ rõ một sự trả lời duy nhất thới một lỗi ớc định - sinh ra một thông bão lỗi và từ bỏ. Sự trả lời này ngụ ý rằng yếu tố thu nạp có tất cả các khả năng cải thiện triệt để lỗi do điều khiển, mà có thể bao gồm cả nhiều sự cố chạy hoặc sự cố gắng để sử dụng phơng pháp kỹ thuật thu nạp khác. Phơng pháp kỹ thuật sử dụng sẽ tác động tới phơng pháp kỹ thuật áp dụng thích hợp, do vậy đây là phần thông tin phải đợc lu trữ và chuyển tiếp bởi ngời quản lý tiến trình.

3.2.4Truyền dữ liệu

Nh trong trờng hợp quản lý tiến tiến trình, truyền dữ liệu đợc quy định trong Nhà kho dữ liệu chủ yếu hỗ trợ việc ánh xạ dữ liệu và chỉ khi dữ liệu nguồn và đích tập trung trên các hệ vật lý khác nhau. Ngoài ra, chức năng truyền dữ liệu đợc qui định tình

trạng chuyển tiếp hoặc những thông báo tin tức giữa nhiều thành phần khác nhau của Nhà kho dữ liệu.

ánh xạ dữ liệu và thông báo cần thiết của việc này và những thành phần khác quy định những điều kiện tất yếu việc truyền dữ liệu. Việc thực hiện đầy đủ phơng pháp kỹ thuật của chức năng truyền dữ liệu ít quan trọng hơn phạm vi những đòi hỏi gặp phải.

Đòi hỏi cho việc truyền dữ liệu:

Đòi hỏi của việc truyền dữ liệu nh sau:

- Hỗ trợ tất cả các yêu cầu hệ phần cứng và phần mềm nh nguồn và đích.

Điều kiện chung là hỗ trợ tất cả các hệ nh cả hai nguồn và đích. Tuy nhiên, đây là mục tiêu khó khăn với bất kỳ Nhà kho dữ liệu riêng lẻ nào, chỉ với những hệ mạng nhỏ cần sự hỗ trợ của nguồn hoặc đích. Điều này ngụ ý rằng chức năng gửi và nhận của việc truyền dữ liệu thờng hoạt động trên các hệ khác nhau.

- Truyền dữ liệu không đồng bộ:

Nh đã mô tả, Nhà kho dữ liệu không mong đợi đợc đồng bộ hoá với dữ liệu nguồn cơ sở của nó. Do sự không đồng bộ thu nạp và ứng dụng dữ liệu là chỉ tiêu đứng đầu trong việc truyền dữ liệu không đồng bộ

Kiểu truyền dữ liệu này nói chung đợc xem nh tơng đơng với " truyền file", thật vậy, từ quan điểm vật lý chúng ta có thể xem xét nó nh là một sự kiện trong việc ánh xạ dữ liệu. Tuy nhiên, bạn phải nhớ lại rằng trong nhiều trờng hợp file đợc truyền bao gồm một hoặc nhiều thay đổi thu nạp đợc trong kiểu cập nhật của pháp ánh xạ. Kích thớc file, tất nhiên, có khuynh hớng nhỏ lại, và sự nối tiếp đó đợc ứng dụng đến đích có tầm quan trọng sống còn. Ngoài ra, kích thớc file lớn phải đợc hỗ trợ cho refresh chế độ ánh xạ.

Việc truyền dữ liệu không đồng bộ cũng hỗ trợ những trạng thái mà ở đó việc liên kết giữa hệ thống nguồn và đích là không thờng xuyên. Tầng dữ liệu nh thế quy định bên ngoài việc gửi của thành phần truyền.

Truyền dữ liệu đồng bộ: Chế độ truyền dữ liệu này đợc quy định để ủng hộ sự truy cập dữ liệu.

Sự rõ ràng của cơ chế truyền cơ bản: Nh với tất cả các thủ tục truyền, phép ánh xạ hoặc chức năng gọi khác không quan tâm đến dữ liệu truyền nh thế nào từ dữ liệu nguồn đến đích. Theo lý thuyết, cơ chế truyền có thể mở rộng toàn bộ tuyến phổ của phơng tiện truyền thông từ sự truyền tải vật lý của dải băng từ đến sự củng cố và sử dụng kết nối động bộ từ nguồn đến đích.

- Hỗ trợ việc truyền dữ liệu trong suốt cục bộ và từ xa:

Khi mô trờng Nhà kho dữ liệu lớn lên theo thời gian, những vị trí nguồn và đích cho việc ánh xạ dữ liệu là phù hợp với sự thay đổi. Sự thực hiện đầy đủ từ ban đầu, ví dụ, phải đặt cả hai BDW và BIWs đầu tiên trên cùng một máy, trớc khi BIWs đợc phân phối trên các nền bộ phận cho thời gian trả lời đợc cải tiến hơn. Chức năng truyền dữ liệu có thể hỗ trợ những cấu hình tuỳ chọn này bởi việc xác nhận các vị trí nguồn và đích cục bộ hoặc từ xa, cơ chế truyền dữ liệu theo kiểu vật lý bắt đầu trong trờng hợp từ xa.

- Chọn lựa hỗ trợ cho thời gian chuyển giao:

Có thể có những trờng hợp mà yêu cầu thời gian bảo hiểm bảo đảm đặc biệt khi Nhà kho dữ liệu trở thành nặng nề.

- Sắp xếp thứ tự truyền d liệu:

Sự biến đổi kéo theo sự phong phó của các bản ghi, đặc biệt nhất là khi dùng kiểu ánh xạ cập nhật, đặt ra yêu cầu rất khó khăn trên trình tự và điều hoà thời gian cho dữ liệu (adsbygoogle = window.adsbygoogle || []).push({});

ứng dụng đến đích. Phần lớn trách nhiệm để đảm bảo kết quả đúng của những phép tự ánh xạ.

Tuy nhiên, ở mức tối thiểu, yếu tố truyền dữ liệu phải bảo đảm thứ tự đúng của "file" mà đợc chuyển qua nó. Nhu cầu này ngụ ý là phạm vi tầng ở bên cạnh điểm nhận.

- Phục hồi đầy đủ sau lỗi:

ở nơi có thể, yếu tố truyền dữ liệu phải điều chỉnh bên trong tất cả các hỏng hóc và các lõi trong cơ chế truyền. Chỉ khi sự hỏng hóc hoàn thành phải yêu cầu sự can thiệp của ngời điều khiển.

- Hỗ trợ ban đầu nh bộ phận của một tiến trình:

Phơng pháp tiếp cận bên trong và bên ngoài Nhà kho dữ liệu để bắt đầu truyền dữ liệu một cách thủ công đôi khi có thể thành công. Tuy nhiên, phần lớn sự truyền dữ liệu cần có thành phần của tiến trình tự động hoá, đợc điều khiển và quản lý ở bên ngoài bản than việc truyền dữ liệu. Ngời quản lý tiến trình cung cấp khả năng tự động hoá này và việc truyền dữ liệu phải có khả năng tích hợp trong bất kỳ tiến trình nào đợc sử dụng.

- Hỗ trợ trạng thái thông báo và truy vấn trạng thái:

Dù có kết quả của điều kiện lỗi hoặc trong sự đáp lại của trạng thái hỏi vấn, thánh phần truyền dữ liệu phải thông báo tình trạng của việc hoàn thành file truyền trong tiến trình hoặc lúc trì hoãn. Những thông báo nh vậy tới thành phần quản lý tiến trình là bình thờng, nhng nó có thể có kết quả gây bởi sự can thiệp trực tiếp của ngời điều hành.

Cấu trúc dữ liệu truyền:

Cấu trúc của dữ liệu truyền ít quan trọng hơn khả năng toại nguyện điều kiện cần thiết của nó đợc liệt kê trong phần trớc. Một cấu trúc nh vậy đợc chỉ ra trong hình 3.2-4. Thành phần này đợc phân chia thành những phần gửi và những phần nhận, cái mà có thể chạy trên nền vật lý khác nhau. Khi chạy qua các nền, chức năng truyền tải mạng là cần thiết. Chức năng tách chuyển, có thể tiếp cận từ cả hai phía ngời gửi và ngời nhận hiện có trên cả hai nền. Khi sự gửi và nhận chạy trên nền tảng đơn không chức năng truyền tải mạng đợc cần đến, và chức năng tách chuyển đợc hạn chế đến một nền tảng. Các thành phần có thể đợc bắt đầu và truy vấn từ ngời quản lý tiến trình.

Trong Nhà kho dữ liệu, nguồn cho phép ánh xạ có thể có chức năng thu nạp hoặc biến đổi, trong khi đích có thể có chức năng biến đổi hoặc ứng dụng. Do vậy, sự biến đổi có thể về mặt vật lý c trú trên cùng một nền nh các chức năng thu nạp hoặc ứng dụng hoặc thậm chí có thể c trú trên nền tách rời của nó.

Nếu nh sự thu nạp, ứng dụng và biến đổi tất cả c trú trên cùng một nền tảng, truyền dữ liệu cung cấp chỉ một chức năng tách chuyển.

Source Target Staging Proccess manager Network transport (Optional) Sender Receiver Data transfer Data Data Status

Status Query

Một phần của tài liệu NHÀ KHO DỮ LIỆU (Data Warehouse) (Trang 35)