.Thiết kế hệ thống chuyển đổi dữ liệu cước

Một phần của tài liệu (LUẬN VĂN THẠC SĨ) Tìm hiểu mô hình miền chuyên biệt và ứng dụng vào bài toán chuyển đổi dữ liệu cước (Trang 77 - 86)

a) Khối điều khiển

Chức năng

Khối điều khiển phụ trỏch điều khiển toàn bộ mọi hoạt động trong hệ thống. Chức năng của nú cú thể phõn tỏch thành hai khối chớnh:

- Khối khởi tạo: tạo lập cỏc điều kiện tiờn quyết cần cú để hệ thống cú thể hoạt động như thiết lập cỏc tham số tỏc động đến toàn bộ mọi hoạt động vớ dụ như cỏc tham số về lịch hoạt động của cỏc khối chức năng...

- Khối điều khiển: Kớch hoạt, dừng và kiểm soỏt mọi quỏ trỡnh hoạt động trong hệ thống.

Khối điều khiển

Khởi tạo tham số Không load đ-ợc tham số

Khối điều khiển đã đ-ợc khởi tạo

OK

Đến thời gian hay có yêu cầu thu thập & xử lý dữ liệu

Không có yêu cầu

Chuyển đổi & xử lý dữ liệu

OK Kết thúc

Đến thời gian hay có yêu cầu tiền kiểm tra & phân lớp

Tiền kiểm tra & phân lớp

OK -

Kết thúc

Đến thời gian hay có yêu cầu Xử lý & đánh mã dữ liệu Not OK

Kiểm tra & đánh mã dữ liệu

OK

Kết thúc

Yêu cầu kết thúc ch-ơng trình

OK

Hỡnh 3-25. Quy trỡnh hoạt động của khối điều khiển

b) Khối thu thập và xử lý dữ liệu

Như đó mụ tả ở trờn khối thu thập và xử lý dữ liệu bao gồm 3 chức năng chớnh: - Chuyển đổi dữ liệu.

- Chuẩn húa và lọc dữ liệu.

- Truyền dữ liệu về trung tõm xử lý.

Chuyển đổi dữ liệu

Module chuyển đổi chịu trỏch nhiệm chuyển đổi dữ liệu do cỏc phần tử mạng (tổng đài, router...) ghi lại ra một khuụn dạng thống nhất được chọn là file dbf.

Do khả năng lấy dữ liệu on-line từ cỏc phần tử mạng là chưa khả thi nờn nguồn dữ liệu của mỗi loại dữ liệu của một phần tử mạng được đại diện bởi một thư mục đầu

vào (thư mục gốc ứng với loại dữ liệu của phần tử mạng đú). Cỏc file sau khi đó được chuyển đổi sẽ được ghi ra một thư mục đầu ra ứng với mỗi phần tử mạng. Ngoài ra tựy theo cỏc tham số được thiết lập mà cỏc file nhị phõn cú thể được lưu trữ ra cỏc thư mục (thư mục lưu cỏc file chuyển đổi thành cụng và thư mục lưu cỏc file bị lỗi trong quỏ trỡnh chuyển đổi). Cấu trỳc thư mục của module chuyển đổi ứng với mỗi phần từ mạng được thể hiện như sau:

Network Element’s Root Dir Binary BackupBinary ErrorBinary DbfOutput

Hỡnh 3-26. Cấu trỳc thư mục của giai đoạn chuyển đổi

Cấu trỳc thụng tin do cỏc phần tử mạng đưa ra cú thể rất khỏc nhau hơn nữa để tăng cường tớnh mềm dẻo và linh hoạt, hệ thống phải cú khả năng cấu hỡnh để đưa ra cỏc thụng tin tựy theo yờu cầu của người sử dụng. Đõy là một yờu cầu đặc biệt quan trọng vỡ nú ảnh hưởng trực tiếp đến lượng dữ liệu kết xuất ra. Mặt khỏc số lượng cỏc khuụn dạng dữ liệu kết xuất rất đa dạng nờn hệ thống phải cú khả năng tự nhận biết cỏc nguồn dữ liệu của mỡnh. Điều này đươc thực hiện bằng cỏch kết hợp hai tham số:

-Nhận biết cỏc file DLL trong thư mục ApplicationDir\Libs để xỏc định phần tử mạng và loại dữ liệu mà hệ thống cú thể chuyển đổi (Mỗi điểm thu thập cú thể chỉ cần một vài file DLL tương ứng với dữ liệu cần chuyển đổi) bằng cỏch gọi hàm char * getLibraryIdentify(void) do mọi file DLL đều phải tuõn theo một giao diện thống nhất (như đó giới thiệu ở trờn).

-Xỏc định trong số cỏc loại dữ liệu của phần tử mạng cú thể chuyển đổi (mỗi phần tử mạng cú thể kết xuất nhiều loại thụng tin khỏc nhau như dữ liệu cước, dữ liệu tax, dữ liệu cảnh bỏo...), loại dữ liệu của phần tử mạng nào được cấu hỡnh để thu thập

số liệu thụng qua việc xỏc định thư mục gốc dành cho loại dữ liệu đú (Cỏc tham số này được lưu ở file tại chớnh cỏc điểm thu thập).

Việc cấu hỡnh để kết xuất thụng tin cú tỏc động và ảnh hưởng đến toàn bộ hệ thống do đõy chớnh là nguồn cung cấp dữ liệu đầu vào. Do tớnh chất quan trọng đú mọi tham số liờn quan đến việc cấu hỡnh này đều được lưu trữ trờn database và chỉ cú thể sửa đổi tại trung tõm xử lý, mọi kết nối đến database từ cỏc điểm truy nhập chỉ được thực hiện thụng qua cỏc user chỉ cú quyền đọc mà khụng cú quyền ghi vào cỏc bảng dữ liệu cần thiết.

Quy trỡnh xử lý của quỏ trỡnh chuyển đổi

Chờ yêu cầu chuyển đổi dữ liệu

Có yêu cầu Kết thúc Nạp tham số Thành công Nạp danh sách file cần chuyển đổi

Lấy file để chuyển

đổi Lấy đ-ợc file

Chuyển đổi dữ liệu

L-u trữ file + - + - - + + -

Hỡnh 3-27. Quy trỡnh xử lý của quỏ trỡnh chuyển đổi

Yờu cầu chuyển đổi dữ liệu cú thể xuất hiện do một trong hai nguyờn nhõn: -Đến thời điểm chạy của quỏ trỡnh chuyển đổi

-Cú yờu cầu của người dựng trực tiếp

Cỏc tham số tỏc động đến quỏ trỡnh chuyển đổi được chia làm hai loại:

- Chỉ tỏc động đến quỏ trỡnh chuyển đổi ở mỗi điểm truy nhập, cỏc tham số này được lưu ngay tại file ApplicationDir\Mediation.ini

- Tỏc động đến mọi quỏ trỡnh chuyển đổi, cỏc tham số này được lưu trong database.

Cỏc tham số được lưu ở file bao gồm:

- Thụng tin kết nối đến CSDL

- Chu kỳ chuyển đổi (Một vài loại dữ liệu cước khụng lưu thụng tin về năm nờn cần cú thụng tin để xỏc định đỳng thời gian xảy ra cuộc gọi)

- Cỏc yờu cầu lưu trữ dữ liệu ở từng giai đoạn

- Cỏc thu mục đầu vào cho từng loại dữ liệu của mỗi phần tử mạng - Lịch thực hiện quỏ trỡnh chuyển đổi dữ liệu

- Số lượng thread thực hiện quỏ trỡnh chuyển đổi Cỏc tham số được lưu trữ trong database: - Thụng tin về cỏc phần tử mạng

- Thụng tin về cỏc khuụn dạng dữ liệu

- Thụng tin về cỏc yờu cầu kết xuất thụng tin

Sau khi cú được danh sỏch cỏc file dữ liệu cần chuyển đổi thỡ quỏ trỡnh chuyển đổi sẽ được thực hiện. Trong quỏ trỡnh chuyển đổi người sử dụng cú thể ngắt quỏ trỡnh nếu cú yờu cầu. Quỏ trỡnh chuyển đổi cú thể thực hiện đồng thời nhiều file tựy theo số lượng thread được cấu hỡnh.

Chuẩn húa và lọc dữ liệu

Quỏ trỡnh này chạy ngay sau khi quỏ trỡnh chuyển đổi kết thỳc, nú chịu trỏch nhiệm chuẩn húa lại dữ liệu và lọc lấy cỏc dữ liệu cần thiết tựy theo mục đớch sử dụng.

Thụng tin do cỏc phần tử mạng đưa ra hoàn toàn tựy thuộc vào cỏch thiết lập của chỳng nờn nội dung đưa ra là rất khỏc nhau nờn một yờu cầu đặt ra là quỏ trỡnh chuẩn húa phải đảm bảo tớnh linh hoạt một cỏch tối đa. Qua quỏ trỡnh tỡm hiểu cú thể thấy hệ thống xử lý dựa trờn script beebasic hoàn toàn phự hợp cho mục tiờu đặt ra nếu được bổ sung cỏc chức năng đọc và ghi file dbf.

Khối tiền kiểm tra và phõn lớp dữ liệu

Chức năng chớnh của khối này là kiểm tra loại bỏ cỏc dữ liệu trựng, phõn lớp dữ liệu ra cỏc chu kỳ khỏc nhau (hiện tại là cỏc thỏng). Để thực hiện được cỏc chức năng này khối xử lý phải thực hiện cỏc cụng việc sau:

- Load dữ liệu vào database

- Tiền kiểm tra dữ liệu và phõn lớp dữ liệu thụng qua việc thực hiện cỏc cõu lệnh SQL.

Load dữ liệu

Dữ liệu cần thiết cho một hệ thống tớnh cước kết nối thường rất lớn do đú để đảm bảo tốc độ cần phải cú một giải phỏp load dữ liệu hiệu quả. Giải phỏp ở đõy là xõy dựng một lớp sử dụng cỏc hàm OCI (Oracle Call Interface) trực tiếp của Oracle để load dữ liệu.

Do cấu trỳc của cỏc thụng tin được thu thập khụng thống nhất nờn để đảm bảo tớnh linh hoạt hệ thống phải load được dữ liệu mà khụng phụ thuộc vào cấu trỳc của nú, điều đú cú nghĩa là cấu trỳc để load dữ liệu phải được tham số húa.

Quy trỡnh load dữ liệu

Chờ yêu cầu tiền kiểm tra & phân

lớp dữ liệu Có yêu cầu Kết thúc Nạp tham số Thành công Nạp danh sách file

cần load vào DB Lấy file để load Lấy đ-ợc file

Load file L-u trữ file + - + - - + + -

Hỡnh 3-28. Quy trỡnh load dữ liệu

Yờu cầu tiền kiểm tra và phõn lớp dữ liệu cú thể xuất hiện do một trong hai nguyờn nhõn:

- Đến thời điểm chạy của quỏ trỡnh kiểm tra và phõn lớp dữ liệu - Cú yờu cầu của người dựng trực tiếp

- Cỏc tham số tỏc động đến quỏ trỡnh kiểm tra và phõn lớp dữ liệu bao gồm: - Cỏc tham số lưu trữ dữ liệu

- Cỏc tham số về cấu trỳc thư mục đầu vào

- Cỏc tham số về cấu trỳc bảng dữ liệu và cỏch ỏnh xạ dữ liệu

Sau khi cú được danh sỏch cỏc file dữ liệu cần load thỡ quỏ trỡnh sẽ được thực hiện. Trong quỏ trỡnh load người sử dụng cú thể ngắt quỏ trỡnh nếu cú yờu cầu. Quỏ

trỡnh load cú thể thực hiện đồng thời nhiều file tựy theo số lượng thread được cấu hỡnh và số lượng bảng dữ liệu được load vào. Cỏc bản tin được load vào đều được đỏnh dấu bởi một số thể hiện thứ tự lần load dữ liệu, điều này cú ý nghĩa quan trọng trong cỏc quỏ kiểm kiểm soỏt về sau.

c) Tiền kiểm tra và phõn lớp dữ liệu

Đầu vào của quy trỡnh này chớnh là cỏc bản tin đó được load vào database, do đú quỏ trỡnh kiểm tra và phõn lớp dữ liệu chủ yếu được thực hiện thụng qua cỏc cõu lệnh SQL. Vỡ vậy hệ thống phải đảm bảo để cú thể cấu hỡnh được số lượng cũng như nội dung của cỏc cõu lệnh SQL.

d) Khối tinh chỉnh và đỏnh mó dữ liệu

Khối chức năng này phải đảm nhiệm cỏc nhiệm vụ:

- Xử lý chờm

- Xử lý ghộp

- Đỏnh mó cuộc gọi

- Load cỏc cuộc gọi đó được xử lý vào cỏc database tớnh cước tương ứng

Quỏ trỡnh tinh chỉnh (xử lý chờm, ghộp cuộc) và đỏnh mó (mỗi cuộc gọi sẽ được gỏn bởi một mó nhận diện duy nhất trong chu kỳ đú) dữ liệu là một trong những yờu cầu hết sức quan trọng trong cỏc hệ thống tớnh cước. Khi đú cỏc hệ thống tớnh cước hoàn toàn khụng phải kiểm tra gỡ về tớnh chớnh xỏc và hợp lệ của cỏc cuộc gọi mà chỉ tập trung vào cỏc chớnh sỏch cước.

Quỏ trỡnh xử lý dữ liệu phải đảm bảo tớnh linh hoạt trong cỏc chớnh sỏch xử lý cuộc gọi chờm, cuộc gọi ghộp do cỏc chớnh sỏch này cú thể thay đổi theo thời gian. Do chất lượng cuộc gọi của cỏc phần tử mạng cú thể khỏc nhau nờn chớnh sỏch xử lý cuộc gọi phải cú độ linh hoạt theo từng hướng cuộc gọi (mó vựng)

Để đảm bảo tốc độ dữ liệu cần xử lý sẽ được sẽ được load ra ngoài để xử lý sau đú ghi ra file và cuối cựng là load trở lại database của cỏc hệ thống tớnh cước.

Việc phõn lập này cú rất nhiều ưu điểm: - Đảm bảo tốc độ xử lý của hệ thống

- Phõn lập được cỏc chức năng khi dữ liệu cần xử lý giữa cỏc hệ thống tớnh cước khỏc nhau cú thể cú cỏc chớnh sỏch xử lý khỏc nhau

Quy trỡnh xử lý dữ liệu

Chờ yêu cầu tinh chỉnh và đánh mã dữ liệu Có yêu cầu Kết thúc Nạp tham số Thành công Select danh sách dữ liệu cần xử lý

Lấy dữ liệu dựa theo quá trình phân

chia Lấy đ-ợc dữ liệu Tinh chỉnh và đánh mã dữ liệu L-u số liệu đã xử lý ra file + - + - - + + - Kết thúc quá trình xử lý dữ liệu Hỡnh 3-29. Quy trỡnh xử lý dữ liệu Load dữ liệu

Dữ liệu sau khi được tinh chỉnh sẽ được ghi ra file, cỏc file này sau đú sẽ trở thành đầu vào của quỏ trỡnh load dữ liệu vào của cỏc hệ thống tớnh cước. Do đầu vào của hệ thống tớnh cước là cố định nờn khụng nhất thiết phải thiết lập cỏc tham số định nghĩa quỏ trỡnh load dữ liệu vỡ đầu vào và đầu ra của hệ thống đều cú thể được chương trỡnh điều chỉnh cho phự hợp.

Một phần của tài liệu (LUẬN VĂN THẠC SĨ) Tìm hiểu mô hình miền chuyên biệt và ứng dụng vào bài toán chuyển đổi dữ liệu cước (Trang 77 - 86)

Tải bản đầy đủ (PDF)

(98 trang)