CHƯƠNG 5: KẾT QUẢ ĐÁNH GIÁ
5.1 Kết quả đánh giá theo từng phép đánh giá
5.1.2 Các tiêu chí đánh giá chất lƣợng ngoài
5.1.2.1 Tính chức năng
a) Tiêu chí đánh giá: đầy đủ chức năng
- Văn bản tài liệu căn cứ: Tài liệu đặc tả hệ thống CMO, Tài liệu hướng dẫn quy trình nghiệp vụ kho quỹ (đính kèm công văn số 8742/NHNN-PHKQ của Cục phát hành và kho quỹ).
- Kết quả đánh giá:
Căn cứ theo tài liệu đặc tả hệ thống CMO:
A = số quy trình chức năng nghiệp vụ hệ thống CMO hỗ trợ = 43
Căn cứ theo tài liệu hướng dẫn quy trình nghiệp vụ kho quỹ (đính kèm công văn số 8742/NHNN-PHKQ của Cục phát hành và kho quỹ):
B = Số quy trình chức năng nghiệp vụ cần thực hiện theo quy định = 44 (trong đó: quy trình quản lý seri tiền mới hệ thống CMO đang trong quá trình xây dựng và chƣa đƣợc nghiệm thu trên hệ thống CMO)
X = A/B x 100 = 43/44 x 100 = 97.7
Quy đổi theo thang điểm 100 làm tròn: X = 98
(Ghi chú: các quy trình chức năng nghiệp vụ chỉ xét đối với 2 phân hệ: tác nghiệp kho quỹ và dự báo thu chi)
- Nhận xét của người đánh giá: Kết quả khảo sát và đánh giá cho thấy hệ thống hỗ trợ hầu hết tất cả các quy trình nghiệp vụ theo quy định của NHNN.
b) Tiêu chí đánh giá: Chức năng hoạt động ổn định
- Phương pháp áp dụng thực tế: Kiểm thử 5 quy trình chức năng nghiệp vụ của hệ thống trên 2 phân hệ thuộc phạm vi đánh giá của hệ thống. Kiểm tra các sự cố liên quan đến hệ thống CMO trên hệ thống ghi nhận sự cố tại Chi cục CNTH từ ngày 01/01/2014 đến ngày 31/05/2014, phân tích và tìm ra các lỗi
kỹ thuật do chương trình gây ra liên quan đến 5 quy trình nghiệp vụ kiểm thử trên.
- Kết quả khảo sát:
Kết quả kiểm thử 5 quy trình chức năng trên hệ thống CMO: không phát hiện lỗi.
Bảng 5. 10: Kết quả kiểm thử STT Quy trình Đơn vị
thực hiện
Nghiệp
vụ Chức năng User kiểm thử
Kết quả kiểm thử
1 Tạo mới tiền,tài sản
Kho tiền Trung ƣơng
Danh mục tiền/ts
Tạo mới/sửa
PHKQ_1 Không phát hiện lỗi
Xem
PHKQ_1 Không phát hiện lỗi
Phê duyệt
PHKQ_1 Không phát hiện lỗi
Đồng bộ
PHKQ_1 Không phát hiện lỗi
Vần và dải seri
Tạo mới/sửa
PHKQ_1 Không phát hiện lỗi
Xem
PHKQ_1 Không phát hiện lỗi
Phê duyệt
PHKQ_1 Không phát hiện lỗi
2
Xuất/nhập tiền tiêu hủy
Kho tiền Trung ƣơng
BBGN xuất đi tiêu hủy
Tạo mới/sửa
PHKQ_1 Không phát hiện lỗi
Xem
PHKQ_1 Không phát hiện lỗi
Phê duyệt PHKQ_1 Không
STT Quy trình Đơn vị thực hiện
Nghiệp
vụ Chức năng User kiểm thử
Kết quả kiểm thử phát hiện lỗi
BBGN nhập khi tiêu hủy về
Tạo mới/sửa
PHKQ_1 Không phát hiện lỗi
Xem
PHKQ_1 Không phát hiện lỗi
Phê duyệt
PHKQ_1 Không phát hiện lỗi
2
Nhập xuất tiền giữa các quỹ
Chi nhánh NHNN
Lệnh xuất nhập
Tạo mới/sửa
HCM_1 Không phát hiện lỗi
Xem
HCM_1 Không phát hiện lỗi
Phê duyệt
HCM_1 Không phát hiện lỗi
BBGN xuất nhập
Tạo mới/sửa
HCM_1 Không phát hiện lỗi
Xem
HCM_1 Không phát hiện lỗi
Phê duyệt
HCM_1 Không phát hiện lỗi
3
Quy trình thu tiền mặt.
Chi nhánh NHNN
Lập Bảng kê thu tiền mặt
Tạo mới/sửa
BD_1 Không
phát hiện lỗi
Xem
BD_1 Không
phát hiện lỗi
Phê duyệt BD_1 Không
STT Quy trình Đơn vị thực hiện
Nghiệp
vụ Chức năng User kiểm thử
Kết quả kiểm thử phát hiện lỗi
Duyệt Bảng kê thu tiền mặt
Tạo mới/sửa
BD_1 Không
phát hiện lỗi
Xem
BD_1 Không
phát hiện lỗi
Phê duyệt
BD_1 Không
phát hiện lỗi
4
Quy trình chi tiền mặt
Chi nhánh NHNN
Lập Bảng kê chi tiền mặt
Tạo mới/sửa
BD_1 Không
phát hiện lỗi
Xem
BD_1 Không
phát hiện lỗi
Phê duyệt
BD_1 Không
phát hiện lỗi
Duyệt Bảng kê chi tiền mặt
Tạo mới/sửa
BD_1 Không
phát hiện lỗi
Xem
BD_1 Không
phát hiện lỗi
Phê duyệt
BD_1 Không
phát hiện lỗi
Kết quả thu thập từ hệ thống Ghi nhận sự cố: phát hiện 1 lỗi kỹ thuật về ký duyệt chứng từ chi tiền mặt ngày 11/05/2014 (lỗi gây ra do chương trình) (căn cứ theo báo cáo Tổng hợp sự cố được tổng hợp trên hệ thống Ghi nhận sự cố tại Chi cục CNTH). Các sự cố còn lại đƣợc phân tích nguyên nhân chủ yếu từ phía người sử dụng.
Áp dụng công thức tính điểm cho phép đánh giá:
A = số lỗi chức năng đƣợc phát hiện trong quá trình kiểm thử và thu thập số liệu = 1
B = Số chức năng đƣợc kiểm thử = 21
X = 100 - A/B x 100 = 100 – 1/21 x 100 = 95.2 Quy đổi theo thang điểm 100 làm tròn: X = 95
Nhận xét của người đánh giá: Kết quả kiểm thử và khảo sát hệ thống Ghi nhận sự cố cho thấy hệ thống hoạt động tương đối ổn định, phần lớn các sự cố được ghi nhận trên hệ thống Ghi nhận sự cố đều do lỗi từ phía người sử dụng. Kết quả đánh giá đạt được ở mức gần như tuyệt đối (95điểm), đặc biệt phương pháp kiểm thử không tìm ra lỗi cho thấy hệ thống CMO đã đƣợc đƣa vào vận hành chính thức trong một thời gian khá dài (18 tháng) và hệ thống đã đƣợc nghiệm thu nên khả năng không xảy ra lỗi kỹ thuật từ phía phần mềm trong quá trình kiểm thử có thể chấp nhận.
c) Tiêu chí đánh giá: Khả năng tương tác
- Văn bản, tài liệu căn cứ: Tài liệu đặc tả hệ thống CMO, công văn số 8742/NHNN-PHKQ của Cục phát hành và kho quỹ.
- Phương pháp khảo sát thực tế: Kiểm tra Tài liệu đặc tả hệ thống và kiểm tra trực tiếp hệ thống CMO chức năng tương tác với hệ thống khác. Kiểm tra công văn số 8742/NHNN-PHKQ của Cục phát hành và kho quỹ, đếm số lƣợng định dạng dữ liệu yêu cầu một hệ thống thông tin quản lý nghiệp vụ kho quỹ cần trao đổi với hệ thống nghiệp vụ khác.
- Kết quả khảo sát: Căn cứ trên Tài liệu đặc tả hệ thống, quy trình nghiệp vụ hệ thống phân hệ Nghiệp vụ tác nghiệp và kiểm tra trực tiếp trên hệ thống CMO cho thấy hệ thống CMO chỉ có 1 chức năng tương tác với hệ thống Báo cáo thống kê tập trung theo thông tƣ 21 và chức năng này cho phép trao đổi dữ liệu thành công. Tuy nhiên, theo công văn số 8742/NHNN-PHKQ của Cục phát hành và kho quỹ, một hệ thống thông tin nghiệp vụ kho quỹ bắt
buộc phải trao đổi dữ liệu với các hệ thống: Kế toán giao dịch (để lấy dữ liệu thu/chi tiền mặt của các TCTD nộp vào và rút ra), hệ thống Báo cáo thống kê tập trung (để chuyển file chỉ tiêu báo cáo về Vụ Thống kê và vụ Tiền tệ), hệ thống Quản lý seri tiền mới (để lấy dữ liệu seri tiền mới). Nhƣ vậy, tại thời điểm kiểm tra hệ thống chỉ tích hợp trao đổi dữ liệu đƣợc với duy nhất hệ thống Báo cáo thống kê tập trung.
Hình 5. 4: Chức năng chuyển số liệu sang hệ thống BCTK tập trung (Nguồn: hệ thống quản lý và phát hành kho quỹ tập trung (CMO)) - Kết quả đánh giá: Căn cứ trên kết quả khảo sát X = 1/3 x 100 = 33.3
Quy đổi theo thang điểm 100 làm tròn: X = 33
- Nhận xét đánh giá: Kết quả đánh giá cho thấy hệ thống CMO chỉ có khả năng tương tác, trao đổi dữ liệu thành công với hệ thống Báo cáo thống kê tập trung theo thông tƣ 21. Còn các chức năng trao đổi dữ liệu với hệ thống Kế toán giao dịch, Quản lý seri tiền mới đang trong giai đoạn xây dựng.
5.1.2.2 Tính hiệu quả
a) Tiêu chí đánh giá: Hiệu suất làm việc của máy chủ cơ sở dữ liệu
- Phương pháp áp dụng thực tế: sử dụng công cụ OEM Grid control của oracle đƣợc cài đặt trên máy chủ CSDL.
- Kết quả khảo sát: căn cứ theo tài liệu hướng dẫn cài đặt và cấu hình hệ thống CMO trên Server, CSDL hệ thống CMO hiện nay đƣợc cài đặt trên 1 cặp máy chủ IBM P595, 32-core, 64 GB RAM/1 server, theo cơ chế cluster, load balancing, sử dụng giải pháp đảm bảo tính sẵn sàng cao. Sử dụng công cụ OEM Grid control của oracle đƣợc cài đặt trên máy chủ CSDL của hệ thống CMO kiểm tra hiệu suất CPU trên máy chủ cho thấy hệ thống CMO chạy chiếm rất ít hiệu suất CPU (<10%), ngay cả vào giờ cao điểm đầu ngày và cuối ngày làm việc , tất cả các chi nhánh NHNN các tỉnh phải truy cập vào hệ thống thực hiện kiểm kê, kiểm tra tồn quỹ và in báo cáo. Cụ thể, hiệu suất CPU trên máy chủ CSDL vào các thời điểm trong ngày giao dịch đƣợc thể hiện trong các hình sau (đường màu xanh lá cây thể hiện %(CPU+CPU wait)):
Hình 5. 5: Hiệu suất sử dụng CPU trên máy chủ CSDL (Nguồn: Chi cục CNTH)
Hình 5. 6: Hiệu suất sử dụng CPU theo các thời điểm trong ngày trên máy chủ CSDL
(Nguồn: Chi cục CNTH)
- Kết quả đánh giá: X = 100 (hiệu suất trung bình của CPU < 75%)
- Nhận xét đánh giá: Kết quả khảo sát và đánh giá cho thấy hệ thống CMO chiếm rất ít nguồn tài nguyên CPU trên máy chủ CSDL ngay cả vào các giờ cao điểm.
b) Tiêu chí đánh giá: Hiệu suất làm việc của máy chủ ứng dụng
- Phương pháp áp dụng thực tế: Kiểm tra trực tiếp chức năng trên hệ thống CMO hỗ trợ đo hiệu suất CPU trên máy chủ ứng dụng.
- Kết quả kiểm tra: kết quả khảo sát cho thấy hệ thống CMO gồm 3 phân hệ erp01, erp02, erp03 đƣợc cài đặt và chạy song song trên 3 cặp máy chủ, erp01 chạy trên cặp máy chủ IBM P595 chung với CSDL, erp02 và erp03 chạy trên cặp IBM X3650 M4, 24-core, 24 GB RAM/1 server, các máy chủ đƣợc đƣợc cài đặt theo cơ chế cluster, load balancing, sử dụng giải pháp đảm bảo tính sẵn sàng cao, khi một trong 3 máy chủ bị sự cố vẫn đảm bảo hoạt động liên tục của hệ thống. Hệ thống có hỗ trợ chức năng đo hiệu suất làm việc của máy chủ ứng dụng. Kết quả đo hiệu suất CPU trên máy chủ ứng
dụng của 3 phân hệ ERP của hệ thống CMO trong các hình sau cho thấy hệ thống chạy chiếm rất ít tài nguyên CPU (<15%), cột CPU user% thể hiện khi hệ thống CMO chạy chiếm % hiệu suất CPU, cột CPU Idle% thể hiện % hiệu suất CPU chƣa sử dụng.
Hình 5. 7: Hiệu suất sử dụng CPU trên máy chủ ứng dụng 1 (Nguồn: hệ thống quản lý và phát hành kho quỹ tập trung (CMO))
Hình 5. 8: Hiệu suất sử dụng CPU trên máy chủ ứng dụng 2 (Nguồn: hệ thống quản lý và phát hành kho quỹ tập trung (CMO))
Hình 5. 9: Hiệu suất sử dụng CPU trên máy chủ ứng dụng 3 (Nguồn: hệ thống quản lý và phát hành kho quỹ tập trung (CMO))
- Kết quả đánh giá: X = 100 (hiệu suất trung bình của CPU < 75%)
- Nhận xét đánh giá: Kết quả khảo sát và đánh giá cho thấy hệ thống CMO chạy chiếm rất ít hiệu suất CPU trên máy chủ ứng dụng ngay cả vào các các giờ cao điểm trong ngày và thời điểm cuối tháng cần thực hiện kiểm kê, dự báo thu chi tiền mặt và thời điểm tất cả các đơn vị cùng truy cập tạo báo cáo cân đối tháng.
c) Tiêu chí đánh giá: Đảm bảo hoạt động liên tục
- Phương pháp khảo sát thực tế: Kiểm tra báo cáo ghi nhận sự cố, báo cáo rà soát sự cố định kỳ tháng, báo cáo hoạt động liên tục của hệ thống.
- Kết quả khảo sát cho thấy từ khi đƣa vào hoạt động chính thức bắt đầu từ ngày 23/01/2013 đến thời điểm đánh giá hệ thống CMO đảm bảo hoạt động liên tục, không gặp sự cố nghiêm trọng về mặt kỹ thuật làm gián đoạn hoạt động của hệ thống.
- Kết quả đánh giá: X = 100
- Nhận xét của người đánh giá: Kết quả khảo sát và đánh giá cho thấy hệ thống CMO đảm bảo hoạt động liên tục từ khi bắt đầu hoạt động chính thức từ ngày 23/01/2013 đến thời đểm đánh giá.
5.1.2.3 Tính khả dụng
- Theo báo cáo tổng hợp kết quả khảo sát mức độ hài lòng của người dùng khi sử dụng hệ thống CMO, kết quả khảo sát theo từng câu hỏi thuộc nhóm tiêu chí khảo sát mức độ hài lòng đối với tính khả dụng của hệ thống đƣợc tổng hợp nhƣ sau:
Bảng 5. 11: Mức độ hài lòng về tính khả dụng theo từng câu hỏi CÂU HỎI KHẢO SÁT MỨC ĐỘ HÀI LÕNG ĐỐI
VỚI TÍNH KHẢ DỤNG CỦA HỆ THỐNG CMO
TỈ LỆ NGƯỜI HÀI LÕNG
1. Quy trình thao tác các chức năng đơn giản, dễ hiểu,
dễ sử dụng. 29.1%
2. Dễ dàng sử dụng các chức năng sau khi đọc tài liệu 54.9%
hướng dẫn sử dụng.
3. Giao diện phần mềm thân thiện, rõ ràng, tinh gọn,
dễ sử dụng. 51.5%
4. Cách thể hiện màn hình giao diện của các form chức năng dễ hiểu và dễ sử dụng.
52.4%
5. Hệ thống cho phép dễ dàng sửa lỗi khi thực hiện các
thao tác sai (nhƣ nhập sai chứng từ cần sửa lại). 37.4%
6. Hệ thống cho phép dễ dàng phục hồi lại các thao tác
khi có sự cố xảy ra. 36.4%
(Nguồn: Lấy từ Bảng tổng hợp kết quả khảo sát mức độ hài lòng của người dùng khi sử dụng hệ thống CMO, được tổng hợp trong file Excel đính kèm luận văn)
- Kết quả khảo sát mức độ hài lòng đối với tính khả dụng của hệ thống đƣợc thống kê tại mục 5.1.1.4 tính thõa mãn người dùng:
TIÊU CHÍ ĐÁNH GIÁ TỈ LỆ NGƯỜI HÀI LÕNG Đối với tính khả dụng của hệ thống 48%
Căn cứ theo kết quả bảng khảo sát đƣợc thực hiện để đánh giá mức độ hài lòng của người dùng đối với tính khả dụng của hệ thống, có 48% người dùng trong số 206 người được khảo sát cảm thấy hài lòng đối với tính khả dụng của hệ thống.
Kết quả đánh giá tính khả dụng được áp dụng theo phương pháp và công thức tính trong bộ tiêu chí đề xuất nhƣ sau:
A/B = tỉ lệ người hài lòng đối với tính khả dụng của hệ thống (theo mẫu khảo sát)
X = 48% x 100 = 48
Nhận xét của người đánh giá: Dựa theo thang điểm đánh giá đề xuất cho một hệ thống đạt chất lƣợng là tổng điểm của toàn bộ các thành phần đánh giá phải từ 70 điểm trở lên và không có tiêu chí đánh giá nào nhỏ hơn 50 điểm. Do đó, kết quả khảo sát và đánh giá cho thấy hệ thống chƣa đáp ứng đƣợc tính khả dụng.