5. Hiệu chỉnh dữ liệu trong phần mềm ReadSoft Form 2
5.3. Một số chức năng khác của mô đun hiệu chỉnh (Verify)
Phần mềm có chức năng cung cấp tài khoản cho từng người thực hiện Verify. Chức năng này giúp cho việc quản lý và thống kê khối lượng của từng
người thực hiện được đơn giản. Phần mềm cũng cho phép ghi lại tên người sửa cuối cùng của một Form.
Phần mềm cho phép thực hiện Verify lại những Batch đã hoàn thành. Điều này rất hữu ích khi có những yêu cầu kiểm tra logic mới hoặc có thể chọn Verify một số trường trước để tổng hợp nhanh số liệu cơ bản. Đặc biệt, từ việc cho phép định nghĩa các trường ảnh (Image field), chúng ta có thể thực hiện việc đánh mã sau cho một số câu hỏi, ví dụ như câu hỏi về ngành đào tạo, nghề nghiệp, ngành kinh tế... Những dịng mơ tả thông tin do điều tra viên ghi lại từ câu trả lời của người được phỏng vấn sẽ được định nghĩa là những trường ảnh. Khi thực hiện Verify xong các trường khác có thể thực hiện công đoạn Transfer lấy số liệu làm báo cáo công bố một phần kết quả của cuộc điều tra, sau đó quay lại đánh mã. Khi đó người đánh mã chỉ cần nhìn vào hình ảnh đọc mô tả để đánh mã cho các trường này.
Người thực hiện Verify có thể phóng to, thu nhỏ ảnh, có thể bỏ qua tạm thời khơng Verify một form (Skip to Form), có thể tạm dừng cơng việc Verify. Nếu trong q trình thực hiện Verify có chọn chức năng Skip to Form, để hồn thành cơng đoạn Verify của Batch này thì người thực hiện Verify phải chọn lại chức năng Verify Batch này một lần nữa để thực hiện Verify Form đã bỏ qua.
Trong module Verify, người sử dụng có thể thêm Form trắng để nhập dữ liệu, có thể xố Form, xố Batch.
Chức năng hiển thị file ảnh (“Show image from file”). Nếu sau khi Scan, các ảnh của phiếu hỏi được lưu trong một thư mục thì trong quá trình verify, người thực hiện verify có thể sử dụng chức năng này. Trong trường hợp nét viết mờ, người thực hiện verify nên sử dụng chức năng này trước khi phải tìm lại phiếu giấy.
5.4. Những lỗi lơgic còn lại sau hiệu chỉnh
Nếu xử lý phiếu điều tra chỉ dựa trên các công cụ mà phần mềm ReadSoft Form 5.2 cung cấp, sẽ có một số lỗi logic cịn lại sau xử lý.
• Logic giữa các trường trong các Form khác nhau của bảng hỏi
Phần mềm ReadSoft Form 5.2 có chức năng chọn khoảng giá trị cho một trường và viết một số kiểm tra logic đơn giản. Việc kiểm tra logic giữa các câu hỏi trên các Form khác nhau của cùng một tập phiếu là khơng thể hoặc có viết được cũng rất khó khăn mất nhiều thời gian, câu lệnh phức tạp.
• Thừa, thiếu thơng tin
Lỗi này phần lớn do điều tra viên không ghi đầy đủ thông tin theo đúng qui định điều tra, không tuân thủ theo bước nhảy của phiếu hỏi.
• Kiểm sốt thơng tin của cùng một đối tượng điều tra được ghi trên các tập phiếu khác nhau
Hiện tại, việc kiểm sốt thơng tin của cùng một đối tượng được ghi trên các tập phiếu khác nhau là khơng thể. Ví dụ như, thơng tin sức khoẻ sinh sản và kế hoạch hố gia đình của phụ nữ từ 15 đến 49 tuổi trong điều tra biến động dân số ghi không cùng tờ phiếu với phần thơng tin chung thì việc kiểm tra xem thành viên đó có đúng là phụ nữ, có đúng trong độ tuổi 15-49 không là chưa thể kiểm tra được trong quá trình Verify. Tất cả các lỗi logic trên một phần có thể kiểm sốt được bằng chương trình kiểm tra logic “nhúng” vào quá trình Verify, một phần phải kiểm tra sau công đoạn Transfer số liệu.
5.5. Nhúng các chương trình kiểm tra lơgic bằng ngơn ngữ lập trình khác
Một ứng dụng được xây dựng với chỉ các công cụ của phần mềm ReadSoft Form 5.2 là cũng đã có thể thực hiện việc xử lý phiếu điều tra. Tuy nhiên, trong phần lớn trường hợp, những ứng dụng như vậy bị hạn chế rất nhiều. Hạn chế nhất là việc kiểm tra số liệu nhận dạng được. Công cụ của ReadSoft Form 5.2 chỉ cho phép thiết lập những kiểm tra đơn giản như loại trường, khoảng giá trị, cộng tổng... Việc thiết lập những kiểm tra đơn giản trong ReadSoft Form 5.2 là không đáp ứng được đối với các cuộc điều tra thống kê có những giá trị đặc biệt như không nhớ, không biết, không xác định. Do vậy việc lập trình bằng các ngơn ngữ lập trình khác để kiểm tra logic, chỉnh sửa số liệu là cần thiết. Để khắc phục các hạn chế nêu trên cần phải nhúng các ngơn ngữ lập trình vào bên trong phần mềm ReadSoft FORMS 5.2. Trong giai đoạn thử nghiệm, chỉ áp dụng nhúng các ngơn ngữ lập trình vào hai module đó là module Scan và module Verify. Ngồi ra, có thể can thiệp trực tiếp vào hệ thống menu của ReadSoft FORMS 5.2 như ẩn, hiện các chức năng của hệ thống.
Việc nhúng các ngôn ngữ lập trình trong chức năng Scan có thể giúp cập nhật các nhật ký công việc khi quét phiếu và chuyển dữ liệu này vào cơ sở dữ liệu quản lý, thay cho công việc phải ghi nhận nhật ký thủ công vào sổ ghi chép. Và như vậy, người ta có thể dùng chương trình quản lý để thống kê, tổng hợp số liệu lên quan đến Scan như: BatchName, BatchPrefix, BatchNo, BatchSize, BatchDate, BatchTime, MaTinh, DiaBan, TTNN,…
Nhúng các ngơn ngữ lập trình trong chức năng Verify: Phần mềm ReadSoft Form 5.2 có chức năng chọn khoảng giá trị cho một trường và viết một số kiểm tra logic đơn giản. Việc kiểm tra logic giữa các câu hỏi trên các Form khác nhau của cùng một tập phiếu là khơng thể hoặc có viết được cũng rất khó khăn mất nhiều thời gian, câu lệnh phức tạp. Lỗi này phần lớn do điều tra viên không ghi đầy đủ thông tin theo đúng qui định điều tra, không tuân thủ theo bước nhảy của phiếu hỏi. Tất cả các lỗi logic trên một phần có thể kiểm sốt được bằng chương trình kiểm tra logic “nhúng” vào quá trình Verify, một phần phải kiểm tra sau cơng đoạn Transfer số liệu. Chương trình kiểm tra logic viết bằng ngơn ngữ lập trình bên ngồi phải đưa vào tất cả các tình huống kiểm tra cần thiết tương đương với những qui định khi viết trong chương nhập tin bằng bàn phím. Chương trình phải kiểm tra để đảm bảo cấu trúc dữ liệu và các
logic để khá lớn, việc hiệu chỉnh tự động sẽ khơng đảm bảo chất lượng, có thể làm sai lệch số liệu. Do vậy việc kiểm tra và sửa chữa trực tiếp là rất cần thiết. Ngoài ra khi gặp các lỗi không thể verify tiếp tục được chúng ta phải loại bỏ phiếu điều tra đó ra để verify các phiếu tiếp theo, chương trình nhúng vào phải có trách nhiệm ghi nhận lại các phiếu bị loại bỏ, các phiếu hoàn thành để người quản lý thống kê biết được địa bàn đó thiếu hay đủ, đã hồn thành được bao nhiêu phiếu, bao nhiêu phiếu khơng hồn thành phải đưa sang nhập số liệu bằng bàn phím hay ghi lại số liệu để quét lại. Các chương trình viết kiểu “nhúng” này làm cho trong qui trình xử lý chỉ có một cơng đoạn kiểm tra, mỗi tờ phiếu cùng một lúc được kiểm tra mọi khía cạnh: những ký tự không nhận dạng được, nhận dạng không chắc đúng, sai các thuộc định khi định nghĩa Form, những ký tự được phần mềm công nhận là nhận dạng chuẩn và những kiểm tra logic viết bằng ngơn ngữ lập trình bên ngồi.
Chương trình nhúng trong phần mềm ReadSoft FORMS 5.2 phải viết dưới dạng ActiveX DLL và được dịch sang file DLL. Ví dụ, người lập trình tạo ActiveX DLL có tên là template và dịch thành template.dll. Để phần mềm ReadSoft FORMS 5.2 khi chạy gọi được file “template.dll” chúng ta phải thực hiện qua hai bước:
Bước 1: Đăng ký file template.dll giả dụ như vào thư mục “c:\Windows\system”.
Bước 2: Trong file “Ehlocal.ini” tại thư mục ”C:\WINDOWS” khai báo
thêm dòng kết nối tới file “template.dll”
Sau khi thực hiện xong cả hai bước này thì khi chạy các module của ReadSoft FORMS 5.2 nó sẽ khởi động file nhúng template.dll, các lệnh viết trong module template.dll sẽ được thực hiện trong khi ReadSoft FORMS 5.2 gọi đến.
+) Kiểm tra lơgic trong q trình hiệu chỉnh
Đối với điều tra thống kê của Việt Nam, do lỗi logic để khá lớn, việc hiệu chỉnh tự động sẽ khơng đảm bảo chất lượng, có thể làm sai lệch số liệu. Do vậy việc kiểm tra và sửa chữa trực tiếp là rất cần thiết. Nếu chương trình kiểm tra logic được viết sau cơng đoạn Transfer thì sẽ là một chương trình viết theo kiểu truyền thống và việc lập trình khá đơn giản. Nếu làm như vậy sẽ phát sinh thêm một công đoạn kiểm tra trực tiếp các tờ phiếu (dạng hình ảnh), tốn kém thời gian và nhân cơng. Đó là lý do tại sao phải viết các chương trình kiểm tra logic “nhúng” vào bên trong và chạy đồng thời với module verify của phần mềm ReadSoft Form 5.2. Các chương trình viết kiểu “nhúng” này làm cho trong qui trình xử lý chỉ có một cơng đoạn kiểm tra, mỗi tờ phiếu cùng một lúc được kiểm tra mọi khía cạnh: những kí tự khơng nhận dạng được, nhận dạng khơng chắc đúng, sai các thuộc định khi định nghĩa Form, những kí tự được phần mềm cơng nhận là nhận dạng chuẩn và những kiểm tra logic viết bằng ngôn ngữ lập trình bên ngồi.
Chương trình kiểm tra logic viết bằng ngơn ngữ lập trình bên ngồi phải đưa vào tất cả các kiểm tra cần thiết tương đương với những qui định khi viết trong chương nhập tin bằng bàn phím. Chương trình phải kiểm tra để đảm bảo cấu trúc dữ liệu và các bước chuyển câu hỏi của phiếu.
Dưới đây là một ví dụ minh hoạ thơng báo của chương trình kiểm tra logic viết bằng ngơn ngữ lập trình bên ngồi và được “nhúng” vào q trình Verify:
Đây là thơng báo kiểm tra mã định danh của một tập phiếu khi điều tra viên ghi mã định danh trên mỗi trang của một tập phiếu khác nhau (theo qui định phải cùng một mã).
Các thơng báo của chương trình “nhúng” bắt buộc người thực hiện Verify phải sửa số liệu, không thể gõ Enter hoặc bấm OK để bỏ qua như thông báo của phần mềm ReadSoft Form 5.2.
+) Kiểm tra và hiệu chỉnh số liệu sau khi chuyển đổi (Transfer)
Việc viết chương trình “nhúng” trong cơng đoạn Verify để kiểm soát số liệu khi một hộ điều tra có nhiều tập phiếu là rất khó khăn, hiện tại nhóm nghiên cứu chưa thể viết chương trình kiểm sốt thơng tin giữa các tập phiếu với nhau. Như trong điều tra Biến động dân số, nhiều hộ có 2 tờ phiếu trở lên, việc kiểm sốt một số thông tin phần sức khoẻ sinh sản và kế hoạch hố gia đình của phụ nữ từ 15 đến 49 tuổi là chưa thể kiểm tra được nếu các thơng tin về ngày tháng năm sinh, giới tính, tình trạng hơn nhân của thành viên đó được ghi ở một tờ phiếu khác.
6. Chuyển đổi dữ liệu trong phần mềm ReadSoft Form 5.2
6.1. Mô đun chuyển đổi (Transfer)
Quy trình Transfer hay cịn gọi là quy trình chuyển đổi dữ liệu từ những dữ liệu đã được mã hoá trong cơ sở dữ liệu của phần mềm Readsoft Form 5.2 thành những file dữ liệu phẳng có cấu trúc dễ khai thác hơn. Trong quy trình này, chúng ta có thể chuyển đổi ra file đầu ra theo các dạng khác nhau như : Text, Doc, Excel, … Tuỳ người quản lý, tuỳ từng bài toán, tuỳ từng cách thức mà người chuyển đổi có thể đưa ra cấu trúc, dạng của file đầu ra hợp lý để khi khai thác được dễ dàng thuận lợi.
- Phải xác định và chắc chắn rằng tất cả các phiếu (Forms) trong Job đưa vào trong quá trình làm việc phải được xử lý hồn thiện ở các quy trình trước là Scan, Interpret, và Verify.
- Xác định rõ dạng và định hướng thiết lập cấu trúc file dữ liệu đầu ra sao cho file dữ liệu đầu ra đó được sử dụng một cách hiệu quả nhất.
- Kiểm tra dung lượng bộ nhớ của máy xem có đủ cho file dữ liệu đầu ra hay khơng. Nếu khơng xác định rõ thì sẽ xảy ra hiện tượng tràn bộ nhớ trong khi đang Transfer.
- Khởi động, kiểm tra và đảm bảo hệ thống mạng hoạt động bình thường.
6.2. Các bước thực hiện chuyển đổi (Transfer)
Sau khi khởi động module Transfer phải thực hiện các cơng việc sau:
• Chọn Job và các thuộc tính Transfer
- Chọn Job
Bước chọn Job để chuyển đổi dữ liệu là một bước tiền đề trong quy trình chuyển đổi dữ liệu. Chúng ta phải xác định rõ ràng là sẽ chuyển đổi dữ liệu của Job nào. Tránh trường hợp dữ liệu chuyển ra không phù hợp với yêu cầu của dữ liệu và yêu cầu của bài toán. Và đặc biệt hơn là máy sẽ không hiểu phải chuyển đổi trường dữ liệu nào.
- Chọn thuộc tính Transfer
Khi chúng ta đã chọn Job để chuyển đổi dữ liệu ở bước trên thì trong
Selection sẽ chọn mặc định những thông tin của Job mà chúng ta chọn ở bước
vừa rồi.Chúng ta cũng có thể thay đổi cách chọn đó. Lúc đó chúng ta sẽ sử dụng Select set definitions hoặc Select batch definitions hoặc Select form definitions.
Trong Transfer chúng ta cũng có các cách chọn sau:
-Transfer method : Có 3 phương thức khác nhau, trong đó phương thức
To file Module Transfer sẽ tạo ra file dữ liệu đầu ra dưới dạng file “phẳng”. File dữ liệu đầu ra dưới dạng file “phẳng” sẽ giúp cho người khai thác số liệu có thể dễ dàng hiệu chỉnh số liệu và thuận tiện cho người khai thác . Ngoài ra còn một số các phương thức khác: Via DLL, Via VBA - Những phương thức này sẽ rất khó khăn khi khai thác dữ liệu. Chính vì vậy mà hiện nay chúng ta thường sử dụng phương thức To file hơn.
-File : File dữ liệu đầu ra khơng có cấu trúc cụ thể. Nếu chọn file dữ liệu
này để khai thác thì sẽ rất khó đối với người khai thác dữ liệu đầu ra. Chúng ta có thể chọn tên file dữ liệu đầu ra trong ô text File và dạng file (.Txt, .Doc, …). Các thuộc tính Append to file, Terminate with CR & LF là cho phép tiếp tục ghi, và cho phép kết thúc dịng.
-Option : Có một số thuộc tính quan trọng như: ANSI (các kí tự do
-Archive : Trong Description file chúng ta cần chỉ rõ file Transaction
description. Vì file này có liên quan trực tiếp đến cấu trúc của file dữ liệu đầu
ra. Khi chạy quy trình Transfer thì phần mềm sẽ thơng qua các trường được định nghĩa và khai báo trong file Transaction description rồi đưa ra file đầu ra theo đúng cấu trúc của người quản lý. Ngồi ra cịn có thuộc tính Transfer file chỉ tên và dạng của file đầu ra.
• Thực hiện chuyển đổi dữ liệu (Transfer)
Khi thực hiện module transfer, phần mềm đưa ra đồ thị thống kê tiến độ của qui trình transfer, nó thể hiện q trình chuyển đổi được tiến hành với tốc độ nhanh hay chậm như thế nào bằng con số ở dịng chữ Total, mỗi khi chương trình chuyển đổi xong một form thì số liệu của dịng Total sẽ được tăng lên 1
Trên đồ thị có nhiều cột, trong đó mỗi cột có một màu riêng biệt là biểu tượng của một Form definition, tất cả các cột đó là biểu tượng của một Set definition. Nếu chúng ta chuyển đổi dữ liệu theo Set thì số cột hiện lên trên màn hình là số Form trong một Set, còn nếu chúng ta chuyển đổi dữ liệu theo
Form thì số cột hiện lên trên màn hình chỉ là một thơi. Ở dưới mỗi cột là các
chữ số liên tục tăng tương ứng chiều cao của cột đó cũng liên tục tăng, chữ số đó chỉ số lượng phiếu (Form) đã được chuyển đổi dữ liệu ra file phẳng có cầu trúc. Quy trình tiếp tục thực hiện chuyển đổi dữ liệu cho đến khi hiện lên thông báo " No more form available.". Như vậy quá trình chuyển đổi dữ liệu đã thực hiện thành cơng. Sau đó chúng ta phải kiểm tra và xem thơng tin của q trình