Sự nguy hại của excel, phân tích dữ liệu thủ công và các biện pháp giải quyết vấn đề

Sự nguy hại Excel, phân tích liệu thủ công biện pháp giải vấn đề Excel phần mềm phổ biến giới Tuy hữu dụng nhiều công việc khác ngư ời để ý Excel m ột phần mềm nguy hiểm giới Mối nguy đến từ việc sử dụng Excel khơng cách Một số tính dễ gây hại phần mềm bảng tính Excel Nhóm worksheet Bằng cách chọn nhiều worksheet, có th ể soạn thảo đồng thời tiết kiệm nhiều thời gian Chọn nhiều worksheet dùng để in loạt, tính mà người dùng Excel biết sử dụng Nhưng có th ể dễ dàng quên việc rã nhóm (ungroup) Khi đó, thay đổi mà người dùng thực nhân sang sheet nhóm, dù ngư ời dùng khơng chủ định thực điều Và liệu bị ghi đè, công thức bị thay đổi Nếu người dùng khơng phát trước ghi thay đổi khôi phục trạng thái cũ, bảng tính bị phá hỏng hồn tồn Đặt mật mở tệp Bảo vệ liệu nhạy cảm điều cần làm Nếu dùng mật để bảo vệ tài khoản mạng xã hội liệu kinh doanh đương nhiên cần bảo vệ người dùng quen v ới việc sử dụng mật để bảo vệ thông tin Nhưng mật dễ bị quên m ột rời khỏi tổ chức mà khơng để lại mật - mật để ý mật bảo vệ bảng tính Excel Trong m ật truy cập tài khoản Facebook, Gmail hay tài kho ản ngân hàng khơi phục nhờ quy trình định trước tệp Excel lại khơng có nút “Qn m ật khẩu” hay số điện thoại trợ giúp Tuy có cơng ty cung c ấp dịch vụ dị mật Excel điều nhiều ngày, nhiều tuần hay chí lâu Và dị mật quy trình làm vi ệc thường lệ bị phá vỡ khiến công việc bị trễ hạn Macro VBA Macro VBA giúp tự động hóa thao tác lặp lại tạo add-in để tiết kiệm thời gian thực nhiều điều hữu ích Tuy nhiên, dù coi tính mạnh mẽ Excel, macro đem tới nhiều tai nạn đáng tiếc xóa ghi đè liệu, cơng thức chí tồn bảng tính mà khơng đưa m ột thông điệp cảnh báo Ngay người giàu kinh nghiệm tạo macro gây hại Với macro, khơng có tính undo nên c ả thay đổi nhỏ khơng thể khơi phục Tính tốn thủ cơng làm PivotTable Do tập liệu lớn, cơng thức tính tốn phức tạp sai cơng thức, số bảng tính thường cập nhật chậm Để tránh thời gian đợi Excel tính lại thực thay đổi nhỏ, người dùng thư ờng lựa chọn chuyển sang chế độ tính tốn thủ cơng kích hoạt việc tính lại cần thiết Cả chế độ tính tốn thủ cơng việc làm với PivotTable phụ thuộc vào người dùng quên kích ho ạt việc tính lại (hay chí người dùng khơng biết phải làm điều đó) Nếu bảng tính Excel đ ầu tiên mở chế độ tính tốn thủ cơng tất bảng tính sau đặt chế độ tính tốn thủ cơng dù thơng thường chúng đư ợc dùng chế độ tính tốn tự động Và tất bảng tính tổ chức khơng tính lại thời điểm Kết báo cáo sai đư ợc gửi cho lãnh đạo họ lại dựa vào để định quan trọng điều nguy hiểm Giá trị mặc định cho tham số khơng bắt buộc hàm Một số hàm có chứa tham số không bắt buộc Chẳng hạn tham số cuối hàm VLOOKUP Nhưng không cung cấp, nhận giá trị mặc định TRUE Nếu số tham số không bắt buộc phải cung cấp, người dùng dễ hiểu viết lệnh nhanh Nhưng ngư ời dùng nhiều chưa thực hiểu tác động việc sử dụng tùy chọn mặc định Ngay người dùng có kinh nghiệm đơi vơ tình bỏ qua tham số tùy chọn Ban đầu, việc sử dụng giá trị mặc định cho tham số tùy chọn khơng ảnh hưởng đến kết tính tốn sau thời gian, liệu cập nhật, bảng tính sinh kết sai mà người dùng không h ề hay biết Che giấu cột, hàng hay worksheet Chúng ta không mu ốn người dùng cuối nhìn thấy tính tốn hậu trường cột phụ dùng q trình tính tốn Vì th ế thường che giấu hàng, cột hay chí worksheet Các bảng tính phát tri ển theo thời gian thông tin đư ợc che giấu bị lãng quên Điều khiến cho bảng tính chứa đầy khơng cần thiết làm chậm q trình tính tốn Các hàng c ột bị che giấu gây lỗi cho công thức, đặc biệt công thức kéo - thả mà có số bị ẩn Liên kết bảng tính với bảng tính khác Liên kết bảng tính Excel với giúp giảm nhiều thời gian bảng tính tự động cập nhật bảng tính khác cập nhật Nhưng vị trí liên kết bị thay đổi bảng tính liên kết tới đóng thay đ ổi khơng cập nhật Khi dòng hay cột bổ sung, bảng tính liên kết khơng biết vị trí tham chiếu thay đổi Vì thế, bảng tính đư ợc liên kết tới sai vị trí Q trình c ập nhật bị sai lệch Dù dùng miền đặt tên để khắc phục điều người hay liên kết bảng tính lại dùng đến tính Khi b ảng tính liên kết theo chuỗi vấn đề trở nên phức tạp khó theo dõi Dưới vài vụ việc điển hình giúp hi ểu rõ tác hại việc sử dụng Excel sai cách: - Năm 2003, lỗi cắt dán bảng tính khiến cho TransAlta, m ột công ty phát điện lớn Canada, mua nhi ều hợp đồng truyền tải điện Mỹ để dự phòng với giá cao thiệt hại 24 triệu đô la Mỹ - Công ty Barclays (Anh) bu ộc phải mua số cổ phiếu Lehman Brothers mà họ chưa định mua hai luật sư cấp thấp định dạng lại bảng tính Excel chuy ển đổi sang tài liệu định dạng PDF Kết cột ẩn 179 hợp đồng không định ký kết nhiên xuất Barclays nộp tài liệu cho tòa án, họ buộc phải thực hợp đồng Thương vụ Lehman/Barclays đóng lại vào ngày 22/9/2008 - Năm 2012, cơng ty JPMorgan (M ỹ) cần mơ hình VaR cho danh mục tín dụng tổng hợp phân cho m ột chun gia xây dựng mơ hình định lượng làm việc Mơ hình m ới chạy qua chuỗi bảng tính Excel bảng tính cần thực thủ cơng cách chép dán liệu từ bảng tính sang bảng tính khác Nhóm rà sốt mơ hình nội họ xác định vấn đề vài vấn đề khác phê duyệt mô hình đồng thời khuyến cáo mơ hình tự động hóa sửa lỗi rõ ràng khác Sau v ụ đầu tư London vỡ lở, nhóm rà sốt mơ hình m ới phát mơ hình chưa tự động hóa th ế chứa loạt lỗi nghiêm trọng khác JP Morgan đầu tư hàng chục tỷ la London Việc triển khai mơ hình Value-at-Risk khiến JP Morgan thiệt hại tỷ đô la vào năm 2012 định giá theo thị trường - Năm 2014, tư vấn cho thương vụ sáp nhập Tibco Vista, ngân hàng Đầu tư đa quốc gia Goldman Sachs (Trụ sở Mỹ) sử dụng Excel để tính giá trị Tibco 4,2 tỷ la sau lại thơng báo kết rà sốt 4,1 tỷ la Lỗi bảng tính khiến cho giá trị Tibco cao gấp 18 lần thu nhập trước trừ lợi tức, thuế, khấu hao trả nợ (Ebitda) năm t ỷ lệ sau điều chỉnh 17,6 Vấn đề chỗ phần vốn chủ sở hữu tương ứng với cổ phiếu bị hạn chế gộp vào với số cổ phiếu thơng thư ờng Chính nguy to l ớn việc sử dụng Excel khiến số cá nhân, tổ chức phối hợp để xây dựng trang web chuyên biệt vấn đề này, trang (http://www.eusprig.org/), đó, họ chia sẻ kinh nghiệm tài liệu liên quan Các giải pháp phòng tránh tác hại Excel Để phòng tránh tác hại Excel, người dùng cần lưu ý thực điểm sau: - Kiểm tra kỹ bảng tính macro, bao g ồm việc kiểm tra lỗi thẩm định logic; - Kiểm tra logic tất kiểu liệu; - Dự đoán điều người dùng khác làm đảm bảo bảng tính bạn đảm đương điều đó; - Phân quyền truy cập mạng quản lý mật bảo vệ tệp Excel; - Thường xuyên lưu bảng tính q trình làm vi ệc; - Đặt tên cho đoạn liệu dùng tên thay cho tham chi ếu ô tuyệt đối; - Tự rà sốt kết bảng tính tự hỏi thân “kết có phù hợp với dự kiến không?” Tuy nhiên, tất điều phần tảng băng Những vướng mắc người dùng cụ thể khơng so v ới vấn đề mà Excel gây với tổ chức Điều nguy hiểm mà Excel đem tới phân tích liệu khơng quy (shadow analytics) - thứ tồn từ lâu Chúng ta ngầm hiểu trình thu th ập, xử lý phân tích liệu thực cách tự phát tất người doanh nghiệp - họ Excel “trao quy ền” Kết báo cáo đư ợc sinh bên ngồi hệ thống CNTT, chúng khơng đư ợc kiểm sốt chất lượng liệu Đơi coi chuy ện bình thường bỏ qua Một số giám đốc cơng nghệ coi vấn đề cố gắng giải cách tạo hệ thống sinh tất loại báo cáo mà ngư ời dùng cần tới để họ khơng cần phải làm ngồi hệ thống quy Nhưng có lẽ chưa có hệ thống thành công, dù ngư ời ta có đầu tư ti ền cơng sức vào Dù hệ thống báo cáo có đ ầy đủ tiện dụng đến đâu có nh ững người chép liệu bên ngồi để tự chế biến Các hệ thống BI tự phục vụ, đội ngũ CNTT chuẩn bị liệu cung cấp lớp tạo báo cáo để người dùng cuối tự tạo báo cáo theo ý mình, khơng th ể loại bỏ hồn tồn tính tự phát người dùng Họ chép liệu Sự “phi chuẩn” nảy sinh từ lãnh đạo cấp cao, người giám đốc tài giám đ ốc điều hành doanh nghiệp hay sử dụng báo cáo tạo thủ công Excel Cách làm đư ợc truyền xuống đội ngũ nhân viên bên dư ới Ngồi ra, cịn ph ải xét đến tác động từ bên ngoài: liệu từ khách hàng, đối tác Điều xảy với ngành quản lý chặt chẽ ngân hàng, nơi cần tới chuẩn hóa liệu Những người làm CNTT ngoại lệ Với nhu cầu đơn giản, họ sử dụng Excel hay CSDL (và ngồi viết số thủ tục để xử lý liệu đó) Quy trình xử lý liệu thủ cơng với nhiều khả sinh lỗi dẫn đến hệ dễ thấy phân tích sai, khơng k ịp thời, khiến cho định không đưa bị trễ Cùng với việc lãng phí tài nguyên phân tích liệu, chi phí phân tích cao, nh ững định sai lầm hay chậm trễ ảnh hưởng quy trình phân tích liệu thủ cơng nguồn rủi ro hoạt động đáng kể ý để tìm cách hạn chế, giảm thiểu Vì việc loại bỏ hoạt động phân tích liệu người dùng cuối bất khả thi, nên thừa nhận tồn tìm cách hồn thi ện Để làm điều đó, cần phân tích nâng cấp cơng đoạn cụ thể q trình phân tích liệu từ thu thập, làm liệu phân tích, tổng kết trực quan hóa Trước hết, để tránh việc người dùng sử dụng nguồn liệu nhân bị sửa đổi, khơng xác, c ần xây dựng danh mục liệu tập trung Hãy xem xét báo cáo th ủ công thường dùng người quan trọng, báo cáo quan trọng Từ nhận nhiều liệu cục bộ, không cập nhật, sử dụng làm đầu vào cho báo cáo Sau ki ểm tra, làm sạch, tạo danh mục liệu tập trung Các danh mục giúp người dùng khơng phải xử lý thủ cơng mà có thơng tin cập nhật Dữ liệu cục khơng tự nhiên mà có Ban đ ầu chúng đư ợc lấy từ sở liệu tập trung sau lưu v ề máy tính cá nhân c người dùng khơng đư ợc cập nhật (hoặc ngược lại, người dùng cập nhật riêng) Hoặc danh mục người dùng chia sẻ cho qua email, từ hình thành nên nhi ều phiên khác nhau, khó quản lý Để hình thành nên danh m ục liệu tập trung, bắt đầu danh mục lưu trữ thư mục chia sẻ file server, thư viện SharePoint r ồi tiến tới hình thức chia sẻ liệu tiên tiến ATOM feed, OData Quan tr ọng hơn, cần loại bỏ thói quen gửi liệu qua email để tránh nguy tái sinh nh ững nguồn liệu phân tán, không cập nhật Một nguồn gốc khác liệu phân tán cu ộc khảo sát, thu thập liệu thủ công Người dùng thường tạo form thu thập liệu Word hay Excel gửi cho Cách làm ến cho việc tổng hợp liệu nhiều thời gian đồng thời dễ phát sinh lỗi Trong không th ể phát triển ứng dụng cho tất nhu cầu thu thập liệu từ người dùng cuối, tổ chức đào tạo, hướng dẫn người dùng tạo template Excel tốt đưa lên h ệ thống cho phép so ạn thảo (co-authoring) SharePoint hay sử dụng hình thức khảo sát SharePoint, Google Survey, Ngay thu thập liệu từ nhiều tệp Excel khác nhau, việc hướng dẫn người dùng sử dụng PivotTable and PivotChart Wizard - tính có từ phiên 2007 - giúp tăng tốc độ tổng hợp liệu lên nhiều lần Các sai lệch lỗi soạn thảo xử lý dễ dàng, nhanh chóng với cơng cụ Group dịng, cột Thay phải chỉnh sửa thủ cơng, người dùng nhờ Excel tự động gộp dịng, cột thành nhóm tính tổng Cách làm có th ể tăng suất thu thập liệu lên gấp nhiều lần chưa phải phương án tối ưu Nếu số nguồn liệu lên đến hàng chục hay hàng trăm đơn v ị sai sót xảy cơng việc lặp lại tuần, tháng hay quý Vì thế, để giảm thiểu lỗi xuất hiện, cần thay việc thu thập xử lý liệu thủ công biện pháp tự động cách cài đặt data gateway Trong công đoạn làm số liệu, tính Flash Fill - có từ phiên Excel 2013 - giúp tự động hóa tăng tốc thao tác gộp/tách liệu thủ công vốn thời gian Những thao tác g ộp/tách họ tên, ngày tháng, giá trị phân cách khoảng trắng từ nguồn liệu bên ngoài, chuyển đổi kiểu hay chí loại bớt liệu trùng (nhưng có định dạng khác nhau) đư ợc xử lý khéo thuật toán khớp mẫu phức tạp Microsoft Sau thu thập làm liệu, tới bước nhiều người ý nhất: Phân tích liệu Quy trình phân tích d ữ liệu người dùng Excel “điển hình” thường bao gồm bước sau: - Chép hay import tập liệu vào Excel (chẳng hạn số liệu bán hàng) - Bổ sung số cột vào tập liệu để giúp ích cho việc phân tích, thư ờng cách sử dụng VLOOKUP - Tạo báo cáo tổng hợp với Pivot Table hay công th ức (SUMIF, COUNTIF) Cách làm tốn thời gian dễ sai sót ngư ời dùng thư ờng phải thực nhiều thao tác thủ công - Mở rộng vùng tham chi ếu bổ sung thêm cột vào bảng lookup (các Table Excel giúp gi ảm bớt gánh nặng nên người dùng cần hướng dẫn để sử dụng chúng) - Việc bổ sung thêm cột cho bảng tham chiếu nghĩa mục cột tham số phải cập nhật - Sao chép cơng thức VLOOKUP cho tồn tập liệu cập nhật liệu Dù có hiệu suất việc sử dụng VLOOKUP tiếp tục trì Ít ngư ời để ý Power Pivot có từ phiên Excel 2010, v ới tính có th ể tạo mối quan hệ trường liệu thao tác kéo - thả qua loại trừ việc sử dụng VLOOKUP Phân tích liệu chưa phải bước cuối chu trình, c ần phải phân phối báo cáo cho nh ững bên liên quan (và đ ặc biệt lãnh đạo) Và gửi báo cáo qua email t ệ hại không việc gửi loại liệu đầu vào qua email b ản thân báo cáo sử dụng lại Thay gửi báo cáo tĩnh, c ần tạo báo cáo động gửi liên kết trỏ tới báo cáo để người nhận tự “sinh” báo cáo theo ý mu ốn, nhận thông tin cập nhật mà không cần chép lại tệp báo cáo lần Một vấn đề khác cần quan tâm việc lọc liệu theo đối tượng (ví dụ báo cáo theo đơn vị kinh doanh, theo m ảng sản phẩm dịch vụ) hay gộp báo cáo từ nhiều đơn vị khác Việc lọc, chép liệu thủ công (mà cuối thao tác cắt - dán) gửi email cho đơn vị dễ dẫn đến sai sót Trong đó, tính b ảo mật mức ghi (Row-level security) c Power BI dùng để kiểm sốt khả truy cập liệu cho nhóm người dùng cách hiệu Tính áp dụng với nguồn liệu, kể tệp TXT Vấn đề cuối cùng, không ph ần quan trọng, phải hạn chế tối đa việc thay đổi ngữ cảnh trình làm vi ệc Khi liệu chuyển nhiều cách, nhiều kênh khác tệp, email, chat, báo cáo, ghi chú/biên b ản họp tam thất điều tránh khỏi Nếu tập trung hoạt động trao đổi vào nơi - ứng dụng làm việc nhóm - việc trao đổi hiệu nhiều Tất liệu “có sẵn” cho tất người dự án/nhóm làm việc chỗ, tập trung cho mục đích chung khó có th ể bị hiểu sai ngữ cảnh Tựu trung lại, phân tích đ ề xuất điều người dùng cuối cần phải đào tạo, khuyến khích áp dụng kỹ thuật (thực số tính có từ nhiều năm trước đây) để nâng cao chất lượng q trình thu thập, xử lý phân tích liệu Với tính hữu ích có sẵn, người dùng có báo cáo chất lượng với hiệu suất cao mà không c ần phải viết macro hay lập trình phức tạp Mặc dù khơng nên phủ nhận tác động hệ thống báo cáo phân tích liệu tập trung, c ần thừa nhận chúng chưa thể đáp ứng tất nhu cầu phân tích, báo cáo đa d ạng người dùng Bằng cách kết hợp tính sẵn có với cơng cụ phần mềm mới, nâng tầm cho người dùng, thúc đẩy phát triển nhà phân tích để thực điều mà hệ thống phân tích liệu tập trung nhiều thập kỷ chưa đạt tới, hỗ trợ hoạt động sản xuất kinh doanh tốt đồng thời giảm thiểu rủi ro hoạt động ... xử lý liệu thủ công biện pháp tự động cách cài đặt data gateway Trong công đoạn làm số liệu, tính Flash Fill - có từ phiên Excel 2013 - giúp tự động hóa tăng tốc thao tác gộp/tách liệu thủ công. .. gửi liệu qua email để tránh nguy tái sinh nh ững nguồn liệu phân tán, không cập nhật Một nguồn gốc khác liệu phân tán cu ộc khảo sát, thu thập liệu thủ công Người dùng thường tạo form thu thập liệu. .. ới vấn đề mà Excel gây với tổ chức Điều nguy hiểm mà Excel đem tới phân tích liệu khơng quy (shadow analytics) - thứ tồn từ lâu Chúng ta ngầm hiểu trình thu th ập, xử lý phân tích liệu thực cách