56 CÔNG CỤ ỨNG DỤNG PHÂN TÍCH DỮ LIỆU CHO DOANH NGHIỆP Nguyễn Chí Đạt Phòng Công nghệ Thông tin, Trường Đại học Tài chính –Marketing Email nguyenchidat@ufm edu vn Tóm tắt Nghề phân tích dữ liệu nói ri[.]
CƠNG CỤ ỨNG DỤNG PHÂN TÍCH DỮ LIỆU CHO DOANH NGHIỆP Nguyễn Chí Đạt Phịng Cơng nghệ Thơng tin, Trường Đại học Tài –Marketing Email: nguyenchidat@ufm.edu.vn Tóm tắt: Nghề phân tích liệu nói riêng sở liệu nói chung nghề nóng phát triển nhanh toàn giới với liệu lớn, trí tuệ nhân tạo, vạn vật kết nối Bài viết tìm hiểu nghề phân tích liệu, số liệu cần phân tích, tìm hiểu phần mềm hỗ trợ cho việc phân tích liệu Từ khóa: phân tích liệu, phần mềm phân tích liệu, data analytics PHÂN TÍCH DỮ LIỆU LÀ GÌ? Phân tích liệu q trình kiểm tra, làm sạch, chuyển đổi mơ hình hóa liệu với mục tiêu khám phá thơng tin hữu ích, thơng báo kết luận hỗ trợ định Phân tích liệu có nhiều khía cạnh cách tiếp cận, bao gồm kỹ thuật đa dạng nhiều tên khác sử dụng lĩnh vực kinh doanh, khoa học khoa học xã hội khác Trong giới kinh doanh ngày nay, phân tích liệu đóng vai trị giúp đưa định khoa học giúp doanh nghiệp hoạt động hiệu Khai thác liệu kỹ thuật phân tích liệu cụ thể tập trung vào mơ hình thống kê khám phá tri thức cho mục đích dự đốn thay hồn tồn mơ tả, kinh doanh thơng minh bao gồm phân tích liệu dựa chủ yếu vào tổng hợp, tập trung chủ yếu vào thông tin kinh doanh.[2] Trong ứng dụng thống kê, phân tích liệu chia thành thống kê mơ tả, phân tích liệu khám phá (EDA) phân tích liệu xác nhận (CDA) EDA tập trung vào việc khám phá tính liệu CDA tập trung vào xác nhận làm sai lệch giả thuyết có Phân tích dự đốn tập trung vào việc áp dụng mơ hình thống kê để dự báo phân loại dự đoán, phân tích văn áp dụng kỹ thuật thống kê, ngơn ngữ cấu trúc để trích xuất phân loại thông tin từ nguồn văn bản, loại liệu phi cấu trúc Tất phương thức bên dạng khác phân tích liệu Tích hợp liệu tiền thân phân tích liệu, phân tích liệu liên kết chặt chẽ để trực quan hóa liệu phổ biến liệu 56 PHÂN TÍCH DỮ LIỆU LÀM GÌ? Chun viên phân tích liệu (Data Analyst) người thực phân tích sâu liệu (deep dive analytics) dạng đồ thị, biểu đồ, sơ đồ, bảng biểu báo cáo; sau sử dụng liệu để xác định xu hướng tạo mơ hình dự đốn xảy tương lai Các cơng việc bao gồm sử dụng công cụ lắng nghe Internet để thu thập liệu từ nguồn tin tức mạng xã hội, phân tích liệu viết báo cáo, phân tích thơng tin thương hiệu vấn đề xã hội, dự báo nắm bắt xu hướng tương lai, trình bày nội dung bảng số liệu, biểu đồ, đồ đề xuất hình thức minh họa hợp lý khác, tối ưu chiến dịch Marketing, Sales dựa liệu thu thập được, báo cáo thường xuyên cho quản lý tương tác trực tiếp với khách hàng diễn biến kiện liên quan tới thương hiệu khách hàng u cầu cơng việc thường địi hỏi tốt nghiệp đại học ngành liên quan Digital Marketing, Market Research, Tốn, Khoa học máy tính, Quản trị thông tin, Công nghệ thông tin, Thống kê, Kỹ sử dụng cơng cụ phân tích liệu code để xử lý mơ hình dự báo (predictive models), kỹ sử dụng công cụ visualize để chuyển hóa liệu thành graphics, kỹ chuyển hóa liệu thành actionable insight, có kỹ phân tích sắc bén, khả thu thập, tổ chức, phân tích phổ biến lượng lớn thơng tin cách chi tiết xác, kỹ lập kế hoạch, kiểm soát việc thực kế hoạch, Cẩn thận, kiên nhẫn, chịu khó, ham học hỏi, có tinh thần trách nhiệm, ham học hỏi, trung thực, cẩn thận, nhạy bén với xu xã hội CÁC LOẠI SỐ LIỆU CẦN PHÂN TÍCH Dữ liệu phân tích chia thành bốn loại sau: Descriptive analytics (phân tích mơ tả): Đây q trình phân tích dựa khoảng thời gian định Dựa số lượt xem trang, Doanh số tháng này… Diagnostic analytics (phân tích chuẩn đốn): Tập trung vào phân tích chun sâu, xảy Điều liên quan đến đầu vào liệu vài giả thuyết Thời tiết có ảnh hưởng đến doanh số bán bia khơng? Chiến dịch tiếp thị có ảnh hưởng đến doanh số khơng? Predictive analytics (phân tích dự báo): Dự đốn điều xảy tương lai Điều có gây ảnh hưởng tới doanh số cuối cùng? Có mơ hình dự báo kết quả? 57 Prescriptive analytics (phân tích chuẩn đốn): Giúp bạn đưa đến kết luận q trình hoạt động có thực hiệu Một số lĩnh vực áp dụng phân tích liệu bao gồm ngành bán hàng, du lịch khách sạn, bất động sản… nơi công việc chồng chéo mà tổng hợp xử lý nhanh chóng Thu thập liệu khách hàng tìm vấn đề để từ tìm cách khắc phục đưa đến kết luận cuối Các nhà bán lẻ thu thập phân tích giúp họ xu hướng thị trường, giới thiệu sản phẩm đề chiến dịch tăng trưởng lợi nhuận CƠNG CỤ HỖ TRỢ PHÂN TÍCH DỮ LIỆU 4.1 RapidMiner Rapidminer mã nguồn mở, môi trường cho Machine learning Data mining viết ngơn ngữ lập trình Java Chúng sử dụng mơ hình Client/Server với máy chủ on-premise public cloud private cloud Rapidminer cung cấp lược đồ Learning Schemas, mơ hình thuật tốn, mở rộng ngơn ngữ R Python Các nhà nghiên cứu thị trường, công ty lớn thường áp dụng RapidMiner vào công việc, tiện dụng, dễ dùng, khơng cần biết đến đầu Output mà cho khn mẫu theo thẻ Label Target Các thuật toán Data mining chia thành loại: Thuật toán Learning giám sát: Là thuật tốn u cầu có đầu Output (hoặc gọi Label hay Target) Một số mơ hình thuộc thuật tốn kể đến như: Naïve Bayes, định (Decision Tree), mạng thần kinh (Neural Networks), SVM (Support Vector Machine), mơ hình hồi quy (Logistic Regression), Thuật tốn Learning khơng giám sát: Là thuật tốn khơng bắt buộc phải biết trước đầu Output tìm kiếm khn mẫu xu hướng mà khơng có Label Target, mơ hình K-Mean Clustering, Anomaly Detection, Association Mining Với Rapidminer, giúp lập trình viên tải chuyển đổi liệu (Extract, Transform, Load (ETL)), xử lý liệu trực quan liệu, xây dựng mơ hình dự báo phân tích thống kê, đánh giá triển khai liệu Ưu điểm phần mềm Rapidminer - Tải tự động chuyển đổi liệu (Extract, Transform, Load (ETL)); 58 - Xử lý trực quan hóa liệu; - Xây dựng mơ hình dự báo phân tích thống kê chi tiết; - Đánh giá triển khai hóa liệu 4.2 Tableau Tableau phần mềm hỗ trợ phân tích (Data Analyst) trực quan hóa liệu (Data Visualization) công cụ giải pháp Business Intelligence Tableau giúp người dùng nghiệp vụ (business users) tổng hợp liệu, chuyển liệu từ dãy số thành hình ảnh, biểu đồ trực quan, xây dựng dashboard phân tích (self-services) Tableau trình bày trực quan liệu, đơn giản hiệu giúp cho bạn có nhìn tổng quan tình hình kinh doanh doanh nghiệp, tiêu chí lại cung cấp cho bạn góc nhìn khác Điều giúp ích nhiều cho manager đưa định giải vấn đề vận hành doanh nghiệp hàng ngày Một số tính phần mềm Tableau liệt kê như: - Thu gom, tổng hợp liệu, xây dựng metadata cung cấp cho người dùng nghiệp vụ (business users) để chuẩn bị phân tích liệu; - Dễ dàng tạo phân tích liệu sử dụng với 40 loại biểu đồ, bao gồm biểu đồ mô tả lý thuyết kinh tế mơ hình 80/20, phân tích phân khúc khách hàng RFM, đồ hành Việt Nam, ; - Hỗ trợ tạo truy vấn thao tác đơn giản; - Vận hành tảng công nghệ in-memory nhằm đảm bảo tốc độ phân tích với lượng liệu lớn doanh nghiệp; - Tạo dashboard tương tác biểu đồ, tham biến, tooltip, drill up, drill down, liên kết dashboard, giải thích liệu hỏi liệu giúp cho bạn nắm bắt thơng tin với góc nhìn khác nhau; - Sử dụng phần mềm Tableau máy di động iOS & Android để phân tích truy xuất phân tích & dashboard; - Khả mở rộng dễ dàng đáp ứng yêu cầu mở rộng doanh nghiệp, độ phức tạp nghiệp vụ 59 Nhu cầu sử dụng phần mềm Tableau ngày phổ biến, cơng việc phân tích liệu mang lại nhiều lợi ích cho doanh nghiệp Tùy vào đặc thù lĩnh vực mà Tableau hỗ trợ tính phù hợp Ưu điểm phần mềm Tableau - Có phiên miễn phí; - Có thể tương tác với loại liệu từ Excel, Data Warehouse Dữ liệu Website; - Khả cập nhật liệu theo thời gian thực; - Làm liệu trở nên trực quan nhiều cách biểu đồ hay chí Dashboard, tốt phần mềm mềm khác thị trường; - Hệ thống xử lý Big Data Tableau mạnh mẽ 4.3 Ngơn ngữ lập trình Python Python ngơn ngữ lập trình bậc cao cho mục đích lập trình đa năng, Guido van Rossum tạo lần đầu mắt vào năm 1991 Python thiết kế với ưu điểm mạnh dễ đọc, dễ học dễ nhớ Python ngơn ngữ có hình thức sáng sủa, cấu trúc rõ ràng, thuận tiện cho người học lập trình Cấu trúc Python cho phép người sử dụng viết mã lệnh với số lần gõ phím tối thiểu Vào tháng năm 2018, Van Rossum từ chức Leader cộng đồng ngôn ngữ Python sau 30 năm lãnh đạo Python hoàn toàn tạo kiểu động dùng chế cấp phát nhớ tự động; tương tự Perl, Ruby, Scheme, Smalltalk, Tcl Python phát triển dự án mã mở, tổ chức phi lợi nhuận Python Software Foundation quản lý Ban đầu, Python phát triển để chạy Unix Nhưng theo thời gian, Python dần mở rộng sang hệ điều hành từ MS-DOS đến Mac OS, OS/2, Windows, Linux hệ điều hành khác thuộc họ Unix Mặc dù phát triển Python có đóng góp nhiều cá nhân, Guido van Rossum tác giả chủ yếu Python Ơng giữ vai trị chủ chốt việc định hướng phát triển Python Python ngơn ngữ lập trình scripting phổ biến thú vị Nó khơng phải ngơn ngữ có tốc độ thực thi nhanh Assembly, C, C++… Nó chọn làm ngơn ngữ lập trình để dạy cho người chưa biết lập trình thiếu niên Google, Microsoft, nhiều tập đồn, cơng ty tin học sử dụng để vận hành hệ thống dịch vụ 60 Các nhà nghiên cứu khóa học, nhà phân tích liệu lớn thích sử dụng Python cho cơng việc mình, việc, khơng màu mè, học nhanh, dùng Ưu điểm ngôn ngữ lập trình Python - Được đánh giá dễ học, dễ viết, dễ trì cung cấp dạng mã nguồn mở; - Có thư viện học máy (Machine learning) tốt như: Scikitlearn, Theano, Tensorflow Keras; - Khả thu thập nhiều tảng SQL server, tập liệu MongoDB, JSON; - Xử lý liệu dạng văn tốt 4.4 Ngôn ngữ lập trình R R ngơn ngữ lập trình mơi trường phần mềm dành cho tính tốn đồ họa thống kê Đây thực ngôn ngữ lập trình S với ngữ nghĩa khối từ vựng lấy cảm hứng từ Scheme R Ross Ihaka Robert Gentleman tạo Đại học Auckland, New Zealand, đến R Development Core Team chịu trách nhiệm phát triển Tên ngôn ngữ phần lấy từ chữ đầu hai tác giả (Robert Gentleman Ross Ihaka), phần cách chơi chữ từ tên S Ngôn ngữ R trở thành tiêu chuẩn thực tế (de facto) nhà thống kê cho thấy phát triển phần mềm thống kê, sử dụng rộng rãi để phát triển phần mềm thống kê phân tích liệu R có chứa nhiều loại kỹ thuật thống kê (mơ hình hóa tuyến tính phi tuyến, kiểm thử thống kê cổ điển, phân tích chuỗi thời gian, phân loại, phân nhóm, ) đồ họa R, giống S, thiết kế xoay quanh ngôn ngữ máy thực thụ, cho phép người dùng thêm tính bổ sung cách định nghĩa hàm Cũng có số khác biệt quan trọng S, nhiều mã viết S chạy mà không cần thay đổi Nhiều hệ thống R viết ngơn ngữ nó, giúp cho người dùng dễ theo dõi giải thuật Để thực cơng việc chun tính tốn, R liên kết với ngôn ngữ C, C++ Fortran để gọi chạy Người dùng thơng thạo viết mã C để xử lý trực tiếp đối tượng R R có tính mở rộng cao cách sử dụng gói cho người dùng đưa lên cho số chức lĩnh vực nghiên cứu cụ thể Do thừa hưởng từ S, R có tảng 61 lập trình hướng đối tượng mạnh đa số ngơn ngữ tính toán thống kê khác Việc mở rộng R dễ dàng nhờ luật đóng khối từ vựng Một điểm mạnh khác R tảng đồ họa nó, tạo đồ thị chất lượng cao biểu tượng tốn học R có đinh dạng văn riêng tương tự LaTeX, dùng để cung cấp tài liệu hướng dẫn tồn diện, có trực tuyến định dạng khác in Dù R dùng chủ yếu nhà thống kê người sử dụng khác đòi hỏi mơi trường tính tốn thống kê phát triển phần mềm, dùng làm cơng cụ tính tốn ma trận tổng qt với kết đo đạc cạnh tranh so với GNU Octave đối thủ thương mại nó, MATLAB Giao diện RWeka thêm vào phần mềm khai phá liệu phổ biến Weka, cho phép đọc/ghi định dạng arff cho phép sử dụng tính khai phá liệu Weka thống kê R Ưu điểm ngơn ngữ lập trình R - Cơng cụ dẫn đầu ngành phân tích, rộng rãi sử dụng việc mơ hình hóa liệu; - Thao tác dễ dàng với liệu bạn trình bày chúng theo nhiều cách khác nhau; - Sử dụng SAS dung lượng liệu (Data Capacity); - Chạy đa tảng (UNIX, Windows MacOS); - Có 11,556 packages cài đặt tự động theo nhu cầu người dùng 4.5 SAS (Statistical Analysis Software) SAS, viết tắt Statistical Analysis Software Nó tạo vào năm 1960 sử dụng cho hệ thống BI (business intelligence), Predictive Analysis (phân tích dự đốn), Descriptive & Prescriptive Analysis (phân tích mơ tả đề xuất), quản lý liệu, v.v Kể từ đó, nhiều thủ tục thành phần thống kê giới thiệu phần mềm Đây chương trình chuyên dụng phục vụ cho xử lý phân tích số liệu thống kê thông dụng giới SAS mạnh lĩnh vực quản lý liệu, cho phép người sử dụng thao tác liệu với cách SAS đưa vào 62 thủ tục Proc sql cho phép thực câu hỏi Sql (Structured query language) file liệu Có loại phần mềm SAS: - SAS cho Windows; - SAS Enterprise Guide (EG): Một IDE giống GUI, với trình hướng dẫn để hỗ trợ viết code cho quy trình khác nhau; - SAS Enterprise Miner (EM): Một công cụ khai thác liệu phân tích nâng cao, nhằm giúp người dùng nhanh chóng phát triển mơ hình mơ tả đề xuất, thơng qua quy trình khai thác liệu; - SAS STAT Software: Phần mềm SAS sử dụng riêng cho quy trình thống kê bao gồm loạt tính Ưu điểm SAS - Là mơi trường dành cho lập trình ngôn ngữ thao tác liệu (Data manipulation) dẫn đầu ngành phân tích liệu; - Dễ dàng kết nối, quản trị phân tích số liệu từ nguồn liệu nào; - Có nhiều modules cho web, mạng xã hội phân tích marketing, sử dụng rộng rãi cho việc hồ sơ hóa khách hàng tiềm năng; - Có khả dự đốn hành vi, quản lý tối ưu hóa giao tiếp 4.6 Knime KNIME biết đến phần mềm chuyên cung cấp tính phân tích, khai thác liệu tổ chức công việc theo cấu trúc định theo giao diện chuyên nghiệp, trực quan hóa Công cụ hỗ trợ +1000 module khả xử lý nhiều loại liệu XML, JSON, hình ảnh, tài liệu, v.v Bên cạnh KNIME cịn hỗ trợ khả tổng hợp liệu trình bày phân tích dạng bảng biểu, đồ thị, đồ Ưu điểm phần mềm KNIME - Phân tích tự động khai thác liệu cú click; 63 - Tổ chức công việc theo cấu trúc có sẵn; - Hỗ trợ 1000 module; - Xử lý nhiều loại liệu XML, JSON, v.v…; - Thay đổi đặc tính node; - Khai thác thuật toán AI ( tự học theo) thuật toán dự đoán theo cách chuyên nghiệp 4.7 Orange Orange công cụ sử dụng mã nguồn mở Giúp tổng hợp đem lại nhìn trực quan hóa liệu Hỗ trợ tạo dashboard có biểu đồ, đồ thị… giúp người dễ dàng sử dụng Orange giải pháp phần mềm Self-Service Business Intelligence Software với chức chi phí phù hợp cho doanh nghiệp từ nhỏ vừa (SMEs) tới doanh nghiệp lớn Phần mềm Orange đánh giá cao người dùng lẫn chuyên gia lĩnh vực Business Intelligence Software Ngồi ra, có thêm nhiều tiện ích mở rộng khác Ưu điểm Orange - Dành cho tất người, bạn bắt đầu sử dụng; - Thực phân tích liệu: Biến liệu thơ thành liệu đơn giản hóa; - Tạo nhiều bảng template đẹp tiện dụng; - Lấy source từ nhiều nguồn để phân tích nâng cao 4.8 OpenRefine OpenRefine chương trình chạy tảng Java: ứng dụng máy tính sử dụng trình duyệt website làm việc giao diện đồ họa Bạn không cần sửa đổi tập liệu gốc Tất hành động dễ dàng đảo ngược OpenRefine bạn nắm bắt hành động Ngồi ra, cịn có chức chia sẻ tài liệu với ấn phẩm dạng tài liệu bổ sung Bạn quay lại dự án để chọn nơi bạn rời xuất liệu sang tệp Ưu điểm phần mềm Open Refine - Tổng quan hóa đồng liệu; 64 - Giải không quán tập liệu; - Giúp chia liệu thành nhiều phần nhỏ; - Khớp liệu cục với tập liệu khác; - Tăng cường tập liệu với liệu từ nhiều nguồn khác; - Lưu tập hợp bước làm liệu để phát lại tệp KẾT LUẬN Bài viết phân tích nghề phân tích liệu nói chung ngành nghề liệu nói riêng Bài viết tập trung tìm hiểu phần mềm, ngơn ngữ lập trình phổ biến hỗ trợ tốt cho nghành nghề phân tích liệu, làm rõ điểm mạnh phần mềm TÀI LIỆU THAM KHẢO [1] https://vi.wikipedia.org/wiki/Phân_tích _dữ_liệu [2] vi.wikipedia.org/wiki/R_(ngơn_ngữ_lập_trình) [3] https://en.wikipedia.org/wiki/Analytics [4] www.tableau.com [5] vi.wikipedia.org/wiki/Python_(ngơn_ngữ_lập_trình) 65 Báo cáo giải pháp cơng tác quản lý Mầm non tài liệu mầm non mẫu giáo Kỹ sống cho trẻ mầm non sáng kiến kinh nghiệm thư viện kiến thức tổng hợp mầm non mẫu giáo để chăm sóc ni dạy ngày tốt Báo cáo giải pháp công tác quản lý Mầm non tài liệu mầm non mẫu giáo Kỹ sống cho trẻ mầm non sáng kiến kinh nghiệm thư viện kiến thức tổng hợp mầm non mẫu giáo để chăm sóc ni dạy ngày tốt Báo cáo giải pháp công tác quản lý Mầm non tài liệu mầm non mẫu giáo Kỹ sống cho trẻ mầm non sáng kiến kinh nghiệm thư viện kiến thức tổng hợp mầm non mẫu giáo để chăm sóc ni dạy ngày tốt Báo cáo giải pháp công tác quản lý Mầm non tài liệu mầm non mẫu giáo Kỹ sống cho trẻ mầm non sáng kiến kinh nghiệm thư viện kiến thức tổng hợp mầm non mẫu giáo để chăm sóc ni dạy ngày tốt Báo cáo giải pháp công tác quản lý Mầm non tài liệu mầm non mẫu giáo Kỹ sống cho trẻ mầm non sáng kiến kinh nghiệm thư viện kiến thức tổng hợp mầm non mẫu giáo để chăm sóc ni dạy ngày tốt Báo cáo giải pháp công tác quản lý Mầm non tài liệu mầm non mẫu giáo Kỹ sống cho trẻ mầm non sáng kiến kinh nghiệm thư viện kiến thức tổng hợp mầm non mẫu giáo để chăm sóc ni dạy ngày tốt Báo cáo giải pháp công tác quản lý Mầm non tài liệu mầm non mẫu giáo Kỹ sống cho trẻ mầm non sáng kiến kinh nghiệm thư viện kiến thức tổng hợp mầm non mẫu giáo để chăm sóc ni dạy ngày tốt Báo cáo giải pháp công tác quản lý Mầm non tài liệu mầm non mẫu giáo Kỹ sống cho trẻ mầm non sáng kiến kinh nghiệm thư viện kiến thức tổng hợp mầm non mẫu giáo để chăm sóc ni dạy ngày tốt ...2 PHÂN TÍCH DỮ LIỆU LÀM GÌ? Chun viên phân tích liệu (Data Analyst) người thực phân tích sâu liệu (deep dive analytics) dạng đồ thị, biểu đồ, sơ đồ, bảng biểu báo cáo; sau sử dụng liệu để... LOẠI SỐ LIỆU CẦN PHÂN TÍCH Dữ liệu phân tích chia thành bốn loại sau: Descriptive analytics (phân tích mơ tả): Đây q trình phân tích dựa khoảng thời gian định Dựa số lượt xem trang, Doanh số... chuyên dụng phục vụ cho xử lý phân tích số liệu thống kê thông dụng giới SAS mạnh lĩnh vực quản lý liệu, cho phép người sử dụng thao tác liệu với cách SAS đưa vào 62 thủ tục Proc sql cho phép