PHÂN TÍCH DỮ LIỆU KINH DOANH Đề tài BÁO CÁO LAB1

ĐẠI HỌC QUỐC GIA TP HỒ CHÍ MINH TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN KHOA HỆ THỐNG THÔNG TIN PHÂN TÍCH DỮ LIỆU KINH DOANH Đề tài: BÁO CÁO LAB1 Giảng viên: PGS Nguyễn Đình Thuân KS Nguyễn Minh Nhựt Lớp: IS403.M22 Nhóm 14: Lê Thị Ái Nhi - 19521963 Lê Hữu Thắng - 19522200 Trịnh Thị Thanh Trúc - 19521059 Đặng Vũ Phương Uyên - 19520345 Nguyễn Thị Thu Phương - 19522066 TP.HCM, ngày 04 tháng 03 năm 2022 Mục lục 1a: Dùng cơng cụ trực quan hóa liệu (Data Visualization) Thống kê mô tả (Descriptive Statistics) thực yêu cầu sau: .3 Phát biểu toán (hay vấn đề) cần giải Nêu bước tiến hành tính lại giá trị bảng kết 1b: Thực yêu cầu tương tự 1a với tập tin liệu: 18 Phát biểu toán (hay vấn đề) cần giải 18 Phân tích liệu Purchase order 19 Phân tích liệu Computer Repair Times 37 1c: Trả lời câu hỏi sau: 56 Phân biệt 56 a) Null hypothesis Alternative hypothesis 56 b) Type I error  và Type II error .57 c) Giá trị: α và p-value: 57 Áp dụng 57 a) Câu cho Example 7.5 57 b) Câu cho  Example 7.15, 7.16, 7.17 58 Phần I: Bài tập 1a: Dùng cơng cụ trực quan hóa liệu (Data Visualization) Thống kê mô tả (Descriptive Statistics) thực yêu cầu sau: Phát biểu toán (hay vấn đề) cần giải Sử dụng MS Excel, ngôn ngữ R Ngôn ngữ Python với số liệu GDP bình qn Việt Nam, tính giải thích ý nghĩa giá trị: Count, Min, Max, Mean, Median, Mode, Quantile, Range, Mode, Variance, Standard Deviation, Coefficient of Deviation, Skewness, Kurtosis Dữ liệu GDP bình quân Việt Nam thu thập website sau: http://finance.vietstock.vn/du-lieu-vi-mo/Default.htm Hình 1: Mô tả mẫu liệu thu thập Nêu bước tiến hành tính lại giá trị bảng kết  Bằng công cụ MS Excel a Tính toán giá trị: Count, Min, Max, Mean, Median, Mode, Quantile, Range, Mode, Variance, Standard Deviation, Coefficient of Deviation, Skewness, Kurtosis Cách tính tốn tự động chức Data Analysis MS Excel  Bước 1: Trong tab Data, chọn Data Analysis Hình 2: Hiển thị tab Data Excel  Bước 2: Khi hộp thoại Data Analyzed xuất hiện, chọn Descriptive Statistics => OK Hình 3: Hộp thoại Data Analysis  Bước 3: Trong hộp thoại Descriptive Statistics, chọn: + Input Range : vùng liệu muốn thống kê + Output Range : vùng mà kết xuất + Group By: - Columns: Dữ liệu nguồn bố trí theo cột - Rows: Dữ liệu nguồn bố trí theo dịng Sau thiết lập xong, chọn OK Hình 4: Hộp thoại Descriptive Statistics Ta kết giá trị cần tính sau : Hình 5: Kết thống kê Descriptive Statistic Tính tốn thêm số giá trị chưa có: Hình 6: Kết giá trị khác Cách tính tốn khác:  Count: hàm Count để đếm liệu, đối tượng chuỗi bảng tính định Hình 7: Cú pháp viết hàm kết hàm Count  Số lượng năm có liệu GDP 17 năm  Mean: giá trị trung bình tập hợp gồm hai nhiều số, tính tổng giá trị quan sát chia cho số quan sát Giá trị trung bình có đặc điểm chịu tác động giá trị quan sát, thang đo nhạy cảm thay đổi giá trị quan sát Hình 8: Cú pháp viết hàm kết hàm Mean  GDP trung bình Việt Nam từ năm 2000 đến 2016 1074.706  Median: Là số nằm (nếu số lượng quan sát số lẻ) giá trị trung bình hai quan sát nằm (nếu số lượng quan sát chẵn) dãy quan sát xếp thep thứ tự từ nhỏ đến lớn, thường dùng để đo lường độ tập trung dạng liệu thang đo thứ tự, có đặc điểm khơng bị ảnh hưởng giá trị đầu mút dãy phân phối, thích hợp để phân tích với liệu có chênh lệch lớn giá trị hai đầu mút dãy phân phối Hình 9: Cú pháp viết hàm kết hàm Median  Kết tính giá trị trung vị dãy GDP bình quân là: 1065 (USD)  Min/Max: thể giá trị lớn nhất, nhỏ đối số hay vùng liệu + Min là năm có GDP thấp nhất + Max là năm có GDP cao nhất Hình 10: Cú pháp viết hàm kết hàm Min/Max  Mode: Là giá trị có tần suất xuất lớn tập hợp số Hình : Cú pháp viết hàm kết hàm Mode  Trong trường hợp này, không tồn giá trị GDP lặp lại nên tính giá trị Mode  Quartile: Tứ phân vị đại lượng mô tả phân bố phân tán tập liệu có giá trị số phân chia nhóm kết quan sát số thành bốn phần, phần có số liệu quan sát (=25% số kết quan sát) Tứ phân vị có giá trị, tứ phân vị thứ (Q1), thứ nhì (Q2) thứ ba (Q3) Ba giá trị chia tập hợp liệu (đã xếp liệu theo trật từ từ bé đến lớn) thành phần có số lượng quan sát Hình 11: Cú pháp viết hàm kết hàm Quartile  Kết tính giá trị phân vị tối thiểu (quarty=0), phân vị thứ 25 (quarty=1), phân vị thứ 50 (quarty=2), phân vị thứ 75 (quarty=3), phân vị có giá trị tối đa (quarty=4) là: 302, 453, 1065, 1655, 2215  Range: khoảng cách giá trị quan sát nhỏ đến giá trị quan sát lớn Hình 12: Cú pháp viết hàm kết hàm Range  Kết tính giá trị Range dựa vào Max Min dãy là: 1913  Variance: Phương sai dùng để đo độ phân tán tập giá trị quan sát xung quanh giá trị trung bình tập quan sát đó.  Hình 13: Cú pháp viết hàm kết hàm Variance  Kết tính giá trị phương sai dãy liệu 456430,6  Standard Deviation:  Độ lệch chuẩn dùng để đo lường độ phân tán liệu xung quan giá trị trung bình Độ lệch chuẩn bậc hai phương sai.Việc khảo sát phương sai thường cho giá trị lớn, sử dụng độ lệch chuẩn giúp dễ dàng cho việc diễn giải kết sai biệt đưa sát với liệu gốc Hình 14: Cú pháp viết hàm kết hàm Standard Deviation  Kết tính độ lệch chuẩn (SD) dãy liệu khoảng: 675,5965  Coefficient of Deviation: Hệ số biến thiên tỉ lệ độ lệch chuẩn (standard deviation) so với giá trị trung bình (mean) Nó thống kê hữu ích việc so sánh mức độ biến thiên chuỗi liệu với chuỗi liệu khác, cho dù giá trị trung bình chúng khác Coefficient of Deviation = Standard DeviationMean or Average    Skewness: Hệ số đối xứng cho dạng phân phối giá trị quan sát sử dụng để kiểm nghiệm tính phân phối chuẩn + Skewness = 0: Các quan sát phân phối đối xứng xung quanh giá trị trung bình + Skewness < 0: Các quan sát tập trung chủ yếu vào giá trị nhỏ + Skewness > 0: Các quan sát tập trung chủ yếu vào giá trị lớn  Kurtosis : Hệ số tập trung dùng để đánh giá đỉnh đường cong quan sát với dạng đường cong phân phối chuẩn + Kurtosis >0: Cho thấy xu hướng tập trung quan sát xung quanh giá trị trung bình, phân phối có đỉnh + Kurosis < 0: Cho thấy đường cong có dạng hẹp hay đường cong phân phối tương đối phẳng b Visualization Histogram: Biểu đồ phân bố tần số (còn gọi biểu đồ phân bố mật độ, biểu đồ cột) dùng để đo tần số xuất vấn đề đó, cho ta thấy rõ hình ảnh thay đổi, biến động tập liệu Trong biểu đồ phân bố tần số, trục hoành biểu thị giá trị đo; trục tung biểu thị số lượng chi tiết hay số lần xuất hiện; bề rộng cột khoảng phân lớp; chiều cao cột nói lên số lượng chi tiết (tần số) tương ứng với phân lớp Biểu đồ tần suất cho biết bốn vấn đề sau: - Giá trị thường xuất (mode) - Mức độ thường xuất giá trị - Hình dạng phần bố - Mối quan hệ liệu giới hạn yêu cầu  Bước 1: Vào Data Analysis => Chọn Histogram Hình 15: Bảng tùy chọn Data Analysis  Bước 2: Ta chọn giá trị Bin Range sau: giá trị Bin Range phải nhỏ giá trị Min tính trên, giá trị cuối Bin Range phải lớn giá trị Max tính Hình 16: Bảng chọn khoảnh giá trị để phân tích  Bước 3: Nhấn OK ta kết sau: Hình 17: Biểu đồ histogram Box plot: Biểu đồ hộp (Box plot) hay gọi biểu đồ hộp râu (Box and whisker plot) biểu đồ diễn tả vị trí phân bố liệu, là: - Giá trị nhỏ (min) - Tứ phân vị thứ (Q1) - Trung vị (median) - Tứ phân vị thứ (Q3) - Giá trị lớn (max)  Bước 1: Chọn vùng liệu sau nhấn Insert Trong tab Chart chọn Box and Whisker Kết thu được: Hình 18: Biểu đồ Box plot  Bằng ngôn ngữ R a Tính toán giá trị: Count, Min, Max, Mean, Median, Mode, Quantile, Range, Mode, Variance, Standard Deviation, Coefficient of Deviation, Skewness, Kurtosis  Bước 1: Đọc file excel 10  Cài đặt thư viện e1071 để chạy Skewness Kurtosis 50  Sau cài đặt thành công, ta dùng hàm require():  Tiếp đến, chạy hàm tính tốn cần dùng:  Bước 4: Kết thu Repair Time (Days) Mean 14.912 Median 14 Mode NA (do có nhiều hai giá trị mode) Std Deviation 5.958378 51 Coefficient of Deviation 0.3995693 Variance 35.50227 Skewness 1.695276 Kurtosis 4.079023 Range 35 Minimum Maximum 40 Count 250 b Visualization Histogram  Cú pháp: hist(, main = “Tên biểu đồ”, ylab = “Đơn vị”, col = “Màu sắc”, border= “Màu đường viền”)  Trong đó: + col= ‘orange’: cột có màu cam + border= ‘black’: cột ngăn cách viền đen Box plot: 52  Cú pháp: boxplot(, main = “Tên biểu đồ”, ylab = “Đơn vị”, col = “Màu sắc”)   Trong đó:  + col= ‘orange’: cột có màu cam + border= ‘black’: cột ngăn cách viền đen  Bằng ngôn ngữ Python a Tính toán giá trị: Count, Min, Max, Mean, Median, Mode, Quantile, Range, Mode, Variance, Standard Deviation, Coefficient of Deviation, Skewness, Kurtosis  Bước 1: Khai báo thư viện pandas Đọc file Excel Thư viện pandas: thư viện mã nguồn mở xây dựng dựa NumPy, sử dụng thao tác phân tích liệu, thiết kế phép bạn làm việc với liệu gắn nhãn quan hệ theo cách trực quan  Bước 2: Tiến hành tính tốn giá trị Thực số hàm đơn giản không cần thư viện: 53 Sử dụng thư viện pandas khai báo để chạy hàm lại: Viện gọi hàm thu viện pandas cần ghi: .() Hàm mode_function có chức tìm kiếm giá trị có tần số xuất cao số lần xuất giá trị Trong đó: + Trước tiên, duyệt giá trị tồn mảng điểm số lần xuất 54 + Sau đó, tìm giá trị có tần số xuất với giá trị lớn tất tần số liệu  Bước 3: Kết thu được: Repair Time (Days) Mean 14.912 Median 14 Mode NA (do có nhiều hai giá trị mode) Std Deviation 5.958377720507565 Coefficient of Deviation 0.3995693213859687 Variance 35.50226506024093 55 Skewness 1.6952755753095305 Kurtosis 4.079023408828643 Range 35 Minimum Maximum 40 Count 250 b Visualization Histogram  Thư viện matplotlib:   Là thư viện Python phổ biến sử dụng để trực quan hóa liệu Nó thư viện đa tảng để tạo đồ thị 2D từ liệu mảng Matplotlib viết Python sử dụng NumPy, phần mở rộng tốn học Python Nó cung cấp API hướng đối tượng giúp nhúng plot trong ứng dụng và sử dụng cơng cụ GUI Python PyQt, WxPythonotTkinter Ngồi ra có thể sử dụng Python IPython shell, Jupyter Notebook và máy chủ web  Một Matplotlib figure phân loại thành nhiều phần đây: + Figure: Như cửa sổ chứa tất bạn vẽ + Axes: Thành phần figure axes (những khung nhỏ để vẽ hình lên đó) Một figure chứa nhiều axes Nói cách khác, figure khung chứa, axes thật nơi hình vẽ vẽ lên + Axis: Chúng dịng số giống đối tượng đảm nhiệm việc tạo giới hạn biểu đồ + Artist: Mọi thứ mà bạn nhìn thấy figure artist như Text objects, Line2D objects, collection objects + Hầu hết Artists gắn với Axes + Thư viện matplotlib.pyplot: Pyplot module Matplotlib cung cấp hàm đơn giản để thêm thành phần plot lines, images, text, … vào axes figure  Vẽ sau: 56 + range(0, 41, 1): thể giá trị từ đến nhỏ 41 với bước nhảy + color= ‘orange’: cột có màu cam + edgecolor= ‘black’: cột ngăn cách viền đen Box plot: 1c: Trả lời câu hỏi sau: Phân biệt a) Null hypothesis Alternative hypothesis  Giả thuyết không (Null hypothesis): giả thuyết rút từ xác suất túy ban đầu Kí hiệu H0 57  Giả thuyết nghịch (Alternative hypothesis): giả thuyết cho có yếu tố ảnh hưởng đến kết nguyên thủy H0 khiến cho kết nghịch lại vs giả thuyết ban đầu Kí hiệu H1  Vd: Bình thường (mặc định) tỉ lệ nam tỉ lệ nữ, đến năm 2022 có người đưa giả thuyết tỉ lệ nam ko tỉ lệ nữ Vậy ta có: - H0: Tỉ lệ nam nữ - H1: Tỉ lệ nam nữ có chênh lệch b) Type I error  và Type II error  Ln có trường hợp xảy sau: H0 kiểm định thất bại việc bác bỏ H0 H0 mà kiểm định lại bác bỏ H0 => Sai lầm loại (Type I error) H0 sai mà kiểm định lại thất bại việc bác bỏ H0 => Sai lầm loại (Type II error) H0 sai kiểm định bác bỏ H0 c) Giá trị: α và p-value:  α xác suất cho Sai lầm loại xảy (TH2) Giá trị tự đặt  p-value xác suất giả thuyết H0 (TH1 TH2) Giá trị phải tính tốn Áp dụng a) Câu cho Example 7.5  Giả thuyết H : μ0 = μ = 25 H 1: μ ≠25 Ta có ∝ = 5% t n−1 ,∝/ = t 43,0.025 = 1.68 -t n−1 ,∝/ = - t 43,0.025 = -1.68 Độ lệch chuẩn s = 19.49 t= x−μ0 s/√n = 21.91−25 −3.09 = =−1.05 19.49/ √ 44 2.938 Ra định: -t n−1 ,∝/ < t < t n−1 ,∝/ -1.68 < -1.05 < 1.68 58 => Chấp nhận giả thuyết H (Những kiện từ mẫu không đủ mạnh để bác bỏ H 0) b) Câu cho  Example 7.15, 7.16, 7.17  Sử dụng kiểm định mức ý nghĩa 5%, xác định xem giới tính nhãn hiệu ưa thích nước tăng lực coi biến độc lập hay không?  H 0: Giới tính nhãn hiệu biến độc lập  H 1: Giới tính nhãn hiệu biến phụ thuộc Hình 47: Số liệu thu thập số lượng nam nữ tương ứng với số lượng nhãn hàng thích họ  Dựa cơng thức tính tần số mong đợi, ta tính tần số mong đợi giới tính  Áp dụng cơng thức tính Chi-Square: 59 Hình 48: Cơng thức tính Chi - square  Áp dụng công thức giá trị tới hạn (critical value) Chi-Square: 60  Áp dụng công thức p-value:  Với cách tiếp cận giá trị tới hạn:  Ta thấy 6.49 > 5.99  Giá trị Chi-Square > giá trị Chi-Square critical value (6.49 > 5.99)  Bác bỏ H  Với cách tiếp cận p-value:  Ta thấy 0.0389 < 0.05  Giá trị p-value < mức ý nghĩa  Bác bỏ H 61 62 Phần II: Phân công Thành viên Lê Thị Ái Nhi Lê Hữu Thắng Trịnh Thị Thanh Trúc Đặng Vũ Phương Uyên Công việc Thực yêu cầu câu 1b tập liệu Purchase Orders Thực yêu cầu câu 1C: - Tìm hiểu cách áp dụng kiến thức cho example 7.5, 7.15, 7.16, 7.17 Thực yêu cầu câu 1a: - Tính giá trị ngôn ngữ R Python - Dùng MS Excel visualize giá trị tính Thực yêu cầu câu 1C: - Tìm hiểu cách áp dụng kiến thức cho example 7.5, 7.15, 7.16, 7.17 Thực yêu cầu câu 1C: - Phân biệt Null hypothesis Alternative hypothesis - Phân biệt Type I error Type II error - Phân biệt Giá trị: α p-value - Tìm hiểu cách áp dụng kiến thức cho example 7.5, 7.15, 7.16, 7.17 Trình bày báo cáo Thực yêu cầu câu 1b tập liệu Computer Repair Times Mức độ hoàn thành 100% 100% 100% 100% 63 Nguyễn Thị Thu Phương Thực yêu cầu câu 1a: - Tính giá trị ngôn ngữ R Python - Dùng MS Excel visualize giá trị tính Thực yêu cầu câu 1C: - Tìm hiểu cách áp dụng kiến thức cho example 7.5, 7.15, 7.16, 7.17 100% Tài liệu tham khảo 64 ... 1b: Thực yêu cầu tương tự 1a với tập tin liệu: 18 Phát biểu toán (hay vấn đề) cần giải 18 Phân tích liệu Purchase order 19 Phân tích liệu Computer Repair Times 37 1c:... Tứ phân vị đại lượng mô tả phân bố phân tán tập liệu có giá trị số phân chia nhóm kết quan sát số thành bốn phần, phần có số liệu quan sát (=25% số kết quan sát) Tứ phân vị có giá trị, tứ phân. .. Kurtosis Hình 39: Số liệu cụ thể tập tin Purchase Orders 18 Hình 40: Số liệu cụ thể tập tin Purchase Orders Phân tích liệu Purchase order  Bằng cơng cụ MS Excel Phân tích cột liệu Cost per order