Môn phân tích và thiết kế số liệu

Mục lục CHƯƠNG 1: CƠ SỞ LÝ THUYẾT .3 1.1 Phân tích đại lượng đặc trưng .3 1.1.1 Phân tích phương sai (σ2 S2) .3 1.1.2 Trung vị (Med) 1.1.3 Độ lệch chuẩn độ sai chuẩn 1.2 1.3 1.4 1.5 Mơ hình hồi quy đơn biến 1.2.1 Khái niệm 1.2.2 Tính hệ số tự do(A), độ nghiêng(B) theo phương pháp bình phương cực tiểu .5 1.2.3 Đánh giá phương sai () 1.2.4 Kiểm định lực mô hình Mơ hình hồi quy đa biến 1.3.1 Giới thiệu mơ hình tuyến tính tổng qt 1.3.2 Hồi quy đa biến .8 Mơ hình tương quan 10 1.4.1 Tổng quan .11 1.4.2 Khoảnh tin cậy 95 % hệ số tương quan 15 1.4.3 Kiểm định hệ số tương quan 16 Chuỗi thời gian 16 1.5.1 Định Nghĩa 16 1.5.2 Phương pháp phân rã 17 CHƯƠNG 2: THU THẬP DỮ LIỆU ĐỂ PHÂN TÍCH 19 2.1 Dữ liệu thu thập .19 2.2 Chọn phương pháp để phân tích liệu 22 CHƯƠNG 3: PHÂN TÍCH VÀ DỰ BÁO DỰA VÀO PHẦN MỀM STATGRAPHCS 37 3.1 Các đại lượng đặc trưng .37 3.2 Mơ hình hồi quy đơn biến 50 3.3 Mơ hình hồi quy đa biến 60 3.4 Dự báo theo chuỗi thời gian 64 TÀI LIỆU THAM KHẢO .71 CHƯƠNG 1: CƠ SỞ LÝ THUYẾT 1.1 Phân tích đại lượng đặc trưng 1.1.1 Phân tích phương sai (σ2 S2) Phương sai giá trị kỳ vọng bình phương độ lệch x so với giá trị trung bình nó, hay phương sai “trung bình bình phương khoảng cách điểm liệu tới trung bình” σ2 S2 = Hay : σ2 S2 = Công thức thực dụng để tìm phương sai: S2 = Với N’ = N N > 30 (), N’ = N – N < 30 () N’ có chất bậc tự tập số liệu Phương sai đặc trưng cho sai biệt số liệu kết thực nghiệm Phương sai lớn, sai biệt lớn Ngược lại phương sai nhỏ sai biệt nhỏ Phương sai biểu diễn độ phân tán tập số liệu kết thực nghiệm giá trị trung bình Phương sai lớn độ phân tán xung quanh giá trịnh trung bình lớn ngược lại 1.1.2 Trung vị (Med) Là số đứng tập số liệu xếp theo thứ tự từ bé đến lớn Chia đãy số thành phần Số trung vị tập N số lẻ: Med = , Số trung vị tập N số chẵn: Med = 1.1.3 Độ lệch chuẩn độ sai chuẩn  Độ lệch chuẩn: - Độ lệch chuẩn có thứ nguyên có ý nghĩa phương sai - Được tính cơng thức: Sf =  Độ sai chuẩn: - Được tính cơng thức: Sx = 1.2 Mơ hình hồi quy đơn biến 1.2.1 Khái niệm Giả xử nhận thấy giá trị y có xu hướng tăng giảm cách tuyến tính tăng x, ta chọn mơ hình biểu diễn quan hệ y theo x cách vẽ đường “làm khớp” cho tập liệu Tuy nhiên vấn đề là: Làm vẽ đường qua tất điểm, điểm lệch đáng kể so với đường thẳng làm khớp Các giải pháp cho đề: Xây dựng mô hình hồi quy tuyến tính đơn giản, cho giá trị trung bình y tương ứng với giá trị x Đồ thị đường thẳng điểm chệch so với đường thẳng ngẫu nhiên, e, tức là: y=A+Bx+e Trong đó: A B tham số chưa biết xác định mơ hình Nếu ta giả xử giá trị kỳ vọng E(e)=0, giá trị trung bình y là: y= A+Bx Do đó, xét giá trị trung bình y tương ứng giá trị xác định x, đồ thị đường thẳng Viết dạng tổng quát, với mô hình tuyến tính đơn giản, ta có y= A+Bx+e Trong đó: - y biến phụ thuộc (biến mơ hình hóa, cịn gọi biến đáp ứng) - x biến độc lập - e lỗi ngẫu nhiên - A hệ số tự - B độ nghiêng đường thẳng 1.2.2 Tính hệ số tự do(A), độ nghiêng(B) theo phương pháp bình phương cực tiểu Vấn đề phân tích hồi quy đơn giản tìm ước lượng A B mơ hình hồi quy dựa liệu mẫu Giả sử có mẫu n điểm liệu (x1,y1), (x2,y2), , (xn,yn) Mơ hình đường thẳng cho y tương ứng với x là: y=AB + x+e Đường thẳng trung bình E(y) = A+Bx đường làm khớp với liệu mẫu Như vậy, ước lượng giá trị trung bình y, a, b ước lượng A B tương ứng Đối với điểm số liệu, nói điểm (xi, yi), giá trị quan sát y yi giá trị dự đoán y là: Và độ lệch giá trị thứ i y từ giá trị dự đoán là: Các giá trị a b làm cho tối thiểu SSE gọi ước tính theo phương pháp bình phương cực tiểu tham số quần thể A B phương trình dự báo gọi đường bình phương cực tiểu Cơng thức tính tốn cho đường bình phương cực tiểu: 1.2.3 Đánh giá phương sai () Trong hầu hết tình thực tế, phương sai số ngẫu nhiên e chưa biết phải ước tính từ liệu mẫu Với đo phương sai cá giá trị y đường hồi quy, trực giác ta ước tính cách chia tổng số lỗi SSE cho số thích hợp 1.2.4 Kiểm định lực mơ hình  Kiểm định phía Kiểm định thống kê: Vùng bác bỏ ( dựa bậc tự df = (n-2))  Kiểm định phía Kiểm định thống kê: Vùng bác bỏ ( dựa bậc tự df = (n-2)) 1.3 Mơ hình hồi quy đa biến 1.3.1 Giới thiệu mơ hình tuyến tính tổng qt  Một số mơ hình:  Ta chuyển mơ hình bậc hai mơ hình bậc nhất: Mơ hình bậc hai: Đặt Trở thành mơ hình bậc nhất: Do vậy, xét mơ hình hồi quy bậc đa biến  Mơ hình tuyến tính đa biến tổng quát Trong đó: - y: biến phụ thuộc (biến mơ hình hóa) - x1, x2, … , xk: biến độc lập - e: lỗi ngẫu nhiên - Bi: xác định đóng góp biến độc lập xi 1.3.2 Hồi quy đa biến a) Giả định Các giả định cần thiết cho mơ hình hồi quy tuyến tính đa biến Trong e sai số ngẫu nhiên :  Đối với giá trị x1, x2,…, xk lỗi ngẫu nhiên e có phân bố chuẩn với trung bình phương sai  Các lỗi ngẫu nhiên độc lập b) Phương pháp bình phương tối thiểu Xét tương tự mơ hình hồi quy tuyến tính biến đơn giản Giả sử ta có bảng liệu mẫu: Điểm Giá trị y x1 x2 … xk liệu y1 x11 x21 … xk1 y2 x12 x22 … xk2 N yn x1n x2n … xkn Ta sử dụng phương pháp bình phương tối thiểu tính B 0, B1, B2,… Bk cho cực tiểu SSE = = Chúng ta có viết ngắn gọn: Y=, X=, b= Sau viết biểu biểu thức dạng ma trận sau: (X’X)b = X’Y Trong X’ chuyển vị X Suy ra: b = (X’X)-1 XY c) Đánh giá phương sai Vì phương sai biết trước, phải sử dụng liệu mẫu để ước tính giá trị Ước lượng , phương sai mơ hình hồi quy đa biến Trong đó: d) Đánh giá kiểm định  Kiểm định phía: H0: Bi=0; Ha: Bi0) Kiểm định thống kê t= Vùng loại bỏ t < -tα (hoặc t > t α)  Kiểm định hai phía: H0: Bi=0; Ha: Bi≠0 Kiểm định thống kê t= Vùng loại bỏ t < -tα/2 (hoặc t > tα/2 e) Kiểm tra lực mơ hình Kiểm tra lực mơ hình: E(y) = B0 + B1x1 + … + Bkxk H0: Bi=0; Ha: Bi≠0 Kiểm định thống kê: F= Vùng bác bỏ: F > Fα f) Sử dụng mơ hình để ước lượng dự báo  Một khoảng tin cậy(1-α)100% E(y) tα/2 s Trong đó: = b0+b1x1*+b2x2*+…+bχxχ* x*=(1 x1* x2* … xχ*)’ giá trị cụ thể x s (X’X)-1 đạt từ phân tích bình phương cực tiểu tα/2 dựa số bậc tự kết hợp với s, [n-(k+1)]  Một khoảng dự báo(1-α)100% E(y) tα/2 s Trong đó: = b0+b1x1*+b2x2*+…+bχxχ* x*=(1 x1* x2* … xχ*)’ giá trị cụ thể x s (X’X)-1 đạt từ phân tích bình phương cực tiểu tα/2 dựa số bậc tự kết hợp với s, [n-(k+1)] 1.4 Mơ hình tương quan 1.4.1 Tổng quan Để mô tả độ tương quan hai biến, cần phải ước tính hệ số tương quan (coefficient of correlation) Và, để hiểu “cơ chế” hệ số tương quan, cần làm quenvới khái niệm hiệp biến (covariance) Chúng ta biết với biến X hay Y, có ba thơng số thống kê mô tả: số cỡ mẫu, số trung (mean), phương sai (variance), mà bàn qua ‘Độ lệch chuẩn hay sai số chuẩn?’ Nhưng để mô tả mối tương quan hai biến X Y, cần đến hiệp biến Có thể hiểu hiệp biến qua hình học lượng giác sau Chúng ta biết cho tam giác vuông, gọi cạnh huyền c hai cạnh lại a b, Định lí Pythagoras cho biết bình phương cạnh huyền tổng bình phương hai cạnh kia: Nhưng cho tam giác thường, mối liên hệ c hai cạnh a b phức tạp với mối liên hệ định lượng hàm cosine góc C sau:  Năm 2013  Năm 2014  Năm 2015  Năm 2016 3.3 Mơ hình hồi quy đa biến Các bước thực hiện: Improve -> Regression Analysis -> Multiple Factors -> Multiple Regression… Sau hộp thoại Multiple Regression xuất Y chọn biến phụ thuộc cịn X chọn biến độc lập -> OK Hộp thoại sau xuất -> chọn liệu cần -> Ok Kết thu sau: - Nhiệt độ khơng khí phụ thuộc vào yếu tố số nắng, lượng mưa, độ ẩm khơng khí qua năm:  Năm 2011  Năm 2012  Năm 2013  Năm 2014  Năm 2015  Năm 2016 3.4 Dự báo theo chuỗi thời gian - Dữ liệu thu thập để thực dự báo: Các bước thực hiện: Chọn Forecast -> Forecasting -> Users – Specified Model… Hộp thoại xuất chọn liệu cần dùng Đây dự báo theo chuỗi thời gian nên phải đánh số năm bắt đầu liệu -> OK Hộp thoại sau xuất -> chọn liệu cần -> OK Kết thu sau: - Dự báo số nắng năm sau:  Biểu đồ năm liệu thu thập: Nhận xét: Ta thấy số nắng có tượng xuống, rõ rệt năm 2014 – 2015 giảm  Dữ liệu dự báo năm sau: - Dự báo lượng mưa năm sau:  Biểu đồ lượng mưa từ 2011-2016: Nhận xét: Tổng lượng mưa qua năm có tượng lên, ngày cao không đồng  Dữ liệu dự báo năm sau: - Dự báo độ ẩm khơng khí năm sau:  Biểu đồ độ ẩm khơng khí từ 2011-2016 Nhận xét: Độ ẩm khơng khí đồng đều, lên dần  Dữ liệu sau năm sau - Dự báo nhiệt độ khơng khí năm sau:  Biểu đồ biểu diễn nhiệt độ khơng khí từ 2011-2016  Dữ liệu dự báo TÀI LIỆU THAM KHẢO [1] Website Tổng cục thống kê [2] Hướng dẩn sử dụng StatGraphics – Võ Tấn Thành ... pháp phân tích chuỗi thời gian có:  Phương pháp phân rã  Phương pháp Box – Renkins 1.5.2 Phương pháp phân rã  Phân tích xu Đây phân tích liên quan đến chuỗi nhiều năm, ta sử dụng số liệu hàng... để phân tích liệu - Đề tài: Phân tích ảnh hưởng yếu tố: số nắng, độ ẩm khơng khí, lượng mưa đến nhiệt độ khơng khí khu vực Hà Nội - Tập liệu: tập lấy từ Tổng cục thống kê, đối tượng - Phân tích. .. biệt số liệu kết thực nghiệm Phương sai lớn, sai biệt lớn Ngược lại phương sai nhỏ sai biệt nhỏ Phương sai biểu diễn độ phân tán tập số liệu kết thực nghiệm giá trị trung bình Phương sai lớn độ phân