Phân tích diện tích gieo trồng một số cây hàng năm

Phân tích diện tích gieo trồng một số cây hàng năm

KHOA CÔNG NGHỆ THÔNG TIN -o0o -

BÁO CÁO BÀI TẬP LỚN MÔN: PHÂN TÍCH THỐNG KÊ SỐ LIỆU

ĐỀ TÀI: DIỆN TÍCH GIEO TRỒNG MỘT SỐ CÂY HÀNG NĂM

GV hướng dẫn: Th.S Nguyễn Thị Thanh Huyền

Lớp: KHMT1 – K5

Nhóm thực hiện: Nhóm 10

MỤC LỤC

Hà Nội, tháng 08 năm 2013

LỜI NÓI ĐẦU

“Phân tích thống kê số liệu” là một ngành khoa học có ứng dụngtương đối rộng rãi trong các lĩnh vực của đời sống như nông nghiệp, kinh

tế, y học, các ngành khoa học… Nó giúp chúng ta có những đánh giá, dựbáo về một sự kiện, một đối tượng nào đó, từ đó giúp chúng ta đưa rađược những giải pháp đúng đắn để phát huy cũng như hạn chế, khắc phụcnhững ưu và nhược điểm của sự kiện, đối tượng đó

Đối với Nhóm 10- ĐH Khoa Học Máy Tính 1-K5 thì “Phântích thống kê số liệu” là một môn mới và xa lạ Tuy nhiên trong quá trìnhhọc và nghiên cứu môn nhóm đã được tìm hiểu và được sự hướng dẫn của

cô giáo Nguyễn Thị Thanh Huyền Do vậy nhóm đã quyết định chọn đềtài bài tập lớn là: “Phân tích diện tích gieo trồng một số cây hàng năm” đểnghiên cứu Vận dụng những kiến thức đã học được nhóm đã nghiên cứu

và đưa ra những dự báo, đánh giá về tình hình diện tích gieo trồng các loạicây hàng năm của các vùng miền trên cả nước, thấy được sự chênh lệchgiữa các loại cây, từ đó sẽ đưa ra các dự báo thích hợp

Nhóm 10 xin chân thành cảm ơn cô giáo Nguyễn Thị Thanh Huyền

đã tận tình giúp nhóm hoàn thành bài tập lớn này

Hà Nội, tháng 08 năm 2013

Nhóm thực hiện: Nhóm 10-khmt1k5

BẢNG PHÂN CÔNG CÔNG VIỆC

0541060034 Nguyễn Trọng

Nghĩa

-Thực hiện phân tích dữliệu thu thập

-Dự báo bằng chuỗi thờigian, mô hình hồi quy đơnbiến

Thực hiện trên phầnmềm StatGraphics

-Tổng hợp báo cáo

05410600 Bùi Văn Nội

-Thực hiện phân tích dữliệu thu thập

-Phân tích dữ liệu bằng

mô hình hồi quy đơn biến, đabiến

-Thực hiện trên phầnmềm StatGraphics

0541060052 Lê Văn Vinh

-Thực hiện phân tích dữliệu thu thập

CHƯƠNG 1: CƠ SỞ LÝ THUYẾT

1.1 Mô hình hồi quy đơn biến

1.1.1 Khái niệm

Giả xử nhận thấy giá trị của y có xu hướng tăng hoặc giảm một cáchtuyến tính khi tăng x, ta có thể chọn một mô hình biểu diễn quan hệ của ytheo x bằng cách vẽ một đường cũng được “làm khớp ” cho một tập dữ liệu.Tuy nhiên vấn đề là: Làm thế nào vẽ một đường đi qua tất cả các điểm, ítnhất là một điểm sẽ lệch đáng kể so với đường thẳng được làm khớp

Các giải pháp cho vẫn đề:

Xây dựng một mô hình hồi quy tuyến tính đơn giản, sao cho giá trịtrung bình của y tương ứng với giá trị của x Đồ thị là đường thẳng và cácđiểm đi chệch so với đường thẳng này do ngẫu nhiên, và bằng e, tức là:

y=A+Bx+eTrong đó: A và B là các tham số chưa biết trong xác định mô hình Nếu tagiả xử giá trị kỳ vọng E(e)=0, thì giá trị trung bình của y là:

- y là biến phụ thuộc (biến được mô hình hóa, còn gọi là biến đápứng)

1.1.2 Tính hệ số tự do(A), độ nghiêng(B) theo phương pháp bình phương

dữ liệu mẫu Như vậy, là một ước lượng của các giá trị trung bình của y, và a, b

là ước lượng của A và B tương ứng Đối với một điểm số liệu, nói rằng các điểm(xi,yi), giá trị quan sát của y là yi và các giá trị dự đoán của y sẽ là:

và độ lệch của giá trị thứ i của y từ giá trị dự đoán của nó là:

Các giá trị của a và b làm cho tối thiểu SSE được gọi là các ước tính theophương pháp bình phương cực tiểu của các tham số quần thể A và B và phươngtrình dự báo được gọi là đường bình phương cực tiểu

Công thức tính toán cho đường bình phương cực tiểu:

1.1.3 Đánh giá phương sai ()

Trong hầu hết các tình huống thực tế, phương sai của số ngẫu nhiên echưa biết và phải được ước tính từ dữ liệu mẫu Với đo phương sai của cágiá trị y về đường hồi quy, trực giác ta ước tính bằng cách chia tổng số lỗiSSE cho một số thích hợp

1.1.4 Kiểm định về năng lực mô hình

1.2 Mô hình hồi quy đa biến

1.2.1 Giới thiệu các mô hình tuyến tính tổng quát

 Một số mô hình:

 Ta có thể chuyển mô hình bậc hai về mô hình bậc nhất:

Mô hình bậc hai:

Đặt Trở thành mô hình bậc nhất:

Do vậy, chúng ta chỉ xét mô hình hồi quy bậc nhất đa biến.

 Mô hình tuyến tính đa biến tổng quát

 Các lỗi ngẫu nhiên là độc lập

b) Phương pháp bình phương tối thiểu

Xét tương tự mô hình hồi quy tuyến tính một biến đơn giản

Giả sử ta có bảng dữ liệu mẫu:

N yn x1n x2n … xkn

Ta sẽ sử dụng phương pháp bình phương tối thiểu và tính B0, B1, B2,….,

Bk sao cho cực tiểu

SSE =

=Chúng ta có có thể viết ngắn gọn:

Y=, X=, b=

Sau đó chúng ta viết biểu biểu thức dưới dạng ma trận sau:

(X’X)b = X’Y

Trong đó X’ là chuyển vị của X

Suy ra : b = (X’X)-1 XY

c) Đánh giá phương sai

Vì phương sai sẽ hiếm khi được biết trước, chúng ta phải sử dụng các dữliệu mẫu để ước tính giá trị của nó

Ước lượng của , phương sai trong mô hình hồi quy đa biến

Trong đó

d) Đánh giá và kiểm định

 Kiểm định một phía:

H0: Bi=0; Ha: Bi<0 (hoặc Bi>0)Kiểm định thống kê

t = Vùng loại bỏ

t < -tα (hoặc t > t α)

 Kiểm định hai phía:

H0: Bi=0; Ha: Bi≠0Kiểm định thống kê

t = Vùng loại bỏ

t < -tα/2 (hoặc t > tα/2

e) Kiểm tra năng lực của mô hình

Kiểm tra năng lực của mô hình:

E(y) = B0 + B1x1 + … + Bkxk

H0: Bi=0; Ha: Bi≠0Kiểm định thống kê:

F=

Vùng bác bỏ: F > Fα

f) Sử dụng mô hình để ước lượng và dự báo

 Một khoảng tin cậy(1-α)100% đối với E(y)

tα/2 s

Trong đó:

= b0+b1x1*+b2x2*+…+bχxχ*

x*=(1 x1* x2* … xχ*)’ là một giá trị cụ thể của x

s và (X’X)-1 đạt được từ phân tích bình phương cực tiểu

tα/2 dựa trên số bậc tự do kết hợp với s, là [n-(k+1)]

 Một khoảng dự báo(1-α)100% đối với E(y)

tα/2 sTrong đó:

= b0+b1x1*+b2x2*+…+bχxχ*

x*=(1 x1* x2* … xχ*)’ là một giá trị cụ thể của x

s và (X’X)-1 đạt được từ phân tích bình phương cực tiểu

tα/2 dựa trên số bậc tự do kết hợp với s, là [n-(k+1)]

1.3 Mô hình tương quan

1.3.1 Tổng quan

Để mô tả độ tương quan giữa hai biến, chúng ta cần phải ước tính hệ số

tương quan (coefficient of correlation) Và, để hiểu “cơ chế” của hệ số tương

quan, chúng ta cần làm quen với khái niệm hiệp biến(covariance) Chúng ta biết rằng với một biến X hay Y, có ba thông số thống kê mô tả: số cỡ mẫu, số trung

(mean), và phương sai (variance), mà tôi đã bàn qua trong bài ‘Độ lệch chuẩnhay sai số chuẩn?’ Nhưng để mô tả mối tương quan giữa hai

biến X và Y, chúng ta cần đến hiệp biến.

Có thể hiểu hiệp biến qua hình học lượng giác như sau Chúng ta biết rằng

cho một tam giác vuông, nếu gọi cạnh huyền là c và hai cạnh còn lại là a và b,

Định lí Pythagoras cho biết bình phương cạnh huyền bằng tổng bình phương hai

cạnh kia:

Nhưng cho một tam giác thường, thì mối liên hệ giữa c và hai cạnh a và b phức tạp hơn với mối liên hệ được định lượng bằng hàm cosine của góc C như sau:

Tương tự như vậy, cho hai biến X và Y, và nếu hai biến này hoàn toàn độc lập với nhau, chúng ta có thể phát biểu rằng phương sai của biến X + Y bằng phương sai của X cộng với phương sai của Y:

var(X + Y) = var(X) + var(Y)

trong đó, “var” là viết tắt của phương sai (tức variance) Chú ý rằng X+Y là một

biến mới Chúng ta cũng chú ý rằng công thức này tương đương với Định líPythagoras cho tam giác vuông

Nếu hai biến X và Y có tương quan nhau, thì công thức trên được thay thế

bằng một công thức khác với hiệp biến:

var(X + Y) = var(X) + var(Y) + 2×Cov(X,Y)

trong đó, “Cov” là viết tắt của hiệp biến (tức covariance) Chúng ta chú ý rằngcông thức này tương đương với công thức của tam giác thường, và cũng chú ýrằng công thức trên giống như nhị thức:

Trên đây là khái niệm Bây giờ để đi vào chi tiết toán, chúng ta cần một

số kí hiệu để viết tắt các chỉ số trên Gọi xi và yi là hai biến quan sát được

của X và Y cho cá nhân i Giả sử chúng ta có n đối tượng thì i = 1, 2, 3, …., n Gọi và là hai số trung bình của biến quan sát được x và y; và lần lược

là phương sai của hai biến, được định nghĩa như sau:

Do đó, nếu X và Y độc lập, chúng ta có thể viết:

Nhưng nếu X và Y có liên hệ với nhau, công thức trên không đáp ứng

được vấn đề mô tả Chúng ta cần tìm một chỉ số khác mô tả mối liên hệ giữa hai

biến, bằng cách nhân độ lệch của biến x từ số trung bình, , cho độ lệch

của biến y, , thay vì bình phương độ lệch từng biến riêng lẻ như côngthức [1] Nói cách khác, tích số hai độ lệch chính là hiệp biến Đối với mỗi cánhân, hiệp biến là:

Nhưng ở đây chúng ta có n đối tượng, cho nên cần phải cộng tất cả lại và

chia cho số đối tượng:

Công thức [2] chính là định nghĩa của hiệp biến Từ hai công thức trên, chúng

ta có thể rút ra vài nhận xét sơ khởi:

o Phương sai lúc nào cũng là số dương, bởi vì chúng được tính toán

từ bình phương, nhưng hiệp biến có thể âm mà cũng có thể dương vì được ướctính từ tích của hai độ lệch

o Một hiệp biến là số dương có nghĩa là độ lệch từ số trung bình của x tuân theo chiều hướng thuận với y.

o Một hiệp biến là số âm có nghĩa là độ lệch từ số trung bình của x tuân theo chiều hướng nghịch với y.

o Nếu hiệp biến là 0, thì hai biến x và y độc lập nhau, tức không có tương

quan gì với nhau

Một cách để “chuẩn hóa” hiệp biến và phương sai là lấy tỉ số của hai chỉ số này,

và đó chính là định nghĩa củahệ số tương quan Hệ số tương quan thường được

kí hiệu bằng r:

(Chú ý rằng căn số bậc hai của phương sai là độ lệch chuẩn, tức

là: , cho nên công thức trên được mô tả bằng độ lệch chuẩn,thay vì phương sai) Với vài thao tác đại số, có thể viết lại công thức [3] nhưsau:

Công thức còn được biết đến như là hệ số Pearson (Pearson’s correlationcoefficient) để ghi nhận cống hiến của nhà thống kê học nổi tiếng Karl Pearson,người đầu tiên phát triển lí thuyết về tương quan vào đầu thế kỉ 20

Nếu giá trị của r là dương, hai biến x và y cùng biến thiên theo một hướng; nếu giá trị của r là âm, x và y liên hệ đảo ngược: tức khi khi x tăng thì y giảm, và ngược lại Nếu r = 1 hay r = -1 (Biểu đồ 1a và 1b), mối liên hệ củay và x được hoàn toàn xác định; có nghĩa là cho bất cứ giá trị nào của x, chúng ta có thể xác định giá trị của y.Nếu r = 0 (Biểu đồ 1c), hai biến x và y hoàn toàn độc lập, tức

không có liên hệ với nhau

Biểu đồ 1: Mối liên hệ giữa x và y: (a) r = 1, (b) r = -1, và (c) r = 0

lí do dao động sinh học, mối liên hệ giữa x và y thường dao động cao hơn -1 và

thấp hơn 1, như Biểu đồ 1d, 1e và 1f

Vấn đề đặt ra là diễn dịch ý nghĩa của hệ số tương quan như thế nào? Cóthể xem hệ số tương quan như là một “hệ số ảnh hưởng” (effect size) Nếu hệ sốảnh hưởng càng cao, thì mối liên hệ có ý nghĩa lâm sàng thực tế Tuy nhiên, vì

ý nghĩa lâm sàng còn tùy thuộc vào bộ môn khoa học Chẳng hạn như đối vớicác bộ môn khoa học đòi hỏi độ chính xác cao, hệ số tương quan phải trên 0.8mới có thể xem là “có ý nghĩa”; nhưng đối với các bộ môn khoa học lâm sàng

và y tế công cộng, một hệ số tương quan 0.6 cũng có thể là có ý nghĩa

Sau đây là những qui ước chung về cách diễn dịch hệ số tương quan tronglâm sàng và y tế công cộng

Bảng 2 Ý nghĩa của hệ số tương quan

Hệ số tương quan Ý nghĩa

±0.01 đến ±0.1 Mối tương quan quá thấp, không đáng

kể

±0.2 đến ±0.3 Mối tương quan thấp

±0.4 đến ±0.5 Mối tương quan trung bình

±0.6 đến ±0.7 Mối tương quan cao

±0.8 trở lên Mối tương quan rất cao

Cần nhấn mạnh một lần nữa, đây chỉ là những giá trị tham chiếu, nó không

có nghĩa là những “tiêu chuẩn vàng” để ứng dụng

1.3.2.Ví dụ

Ví dụ 1 – Cân nặng và vòng eo Số liệu sau đây được trích ra từ một

nghiên cứu qui mô (trên 3000 người) ở Việt Nam về mối liên hệ giữacác chỉ số nhân trắc và bệnh tiểu đường Trọng lượng và vòng eo của

15 đối tượng được đo lường và kết quả như sau:

Trọng lượng(weight; kg)

Chú ý rằng cân nặng được tính bằng kg và vòng eo bằng cm Biểu đồ 2 sau đây

thể hiện mối liên hệ giữa hai biến:

Biểu đồ 2 Mối tương quan giữa vòng eo

(waist) và cân nặng (weight) ở 15 đối tượng

người Việt được chọn ngẫu nhiên

Áp dụng công thức [1] trên chúng ta có thể mô tả hai biến này qua các chỉ sốthống kê như sau:

o Hiệp biến của hai trọng lượng và vòng eo: Cov(x, y) = 71.2

Do đó, hệ số tương quan giữa trọng lượng và vòng eo (theo công thức [3]) là:

Dựa vào qui ước vừa đề cập trong phần trên, chúng ta có thể nói trong nhóm đốitượng này, mối tương quan giữa cân nặng và vòng eo rất cao Nếu mối tươngquan này được lặp lại ở một hay nhiều nhóm đối tượng khác, có thể sử dụngvòng eo để tiên đoán trọng lượng

1.3.3.Khoảnh tin cậy 95 % của hệ số tương quan

Cũng như các thông số thống kê khác như số trung bình và độ lệchchuẩn, hệ số tương quan cũng chịu ảnh hưởng của dao động giữa cácmẫu Do đó, chúng ta cần phải ước tính khoảng tin cậy 95% của hệ sốtương quan Xin nhắc lại rằng, chúng ta không biết hệ số tương quan thật(tức là hệ số trong quần thể, và hãy gọi hệ số này là ρ) là bao nhiêu, nênphải sử dụng hệ số r để ước tính ρ

Muốn ước tính khoảng tin cậy 95% của ρ, chúng ta cần phải ước tính độlệch chuẩn của r

Lý thuyết thống kê cho biết độ lệch chuẩn của r là: Khó khăn ở đây, như công thức này cho thấy, là độ lệch chuẩn của r tùy thuộc vào r, tức là mất tính

độc lập Do đó, cần phải tìm một phương pháp khác sao cho khách quan hơn Nhà thống kê học (và cũng là cha đẻ của khoa học thống kê hiện đại và cha đẻcủa lí thuyết di truyền hiện đại) Ronald A Fisher chứng minh rằng thay vì tính

độ lệch chuẩn của r, có thể tính độ lệch chuẩn của một hàm số của r và sẽ đạt

được mục tiêu khách quan

Theo phương pháp của Fisher, trước hết chúng ta cần phải hoán

chuyển r sang một chỉ số mới z, qua công thức sau đây:

Và, có thể chứng minh rằng độ lệch chuẩn của z là:

Do đó, khoảng tin cậy 95% của z là: z ± 1.96*s z Tất nhiên, sau khi đã

ước tính được khoảng tin cậy 95% của z, chúng ta có thể hoán chuyển ngược lạicho khoảng tin cậy 95% của ρ

1.3.4.Kiểm định 2 hệ số tương quan

Giả sử chúng ta có hai hệ số tương quan r1 và r2, là ước số của hai hệ sốρ1 và ρ2 trong một quần thể Hai hệ số r1 và r2 được ước tính từ haimẫu độc lập n1 và n2 đối tượng Để kiểm định giả định rằng ρ1=ρ2

và giả định ρ1≠ρ2 , chúng ta trước hết cần phải hoán chuyển r thànhchỉ số z:

Gọi d = z 1 -z 2 , chúng ta có thể chứng minh rằng phương sai của d là:

Hay, nói cách khác, độ lệch chuẩn của d là:

Và kiểm định cho giả thuyết ρ1=ρ2 có thể tính toán chỉ số t như sau:

Có thể chứng minh rằng nếu giả thuyết ρ1=ρ2 là đúng thì t tuân theo luật

phân phối chuẩn với trung bình 0 và phương sai 1 Điều này có nghĩa là nếu giá

trị của t thấp hơn -2 hay cao hơn +2, chúng ta có thể nói hai hệ số tương quan

khác nhau có ý nghĩa thống kê

1.4 Chuỗi thời gian

1.4.1 Định Nghĩa

• Chuỗi thời gian là tập hợp các giá trị của một biến ngẫu nhiên được sắp xếp theo thứ tự thời gian

• Chuỗi thời gian còn được gọi là dãy số thời gian Đơn vị thời gian có thế

là ngày, tháng, quý, năm

• Phân tích chuỗi thời gian có mục đích là làm rõ cấu trúc của chuỗi thời gian( túc là các thành phần của nó) trong sự biến động của bản thân no Trên cơ sở đó có thể thẩy rõ bản chất cũng như quy luật của các hiện tượng thông qua một chỉ tiêu cụ thể, từ đó có thể dự báo ngắn hạn giá trị của chuôi đó

• Phương pháp phân tích chuỗi thời gian có:

 Phương pháp phân rã

 Phương pháp Box – Renkins

1.4.2 Phương pháp phân rã

 Phân tích xu thế

Đây là một phân tích liên quan đến chuỗi nhiều năm, do đó ta sẽ sử dụng

số liệu hàng năm để phân tích Một cách tổng quát ta cần phải có một chuỗidài ra ít ra là 10-15 năm

Để đánh giá yếu tố xu thế , phương pháp sử dụng phổ biến là:Phương pháp

bình phương tối thiểu (BPTT)

Đây là phương pháp cho phép xác định được đường cong ( thẳng ) hoặcmặt phẳng ( Siêu mặt phẳng ) biểu thị xu thế số liệu, giới thiệu “tốt nhất “ sốliệu trong quá khứ ( “ gần với số liệu quan sát “).

Trong trường hợp cá biệt khi nhận thấy xu thế của biến khảo sát trong thờigian dài là tuyến tính , phương trình sẽ xác định bởi

[ ( )]

N i i

0 )]

( [

( [

t bt a y

t N t

y t N y t

) (

.

= =

= ∑ 1

1

N-> tổng số quan trắc

Chú ý : Trong trường hợp xu thế không phải là tuyến tính , ta có thể xét đến

dạng đường cong hàm mũ y=abt hoặc dạng parabol y = a + bt + ct2

Các thông số a , b, c vẫn xác định dựa vào khái niệm bình phương tối thiểu

mà ta vừa nghiên cứu ở trên

CHƯƠNG 2: THU THẬP DỮ LIỆU ĐỂ PHÂN TÍCH

2.1 Dữ liệu thu thập

Bảng diện tích gieo trồng một số cây hang năm từ năm 2000-2011

2.2 Chọn phương pháp để phân tích dữ liệu

- Đề tài : Phân tích diện tích gieo trồng một số cây hàng năm

- Tập dữ liệu nhóm 10 sưu tập gồm 7 đối tượng , 12 bộ dữ liệu được lấy từ tổng cục thống kê

- Lựa chọn phương pháp phân tích bài toán

+ Phương pháp phân tích đặc trưng

+ Phân tích hồi quy tuyến tính đơn, đa biến

+ Phân tích chuỗi thời giana)Phương pháp phân tích đặc trưng

Chúng ta tiến hành phân tích từng thành phần số liệu riêng của từng sảnlượng của từng yếu tốvà rút ra các bảng kết quả sau:

• Variance: Phương sai

• Standard deviation: Độ lệch chuẩn

• Coeff of variation: Hệ số biến thiên

• Standard Error: Sai số chuẩn

• Minimum: Trị số quan sát bé nhất

• Maximum: Trị số quan sát lớn nhất

• Range: Độ biến thiên

• Skewness: Độ lệch của phân bố

• Kurtosis: Độ nhọn của phân bố

Sum: Tổng các trị số quan sátb) Phương pháp hồi quy tuyến tính đơn

Xét độ nghiêng của đồ thị để xem mô hình có thể chấp nhận Ho hay

Ha

Tức là ta phải tính giá trị ttính và so sánh với giá trị t bảng :

- Nếu t tính> t bảng : chấp nhận Ha và kết luận mô hình đưa ra khá thích hợp với dự báo

- Ngược lại nếu t tính< t bảng : chấp nhận Ho và kết luận mô hình không có ý nghĩa, không đủ năng lực dự báo

c) Phương pháp hồi quy tuyến tính đa biến

- Hàm hồi quy bộ tổng thể(PRF) : Y=

Trong đó:

+ : là hệ số tự do( hệ số chặn)

+ : là hệ số hồi qui riêng

: sai số ngẫu nhiên

- Hàm hồi quy mẫu(SRF):

Trong đó:

+ là ước lượng của giá trị trung bình của đối với biến đã biết

+ là ước lượng của

ứng dụng trong StatGraphic -> Chương 3

d) Phân tích chuỗi thời gian

Dùng phương pháp chuỗi thời gian để dự đoán diện tích gieo trồng năm tiếp theo của Ngô, Mía , Lạc …

Sử dụng mô hình tuyến tính đơn và phân tích chuỗi thời gian để dự báo

CHƯƠNG 3: PHÂN TÍCH VÀ DỰ BÁO QUA PHẦN MỀM

STARTGRAPHIC

3.1 Sử dụng phương pháp phân tích đặc trưng trong StatGraphics.

Bảng 3.1 phân tích đặc trưng diện tích gieo trồng của tất cả các loại cây

Y1 Y2 Y3 Y4 Y5 Y6

Average(TBC) 986.133 287.233 19.075 247.492 172.325 7450.03 Standard