Lecture Statistical techniques in business and economics - Chapter 13: Linear regression and correlation

Chapter 13 - Linear regression and correlation, after studying this chapter you will be able to: Identify a relationship between variables on a scatter diagram, measure and interpret a degree of relationship by a coefficient of correlation, conduct a test of hypothesis about the coefficient of correlation in a population,...and other contents.

13 ­ 1 Copyright © 2004 by The McGraw­Hill Companies, Inc.  All rights reserved.  13 ­ 2 13 ­ 2 When you have completed this chapter, you will be able to:     Identify a relationship between variables on a  scatter diagram    Measure  and interpret a degree of relationship   by a coefficient of correlation    Conduct a test of hypothesis about the  coefficient of correlation in a population     Identify  the roles of dependent and independent  variables, the concept of regression, and its  distinction from the concept of correlation Copyright © 2004 by The McGraw­Hill Companies, Inc.  All rights reserved.  13 ­ 3 13 ­ 3    Measure  and interpret the strength of relationship  between two variables through a regression line                           and the technique of least squares   Conduct analysis of variance and calculate  coefficient of determination    Conduct a test of hypothesis for a regression  model and each coefficient of regression   Estimate confidence and prediction intervals Copyright © 2004 by The McGraw­Hill Companies, Inc.  All rights reserved.  Terminology 13 ­ 4 Correlation Analysis …is a group of statistical techniques used to measure the  strength of the association between two variables Scatter Diagram  …is a chart that portrays the relationship                                                  between the two variables.  Dependent Variable …is the variable being predicted or estimated Independent Variable …provides the basis for estimation.                                                    It is the predictor variable Copyright © 2004 by The McGraw­Hill Companies, Inc.  All rights reserved.  The Coefficient of Correlation…rr The Coefficient of Correlation… 13 ­ 5  … Is a measure of strength of the relationship    between two variables   … It requires interval or ratio­scaled data  … It can range from ­1.00 to 1.00  …Values of ­1.00 or 1.00 indicate perfect                                 and strong correlation  …Values close to 0.0 indicate weak correlation …Negative values indicate an inverse relationship  and positive values indicate a direct relationship Copyright © 2004 by The McGraw­Hill Companies, Inc.  All rights reserved.  Perfect  Negative Negative Correlation  Correlation Perfect    Y 10   9   8   7   6   5   4   3   2   1   0   0     1     2      3    4     5     6     7     8      9      10      X Copyright © 2004 by The McGraw­Hill Companies, Inc.  All rights reserved.  13 ­ 6 Perfect  Positive Positive Correlation  Correlation Perfect    Y 10   9   8   7   6   5   4   3   2   1   0   0     1     2      3    4     5     6     7     8      9      10      X Copyright © 2004 by The McGraw­Hill Companies, Inc.  All rights reserved.  13 ­ 7 Zero Correlation  Correlation Zero    Y 10   9   8   7   6   5   4   3   2   1   0   0     1     2      3    4     5     6     7     8      9      10      X Copyright © 2004 by The McGraw­Hill Companies, Inc.  All rights reserved.  13 ­ 8 Strong  Positive Positive Correlation  Correlation Strong    Y 13 ­ 9 10   9   8   7   6   5   4   3   2   1   0   0     1     2      3    4     5     6     7     8      9      10      X Copyright © 2004 by The McGraw­Hill Companies, Inc.  All rights reserved.  Example Example 13 ­ 10 Chart 13­6 Copyright © 2004 by The McGraw­Hill Companies, Inc.  All rights reserved.  Using Excel 13 ­ 42 ls o o  T n o   k c i l C See See Click on                 Click on                 DATA ANALYSIS DATA ANALYSIS Copyright © 2004 by The McGraw­Hill Companies, Inc.  All rights reserved.  See See Using Excel 13 ­ 43 …Click OK Highlight REGRESSION Copyright © 2004 by The McGraw­Hill Companies, Inc.  All rights reserved.  See See Using Excel  INPUT NEEDS  INPUT NEEDS Copyright © 2004 by The McGraw­Hill Companies, Inc.  All rights reserved.  13 ­ 44 …Click OK See See Using Excel Copyright © 2004 by The McGraw­Hill Companies, Inc.  All rights reserved.  13 ­ 45 See See Using Excel The regression equation  The regression equation  is: is: y = ­ 0.07x +22.6 y = ­ 0.07x +22.6 Copyright © 2004 by The McGraw­Hill Companies, Inc.  All rights reserved.  13 ­ 46 The Standard                           The Standard                                                Error of                       Error of  Estimate Estimate 13 ­ 47 …this measures the scatter, or dispersion,                                    of the observed values                                                     around the line of regression The formulas that are used to compute the standard  error are: Se (y y ) n y Copyright © 2004 by The McGraw­Hill Companies, Inc.  All rights reserved.  2 a y b xy n The Standard                           The Standard                                                Error of                       Error of  13 ­ 48 Estimate Estimate Find the standard error of estimate for the problem  involving the number of pages in a book and the selling price Previously: Previously: Se x             y               xy                 x2              y2 4 900        636        397 200   3 150 000 51 606 y a y b xy n 51,606 48(636) 0.05143(397,200) 10.408 10.408 Copyright © 2004 by The McGraw­Hill Companies, Inc.  All rights reserved.  Assumptions Underlying      Assumptions Underlying      13 ­ 49                       Linear                        Linear  Regression Regression    For each value of x, there is a group of y values,  and these y values are normally distributed The means of these normal distributions of y values all lie  on the straight line of regression The standard deviations of these                                                                       normal distributions are equal   The y values are statistically independent.                              This means that in the selection of a sample                                         the y values chosen for a particular x value                                                                   do not depend on the y values                                                      for any other x values Copyright © 2004 by The McGraw­Hill Companies, Inc.  All rights reserved.  13 ­ 50 Confidence Interval x             y               xy                 x2              y2 Previously: Previously: 4 900        636        397 200   3 150 000 51 606 The confidence interval for the mean value of y for a given  value of x is given by: 89 14 447 ( 10 408 ) 15 31 Copyright © 2004 by The McGraw­Hill Companies, Inc.  All rights reserved.  x 89 14 ( x2 ) ( x) n x y0 tα/2(n­2) Se n ( 800 612 ) ( 4 900 ) 150 000 13 ­ 51 Prediction Interval x             y               xy                 x2              y2 Previously: Previously: 4 900        636        397 200   3 150 000 51 606 The prediction interval for an individual value of  y for a given value of x is given by: 447 ( 10 408 ) 89 14 29 72 Copyright © 2004 by The McGraw­Hill Companies, Inc.  All rights reserved.  1 + x 89 14 ( x2 ) ( x) n x y0 tα/2(n­2) Se n ( 800 612 ) ( 4 900 ) 150 000 13 ­ 52 Summarizing the  Summarizing the  Results Results  The estimated selling price for a book with 800 pages  is $89.14  The standard error of estimate is $10.41  The 95 percent confidence interval for                                           all books with 800 pages is $89.14 + $15.31                                                                 This means the  limits are between                                         $73.83 and  $104.45  The 95 percent prediction interval for a particular  book with 800 pages is $89.14 + $29.72                                         The means the limits are between $59.42 and  These results appear in the following MINITAB output These results appear in the following MINITAB output $118.86 Copyright © 2004 by The McGraw­Hill Companies, Inc.  All rights reserved.  13 ­ 53 Regression Analysis:    Price versus Pages The regression equation is Price = 48.0 + 0.0514 Pages Predictor Constant Pages Coef 48.00 0.05143 S = 10.41 SE Coef 16.94 0.02700 R-Sq = 37.7% T 2.83 1.90 P 0.030 0.105 R-Sq(adj) = 27.3% Analysis of Variance Source Regression Residual Error Total DF SS 393.4 650.6 1044.0 MS 393.4 108.4 F 3.63 Predicted Values for New Observations P 0.105 New Obs Fit 89.14 SE Fit 6.26 95.0% CI (73.82,104.46) Copyright © 2004 by The McGraw­Hill Companies, Inc.  All rights reserved.  95.0% PI (59.41,118.88)  EXCEL output:  EXCEL output: Price vs. Pages Price vs. Pages Copyright © 2004 by The McGraw­Hill Companies, Inc.  All rights reserved.  13 ­ 54 Test your learning… … Test your learning … … n o n   o   k ilcick CCl      www.mcgrawhill.ca/college/lind Online Learning Centre for quizzes extra content data sets searchable glossary access to Statistics Canada’s E­Stat data …and much more! Copyright © 2004 by The McGraw­Hill Companies, Inc.  All rights reserved.  13 ­ 55 13 ­ 56 This completes Chapter 13 Copyright © 2004 by The McGraw­Hill Companies, Inc.  All rights reserved.  ... coefficient of correlation in a population     Identify  the roles of dependent and independent  variables, the concept of regression, and its  distinction from the concept of correlation Copyright © 2004 by The McGraw­Hill Companies, Inc.  All rights reserved. ...  …Values of ­1.00 or 1.00 indicate perfect                                 and strong correlation  …Values close to 0.0 indicate weak correlation …Negative values indicate an inverse relationship  and positive values indicate a direct relationship...   Conduct analysis of variance and calculate  coefficient of determination    Conduct a test of hypothesis for a regression model and each coefficient of regression   Estimate confidence and prediction intervals