TIN HỌC ỨNG DỤNG TRONG CNSHMT

TIN HỌC ỨNG DỤNG TRONG CNSHMT Mục tiêu n n Noäi dung Tin học ứng dụng CNSHMT Khái niệm thống kê kết nghiên cứu Các đại lượng biến thiên Phần mềm thống kê xử lý số liệu Phương pháp bố trí thí nghiệm nghiên cứu Xử lý số liệu thí nghiệm so sánh mẫu Xử lý số liệu thí nghiệm đơn yếu tố Xử lý số liệu thí nghiệm đa yếu tố Xử lý số liệu TN tương quan hồi quy Giúp sinh viên độc lập nghiên cứu khoa học, có khả xử lý số liệu thường gặp điều tra, nghiên cứu công nghệ sinh học môi trường Trang bị cho sinh viên kỹ sử dụng phần mềm thống kê việc giải xử lý trình bày số liệu Tài liệu tham khảo n n n n Nguyễn Ngọc Kiểng, Thống kê học nghiên cứu khoa học, NXB Giáo dục, 1996 Lê Đức Ngọc, Xử lý số liệu kế hoạch hóa thực nghiệm, Khoa Hóa, ĐHQGHN, 2001 Nguyễn Cảnh, Quy hoạch thực nghiệm, NXB Đại học Quốc gia, 2004 Phan Hiếu Hiền, Phương pháp bố trí nghiệm xử lý số liệu, NXB Nơng nghiệp, 2001 Tin học ứng dụng CNSHMT n n n n Khoa học môi trường Các dạng nghiên cứu môi trường Các bước nghiên cứu khoa học Tin học ứng dụng công nghệ 1.1 Khoa học môi trường n n Nghiên cứu tác động qua lại môi trường người Thuật ngữ môi trường liên quan đến khơng khí, nước, đất thực vật, động vật vi sinh vật Khoa học môi trường giải vấn đề: 1.2 Các dạng nghiên cứu môi trường n n n Gia tăng dân số, Cạn kiệt tài ngun Ơ nhiễm mơi trường n n n Bố trí thí nghiệm xử lý (mơi trường) Phân tích diễn biến mơi trường qua thời gian, dự báo mức độ nhiễm dựa phân tích chuỗi số liệu theo thời gian Điều tra yếu tố vật lý, hóa học, sinh học mơi trường, phục vụ đánh giá tác động môi trường, đánh giá hiệu biện pháp xử lý 1.2 Các dạng nghiên cứu môi trường n Mối liên hệ tác động qua lại yếu tố quần thể, dự đốn mối liên hệ yếu tố thơng qua mối liên hệ tương quan 1.3 Các bước nghiên cứu khoa học n n n n n Tính toán số lượng đơn vị cần thu thập theo qui định thống kê Xác định nhiệm vụ, đối tượng, dân số n n Trước tiến hành thu thập kiện, phải hiểu muốn biết điều tra nghiên cứu xác định nhiệm vụ việc hàng đầu trước thu thập kiện Xác định nhiệm vụ, đối tượng, dân số Tính tốn số lượng đơn vị cần thu thập theo qui định thống kê Thu thập kiện Lưu trữ xử lý số liệu Phân tích kết viết báo cáo n n Việc xác định dung lượng mẫu cần thiết cho điều tra có ảnh hưởng đến kết đánh giá suy diễn kết luận quần thể thông qua tập hợp mẫu Thu thập không đủ số lượng đơn vị cho mẫu điều tra làm lệch suy diễn, phi khoa học dẫn đến ngộ nhận gây hậu không lường Thu thập kiện n n Khi điều tra nghiên cứu môi trường, phải thực việc thu thập kiện Có trường hợp kiện phải thu thập qua bước Trong thu thập kiện phải thực việc ghi chép thông qua bảng ghi số liệu khảo sát Lưu trữ xử lý số liệu n n n Dưới dạng bảng tính Dưới dạng sở liệu Lưu trữ trực tiếp vào phần mềm xử lý thống kê Lưu trữ xử lý số liệu n Hình thức phương pháp lưu trữ kiện thu thập trường hay kết phân tích phịng thí nghiệm đa dạng tùy theo mục đích điều tra nghiên cứu Phân tích kết viết báo cáo loại liệu: n Loại liệu nguồn, liệu gốc thu thập hay phân tích từ phịng thí nghiệm n Các kết xử lý: phải làm bật kết luận, đánh giá trạng, phân tích báo cáo điều tra nghiên cứu Phân tích kết viết báo cáo Một bảng thống kê kết chủ yếu gồm thành phần sau: n Tựa đề bảng n Các đầu đề kiện n Nguồn gốc kiện 1.4 Tin học ứng dụng công nghệ Trong ngành khoa học thực nghiệm: thực tế n thí nghiệm n Kết số: giá trị biến ngẫu nhiên n phụ thuộc vào nhiều yếu tố n ước lượng qui luật phụ thuộc (nghiên cứu tập hợp mẫu với độ tin cậy đó) n kết số Xử lý số liệu liệu thơ - tính tốn, xếp - liệu tinh n làm sở cho việc diễn giải, phân tích thống kê n Khái niệm thống kê kết nghiên cứu n n n n n n Phân tích thống kê Mơ tả kiện Công cụ thống kê Biến số Phương pháp xử lý số liệu ban đầu Đại lượng trung bình 2.1 Phân tích thống kê Các số tóm lược thơng tin định lượng n Phương pháp tính tốn để giúp tóm lược khái qt hố thông tin n Kỹ thuật giúp định vấn đề phân tích phương sai, tương quan hồi qui, trắc nghiệm, … n Hạn chế thống kê Sử dụng thống kê phải biết rành lĩnh vực chuyên môn người nghiên cứu n Thống kê phương tiện, cơng cụ n Thống kê trình bày số liệu tượng rời rạc cách hệ thống hơn, khơng nói chất việc n Thống kê không thay cho suy nghĩ kết luận người nghiên cứu n Thống kê mô tả Là bước để phân tích vấn đề thực định n Gồm tính tốn mang tính chất mơ tả trung bình, phương sai, độ lệch chuẩn, … nhằm tổng kết kết thí nghiệm n Thống kê mơ tả Phương pháp tóm lược thơng tin để làm cho chúng trở nên dễ hiểu tức giảm số lớn số liệu phức tạp thành số nhỏ gồm giá trị tóm tắt n Mô tả mối quan hệ biến số n Thống kê suy diễn Khái qt hố thơng tin mẫu cho toàn dân số mẫu tức đo đếm tiểu tập hợp suy luận cho toàn với độ tin cậy n Cung cấp kỹ thuật để kiểm tra mẫu sử dụng thông tin để suy rộng đặc tính tồn dân số n 2.2 Mô tả kiện n n Hai biến số có giá trị trung bình độ phân tán không giống độ phân tán cho biết thông tin để đánh giá độ tin cậy giá trị tập trung Mô tả kiện n n n Phân phối dân số Phân phối mẫu Phân phối chuẩn Phân phối dân số n phân phối điểm số dân số Phân phối mẫu phân phối điểm số mẫu có kích cỡ định n phân phối thống kê tất mẫu có kích cỡ dân số n Phân phối chuẩn n Khi vẽ biểu đồ tương quan tần số kết thu nhận, hình dạng đường cong thơng thường có dạng hình chng gọi phân phối chuẩn Phân phối chuẩn n Là phân phối đối xứng có dạng hình chng, biểu diễn phương trình: Y = e - ( x- m )2 / 2d d 2p n Hai phân phối chuẩn với độ lệch chuẩn khác nhau: độ lệch chuẩn nhỏ cho phép khái quát hoá kết mẫu cho toàn dân số với độ tin cậy cao Phân phối chuẩn Trong phân phối chuẩn, khoảng: n 68% số liệu khoảng X ±SD n 95% số liệu khoảng X ±2SD n 99% số liệu khoảng X ±3SD Phân phối chuẩn -3 -2 -1 +1 +2 +3 68% 95% 99,7% Phân phối chuẩn Trong phân phối chuẩn: n Có 95% số trường hợp nằm độ lệch chuẩn ±1,96 so với giá trị trung bình n Có 99% số trường hợp nằm độ lệch chuẩn ±2,58 so với giá trị trung bình Các đặc trưng thống kê thường dùng mô tả kiện Các giá trị biến số có phân phối phân tán hay tập trung n Giá trị đồng (các giá trị biến số có xu hướng quần tụ) n Giá trị không đồng (các giá trị biến số có xu hướng phân tán) Các đặc trưng thống kê thường dùng mơ tả kiện Trung bình mẫu ước lượng giá trị trung tâm phân bố n Độ lệch chuẩn mẫu liên quan đến phân tán số liệu n Các đặc trưng thống kê thường dùng mơ tả kiện Trung bình mẫu Độ lệch chuẩn có giá trị đại diện cho mẫu mẫu có phân phối chuẩn n Độ lệch (skewness) độ nhọn (kurtosis) dùng để kiểm tra mẫu có phân bố chuẩn hay không n Độ lệch (skewness) Là tiêu chuẩn đánh giá tính đối xứng số liệu n Độ lệch = (đối xứng) n Độ lệch > (các giá trị có xu hướng tập trung phía bên phải đồ thị) n Độ lệch < (các giá trị có xu hướng tập trung phía bên trái đồ thị) n Sự liên hệ hệ mơi trường: n bố trí thí nghiệm nhiều diện tích, mùa vụ nhiều năm khác xác lập liên hệ yếu tố môi trường nhiệt độ, lượng mưa, độ chiếu sáng, độ phì đất, với hệ suất Các thông tin quan trọng cho việc nghiên cứu bảo vệ môi trường, cho sản xuất nông nghiệp 6.2 Hồi quy tương quan tuyến tính đơn biến n n n n Hồi qui đường thẳng bình phương nhỏ Đường thẳng cực tiểu hố tổng độ lệch bình phương đường thẳng với điểm số thuộc biến phụ thuộc Biến phụ thuộc Biến độc lập Hồi qui đường thẳng bình phương nhỏ Đường thẳng hồi qui Mơ hình hồi qui Hàm hồi qui Đường thẳng hồi qui Đường thẳng hồi qui dự đốn cách xác điểm số biến phụ thuộc trường hợp biết điểm số biến độc lập trường hợp n Một đường thẳng mơ tả mối quan hệ gọi hồi qui tuyến tính n Mô hình hồi qui Mô hình hồi qui Hàm số mô tả quan hệ y với x sai số € gọi mô hình hồi quy n Mô hình hồi quy tuyến tính đơn có dạng: y = ß1x + ß0 + € n Trong mô hình hồi quy tuyến tính đơn, ß1 ß0 tham số mô hình, € biến ngẫu nhiên biểu thị sai số mô hình n n Hàm hồi qui Hàm số mô tả giá trị trung bình y có quan hệ với x gọi hàm hồi quy n Hàm hồi quy hồi quy tuyến tính đơn có dạng: E(y)= ß1x + ß0 n Một giả định trị số kỳ vọng € zero, nghóa E(€) = Hàm hồi qui Đồ thị hàm hồi quy tuyến tính đơn đường thẳng, ß0 điểm chặn đường hồi quy, ß1 độ dốc đường hồi quy n Khi biết tham số ß1 ß0 sử dùng hàm hồi qui để tính giá trị trung bình y giá trị x định n Hàm hồi qui n Nhưng thực tế chưa biết tham số ß1 ß0, phải ước lượng tham số từ quan sát mẫu Hàm hồi qui n Hàm hồi qui Với: n b0 điểm chặn b1 độ dốc đường hồi quy ước lượng, n y’ giá trị ước lượng (kỳ vọng) y tương ứng với giá trị x định Các thống kê mẫu b1 b0 xem ước lượng tương ứng ß1 ß0 thay b1 b0 tương ứng cho ß1 ß0 nhận hàm hồi quy ước lượng có dạng: y’ = b1x + b0 Hàm hồi qui Các tham số b1 b0 tính theo phương pháp bình phương nhỏ n Phương pháp bình phương nhỏ sử dụng số liệu mẫu để tính tham số b1 b0 hàm hồi quy ước lượng n Tính thơng số đường thẳng hồi quy Hàm hồi qui n Bản chất phương pháp làm nhỏ tổng bình phương sai lệch giá trị biến yi giá trị ước lượng biến yi’ n Để tổng (yi-yi’)2 nhỏ b1 b0 tính theo công thức: b1 = ( xi - xtb )( y i - y tb ) ( xi - xtb ) b0 = y tb - b1 xtb Tính thơng số đường thẳng hồi quy n = tổng số quan sát n xi = giá trị biến độc lập tương ứng với quan sát i n yi = giá trị biến phụ thuộc tương ứng với quan sát i n xtb = giá trị trung bình biến độc lập n ytb = giá trị trung bình biến phụ thuộc n Tính hệ số xác định r2 Hệ số xác định số đo mức độ phù hợp hàm hồi quy ước lượng n Hiệu số (yi-yi’) gọi sai lệch quan sát i n Tính hệ số xác định r2 n Tính hệ số xác định r2 Tổng bình phương sai lệch sai số (kí hiệu SSE) đại lượng tối thiểu hoá phương pháp bình phương nhỏ SSE = n ( yi - y 'i ) Tính hệ số xác định r2 Tính hệ số xác định r2 Nếu sử dụng giá trị ytb mẫu để ước lượng yi sai số ước lượng là: yi – ytb n Đại lượng å ( y i - y tb ) gọi tổng bình phương toàn bộ: n SST = Giá trị SSE đo đạc sai số sử dụng hàm hồi quy ước lượng để ước lượng giá trị biến phụ thuộc yi mẫu ( y i - y tb ) SST ño đạc phân bố yi xung quanh ytb n SSE đo đạc phân bố yi xung quanh y’ n Tính hệ số xác định r2 n Để đo đạc giá trị y’ đường hồi quy ước lượng cách xa ytb bao nhiêu, dùng đại lượng tổng bình phương hồi quy: SSR = Tính hệ số xác định r2 n ( y '- y tb ) Tính hệ số xác định r2 Nếu tất điểm quan sát yi nằm đường y’ hàm hồi quy ước lượng phù hợp hoàn toàn n Điều có nghóa yi - yi’ = hay SSE = 0, SST = SSE + SSR nên để hàm hồi quy ước lượng phù hợp hoàn toàn SSR/SST = n Giữa SST, SSE SSR có mối quan hệ: SST=SSR+SSE Tính hệ số xác định r2 Như vậy, mức phù hợp hàm hồi quy ước lượng phụ thuộc vào SSE lớn hay nhỏ n Tỷ số SSR/SST gọi hệ số xác định, ký hiệu r2 n r lấy giá trị từ đến n Tính hệ số xác định r2 n hệ số xác định r2 cho biết số tỷ lệ sai biệt mà giảm dự đoán điểm số biến phụ thuộc cách dựa vào điểm số biến độc lập Tính hệ số tương quan (r) Căn bậc hai hệ số xác định gọi hệ số tương quan (ký hiệu r) n r lấy giá trị từ -1 đến +1 n bienthienduocgiaithich r = bienthienchung Tính hệ số tương quan (r) Tính hệ số tương quan (r) n Hệ số tương quan r đo lường cách xác mức độ tập trung điểm số suốt chiều dài đường hồi qui r = x y tương quan n r = -1 x y có quan hệ tuyến tính âm chặt chẽ, có nghóa điểm quan sát nằm đường thẳng có độ dốc âm n r = +1 x y có quan hệ tuyến tính dương chặt chẽ, có nghóa điểm quan sát nằm đường thẳng có độ dốc dương n Kiểm định mức ý nghĩa Tính hệ số tương quan (r) Qui chiếu đánh giá r: n 0,0 < r < 0,3 tương quan yếu n 0,3 < r < 0,5 tương quan vừa n 0,5 < r < 0,7 tương quan tương đối chặt n 0,7 < r < 0,9 tương quan chặt n 0,9 < r < 1,0 tương quan chặt Trong hàm hồi quy tuyến tính đơn, E(y)= ß1x + ß0 ß1 = E(y)= ß0 trường hợp ytb không phụ thuộc vào x, n ngược lại ß1 ≠ x y có quan hệ với n Thực chất kiểm định mức ý nghóa kiểm định giả thiết H0: ß1 = n Kiểm định mức ý nghĩa Kiểm định t: xác định hệ số ß1 có khác zero hay không n Kiểm định F: dựa phân bố xác xuất F, sử dụng để kiểm định mức ý nghóa hồi quy n Kiểm định mức ý nghĩa n Với hàm hồi quy tuyến tính biến, kiểm định F đưa kết luận kiểm định t, hàm hồi quy đa tuyến tính (từ hai biến độc lập trở lên) có kiểm định F sử dụng Phân tích sai lệch Phân tích sai lệch Những quan sát ngoại lai số không phù hợp với khuynh hướng biến đổi tập hợp quan sát khác nằm cách xa trị trung bình quan sát khác n Để loại bỏ số ngoại lai, sử dụng đồ thị phân tán sai lệch chuẩn n Hồi quy tương quan phi tuyến tính đơn biến (Simple Nonlinear) Các tính trạng có quan hệ với theo đường cong: n Parabol (hàm bậc 2) n Hình chữ S (hàm bậc 3) Nếu quan sát phân tán xa trị trung bình quan sát khác sai lệch chuẩn lớn trị tuyệt đối n Nói chung, giá trị quan sát có sai lệch chuẩn lớn +2 nhỏ -2 số ngoaïi lai n Hồi quy tương quan phi tuyến tính đơn biến (Simple Nonlinear) Polynomial Regression Analysis Dependent variable: y Standard T Parameter Estimate Error Statistic P-Value CONSTANT 9,57463 4,72639 2,02578 0,0703 x -4,09341 4,62313 -0,885419 0,3967 x^2 2,12537 1,03897 2,04565 0,0680 Analysis of Variance Source Sum of Squares Df Mean Square F-Ratio P-Value Model 215,755 107,878 31,20 0,0001 Residual 34,5773 10 3,45773 Total (Corr.) 250,332 12 R-squared = 86,1875 percent R-squared (adjusted for d.f.) = 83,4249 percent y = 9,57463-4,09341*x + 2,12537*x^2 6.3 Hồi quy tương quan tuyến tính đa biến n n Mơ hình hồi qui mở rộng Hồi qui tương quan bội Mô hình hồi qui mở rộng Đồ thị phân tán chiều: Mặt phẳng hồi qui đồ thị chiều Biến phụ thuộc Hồi qui tương Biến phụ thuộc n quan bội Phân tích hồi quy đa biến nghiên cứu biến phụ thuộc y có quan hệ với hay nhiều biến độc lập hay không Hồi qui tương Mô hình hồi quy đa biến có dạng: y = ßo + ß1x1 + ß2x2 + … + ßnxn + €, n Với: ßo ß1 ß2 … ßn tham số € sai số mô hình Hồi qui tương Giá trị y x1 = x1* x2* E(y) x1 = x1* x2* đồ thị hàm hồi quy để phân tích hồi quy đa biến quan bội Trong phân tích hồi quy, biến phản hồi thay cho biến độc lập, n hồi quy đa biến tạo mặt phẳng, nên đồ thị gọi mặt phẳng phản hồi n quan bội ßo Mặt phẳng tương ứng với E(y) = ßo + ß1x1 + ß2x2 Hồi qui tương quan bội Hồi qui tương quan bội Hàm hồi quy đa biến có dạng: E(y) = ßo + ß1x1 + ß2x2 + … + ßnxn n Hàm hồi quy đa biến ùc lượng có dạng: y’ = b0 + b1x1 + b2x2 + … + bnxn n Hồi qui tương quan bội Hồi qui tương Trong hồi quy tuyến tính đơn, hệ số b1 ước lượng thay đổi y theo đơn vị thay đổi x n Trong hồi quy đa tuyến tính, hệ số bi ước lượng thay đổi y tương ứng với đơn vị thay đổi xi tất biến độc lập khác số n n n ( yi - y' ) SSR tổng bình phương hồi quy SSR = ( y '- y tb ) SST, SSR SSE có mối quan hệ: SST = SSR + SSE SST tổng bình phương toàn bộ: SST = å ( y i - y tb ) Hồi qui tương Với SSE tổng bình phương sai số SSE = n n quan bội n Hệ số xác định đa biến quan bội R2 = SSR SST giải thích tỷ lệ biến thiên biến phụ thuộc y n Hệ số tương quan đa biến mẫu R giải thích cường độ quan hệ y với biến độc lập Hệ số tương quan bội Mơ hình hồi qui đa biến (hồi qui bội): n Hệ số tương quan phận đo lường mức độ hướng quan hệ đồng thời kiểm soát ảnh hưởng hay nhiều biến khác Là thống kê đo lường ảnh hưởng chung (ảnh hưởng kết hợp) tổng thể biến độc lập biến phụ thuộc n Cho biết độ lệch điểm kiện so với mặt phẳng hồi qui n Luôn số dương (0 đến 1) n Phương trình hồi qui bội Y = a + b X1 + b X Y điểm số dự đoán biến phụ thuộc a giao điểm mặt cắt trục biến phụ thuộc b1 độ dốc mặt phẳng so với biến độc lập x1 X1 điểm số biến độc lập b2 độ dốc mặt phẳng so với biến độc lập x2 X2 điểm số biến độc lập b1 b2: Là hệ số hồi qui khơng chuẩn hố n Là độ dốc phận n mô tả thay đổi biến phụ thuộc gắn với gia tăng đơn vị biến độc lập X, đồng thời kiểm soát ảnh hưởng biến độc lập cịn lại n Điều kiện cần phân tích hồi qui đa biến Các biến độc lập có quan hệ tuyến tính với biến phụ thuộc n Các biến độc lập ảnh hưởng với biến phụ thuộc chúng khơng có tương tác thống kê n Các biến độc lập mơ hình phải khơng có tương quan mạnh mẽ với n Kiểm định mức ý nghĩa Trong hồi quy tuyến tính đơn, thống kê t F dùng để kiểm định tồn mô hình n Hai kiểm định t F có ý nghóa nhau, nghóa đưa kết luận giống n Kiểm định mức ý nghĩa Kiểm định mức ý nghĩa Nhưng hồi quy đa tuyến tính, thống kê t F dùng với ý nghóa khác nhau: n Thống kê F dùng để xác định mô hình hồi quy đa tuyến tính có tồn hay không, hay y với xi có tồn mối quan hệ hay không n n Nếu kiểm định F mối quan hệ y với xi có tồn thực sự, kiểm định t sử dụng để xác định biến độc lập có ý nghóa hay không Xử lý số liệu thí nghiệm phân tích tương quan hồi quy Kiểm định mức ý nghĩa n Kiểm định t riêng biệt xây dựng cho biến độc lập, nên kiểm định t kiểm định mức ý nghóa riêng biệt n n n n n n Xác định mơ hình tuyến tính Xác định mơ hình phi tuyến Xác định mơ hình đơn biến Xác định mơ hình đa biến Xác định mơ hình bậc Xác định mơ hình bậc cao ...1 Tin học ? ?ng d? ?ng CNSHMT n n n n Khoa học môi trư? ?ng Các d? ?ng nghiên cứu môi trư? ?ng Các bước nghiên cứu khoa học Tin học ? ?ng d? ?ng c? ?ng nghệ 1.1 Khoa học môi trư? ?ng n n Nghiên cứu tác đ? ?ng qua... phải ước lư? ?ng n Th? ?ng thư? ?ng ước lư? ?ng số trung bình tỷ lệ trung bình t? ?ng thể n Ứớc lư? ?ng điểm Th? ?ng báo trung bình t? ?ng thể giá trị cụ thể n Mỗi mẫu ước lư? ?ng điểm trung bình t? ?ng thể n Biến... ước lư? ?ng trung bình n Trung bình c? ?ng X Đại diện cho tập hợp lớn số liệu n Nêu lên đặc điểm chung tư? ?ng n D? ?ng để so sánh tư? ?ng kh? ?ng có qui mô C? ?ng giá trị trư? ?ng hợp chia cho t? ?ng trư? ?ng hợp