Phân tích và xử lý dữ liệu bằng ngôn ngữ R

Lời đầu tiên em xin chân thành bày tỏ lòng cảm ơn và kính trọng sâu sắc đối với thầy hướng dẫn, TS.Trần Đăng Hưng - người đã tận tình hướng dẫn giúp đỡ, động viên và tạo mọi điều kiện thuận lợi cho em trong suốt quá trình hoàn thành khóa luận tốt nghiệp. Thầy đã mở ra cho em những vấn đề khoa học rất lý thú, hướng em vào nghiên cứu các lĩnh vực hết sức thiết thực và vô cùng bổ ích, đồng thời tạo điều kiện thuận lợi cho em học tập và nghiên cứu. Em đã học hỏi được rất nhiều ở Thầy phong cách làm việc, cũng như phương pháp nghiên cứu khoa học… Em cũng xin chân thành cảm ơn GS.Nguyễn Văn Tuấn (Úc), một nhà khoa học trong lĩnh vực y học, là người Việt đầu tiên giới thiệu và viết sách về ngôn ngữ R bằng tiếng Việt cho cộng đồng nghiên cứu ở Việt Nam. Phần lớn nội dung trong cuốn khóa luận này được thu thập và kế thừa từ các bài viết của GS tại địa chỉ http://nguyenvantuan.net.Em cũng xin thể hiện sự kính trọng và lòng biết ơn đến các thầy cô trong khoa CNTT, những người đã trang bị cho em rất nhiều kiến thức chuyên ngành, cũng như sự chỉ bảo, giúp đỡ tận tình của các thầy cô đối với em trong suốt quá trình học tập. Tất cả các kiến thức mà em lĩnh hội được từ bài giảng của các thầy cô là vô cùng quý giá.Nhân đây, con xin gửi lời cảm ơn sâu sắc đến Bố, Mẹ - người đã sinh ra con và những người thân trong gia đình, cảm ơn những tình cảm và những lời động viên con trong suốt quá trình hoàn thành khóa luận này.Tôi cũng xin được cảm ơn tất cả bạn bè tôi đã luôn động viên giúp đỡ, tạo điều kiện tốt nhất cho tôi hoàn thành khóa luận này.

Trường Đại học Sư phạm Hà Nội – Khoa công nghệ thông tin LỜI CẢM ƠN Lời đầu tiên em xin chân thành bày tỏ lòng cảm ơn và kính trọng sâu sắc đối với thầy hướng dẫn, TS.Trần Đăng Hưng - người đã tận tình hướng dẫn giúp đỡ, động viên và tạo mọi điều kiện thuận lợi cho em trong suốt quá trình hoàn thành khóa luận tốt nghiệp. Thầy đã mở ra cho em những vấn đề khoa học rất lý thú, hướng em vào nghiên cứu các lĩnh vực hết sức thiết thực và vô cùng bổ ích, đồng thời tạo điều kiện thuận lợi cho em học tập và nghiên cứu. Em đã học hỏi được rất nhiều ở Thầy phong cách làm việc, cũng như phương pháp nghiên cứu khoa học… Em cũng xin chân thành cảm ơn GS.Nguyễn Văn Tuấn (Úc), một nhà khoa học trong lĩnh vực y học, là người Việt đầu tiên giới thiệu và viết sách về ngôn ngữ R bằng tiếng Việt cho cộng đồng nghiên cứu ở Việt Nam. Phần lớn nội dung trong cuốn khóa luận này được thu thập và kế thừa từ các bài viết của GS tại địa chỉ http://nguyenvantuan.net. Em cũng xin thể hiện sự kính trọng và lòng biết ơn đến các thầy cô trong khoa CNTT, những người đã trang bị cho em rất nhiều kiến thức chuyên ngành, cũng như sự chỉ bảo, giúp đỡ tận tình của các thầy cô đối với em trong suốt quá trình học tập. Tất cả các kiến thức mà em lĩnh hội được từ bài giảng của các thầy cô là vô cùng quý giá. Nhân đây, con xin gửi lời cảm ơn sâu sắc đến Bố, Mẹ - người đã sinh ra con và những người thân trong gia đình, cảm ơn những tình cảm và những lời động viên con trong suốt quá trình hoàn thành khóa luận này. Tôi cũng xin được cảm ơn tất cả bạn bè tôi đã luôn động viên giúp đỡ, tạo điều kiện tốt nhất cho tôi hoàn thành khóa luận này. Hà Nội, ngày tháng năm 2011 Sinh viên Nguyễn Thị Thiếp. Khóa luận tốt nghiệp Đại học 1 Trường Đại học Sư phạm Hà Nội – Khoa công nghệ thông tin MỤC LỤC Khóa luận tốt nghiệp Đại học 2 Trường Đại học Sư phạm Hà Nội – Khoa công nghệ thông tin DANH MỤC CÁC HÌNH VẼ Hình 1: Cửa sổ làm việc của R 10 Hình 2: Cửa sổ cài đặt các package 12 Hình 3: Biểu đồ tần số giới tính thể hiện bằng cột số 28 Hình 4: Biểu đồ tần số giới tính thể hiện bằng dòng số 28 Hình 5: Tần số giới tính và nhóm tuổi thể hiện bằng cột số 29 Hình 6: Tần số giới tính và nhóm tuổi thể hiện bằng hai cột 30 Hình 7: Tần số cho 3 nhóm tuổi 30 Hình 8: Biểu đồ tần số cho 5 nhóm tuổi 31 Hình 9 : Cửa sổ nhập dữ liệu trực tiếp 36 Hình 10: Đồ thị phân phối của các hormones và chỉ số sinh hóa 62 Hình 11: Biều độ liên hệ giữa tuổi và cholestrol 72 Hình 12: Đường biểu diễn mối liên hệ giữa độ tuổi và cholesterol 78 Hình 13 : Giá trị tiên đoán và khoảng tin cậy 95% 79 Hình 14 : Biểu đồ giá trị tiên đoán và khoảng tin cậy 95% 80 Khóa luận tốt nghiệp Đại học 3 Trường Đại học Sư phạm Hà Nội – Khoa công nghệ thông tin DANH MỤC CÁC BẢNG Bảng 1: Bảng các gói package 11 Bảng 2: Bảng dữ liệu nghiên cứu của 15 người với tên chol 27 Bảng 3: Bảng dữ liệu của 10 bệnh nhân với tên là tuấn 34 Bảng 4: Bảng dữ liệu của 15 bệnh nhân mắc bệnh huyết áp cao 37 Bảng 5: Bảng dữ liệu của bệnh nhân với tên Excel 39 Bảng 6: Bảng dữ liệu nghiên cứu 20 đối tượng có tên data 57 Bảng 7: Bảng đo lường độ cholesterol của 18 đối tượng nam 71 Khóa luận tốt nghiệp Đại học 4 Trường Đại học Sư phạm Hà Nội – Khoa công nghệ thông tin PHẦN MỞ ĐẦU 1. Lý do chọn đề tài Phân tích và xử lý số liệu là một trong những bước quan trọng trong nghiên cứu khoa học. Nhất là đối với các khoa học thực nghiệm, khi mà số lượng dữ liệu đưa ra rất nhiều và đa dạng, việc áp dụng các phương pháp phân tích số liệu sẽ giúp các nhà nghiên cứu “hiểu” được dữ liệu. Các phương pháp phân tích thường dựa vào nền tảng là các mô hình toán học, nhưng việc thiết kế và diễn giải ý nghĩa của dữ liệu mới là kết quả mà các nhà phân tích mong chờ. Trước đây, khi máy tính chưa ra đời, việc xử lý số liệu gặp nhiều khó khăn vì phải thực hiện các phép tính toán thống kê phức tạp. Sự có mặt của máy tính tạo nên một bước đột phá trong xử lý số liệu, nó giúp các nhà khoa học tiết kiệm được nhiều thời gian và tiền bạc. Hơn nữa, việc sử dụng máy tính có thể dễ dàng tìm ra được các bất thường trong dữ liệu trước khi đem vào phân tích. Tuy nhiên, nếu không có phần mềm thì máy tính cũng trở thành vô dụng. Vì vậy để đáp ứng như cầu xử lý số liệu các công ty phần mềm đã cho ra đời các sản phẩm phân tích số liệu chuyên nghiệp (như STATISTICA, SPSS, SAS,…). Các phần mềm thương mại kể trên được phát triển công phu và thường rất đắt tiền (giá cho một đại học có khi lên đến hàng trăm ngàn đô-la hàng năm), một cá nhân hay thậm chí một trường đại học, một công ty cũng không có khả năng mua. Trong hoàn cảnh đó, ngôn ngữ R đã được phôi thai bởi một nhóm các nhà nghiên cứu. Sự ra đời của R đã làm thay đổi tình trạng phụ thuộc vào các phần mềm thương mại, vì R hoàn toàn miễn phí. Vậy R là gì? Và R làm được những gì? R có thể thay thế được các phần mềm thương mại không? Có lập trình được trên R không? Trong khóa luận này, chúng tôi sẽ đi tìm câu trả lời cho các câu hỏi trên. Khóa luận tốt nghiệp Đại học 5 Trường Đại học Sư phạm Hà Nội – Khoa công nghệ thông tin 2. Tình hình nghiên cứu trong nước và thế giới Trên thế giới đã có rất nhiều trường đại học, các công ty đã sử dụng phần mềm R trong giảng dạy, nghiên cứu vì đơn giản, nó giúp giảm một lượng lớn chi phí bản quyền phần mềm hằng năm, và hơn nữa, ngôn ngữ R với tính chất mở đang được cộng đồng phát triển nhanh mạnh, có thể làm được bất cứ thứ gì (hoặc thậm chí là hơn) so với các phần mềm thương mại khác như SPSS, Matlab, Nước ta hiện này việc sử dụng R là chưa được phổ biến, đó là vì do ở Việt Nam chúng ta lâu nay vẫn sử dụng các phần mềm crack (vi phạm bản quyền). Cho đến nay chỉ có GS.Nguyễn Văn Tuấn (Úc) là người đã viết sách và quảng bá về R cho các nhà nghiên cứu trong y học, còn các ngành khác cộng đồng các nhà khoa học vẫn chưa “để ý” đến R. Kế thừa và tiếp nối các bài viết của GS.Tuấn, chúng tôi mong muốn giới thiệu cho cộng đồng một công cụ phân tích số liệu hiệu quả và đặc biệt là hoàn toàn miễn phí. 3. Nhiệm vụ và mục đích nghiên cứu Đại đa số các đại học Tây phương và thế giới càng ngày càng chuyển sang sử dụng R cho học tập, nghiên cứu và giảng dạy. Trong xu hướng đó, chúng tôi thực hiện đề tài “ Phân tích và xử lý dữ liệu bằng ngôn ngữ R” nhằm mục đích tìm hiểu và quảng bá ngôn ngữ R vào cộng đồng khoa học ở nước ta. Nhất là các nhóm nghiên cứu khoa học trong các trường đại học, nơi mà nguồn kinh phí dành cho nghiên cứu không nhiều. Để đạt được mục tiêu này, chúng tôi tập trung vào 5 nội dung sau đây: - Giới thiệu chung về ngôn ngữ R - Các phép tính toán cơ bản trên R - Làm việc với dữ liệu trên R - Lập trình trên R - Ứng dụng R để phân tích và xử lí dữ liệu Khóa luận tốt nghiệp Đại học 6 Trường Đại học Sư phạm Hà Nội – Khoa công nghệ thông tin 4. Phương pháp nghiên cứu - Đọc và nghiên cứu các tài liệu viết về phân tích thống kê và vẽ biểu đồ - Đọc và tìm hiểu những tài liều giới thiệu về ngôn ngữ R - Thực hành những ứng dụng trên phần mềm R Khóa luận tốt nghiệp Đại học 7 Trường Đại học Sư phạm Hà Nội – Khoa công nghệ thông tin PHẦN NỘI DUNG Chương 1 . Giới thiệu 1.1. Ngôn ngữ R là gì? Nói một cách ngắn gọn, R là một phần mềm sử dụng cho phân tích thống kê và vẽ biều đồ. Thật ra về bản chất, R là ngôn ngữ đa năng, có thể sử dụng cho nhiều mục tiêu khác nhau, từ tính toán đơn giản, toán học giải trí, tính toán ma trận, đến các phân tích thống kê phức tạp 1.2. Tại sao phải sử dụng R ? Phân tích số liệu và biểu đồ thường được tiến hành bằng các phần mềm thông dụng như SAS, SPSS, Stata, Statistica, và S-Plus. Đây là những phần mềm được các công ty và phần mềm phát triển và giới thiệu trên thị trường khoảng ba thập niên qua và đã được các trường đại học, các trung tâm nghiên cứu và các công ty kĩ nghệ trên toàn thế giới sử dụng cho giảng dạy và nghiên cứu. Nhưng vì chi phí sử dụng các phần mềm này tương đối đắt, một số trường đại học ở các nước đang phát triển không có khả năng tài chính để sử dụng chúng một cách lâu dài. Do đó, các nhà nghiên cưú thống kê trên thế giới đã hợp tác để phát triển một phần mềm mới, với chủ trương mã nguồn mở, sao cho tất cả các thành viên trong ngành thống kê học và toán học trên thế giới có thể sử dụng một cách thống nhất và hoàn toàn miễn phí R là ngôn ngữ lâp trình thống kê sáng lập bởi nhóm tác giả "R Development Core Team" tại đại học Auckland, do Ross Ihaka và Robert Gentleman khởi xướng và phát triển từ ngôn ngữ lập trình thống kê S. Do đặc trưng của phần mềm mã nguồn mở, R nhận được đóng góp xây dựng từ khắp các nơi trong cộng đồng khoa học. Thêm vào đó R kế thừa các ưu điểm của ngôn ngữ lập trình bậc cao nên nhanh chóng trở thành ngôn ngữ rất phổ biến trong thống kê, xử lý số liệu nói chung và đặc biệt là tin sinh học nói riêng. Những ai làm nghiên cứu khoa học, nhất là ở các nước chưa phát triển như nước ta, cần phải học cách sử dụng R cho phân tích thống kê và vẽ đồ thị. Khóa luận tốt nghiệp Đại học 8 Trường Đại học Sư phạm Hà Nội – Khoa công nghệ thông tin 1.3. Ứng dụng của R R được dùng chủ yếu bởi những nhà thống kê và những người sử dụng khác đòi hỏi một môi trường tính toán thống kê và phát triển phần mềm, nó cũng có thể dùng làm một công cụ tính toán ma trận tổng quát. R là phần mềm sử dụng cho phân tích thống kê và vẽ biểu đồ, nó là một phần mềm sử dụng miễn phí. Vì thế, những ai làm nghiên cứu khoa học, nhất là các nước còn nghèo khó như nước ta, cần phải học cách sử dụng R cho phân tích thống kê và đồ thị. 1.4. Cài đặt và sử dụng R 1.4.1 Tải R xuống và cài đặt vào máy tính Để sử dụng R, việc đầu tiên là chúng ta phải cài đặt R trong máy tính của mình. Ta truy cập vào website có tên là “Comprehensive R Archive Network” (CRAN) sau đây: http://cran.R-project.org. Tài liệu cần tải về, tùy theo phiên bản, nhưng thường có tên bắt đầu bằng mẫu tự R và số phiên bản (version). Chẳng hạn như phiên bản tôi sử dụng là 2.12.1, nên tên của tài liệu cần tải là: R-2.12.1-win32.zip Tài liệu này khoảng 37 MB, và địa chỉ cụ thể để tải là: http://cran.r-project.org/bin/windows/base/R-2.12.1-win32.exe Khi đã tải R xuống máy tính, bước kế tiếp là cài đặt (set-up) vào máy tính. Để làm việc này, chúng ta chỉ đơn giản nhấn chuột vào tài liệu trên và làm theo hướng dẫn cách cài đặt trên màn hình. Đây là một bước rất đơn giản, chỉ cần 1 phút là việc cài đặt R có thể hoàn tất. Sau khi hoàn tất việc cài đặt, một icon xuất hiện trên desktop của máy tính. Đến đây thì chúng ta đã sẵn sàng sử dụng R. Có thể nhấp chuột vào icon này và chúng ta sẽ có một window như sau: Khóa luận tốt nghiệp Đại học 9 Trường Đại học Sư phạm Hà Nội – Khoa công nghệ thông tin Hình 1: Cửa sổ làm việc của R 1.4.2 Tải R package và cài đặt vào máy tính R cung cấp cho chúng ta một “ngôn ngữ” máy tính và một số function để làm các phân tích căn bản và đơn giản. Nếu muốn làm những phân tích phức tạp hơn, chúng ta cần phải tải về máy tính một số package khác. Package là một phần mềm nhỏ được các nhà thống kê phát triển để giải quyết một vấn đề cụ thể, và có thể chạy trong hệ thống R. Chẳng hạn như để phân tích hồi qui tuyến tính, R có function lm để sử dụng cho mục đích này, nhưng để làm các phân tích sâu hơn và phức tạp hơn, chúng ta cần đến các package như lme4. Các package này cần phải được tải về và cài đặt vào máy tính. Địa chỉ để tải các package vẫn là: http://cran.r-project.org, rồi bấm vào phần “Packages” xuất hiện bên trái của mục lục trang web. Một số package cần tải về máy tính để sử dụng cho các phân tích thống kê và vẽ đồ thị là: Khóa luận tốt nghiệp Đại học 10 [...]... Cách nhập dữ liệu vào R Muốn làm phân tích dữ liệu bằng R, chúng ta phải có sẵn dữ liệu ở dạng mà R có thể hiểu được để xử lí Dữ liệu mà R hiểu được phải là dữ liệu trong một data.frame Có nhiều cách để nhập số liệu vào một data.frame trong R, từ nhập trực tiếp đến nhập từ các nguồn khác nhau Sau đây là những cách thông dụng nhất: Nhập số liệu trực tiếp Ví dụ 1 : chúng ta có số liệu về độ tuổi và insulin... với dữ liệu trên R Bên cạnh việc thực hiện chức năng như một công cụ tính toán, R cho phép chúng ta làm việc trên các bảng cơ sở dữ liệu như một hệ quản trị cơ sở dữ liệu thực thụ Chúng ta có thể tương tác trực tiếp với dữ liệu để thực hiện các truy vấn và trích chọn thông tin từ một cơ sở dữ liệu. Nội dung của chương này sẽ giới thiệu cách làm việc với dữ liệu trong R 3.1 Cách nhập dữ liệu vào R ”Văn... Đại học 26 Trường Đại học Sư phạm Hà Nội – Khoa công nghệ thông tin 15 Nu 62 25 7.75 4.0 6.2 2.5 0 Bảng 2: Bảng dữ liệu nghiên cứu của 15 người với tên chol Trước khi vẽ đồ thì , ta bắt đầu bằng cách nhập dữ liệu vào R > setwd("E:/works/insulin") > cong attach(cong) 2.4.2 Biểu đồ cho một biến số r i r c Biến sex trong dữ liệu trên có hai giá trị (nam và nu), tức... các số liệu này trong một file theo dạng R, chúng ta cần dùng lệnh save Ví dụ như chúng ta muốn lưu số liệu trong directory có tên là “E:\works\insulin”, chúng ta cần gõ như sau: > setwd("E:/works/insulin") > save(tuan,file="tuan.rda") Lệnh đầu tiên (setwd – chữ wd có nghĩa là working directory) cho R biết r ng chúng ta muốn lưu các số liệu trong directory có tên là “c:\works\insulin Lưu ý r ng thông... sượt trái “\”, nhưng trong R chúng ta dùng các sượt phải “/” Lệnh thứ hai save cho R biết r ng các số liệu trong đối tượng tuan sẽ lưu trong file có tên là “tuan.rda” Sau khi gõ xong hai lệnh trên, một file có tên tuan.rda sẽ có mặt trong directory đó Nhập số liệu trực tiếp : edit (data.frame()) Ví dụ 1 (tiếp tục): chúng ta có thể nhập số liệu về độ tuổi và insulin cho 10 bệnh nhân bằng một function r t... số cho trước Trong xác suất thống kê có khá nhiều hàm phân phối, và ở đây chúng ta sẽ xem xét qua một số hàm quan trọng nhất và thông dụng nhất: đó là phân phối nhị phân, phân phối Poisson, và phân phối chuẩn Trong mỗi luật phân phối, có 4 loại hàm quan trọng mà chúng ta cần biết: - Hàm mật độ xác suất (probability density distribution); - Hàm phân phối tích lũy (cumulative probability distribution);... nhập dữ liệu từ các phần mềm khác như: SPSS, SAS, Rmeta Dùng cho phân tích tổng hợp Meta Một package khác cho phân tích tổng hợp Survival Chuyên dùng cho phân tích theo mô hình Cox Zelig Package dùng cho các phân tích thống kê trong lĩnh vực xã hội học Genetics Package dùng cho phân tích số liệu di truyền học BMA Bayesian Moldel Average Bảng 1: Bảng các gói package Khóa luận tốt nghiệp Đại học 11 Trường... (simulation) R có những hàm sẵn trên có thể ứng dụng cho tính toán xác suất Tên mỗi hàm được gọi bằng một tiếp đầu ngữ để chỉ loại hàm phân phối, và viết tắt tên của hàm đó Các tiếp đầu ngữ là d (chỉ distribution hay xác suất), p (chỉ cumulative probability, xác suất tích lũy), q (chỉ định bậc hay quantile), và r (chỉ random hay số ngẫu nhiên) Hàm phân phối nhị phân Ví dụ mô phỏng hàm nhị phân: Biết r ng trong... nhất cho R biết r ng chúng ta muốn tạo ra một cột dữ liệu có tên là age, và lệnh thứ hai là tạo ra một cột khác có tên là insulin Age và insulin là hai đối tượng riêng lẻ Bây giờ chúng ta cần phải nhập hai đối tượng này thành một data.frame để R có thể xử lí sau này Để làm việc này chúng ta cần đến function data.frame: > tuan myobject my object my.object . sang sử dụng R cho học tập, nghiên cứu và giảng dạy. Trong xu hướng đó, chúng tôi thực hiện đề tài “ Phân tích và xử lý dữ liệu bằng ngôn ngữ R nhằm mục. tập trung vào 5 nội dung sau đây: - Giới thiệu chung về ngôn ngữ R - Các phép tính toán cơ bản trên R - Làm việc với dữ liệu trên R - Lập trình trên R -