Quản lý dữ liệu trong nghiên cứu môi trường - Chương 4 ppsx

Nguyễn Hồng Phơng Quản lý liệu nghiên cứu môi trờng Chơng Quản lý Các liệu thực I Mở đầu Một loại liệu quan trọng đợc sử dụng nghiên cứu môi trờng liệu thực Nh đà nói tới trên, liệu thực liệu đợc thu thập, ghi nhận, đo đạc, quan trắc máy trình khảo sát thực địa, biển hay phòng thí nghiệm Chúng tồn dới dạng giá trị số thông tin mô tả đặc tính đối tợng nghiên cứu Công cụ tối u để quản lý liệu thực hệ quản trị sở liệu quan hệ Chính vậy, chơng này, mô hình sở liệu đợc xét đến cách chi tiết Ngoài ra, tập thực hành thiết kế sở liệu thực Access, công cụ mạnh có sử dụng mô hình sở liệu quan hệ đợc đa vào nội dung chơng II Cơ sở liệu quan hệ II.1 Các khái niệm Để thiết kế xây dựng sở liệu dạng quan hệ, cần làm quen với số khái niệm nh thùc thĨ, quan hƯ vµ thc tÝnh II.1.1 Thùc thĨ: thể đối tợng giới thực Thực thể đợc tạo cách dùng giá trị thuộc tính theo dạng mà máy tính đọc đợc (Ví dụ: Độ pH, Trạm đo, Chuyến khảo sát thực thể sở liệu quan trắc môi trờng) II.1.2 Quan hệ: quan hệ thể liên hệ hai hay nhiều thực thể (Ví dụ: Quan trắc đợc quan hệ liên kết hai thực thể Độ pH Trạm đo; hay Đo đợc chuyến khảo sát quan hệ liên kết hai thực thể Độ pH Chuyến khảo s¸t ) II.1.3 Thc tÝnh: c¸c thc tÝnh thĨ hiƯn tính chất thực thể hay quan hệ Mỗi thuộc tính mang giá trị hỗ trợ cho việc định danh thực thể mà thuộc phần cho việc phân biệt thực thể với phần tử khác lớp thực thể (Ví dụ: Cao, Trung bình, Thấp thuộc tính thực thể Độ pH) II.2 Mô hình sở liệu quan hệ Mô hình sở liệu quan hệ đợc E.F Codd giới thiệu lần năm 1970, với việc đề tiêu chuẩn thiết kế cấu trúc logic ngôn ngữ giành riêng cho thao tác loại sở liệu quan hệ Cho đến nay, mô hình đà đợc áp dụng rộng rÃi, nhờ u điểm kể sau đây: http://www.ebook.edu.vn - 19 Tài liệu giảng dạy môn Tin học môi truờng Khoa Môi trờng, Trờng đại học khoa học tự nhiên Nguyễn Hồng Phơng Quản lý liệu nghiên cứu môi trờng Quan hệ liệu mô hình đợc hình dung trực quan dới dạng bảng hai chiều, loại thuộc tính đợc tơng ứng với cột, tập giá trị đợc tơng ứng với hàng Thao tác quan hệ đơn giản có tính tổng hợp cao Thuận tiện việc ứng dụng phép toán nh đại số quan hệ, logic học, v.v cho phép tăng đáng kể tốc độ tìm kiếm xử lý liệu II.3 Các tính chất quan hệ Mỗi bảng đợc coi quan hệ có đầy đủ tính chất sau đây: Mỗi cột ứng với thuộc tÝnh cã mét tªn gäi nhÊt; Thø tù cột từ trái qua phải thay đổi Mỗi thuộc tính có trị số đơn, mà nhóm hay mảng trị số; Các trị số nằm cét cã cïng mét tÝnh chÊt; Thø tù tõ xuống dới hàng không bắt buộc ; Giá trị hàng Nh vËy, c¸c cÊu tróc cđa mét quan hƯ cã thĨ đợc hình dung cách trực quan nh hệ toạ độ, giá trị liệu đợc xác định nh giao điểm giá trị hàng với giá trị cột II.4 Các kiểu Bảng Khoá sở liệu quan hệ Trong sở liệu dạng quan hệ, bảng đợc phân loại nh sau: ã ã Bảng sở [base table]: bảng chứa hay nhiều cột mô tả tính chất đối tợng chứa khóa đợc gán cho đối tợng với t cách thực thể liệu Mỗi bảng sở phải có khóa Các bảng sở thờng đợc gọi bảng yêu cầu khóa Bảng quan hệ [relation table]: bảng dùng để cung cấp mối nối kết bảng khác song bảng sở Quan hệ bảng sở liệu quan hệ đặc trng khoá quan hệ Các khoá thuộc tính tập hợp thuộc tính đảm bảo tính hàng bảng Các khoá đợc phân loại nh sau: ã Khóa chÝnh [primary key] Khãa chÝnh bao gåm mét tËp hỵp giá trị xác định tính hàng bảng sở (bảng chính) Khoá không chứa giá trị bị ảnh hởng giá trị khác ã Khóa dự tuyển [candidate keys] Tất thuộc tính hay tập hợp thuộc tính thoả mÃn điều kiện tính hàng bảng đợc gọi khoá dự tuyển Nói cách khác, khoá có khả đợc chọn làm khoá Chẳng hạn hai trờng chứa giá trị Tên số chứng minh nhân dân trờng khóa dự tuyển cho phép định danh công dân, nhiên số chứng minh http://www.ebook.edu.vn - 20 Tài liệu giảng dạy môn Tin học môi truờng Khoa Môi trờng, Trờng đại học khoa học tự nhiên Nguyễn Hồng Phơng Quản lý liệu nghiên cứu môi trờng nhân dân chọn lựa thích hợp hai ngời trùng tên nhng có số chứng minh nhân dân hợp lệ ã Khóa hỗn hợp [composite keys] Nếu cần liệu từ nhiều cột bảng để thoả mÃn yêu cầu tính khóa chính, khóa đợc mệnh danh khóa hỗn hợp khóa ghép [concatenated key] Nói cách khác, thuộc tính đơn lẻ không thoả mÃn tính hàng, nhóm thuộc tính đợc sử dụng để thoả mÃn yêu cầu ã Khóa lạ [foreign key] Khoá lạ trùng lặp đợc kiểm so¸t cđa mét thc tÝnh mét hay nhiỊu quan hệ Các khoá lạ xác định mối quan hệ bảng cách đờng dẫn lôgic hay mối liên hệ bảng Có thể so sánh quan hệ nh quan hệ cha-con: khoá lạ quan hệ khoá quan hệ cha Khóa lạ bao gåm mét tr−êng hay nhãm tr−êng (mét khãa l¹ hỗn hợp) Nếu chiều dài khóa lạ nhỏ khóa tơng ứng, đợc gọi khóa lạ cắt cụt [truncated foreign key] hay khóa lạ phần [partial foreign key] II.5 Các kiểu quan hệ ã Mối quan hệ Một-Một: Mối quan hệ đơn giản bảng mối quan hệ một-một Trong kiểu quan hệ này, bảng có tơng ứng theo hàng một; hàng bảng không đợc có nhiều hàng tơng ứng bảng Các mối quan hệ một-một thờng đợc dùng để chia bảng sở lớn thành bảng nhỏ • Mèi quan hƯ Mét-NhiỊu: C¸c quan hƯ mét-nhiỊu nèi kết hàng bảng với hai hay nhiều hàng bảng thông tin khác thông qua mối quan hệ khóa bảng sở khóa lạ tơng ứng bảng liên quan Mặc dù khóa lạ bảng chứa mối quan hệ phía nhiều thành phần khóa hỗn hợp bảng riêng nó, song khóa lạ cho mục tiêu mối quan hệ Các quan hệ một-nhiều mối quan hệ phổ biến ã Mối quan hệ Nhiều-Một: Mối quan hệ nhiều-một trờng hợp đảo ngợc kiểu quan hệ một-nhiều ã Mối quan hệ Nhiều-Nhiều: Các mối quan hệ nhiều-nhiều diễn tả dới dạng mối quan hệ đơn giản hai thực thể tham gia Để xây dựng mối quan hệ nhiều-nhiều, ta tạo bảng có mối quan hệ nhiều-một với hai bảng sở II.6 Ví dụ u điểm sở liệu quan hệ Có nhiều loại thiết kế cho sở liệu, phổ biến mô hình tệp phẳng mô hình quan hệ Cơ sở liệu dạng tệp phẳng đợc xây dựng sở cấu trúc tập bìa đợc đánh số, bìa chứa toàn thông tin đối tợng hay kiện Trong mô hình sở liệu quan hệ, thông tin đợc phản ánh http://www.ebook.edu.vn - 21 Tài liệu giảng dạy môn Tin học môi truờng Khoa Môi trờng, Trờng đại học khoa học tự nhiên Nguyễn Hồng Phơng Quản lý liệu nghiên cứu môi trờng tất bìa, bìa lại có mối liên hệ với thông qua nối kết trờng Ta hÃy xét ví dụ để so sánh hai mô hình Giả sử bạn có tập liệu dới dạng tập bìa đánh số, với nội dung mô tả chi tiết loài cá số vùng đánh bắt khu vực nghiên cứu Bạn muốn nghiên cứu loài mô tả chi tiết môi trờng sống chúng Bạn đa vào nội dung bìa thông tin sau: Tên gọi phổ biến, chi tiết loài, vị trí xuất hiện, số vùng đánh bắt thông tin vùng đánh bắt nh: loại môi trờng sống, loại sinh vật đáy chiếm u trạng đánh bắt khu vực Tập bìa đánh số có dạng nh minh hoạ hình Thông tin bìa đợc đa vào bảng, mục bìa (tên gọi phổ biến, giống, loài, vị trí xuất hiện, v.v) trở thành trờng, thông tin điền vào bìa trở thành ghi bảng Kết bảng đợc tạo với cấu trúc tệp phẳng (Bảng 4.1) Hình Tập liệu dới dạng tập bìa đánh số mô tả chi tiết loài cá môi trờng sống Các cột có tiêu đề Tên gọi phổ biến, Giống, Loài, v.v trờng sở liệu; hàng Cá hồi san hô, Cá tuyết cửa sông, v.v ghi sở liệu Nhợc điểm mô hình có nhiều liệu đợc lặp lặp lại, gây khó khăn cho việc thay đổi hay cập nhật liệu Bạn thử hình dung trờng hợp sau đây: sau trận bÃo xảy khu vực nghiên cứu, vị trí Vùng ngời ta đà phát cuội sỏi đà chiếm u so với rạn san hô Trong mô hình tệp phẳng, tập bìa đánh số, thông tin bìa có Mà vùng Vùng phải đợc cập nhật lại, bạn phải sửa lại thông tin ba ghi Có cách khác để giải vấn đề này, tách liệu thành hai bảng, bảng chứa thông tin chi tiết loài, bảng chứa thông tin chi tiết http://www.ebook.edu.vn - 22 Tài liệu giảng dạy môn Tin học môi truờng Khoa Môi trờng, Trờng đại học khoa học tự nhiên Nguyễn Hồng Phơng Quản lý liệu nghiên cứu môi trờng vùng đánh bắt Hai bảng phải đợc nối kết với cách cho thông tin từ bảng có liên hệ với thông tin bảng Loại cấu trúc này, với nhiều bảng nhỏ đợc liên kết với nhau, gọi sở liệu quan hệ Các bảng 4.2 4.3 minh họa việc liệu từ mô hình tệp phẳng (Bảng 4.1) đợc tổ chức lại theo cấu trúc mô hình sở liệu quan hệ Bảng 4.1 Bảng có cấu trúc tệp phẳng thành lập từ liệu minh hoạ hình Tên gọi phổ biến Cá hồi san hô Cá tuyết cửa sông Cá mặt trăng Cá Jack tràm Cá đuôi vàng Giống Loài Vị trí Cực Vùng Bắc Bờ Vùng Trung Plectopomus leopardus Epinephelus tauvina Thalassoma Cùc B¾c Argentimac Cùc Nam ulatus flavicauda Cùc B¾c Lutyanus pomacentrus lunare M· vïng Vïng Vïng Vïng Lo¹i HiƯn sinh vật trạng đáy u đánh bắt Sờn rạn San hô Trung cành bình Rạn San hô Thấp Bommie bảng Môi trờng sống Sờn rạn San hô cành Đáy bùn Tảo phẳng biển Sờn rạn San hô cành Trung bình Cao Trung bình Bảng 4.2 Chi tiết loài Tên gọi phổ biến Cá hồi san hô Cá tuyết cửa sông Cá mặt trăng Cá Jack tràm Cá đuôi vµng Gièng Plectopomus Epinephelus Thalassoma Lutyanus Pomacentrus Loµi Leopardus Tauvina Lunare Argentimac ulatus Flavicauda Vị trí Cực Bắc Bờ Trung Cùc B¾c Cùc Nam Cùc B¾c M· vïng Vïng Vïng Vïng Vïng Vïng B¶ng 4.3 Chi tiÕt vỊ m«i tr−êng sèng M· vïng Vïng Vïng Vïng Vïng Vïng M«i tr−êng sống Loại sinh vật đáy u Sờn rạn Rạn Bommie Sờn rạn Đáy bùn phẳng Sờn rạn San hô cành San hô bảng San hô cành Tảo biển San hô cành Hiện trạng đánh bắt Trung bình Thấp Trung bình Cao Trung bình Hai bảng 4.2 4.3 có mét tr−êng chung lµ tr−êng M· vïng Tr−êng nµy cã chức nối kết hai bảng với thờng đợc gọi trờng khoá Trờng Mà vùng http://www.ebook.edu.vn - 23 Tài liệu giảng dạy môn Tin học môi truờng Khoa Môi trờng, Trờng đại học khoa học tự nhiên Nguyễn Hồng Phơng Quản lý liệu nghiên cứu môi trờng xác định xác vùng đánh bắt kết nối bảng mô tả loài với bảng mô tả vùng Chẳng hạn, để tìm loại sinh vật đáy u vùng đánh bắt cá ngừ san hô, bạn cần tìm ghi có chứa cá ngừ san hô bảng mô tả loài Mà vùng cá ngừ san hô (Vùng 1) sau đợc sử dụng để tìm bảng mô tả vùng loại sinh vật đáy chiếm u (San hô cành) Cần nhận xét có ghi có mà vùng Vùng đợc tìm thấy bảng mô tả vùng, có nhiều loài cá khác có mặt vùng đánh bắt đợc ghi nhận bảng mô tả loài Loại quan hƯ nµy gäi lµ quan hƯ mét-nhiỊu NÕu cã hai ghi với mà vùng Vùng đợc tìm thấy bảng mô tả vùng chắn có sai sót, bạn xác định đợc ghi ứng với bảng mô tả vùng Mà vùng phải đợc trỏ từ bảng mô tả loài tới ghi bảng mô tả vùng Điều có nghĩa giá trị trờng Mà vùng bảng mô tả vùng phải giá trị Trong ví dụ trên, bạn cảm thấy cấu trúc sở liệu quan hệ chứa nhiều liệu phức tạp cấu trúc tệp phẳng Sự khác biệt hai cấu trúc chỗ, trờng khóa Mà vùng có mặt hai bảng sở liệu Quan hệ, nhng xuất lần cấu trúc tệp phẳng Tuy nhiên, cấu trúc quan hệ rõ ràng có hiệu cao hơn, bảng mô tả vùng chøa cã ba ghi NÕu b¹n thư céng sè loài vào, bạn thấy tập liệu, cấu trúc tệp phẳng chứa 40 lần nhập liƯu (8 tr−êng*5 ghi), cÊu tróc quan hệ chứa 37 lần nhập liệu [Bảng mô tả loài:(5 trờng*5 ghi)+Bảng mô tả vùng (4 trờng*3 ghi)] Kích thớc bảng lớn, khác biệt trở nên đáng kể Dới liệt kê u điểm cấu trúc quan hệ so với cấu trúc tệp phẳng: ã Ưu sức chứa liệu So sánh: Trong ví dụ trên, bảng nhỏ, cấu trúc tệp phẳng đòi hỏi 40 vị trí lu liệu, tập liệu, cấu trúc quan hệ cần 37 vị trí ã Giảm số lợng liệu cần nhập vào sở liệu So sánh: Trong cấu trúc tệp phẳng (bảng 4.1), để thêm loài vào bảng, cần phải thêm vào trờng, ®èi víi cïng tËp d÷ liƯu, cÊu tróc quan hƯ yêu cầu thêm vào trờng ã Dễ cập nhật bảng So sánh: Để thay đổi trạng đánh bắt cho vùng Vùng từ trung bình đến cao, cấu trúc tệp phẳng (bảng 4.1) đòi hỏi cập nhật tất ghi có mà vùng Vùng 1, tức phải cập nhật ba ghi Trong cÊu tróc quan hƯ, chØ cã mét ghi bảng mô tả vùng phải cập nhật, số loài cá đợc ghi nhận Vùng ã Dễ thay đổi cấu trúc sở liệu So sánh: Để thêm cột mô tả độ sâu đánh bắt vào bảng có cấu trúc tệp phẳng, bạn phải thay đổi tất ghi, ®èi víi cÊu tróc quan hƯ, chØ cã ghi bảng mô tả vùng phải cập nhật Điều cho phép bạn sửa đổi, mở rộng quản lý sở liệu cách dễ dàng nhiều Nhợc điểm hệ thống sở liệu quan hệ đòi hỏi chức công cụ máy tính việc liên kết bảng kết xuất liệu http://www.ebook.edu.vn - 24 Tài liệu giảng dạy môn Tin học môi truờng Khoa Môi trờng, Trờng đại học khoa học tự nhiên Nguyễn Hồng Phơng Quản lý liệu nghiên cứu môi trờng III thiết kế sở liệu III.1 Quy trình Thiết kế sở liệu bớc quan trọng quy trình xây dựng sở liệu Một sở liệu đợc thiết kế tốt tạo điều kiện cho thao tác nhập liệu dễ dàng cho phép truy xuất liệu nhanh, hiệu Thiết kế sở liệu trình lặp lặp lại sở liệu thoả mÃn yêu cầu liệu thu thập đợc nh nhu cầu ngời sử dụng Quy trình thiết kế sở liệu đợc minh hoạ hình 6, bao gồm ba bớc chính: Phân tích chức năng, Phân tích liệu Thực thi Thế giới thực Phân tích chức ã Dữ liệu ã Các quy tắc nghiệp vụ ã ã ã Phân tích liệu Thiết kế khái niệm Thiết kế lôgic (mô hình EAR lôgic Thiết kế tiến trình (mô hình tiến trình lôgic) Thực thi Tạo sở liệu Hình Các bớc thiết kế sở liệu Phân tích chức năng: Đây trình mô hình hóa chức xử lý giới thực liệu Phân tích chức xác định thể loại liệu qui tắc nghiệp vụ cần cho việc xử lý liệu Trong giai đoạn phân tích chức năng, vấn đề đợc xem xét, mô hình hóa phân thành thực thể, trình xử lý liệu Mô hình đợc trình bày dới dạng sơ đồ luồng liệu, với ký hiệu đợc minh hoạ hình 7: http://www.ebook.edu.vn - 25 Tài liệu giảng dạy môn Tin học môi truờng Khoa Môi trờng, Trờng đại học khoa học tự nhiên Nguyễn Hồng Phơng Quản lý liệu nghiên cứu môi trờng ã Thực thể: Biểu tợng mô tả thực thể bất kỳ, đợc nối với trình xử lý Thực thể cung cấp đầu vào nơi tiếp nhận thông tin trình xử lý Tên thực thể đợc đa vào ký hiệu ã Một trình xử lý: Biểu tợng biểu diễn trình xử lý liệu Mô tả tiến trình đợc đa vào ký hiệu ã ã Lu liệu: Biểu tợng mô tả vị trí lu liệu Luồng liệu: Biểu tợng mô tả liệu đợc truyền tới từ thực thể, trình hay nơi lu liệu Mô tả liệu đợc đặt cạnh biểu tợng a) Thực thể b) Quá trình xư lý c) L−u d÷ liƯu d) Lng d÷ liƯu Hình Các ký hiệu sử dụng sơ đồ luồng liệu giai đoạn phân tích chức Sơ đồ luồng liệu cho phép xác định liệu có liên quan, vị trí tìm thấy liệu, qui tắc nghiệp vụ liên quan tiến trình Dữ liệu qui tắc nghiệp vụ đợc xác định giai đoạn đợc dùng làm đầu vào cho giai đoạn phân tích liệu Phân tích liệu: Trong giai đoạn này, mô hình liệu đợc tạo sở liệu qui tắc nghiệp vụ đà xác định đợc giai đoạn trớc Giai đoạn phân tích liệu đợc phân thành giai đoạn nhỏ hơn, kết giai đoạn đợc sử dụng làm đầu vào cho giai đoạn Các định bớc giai đoạn thực làm thay đổi thiết kế giai đoạn trớc, cần phải cân nhắc thận trọng trớc định giai đoạn thực a) Giai đoạn thiết kế khái niệm Đầu vào giai đoạn thiết kế khái niệm sơ đồ luồng liệu - kết giai đoạn phân tích chức Sơ đồ luồng liệu cung cấp cho vị trí liệu, tập hợp qui tắc nghiệp vụ để giúp xây dựng cấu trúc liệu Các bớc cần làm giai đoạn thiết kế khái niệm Xác định liệu Điều có ý nghĩa đặc biệt cách tiếp cận Bottom-up đợc dùng Bớc phân lớp liệu Hai cách tiếp cận đợc sử dụng cách tiếp cận từ xuống (Top-down) cách tiếp cận từ dới lên (Bottom-up) Các liệu đà xác định đợc phân lớp thành thực thể, thuộc tính hay giá trị Các qui tắc nghiệp vụ đợc xác định giai đoạn phân tích chức đợc sử dụng để xác định quan hệ thực thể http://www.ebook.edu.vn - 26 Tài liệu giảng dạy môn Tin học môi truờng Khoa Môi trờng, Trờng đại học khoa học tự nhiên Nguyễn Hồng Phơng Quản lý liệu nghiên cứu môi trờng Cách tiếp cận từ xuống thờng đợc dùng để xây dựng sở liệu hay sở liệu chủ thể Cách đợc thực theo trình tự nh sau: - Xác định thực thể - Xác định quan hệ thực thể - Xác định thuộc tÝnh cđa c¸c thùc thĨ C¸ch tiÕp cËn tõ d−íi lên thờng dùng liệu đà tồn đợc tổ chức lại, hay xây dựng sở liệu ứng dụng Cách đợc thực theo trình tự nh sau: - Thu thập liệu - Xác định phụ thuộc liệu (có nghĩa xác định thực thể thuộc tính) - Xác định quan hệ thực thể Các quan hệ thực thể là: một-một, một-nhiều nhiều-nhiều Tất thông tin đợc sử dụng để tạo mô hình khái niệm quan hệ-thực thểthuộc tính, thờng đợc biểu diễn dới dạng sơ đồ mô hình liệu Một sơ đồ đợc sử dụng rộng rÃi loại sơ đồ Thực thể-Quan hệ Peter Chen đề xuất năm 1976 Trong sơ đồ loại này, thực thể liệu đợc biểu thị khung chữ nhật, thuộc tính liệu đợc biểu thị hình trái xoan, quan hệ đợc biểu thị khung hình thoi Hình minh họa sơ đồ Thực thể-Quan hệ dạng mộtnhiều cho thực thể Tàu khảo sát Trạm đo Mô hình khái niệm quan hệ-thực thể-thuộc tính đợc kiểm tra chuyên gia ngời sử dụng liệu Mà Tàu khảo sát Tàu khảo sát Mà Tàu khảo sát n Quan trắc Trạm đo Hình Sơ ®å Thùc thĨ-Quan hƯ cđa mèi quan hƯ mét- nhiỊu http://www.ebook.edu.vn - 27 Tài liệu giảng dạy môn Tin học môi truờng Khoa Môi trờng, Trờng đại học khoa học tự nhiên Nguyễn Hồng Phơng Quản lý liệu nghiên cứu môi trờng b) Thiết kế logic Mục đích giai đoạn thiết kế lôgic tập trung vào việc nâng cao tính hiệu mô hình, thực phép chuẩn hóa tạo mô hình liệu logic Các bớc thực giai đoạn thiết kế lôgic bao gồm: ã Tinh lọc mô hình khái niệm quan hệ-thực thể-thuộc tính ã Xác định khóa cho thực thể: Xác lập thuộc tính hay nhóm thuộc tính xác định xuất thực thể ã Xác định khóa lạ: Xác lập thuộc tính có chứa giá trị tơng ứng với giá trị thuộc tính bảng khác ã Giải quan hệ - cho hiệu ã Giải quan hệ nhiều - nhiều ã Tinh lọc thuộc tính Trong giai đoạn này, qui tắc chuẩn hóa đợc áp dụng để tinh lọc mô hình khái niệm quan hệ-thực thể-thuộc tính Chuẩn hoá (Normalization) thủ tục hình thức hoá, qua thuộc tính liệu đợc gom nhóm thành bảng bảng đợc gom nhóm thành sở liệu Tuỳ theo độ phức tạp sở liệu, trình chuẩn hoá đợc thực nhiều hay nhằm đa liệu dạng chuẩn sau: Dạng chuẩn 1: Mô hình liệu thoả mÃn dạng chuẩn tất thuộc tính lặp bị loại khỏi thực thể Dạng chuẩn 2: Mô hình liệu thoả mÃn dạng chuẩn thoả mÃn dạng chuẩn tất thuộc tính phụ thuộc vào phần khóa bị loại khỏi thực thể dạng chuẩn liệu cột phi khoá bảng phải lệ thuộc hoàn toàn vào khoá phần (cột) khoá khoá hỗn hợp Dạng chuẩn 3: Mô hình liệu thoả mÃn dạng chuẩn thoả mÃn dạng chuẩn tất thuộc tính phụ thuộc vào thuộc tính khác khóa bị loại khỏi thực thể Nói cách khác dạng chuẩn yêu cầu tất cột phi khoá bảng phải lệ thuộc vào khoá bảng độc lập với c) Thiết kế tiến trình Mục đích giai đoạn thiết kế tiến trình xác định khối lợng liệu tần suất giao dịch, phân tích giao dịch tạo mô hình liệu tiến trình Các công việc chủ yếu cần làm giai đoạn thiết kế tiến trình ghi lại thông tin vật lý cách liệu đợc lu truy nhập Kết tạo mô hình tiến trình logic chứa thông tin khối lợng liệu, dạng xử lý số giao dịch mẫu, khối lợng liệu đợc truy nhập tần suất giao dịch thực Các thông tin hỗ trợ cho giai đoạn thực thi sở liệu cách có hiệu Thực thi: Tạo sở liệu thực phản ánh liệu đà đợc mô hình hóa có cấu trúc mềm dẻo, dễ thay đổi, chỉnh sửa tiện lợi cho ngời sử dụng Các công việc tiêu biểu đợc thực giai đoạn bao gồm: http://www.ebook.edu.vn - 28 Tài liệu giảng dạy môn Tin học môi truờng Khoa Môi trờng, Trờng đại học khoa học tự nhiên Nguyễn Hồng Phơng Quản lý liệu nghiên cứu môi trờng ã Phân tách hay nhập bảng lại để tăng hiệu suất (phi chuẩn) ã Bổ sung loại liệu phụ để làm tăng hiệu suất (phi chuẩn) ã Xác định kích cỡ sở liệu ã Xác định vị trí vật lý sở liệu ã Xác định sở liệu bảng ã Tải liệu ngời dùng III.2 Kinh nghiệm Trên thực tế, quy tắc cụ thể tồn cho việc thiết kế sở liệu Tuy nhiên, kinh nghiệm đúc kết từ thực tiễn liệt kê dới giúp ích cho ngời bớc đầu thiết kế sở liệu: ã Đầu tiên, hÃy cố gắng làm quen với liệu đợc thu thập Chẳng hạn, bạn cần tìm hiểu thêm quy trình lấy mẫu, nội dung thí nghiệm (bao gồm định nghĩa mẫu, mẫu trùng lặp), liệu đợc thu thập, điều kiện lấy mẫu yêu cầu việc phân tích mẫu Sẽ bổ ích bạn có mặt chuyến thực địa để tham quan trình lấy mẫu ã Bớc việc thiết kế bảng ghi liệu để sử dụng thực địa thiết kế cấu trúc sở liệu Các công việc tiến hành song song, cách tổ chức ghi chép liệu thực địa có liên quan chặt chẽ với cấu trúc sở liệu Các bảng ghi chép liệu thực địa phải đảm bảo ghi nhận đợc tất biến số cần thiết, đảm bảo độ tin cậy tính đầy đủ liệu đợc thu thập, đảm bảo liệu có ích với nhiều ngời sử dụng tơng lai ã Xác định thể loại, độ dài quy tắc cho giá trị liệu trờng Thông thờng, mét tr−êng cã thĨ thc lo¹i Sè, Ký tù hay Ngày tháng Độ dài trờng xác định giá trị cực đại cho phép giá trị liệu Việc xác lập quy tắc nhập liệu cho trờng sở để xây dựng chơng trình kiểm tra chất lợng liệu sở liệu Đồng thời, điều hạn chế sai sót trình nhập liệu HÃy mô tả bảng liệu theo mục đích sử dụng chúng, mô tả tên trờng, loại, độ dài quy tắc nhập liệu cho trờng Sự mô tả đợc gọi Từ điển liệu đơn giản ã Cần khẳng định chắn tất biến số cần thiết cho thao tác với liệu cho phép phân tích đà có đủ sở liệu Nếu bạn muốn kết xuất hay xếp liệu theo ngày tháng, bạn cần lu ý đến điều giai đoạn thiết kế sở liệu ã Cần khẳng định chắn liệu đợc phát xác sở liệu Các liệu phải đợc xác định sở liệu dới hai dạng: nhóm liệu liệu đơn lẻ ã Lúc này, bảng liệu đợc xây dựng thành phần mềm để đa vào sử dụng Có nhiều công cụ thích hợp cho công việc này, chẳng hạn nh phần mềm đóng gói cho phép quản lý sở liệu máy tính http://www.ebook.edu.vn - 29 Tài liệu giảng dạy môn Tin học môi truờng Khoa Môi trờng, Trờng đại học khoa học tự nhiên Nguyễn Hồng Phơng Quản lý liệu nghiên cứu môi trờng ã Cần xây dựng giao diện nhập liệu cho ngời sử dụng không cã nhiỊu kinh nghiƯm cịng cã thĨ thao t¸c dƠ dàng Nếu có thể, đơn thể chơng trình kiểm tra chất lợng liệu cần đợc đa vào chơng trình nhập liệu theo quy tắc đà xác lập Luôn nhớ kiểm tra liệu sau chúng đà đợc nhập vào sở liệu Các quy tắc nhập liệu kiểm tra xem liệu nhập vào có hợp lệ hay không, chúng kiểm tra tính đắn liệu nhập vào ã Khi côngtác thu thập liệu đà đợc bắt đầu, phải hiệu chỉnh lại sở liệu Đây công việc thiết thực, nhằm kiểm tra xem sở liệu có phản ánh đợc đầy đủ liệu đợc thu thập theo yêu cầu đề hay không Những ý kiến phản hồi từ phía ngời sử dụng bổ ích ã Phơng pháp thử nghiệm hoạt động sở liệu tốt thử kết xuất liệu sớm tốt Các trục trặc đợc phát chỉnh sửa sớm mà cần thử nghiệm với tập liệu nhỏ sở liệu Đây công việc có ý nghĩa quan trọng việc trả lời ý kiến đóng góp ngời sử dụng, đồng thời giúp phát điểm yếu thiết kế sở liệu hay thân liệu IV Quản lý sở liệu Trong thực tế, liệu nhập đợc vào sở liệu, liệu cần phải đợc quản lý Quản lý liệu trình bao gồm nhiều giai đoạn, từ việc kiểm soát trình nhập liệu, mô tả sở liệu đến việc lu liệu Việc tiêu phí nhiều tiền cho công tác lấy số liệu trở nên vô nghĩa liệu lu sở liệu không xác, đợc liệu nằm đâu biểu thị Các điểm cần trọng công tác quản lý liệu bao gồm : ã ã Xác lập quy trình thu thập liệu ã Xác lập quy trình thao tác với liệu ã Có ý thức chất lợng liệu ã Có ý thức việc mô tả liệu ã I Quy định trách nhiệm quản lý liệu Lu giữ liệu thực Trách nhiệm Xác định trách nhiệm công đoạn khác toàn trình quản lý liệu quan trọng Việc quy định trách nhiệm bớc khác quy trình xử lý đảm bảo chất lợng liệu Ngời thu thập liệu đợc gán trách nhiệm nhập kiểm tra liệu, trách nhiệm lu lu trữ liệu phân cho cán làm việc trung tâm máy tính Cần xây dựng văn mô tả đầy đủ cách sử dụng sở liệu quy định rõ trách nhiệm cá nhân công đoạn quản lý liệu http://www.ebook.edu.vn - 30 Tài liệu giảng dạy môn Tin học môi truờng Khoa Môi trờng, Trờng đại học khoa học tự nhiên Nguyễn Hồng Phơng Quản lý liệu nghiên cứu môi trờng Thu thập liệu Thu thập liệu bớc quan trọng chơng trình giám sát môi trờng Dữ liệu đợc thu thập dới dạng bảng ghi chép phản ánh trạng biến số đợc đo đạc hay quan trắc thời điểm Tất bớc chẳng qua quy trình chuyển đổi, thao tác phân tích "thực trạng" Sau số điều cần lu ý thu thập liệu : ã áp dụng phơng pháp đợc công nhận rộng rÃi, đà đợc mô tả văn liệu ã Đào tạo, nâng cao nghiệp vụ cho cán làm côngtác thu thập liệu ã Sử dụng bảng ghi số liệu để dễ dàng kiểm tra liệu thu thập ã Xây dựng quy trình lu giữ bảng ghi chép liệu mẫu vật thu thập đợc Thao tác với liệu Cách để khẳng định liệu thu thập đợc thực địa đà đợc đa vào sở liệu cách xác áp dụng quy trình nghiêm ngặt cho tất bớc thao tác với liệu Chẳng hạn, cần xây dựng quy trình cho công đoạn sau : ã Gán mà cho mẫu ã Nhập liệu ã Kiểm tra tính hợp lệ liệu ã Quy trình bổ sung số liệu quan trắc bảng ã Sao lu lu trữ liệu ã Lu trữ ghi chép thực địa mẫu vật thu đợc Mỗi bớc thao tác với liệu cần đợc mô tả văn hớng dẫn sử dụng Văn cần mô tả chi tiết tất quy trình thao tác với sở liệu, phơng pháp sử dụng để kiểm tra liệu, danh sách mà sử dụng sở liệu, cách lu lu trữ liệu, phân công trách nhiệm công đoạn thao tác với liệu Chất lợng liệu Chất lợng liệu không bao hàm việc áp dụng quy trình thao tác với liệu Nó bao hàm độ xác liệu, lặp lại phép đo thực địa chất lợng liệu lu sở liệu Có thể đảm bảo đợc chất lợng liệu nhờ sử dụng quy trình thao tác liệu viết thành văn bản, dự đoán trớc nguồn gốc sai số cách kiểm tra thờng xuyên Để đảm bảo chất lợng liệu, cần lu ý tới điểm sau: ã Sự hiểu biết liệu thiÕt kÕ thùc nghiƯm lµ rÊt quan träng http://www.ebook.edu.vn - 31 Tài liệu giảng dạy môn Tin học môi truờng Khoa Môi trờng, Trờng đại học khoa học tự nhiên Nguyễn Hồng Phơng Quản lý liệu nghiên cứu môi trờng ã Việc sử dụng bảng ghi liệu thực địa làm tăng độ tin cậy liệu, khẳng định việc liệu đợc thu thập đợc ghi nhận phơng thức quán ã Các liệu thu thập đợc phải đợc nhập vào sở liệu sớm tốt Điều cho phép loại trõ nh÷ng sai sãt nh÷ng ng−êi lÊy d÷ liệu nhớ, đồng thời cho phép thu thập lại liệu bị nghiên cứu kỹ lại vùng lấy mẫu ã Các chơng trình nhập liệu sở liệu đảm bảo để giá trị liệu nằm phạm vi cho phép Các phép kiểm tra ngầm định sở liệu bao gồm: kiểm tra khoảng giá trị hợp lí, kiểm tra tính đắn ngày tháng, mà số kiểm tra xem tài liệu tham khảo liệu nhập vào có tồn đầy đủ hay không ã Kiểm tra liệu phần quan trọng công đoạn nhập liệu đảm bảo chất lợng liệu ã Một liệu đà đợc nhập vào sở liệu, cho chạy chơng trình kiểm tra liệu để phát lỗi lô gich, giá trị bị bỏ sót hay giá trị vợt giới hạn cho phép ã Sao lu lu trữ liệu công việc nhằm bảo toàn liệu Dữ liệu cần đợc lu định kỳ đĩa hay băng phải đợc bảo quản nơi an toàn cách xa nguồn liệu gốc Bạn h·y nhí ba quy t¾c sau: l−u, l−u lu Sẽ tha thứ đợc bạn không lu liệu Ngoài việc lu liệu, sổ sách ghi chép mẫu vật thu thập đợc thực địa phải đợc lu trữ nơi an toàn ã Cuối cùng, cần phải có ngời chịu trách nhiệm chất lợng liệu Bằng cách giao trách nhiệm cho mét ng−êi thĨ, cã thĨ thùc hiƯn nhiỊu c«ng việc liên quan đến chất lợng liệu, bao gồm việc viết quy phạm Bằng cách giao quyền hạn cho ngời đó, ngời khác phải hoàn thành bổn phận việc đảm bảo chất lợng liệu Từ điển liệu Việc mô tả cấu trúc sở liệu cách sử dụng quan trọng không việc xây dựng sở liệu Một tài liệu mô tả đầy đủ giúp ngời sử dụng hiểu đợc cấu trúc sở liệu, thiết kế mối quan hệ tập liệu Sự mô tả khiến cho sở liệu trở thành phổ dụng làm tăng giá trị liệu Trong việc mô tả liệu cần lu ý tới số vấn đề sau: ã Mô tả đầy đủ dự án, bao gồm vấn đề chung, mục tiêu chi tiết khác ã Mô tả đầy đủ phơng pháp lấy số liệu sử dụng, trích dẫn tài liệu có liên quan khác ã Mô tả bảng mối quan hệ chúng sở liệu http://www.ebook.edu.vn - 32 Tài liệu giảng dạy môn Tin học môi truờng Khoa Môi trờng, Trờng đại học khoa học tự nhiên Nguyễn Hồng Phơng Quản lý liệu nghiên cứu môi trờng ã Đối với trờng bảng, cần có mô tả chi tiết tên trờng, loại trờng, độ dài trờng, quy tắc nhập liệu trờng mô tả vắn tắt liệu chứa trờng ã Mô tả vắn tắt tất phần mềm sử dụng, toàn mà nguồn chơng trình nhập kiểm tra liệu, mô tả hệ máy tính sử dụng khuôn khổ dự án Sẽ lí tởng phần mô tả liệu đợc đa vào văn liệu chung mô tả quy trình sử dụng quản lý sở liệu Văn cần đợc phổ biến cho quan khác http://www.ebook.edu.vn - 33 Tài liệu giảng dạy môn Tin học môi truờng Khoa Môi trờng, Trờng đại häc khoa häc tù nhiªn ... kế sở liệu hay thân liệu IV Quản lý sở liệu Trong thực tế, liệu nhập đợc vào sở liệu, liệu cần phải đợc quản lý Quản lý liệu trình bao gồm nhiều giai đoạn, từ việc kiểm soát trình nhập liệu, ... học khoa học tự nhiên Nguyễn Hồng Phơng Quản lý liệu nghiên cứu môi trờng Thu thập liệu Thu thập liệu bớc quan trọng chơng trình giám sát môi trờng Dữ liệu đợc thu thập dới dạng bảng ghi chép... thể http://www.ebook.edu.vn - 26 Tài liệu giảng dạy môn Tin học môi truờng Khoa Môi trờng, Trờng đại học khoa học tự nhiên Nguyễn Hồng Phơng Quản lý liệu nghiên cứu môi trờng Cách tiếp cận từ