Từ đó OLAP được biết đến như một kỹ thuật phân tích dữ liệu sử dụng các thể hiện dữ liệu đa chiều gọi là các khối cube.. Dự đoán này được những người thiết kế khối dữ liệu mô tả lại như
Trang 1LỜI CẢM ƠN 2
CHƯƠNG 1 : TỔNG QUAN 3
1 Lời giới thiệu 3
2 Bài toán đặt ra: 3
CHƯƠNG 2: CÔNG NGHỆ OLAP 5
2.1 OLAP là gì? 5
2.2 Mô hình dữ liệu đa chiều 6
2.3 Các lược đồ cho CSDL đa chiều 7
2.4 Các mô hình OLAP thông dụng 9
CHƯƠNG 3: ỨNG DỤNG KỸ THUẬT OLAP TRÊN CSDL QUẢN LÝ TÀU CÁ 13
1 Giới thiệu cơ sở dữ liệu quản lý tàu cá 13
2 Ứng dụng kỹ thuật OLAP để phân tích dữ liệu đa chiều: 17
CHƯƠNG 4: KẾT LUẬN VÀ HƯỚNG NGHIÊN CỨU TƯƠNG LAI 20
TÀI LIỆU THAM KHẢO 21
Trang 2LỜI CẢM ƠN
Trong thời lượng 8 buổi học, tuy thời gian ngắn nhưng qua sự truyền đạt tận tình
cùng với kinh nghiệm giảng dạy lâu năm của thầy PGS TS Đỗ Phúc đã truyền đạt cho
Em cũng như các bạn trong lớp những kiến thức quý báu Bên cạnh những kiến thức trong chương trình đào tạo Thầy còn truyển đạt những kỹ năng , kinh nghiệm trong cuộc sống
Với những kiến thức đã tích lũy được, Em xin chân thành cám ơn Thầy về những kiến thức và những kinh nghiệm quý báu mà Thầy đã truyền đạt cho lớp trong phạm vi
môn học Hệ hỗ trợ quyết định thuộc chương trình đào tạo cao học ngành Khoa học máy
tính tại trường Đại học Công Nghệ Thông Tin – Đại học Quốc gia Thành phố Hồ Chí Minh
Một lần nữa em xin cám ơn Thầy Chúc Thầy sức khỏe, hạnh phúc và thành công
Em xin chân thành cảm ơn!
Trang 3CHƯƠNG 1 : TỔNG QUAN
1 Lời giới thiệu
Hiện nay, Thủy sản là ngành trọng điểm phát triển trong nông nghiệp của nước ta Với chiều dài hơn 2000 km bờ biển tài nguyên về biển là vô cùng phong phú Phát triển xuất khẩu thủy sản đem lại hàng tỷ USD cho nước ta hàng năm Trong đó khai thác thủy sản đóng vai trò quan trọng trong chiến lược phát triển của nước ta Bên cạnh đó khai thác thủy sản cũng
để chúng ta khẳng định chủ quyền biển đảo Ngoài việc đánh bắt cá ngư dân còn thực hiện trách nhiệm cao cả là giữ vững vùng đánh bắt Đó cũng là vùng biên giới thiêng liêng của đất nước Trong tình hình căng thẳng về biển đông hiện nay Các tàu hải giám của Trung Quốc thường xuyên bắt giữ và tịch thu dụng cụ của ngư dân nước ta Trên cơ sở này, các nghiệp đoàn nghề cá ra đời
Kinh tế nước ta phát triển nhanh và ngày càng hội nhập cùng kinh tế toàn cầu Trên đà phát triển đó ngành Thủy sản cũng từng bước đổi mới phương thức khai thác Cùng với phương thức khai thác nguồn thủy sản gần bờ như truyền thống, ngư dân cũng có điều kiện đóng những con tàu với công suất lớn để khai thác xa bờ Phương tiện và kỹ thuật khai thác cũng từ đó cải tiến theo Khác với các tàu đánh bắt cá gần bờ chỉ trang bị một số công cụ, thiết bị cần thiết như lưới đánh cá, máy bộ đàm,… Tàu đánh bắt cá xa bờ trang bị các công
cụ thiết bị hiện đại hơn nhiều như máy định vị phát hiện cá, máy định vị tọa độ, máy kéo lưới, … Công cụ, dụng cụ trong mỗi tàu đánh bắt cá nhiều vô kể
Từ những nhận định trên ta có thể thấy việc quản lý khai thác thủy sản trở nên phức tạp hơn trong tình hình hiện nay Do đó các cơ quan chức năng quản lý trong lĩnh vực thủy sản cũng gặp không ít khó khăn trong quản lý
2 Bài toán đặt ra:
Chi cục Thủy sản Bình Thuận(Chi cục) là đơn vị thực thi trực tiếp chức năng quản lý nhà nước đối với ngành thủy sản tỉnh Bình Thuận Về chức năng và nhiệm vụ của Chi cục có nhiều Tuy nhiên do Bình Thuận là tỉnh ven biển miền Trung nên chức năng quản lý về khai thác và bảo vệ nguồn lợi Thủy sản chiếm vai trò chủ yếu Một số nhiệm vụ và quyền hạn của Chi cục như sau:
Hướng dẫn, kiểm tra việc thực hiện quy định về loại nghề, phương tiện, đối tượng, mùa vụ khai thác thủy sản, vùng cấm khai thác, vùng hạn chế khai thác, các loài thuỷ sản cấm nhập khẩu, cấm xuất khẩu trên địa bàn tỉnh theo quy định của pháp luật
Thực hiện việc đăng kiểm phương tiện nghề cá, phê duyệt hồ sơ, thiết kế đóng mới, cải hoán, hoàn công tàu cá có chiều dài đường nước thiết kế dưới 20m; đăng ký tàu cá,
Trang 4đăng ký thuyền viên tàu cá của địa phương theo hướng dẫn, phân cấp của Bộ thủy sản
và quy định của pháp luật
Hướng dẫn, kiểm tra việc thực hiện quy định về danh mục các loài thủy sản cần được bảo vệ, cần được tái tạo; các biện pháp bảo vệ môi trường, các hệ sinh thái thủy sản, bảo tồn quỹ gien, đa dạng sinh học thuỷ sản; phối hợp với các cơ quan có liên quan hướng dẫn, kiểm tra việc thực hiện các quy định về bảo vệ môi trường, tài nguyên nước liên quan đến môi trường sống thủy sản
Thực trạng quản lý ngày nay trở nên phức tạp và khó khăn hơn rất nhiều so với trước đây Hàng năm, số lượng tàu thuyền đăng ký trong tỉnh không ngừng tăng, công cụ dụng cụ phục vụ cho những chuyến đi khai thác cũng đa dạng về chủng loại và nhiều về số lượng Bên cạnh đó, tài nguyên biển đã bị cạn kiệt do khai thác quá mức Vùng biển cần phải mở rộng hơn, dẫn đến tàu các tỉnh khác đến tìm kiếm nguồn hải sản trong tỉnh trở nên thường xuyên hơn Đồng thời ngoài việc quản lý thông tin về phương tiện Chi cục còn quản lý về con người về tổ chức(các nghiệp đoàn) Trên địa bàn tỉnh có khoảng hơn 5000 tàu tập trung ở
10 vùng(huyện) khác nhau Các tàu nằm phân bố ở các huyện (các huyện xa nhau hàng chục cây số) Mỗi tàu cá đánh bắt gần bờ có khoảng 10 thuyền viên Đối với các tàu cá đánh bắt xa
bờ có hơn 10 thuyền viên
Có thể thấy, với vai trò và nhiệm vụ của Chi cục trong lĩnh vực khai thác Thủy sản Việc quản lý thông tin của ngành ngày càng phức tạp Do lượng thông tin ngày càng nhiều và
đa dạng, hình thức quản lý không còn đơn giản như trước đây
Với số lượng thông tin nhiều như vậy, việc quản lý truyền thông (quản lý hồ sơ giấy tờ) đã trở nên lỗi thời không đáp ứng được nhu cầu thực tế Do đó để quản lý lĩnh vực khai thác thủy sản được chi tiết và khoa học, ứng dụng công nghệ thông tin là giải pháp hữu hiệu
Để khai thác dữ liệu một các hiệu quả để từ đó đưa ra những quyết định về chính sách quản
lý là bài toán được đặt ra Ứng dụng OLAP để phân tích dữ liệu là giải pháp khả thi để giải quyết bài toán trên
Trang 5CHƯƠNG 2: CÔNG NGHỆ OLAP
2.1 OLAP là gì?
Thuật ngữ OLAP được E F Codd đưa ra trong một bài báo có tên “Providing Line Analytical Processing to User Analysts” được công bố vào tháng 8 năm 1993 [8]
On-Trong bài báo này ông cũng đưa ra 12 quy tắc mà một hệ thống OLAP phải tuân theo Từ
đó OLAP được biết đến như một kỹ thuật phân tích dữ liệu sử dụng các thể hiện dữ liệu
đa chiều gọi là các khối (cube) OLAP cung cấp khả năng tạo ra các khối dữ liệu và thực
hiện các truy vấn tinh vi trên các ứng dụng người dùng
12 tiêu chuẩn để đánh giá một hệ thống OLAP của E F Codd:
1 Khung nhìn khái niệm đa chiều (Multidimensional Conceptual View): Dữ liệu sẽ được trình bày cho người dùng trên khuân mẫu đa chiều
2 Trong suốt (Transparency): Người dùng không cần biết họ đang sử dụng CSDL
đa chiều OLAP
3 Tính truy cập (Accessibility): Các công cụ OLAP nên chọn dữ liệu nguồn tốt nhất
để hỗ trợ truy vấn
4 Nhất quán trong thực thi báo cáo (Consistent Reporting Performance): Sự thực thi báo cáo phải như nhau không phụ thuộc vào dung lượng CSDL và số chiều được sử dụng
5 Có kiến trúc khách – chủ (Client-Server Architecture): Các công cụ OLAP được triển khai trên mô hình khách hàng – phục vụ
6 Phân chiều tổng quát (Generic Dimensionality): Đảm bảo các chiều dữ liệu là như nhau trong cấu trúc và tính toán Không thiên vị trong việc truy cập bất cứ chiều nào
7 Xử lý động Ma trận dữ liệu thừa (Dynamic Sparse Matrix Handling): Các giá trị null được tổ chức lưu trữ hiệu quả trên ma trận động
8 Hỗ trợ đa người dùng (Multi-User Support): Công cụ OLAP phải hỗ trợ nhiều người dùng đồng thời
9 Các toán tử qua các chiều không giới hạn (Unrestricted Dimensional Operations): Quy tắc kết hợp được áp dụng trên tất cả các chiều
Cross-10 Thao tác dữ liệu bằng trực giác (Intuitive Data Manipulation): Người dùng nhìn thấy mọi dữ liệu cần thiết trên giao diện, tránh phải sử dụng qua menu hoặc qua nhiều thao tác mới mở được giao diện
Trang 611 Lập báo cáo động (Flexible Reporting): Cho phép người dùng trình bày báo cáo
dữ liệu theo bất kỳ cách nào mà họ thích
12 Mức độ kết hợp và số chiều không hạn chế (Unlimited Dimensions and Aggregation Levels): Sẽ không có giới hạn số chiều và mức kết hợp trong mô hình OLAP
2.2 Mô hình dữ liệu đa chiều
Trong thực tế người ta có khuynh hướng suy nghĩ theo “đa chiều” Ví dụ một nhà
quản lý nông nghiệp khi dự đoán dịch bệnh xảy ra anh ta mô tả như sau: “Có khả năng dịch rầy nâu sẽ bùng phát trở lại tại các tỉnh Trà Vinh, Vĩnh Long, An Giang trong khoảng tháng 5 năm 2009 ” Dự đoán này được những người thiết kế khối dữ liệu mô tả lại như
sau:
Hình 1: Mô phỏng các chiều trong mô tả dịch bệnh
Khối dữ liệu (cube): Khối là thành phần chính trong cấu trúc OLAP được sử
dụng để lưu trữ và liệt kê dữ liệu Nó tương tự như khái niệm bảng (table) trong hệ thống CSDL quan hệ Khái niệm khối thường làm cho người ta nghĩ rằng nó có ba chiều nhưng trong cấu trúc OLAP một khối có thể có nhiều hơn 128 chiều
Khối có cấu trúc đa chiều được định nghĩa bởi tập hợp các chiều và các độ đo Các chiều xác định cấu trúc của khối còn các độ đo xác định các giá trị số mà người dùng quan tâm [12] Mỗi khối có một lược đồ dùng để xác định tập hợp các bảng dữ liệu có quan
hệ với nhau được lấy từ dữ liệu nguồn lưu trong kho dữ liệu Bảng ở giữa lược đồ gọi là bảng sự kiện, lưu trữ các độ đo của khối Các bảng còn lại trong lược đồ gọi là bảng chiều, lưu trữ các chiều của khối
Chiều dữ liệu (Dimension): Chiều là thuộc tính cấu trúc tạo nên khối Một chiều có
thể nằm trong một khối duy nhất hoặc được chia sẻ cho nhiều khối Chiều được tạo ra khi tạo khối Mỗi chiều ánh xạ thông tin đến một bảng trong kho dữ liệu gọi là bảng chiều
Ví dụ trong hình 2.3 gồm các chiều thời gian, loại bệnh, thời tiết, giai đoạn sinh trưởng, địa
điểm
Trang 7Phân cấp (hierarchy): Phân cấp là cột sống của việc tổng hợp dữ liệu hay nói cách
khác là dựa vào các phân cấp mà việc tổng hợp dữ liệu mới có thể thực hiện được Phần lớn các chiều đều có một cấu trúc đa mức hay phân cấp
Các độ đo (Measures): Trong một khối, độ đo là tập hợp các giá trị số được dựa trên
cột trong bảng sự kiện của khối Các độ đo là dữ liệu dạng số được người dùng quan tâm khi liệt kê khối Độ đo được lựa chọn dựa trên loại thông tin người dùng yêu cầu Độ đo được tạo ra khi tạo khối Một độ đo chỉ thuộc một khối duy nhất ngược lại một khối có thể có nhiều hơn
1024 độ đo [12]
Các phân hoạch (Partitions): Tất cả các khối đều có tối thiểu một phân hoạch để
chứa dữ liệu của nó Một phân hoạch đơn được tự động tạo ra khi khối được định nghĩa Khi ta tạo một phân hoạch mới cho một khối, phân hoạch mới này được thêm vào trong tập hợp các phân hoạch đã tồn tại đối với khối Khối phản ánh dữ liệu đã được kết nối có trong tất cả các phân hoạch của nó Một bảng phân hoạch của khối là vô hình đối với người dùng
Cơ sở dữ liệu OLAP (OLAP Databases): CSDL OLAP là không gian lưu trữ cho
các khối và các đối tượng liên quan đến CSDL Các đối tượng này bao gồm: dữ liệu nguồn, các chiều chia sẽ và các quy định về quyền truy cập CSDL (Database role) Nếu các đối tượng này được chia sẻ cho nhiều khối thì đối tượng và khối phải nằm trong cùng một CSDL [12]
2.3 Các lược đồ cho CSDL đa chiều
Lược đồ hình sao (star schema): Lược đồ hình sao bao gồm một bảng sự kiện (Fact
table) nằm ở trung tâm, và một số bảng chiều (dimension table) kết nối bao quanh bảng sự kiện tạo thành hình ngôi sao Mỗi bảng tương ứng với một cột trong bảng sự kiện Dữ liệu trong bảng chiều được sử dụng để tạo thành các câu truy vấn phân tích trên bảng sự kiện
Trang 8Hình 4: Lƣợc đồ hình sao
Lược đồ bông tuyết (Snowflake schema): Lƣợc đồ bông tuyết là một biến thể của
lƣợc đồ hình sao, trong đó một số bảng chiều đƣợc chuẩn hóa, từ đó có thể có tiếp tục chia
dữ liệu thành nhiều bảng khác Lƣợc đồ có hình dạng nhƣ một bông tuyết
Hình 5: Lƣợc đồ bông tuyết
Lược đồ chòm sao sự kiện (fact constellation): Các ứng dụng phức tạp có thể đòi
hỏi nhiều bảng sự kiện cùng chia sẻ các bảng chiều Loại lƣợc đồ này có thể đƣợc xét nhƣ một tập hợp các lƣợc đồ hình sao Và vì thế, nó đƣợc gọi là lƣợc đồ chòm sao sự kiện
Trang 9Hình 6: Lược đồ chòm sao sự kiện
2.4 Các mô hình OLAP thông dụng
Hai mô hình OLAP thông dụng được nhiều nhà cung cấp dịch vụ OLAP hỗ trợ là MOLAP và ROLAP Sự phân biệt giữa hai mô hình này dựa trên cách thức lưu trữ dữ liệu ROLAP đại diện cho xử lý phân tích trực tuyến trên CSDL quan hệ MOLAP đại diện cho
xử lý phân tích trực tuyến trên CSDL đa chiều
Trang 10H nh 7: Mô h nh MOLAP
2.4.1 Mô hình MOLAP
Trong mô hình MOLAP, dữ liệu phân tích được lưu trữ trong CSDL đa chiều chuyên dụng nhằm phục vụ tốt nhất cho các truy vấn tổng hợp dữ liệu thường xuyên mà cần thời gian truy xuất nhanh Số liệu tính toán trước và chiều của khối dữ liệu được lưu trong CSDL đa chiều Động cơ MOLAP trong tầng ứng dụng đẩy dữ liệu đa chiều từ CSDL đa chiều đến người dùng phân tích dữ liệu Hình 2.8 trình bày kiến trúc của mô hình MOLAP
Ưu điểm của MOLAP:
- Thực thi nhanh câu truy vấn nhờ vào việc tối ưu hóa lưu trữ, lập chỉ mục đa chiều
và cơ chế bộ nhớ cache
- Áp dụng tốt cho các hệ thống có yêu cầu tính toán phức tạp và thời gian truy xuất nhanh bởi vì tất cả các dữ liệu cần tính toán đã được thực hiện khi tạo khối dữ liệu
- Không sử dụng cơ chế khoá do dữ liệu là chỉ đọc
- Dữ liệu có thể dễ dàng sao chép đến người dùng cho phân tích offline
Nhược điểm của MOLAP:
- Chi phí nhiều thời gian để xử lý dữ liệu (nạp dữ liệu), đặc biệt trong trường hợp khối dữ liệu có dung lượng lớn Để khắc phục nhược điểm này các công cụ MOLAP cho phép chỉ xử lý phần dữ liệu có sự thay đổi thay vì xử lý lại toàn bộ khối dữ liệu
- MOLAP lưu trữ nhiều dữ liệu dư thừa nhằm đáp ứng thời gian truy xuất nhanh
Trang 11- Bị giới hạn bởi dung lượng dữ liệu của hệ thống do tất cả các dữ liệu tính toán trước đều được lưu trữ trong khối Điều này làm cho dữ liệu trong khối có phinh hướng tổng hợp hơn là chi tiết
- Tăng thêm chi phí do công nghệ đa chiều không có sẵn trong hệ thống nên phải đầu
tư chi phí cho cả công nghệ và huấn luyện con người
Hình 8: Mô hình ROLAP
Hình 2.9 trình bày kiến trúc của mô hình ROLAP ba tầng Server phân tích nằm trong tầng ứng dụng ở giữa tạo ra khối dữ liệu đa chiều động cho tầng trình bày ở phía trên Hệ thống đa chiều trong tầng trình bày sẽ cung cấp khung nhìn đa chiều của dữ liệu đến người dùng Khi người dùng đưa ra câu hỏi phức tạp trên dữ liệu đa chiều, câu hỏi được chuyển trực tiếp tới CSDL quan hệ Không giống như trong mô hình MOLAP, các
khối đa chiều trong mô hình ROLAP không được tạo ra và lưu trữ cố định
2.4.4 Mô hình HOLAP
Mô hình HOLAP là sự kết hợp giữa MOLAP và ROLAP, lưu trữ các khối trong