Một kho dữ liệu, gọi một cách chính xác hơn là kho thông tin information warehouse, là một cơ sở dữ liệu hướng đối tượng được thiết kế với việc tiếp cận các ý kiến trong mọi lĩnh vực kin
Giới thiệu kho dữ liệu và dữ liệu tài chính
Dữ liệu trong lĩnh vực kho hàng
Công nghệ thông tin, với khả năng tính toán chính xác, nhanh chóng và khách quan, đã được áp dụng rộng rãi trong quản lý kho hàng từ sớm Dữ liệu trong kho hàng có những đặc điểm riêng biệt, đóng vai trò quan trọng trong việc tối ưu hóa quy trình quản lý.
- Số lượng lần giao dịch vận chuyển lớn
Do đó, cần có một chiến lược lưu trữ, xử lý dữ liệu một cách hiệu quả Đáp ứng được nhu cầu của một kho hàng cụ thể
Kho dữ liệu (Data warehouse)
Kho dữ liệu là một tập hợp thông tin quan trọng trên máy vi tính, đóng vai trò quyết định trong việc đảm bảo thành công cho các bước đầu trong công việc kinh doanh.
Kho dữ liệu, hay còn gọi là kho thông tin, là một cơ sở dữ liệu hướng đối tượng được thiết kế để phục vụ nhu cầu thông tin trong mọi lĩnh vực kinh doanh Nó cung cấp các công cụ cần thiết cho các nhà quản trị ở mọi cấp độ tổ chức, nhằm đáp ứng các yêu cầu dữ liệu phức tạp và tạo điều kiện thuận lợi cho việc truy xuất thông tin nhanh chóng và chính xác Kho dữ liệu được thiết kế để người dùng có thể dễ dàng nhận diện và truy cập thông tin mà họ cần thông qua các công cụ đơn giản.
Một kho dữ liệu là sự kết hợp của nhiều công nghệ, bao gồm cơ sở dữ liệu đa chiều và mối quan hệ giữa chúng, kiến trúc chủ khách và giao diện người dùng đồ họa Dữ liệu trong kho dữ liệu không thể chỉnh sửa, mà được tạo ra, chỉnh sửa và xóa bởi hệ điều hành Mục tiêu chính của kho dữ liệu là tích hợp dữ liệu từ nhiều nguồn khác nhau vào một nơi duy nhất để phục vụ cho việc phân tích và ra quyết định trong kinh doanh Đối với các doanh nghiệp, kho dữ liệu giống như một nhà kho chứa thông tin quý giá, nơi mà dữ liệu được nạp và tóm tắt để phục vụ nhu cầu sử dụng Người dùng có thể đưa ra yêu cầu và nhận được sản phẩm từ các thành phần lưu trữ trong kho Một kho dữ liệu được thiết kế và vận hành hiệu quả có thể trở thành một công cụ cạnh tranh quan trọng trong kinh doanh.
1.2.2 Mục đích của kho dữ liệu
Mục tiêu chính của kho dữ liệu là đạt những mục tiêu sau:
- Phải có khả năng đáp ứng mọi thông tin yêu cầu của người dùng
- Hỗ trợ nhân viên của tổ chức thực hiện tốt, hiệu quả công việc của họ
- Giúp các tổ chức xác định, quản lý, điều hành các dự án, nghiệp vụ một cách hiệu quả và chính xác.
- Tích hợp dữ liệu và siêu dữ liệu từ nhiều nguồn khác nhau.
Muốn đạt được các mục tiêu trên thì kho dữ liệu phải:
- Nâng cao chất lượng dữ liệu bằng cách làm sạch và hướng chủ đề nhất định
- Tổng hợp và kết nối dữ liệu
- Đồng bộ hóa các nguồn dữ liệu
- Phân định và đồng nhất các hệ cơ sở dữ liệu tác nghiệp
- Quản lý siêu dữ liệu
- Cung cấp thông tin được tích hợp, tóm tắt hoặc được liên kết, tổ chức theo các chủ đề
- Dùng trong các hệ thống hỗ trợ ra quyết định.
1.2.3 Lợi ích của kho dữ liệu
Việc tạo ra những quyết định có ảnh hưởng lớn thông qua kho dữ liệu cho phép trích xuất tài nguyên nhân lực và máy tính theo yêu cầu, từ đó cung cấp các câu truy vấn và báo cáo dựa trên cơ sở dữ liệu hoạt động và sản xuất Điều này không chỉ tạo ra sự tiết kiệm đáng kể mà còn giúp tối ưu hóa việc sử dụng tài nguyên khan hiếm của hệ thống sản xuất, đặc biệt khi thực thi các chương trình lâu dài hoặc các báo cáo và câu truy vấn phức tạp.
Công việc kinh doanh ngày càng trở nên thông minh hơn nhờ vào việc nâng cao chất lượng và tính linh hoạt trong phân tích kinh doanh Điều này được thực hiện thông qua cấu trúc dữ liệu đa tầng của kho dữ liệu, nơi cung cấp dữ liệu từ mức độ chi tiết đến tổng quát Bằng cách này, doanh nghiệp đảm bảo dữ liệu chính xác và đáng tin cậy, vì kho dữ liệu chỉ chứa những thông tin có chất lượng cao và ổn định.
Dịch vụ khách hàng được cải thiện đáng kể nhờ vào việc doanh nghiệp có thể duy trì mối quan hệ tốt hơn với khách hàng thông qua việc quản lý và phân tích dữ liệu từ kho dữ liệu riêng.
Tái sáng tạo các tiến trình kinh doanh thông qua việc phân tích liên tục thông tin sẽ cung cấp cái nhìn toàn diện về hoạt động kinh doanh Điều này giúp phát sinh những ý tưởng sáng tạo cho việc cải tiến các quy trình Để đạt được điều này, việc xác định chính xác nhu cầu từ kho dữ liệu là rất quan trọng, giúp đánh giá đúng các hạn chế và mục tiêu kinh doanh.
Tái tạo hệ thống thông tin là một yếu tố quan trọng trong mọi lĩnh vực kinh doanh Một kho dữ liệu không chỉ là nền tảng cho các yêu cầu dữ liệu mà còn giúp giảm chi phí và nâng cao hiệu quả Điều này tạo ra thói quen chuẩn hóa dữ liệu và hoạt động của hệ điều hành theo các tiêu chuẩn quốc tế.
1.2.4 Thành phần của kho dữ liệu
Trung tâm của kho dữ liệu là các chi tiết hiện hành, nơi lưu trữ phần lớn dữ liệu Những chi tiết này được lấy trực tiếp từ hệ điều hành và có thể được lưu trữ dưới dạng dữ liệu thô hoặc là tập hợp của các dữ liệu thô.
Chi tiết hiện hành là phần lõi dữ liệu mức thấp nhất trong kho dữ liệu, với mỗi thực thể dữ liệu là một bức ảnh chụp nhanh tại một thời điểm cụ thể, minh họa cho sự chính xác của dữ liệu Chi tiết hiện hành thường có độ chính xác từ hai đến năm năm và việc duy trì sự chính xác này là điều kiện cần thiết để đáp ứng các yêu cầu trong kinh doanh.
Hệ thống bản ghi là nguồn dữ liệu tối ưu nhất để nuôi dưỡng kho dữ liệu, với dữ liệu phải nhất đảm bảo tính hợp thời, đầy đủ, chính xác và thích nghi về cấu trúc Dữ liệu này thường là nguồn ghi nhận chính trong môi trường sản xuất, nhưng cũng có thể được sử dụng để chứa dữ liệu tổng hợp trong những trường hợp khác.
1.2.5 Cấu trúc của kho dữ liệu
Một kho dữ liệu có thể có một vài phần của cấu trúc sau:
Kho dữ liệu mức vật lý
Cơ sở dữ liệu mức vật lý lưu trữ tất cả dữ liệu của kho dữ liệu, kết hợp với metadata và quy trình xử lý logic để lọc, tổ chức và đóng gói dữ liệu, đồng thời thực hiện việc xử lý dữ liệu chi tiết.
Kho dữ liệu mức logic
Metadata bao gồm các quy định về luật kinh doanh và logic xử lý nhằm lọc, tổ chức, đóng gói và xử lý dữ liệu, nhưng không chứa dữ liệu thực tế Thay vào đó, nó cung cấp thông tin cần thiết để truy cập dữ liệu từ bất kỳ đâu.
Kho dữ liệu thông minh hay dữ liệu theo chủ đề (Data mart)
Data mart là một tập con của kho dữ liệu lớn, cung cấp các thành phần chính như phân khu, vùng và chức năng Nó được xem như là những phần chuyên biệt hóa của kho dữ liệu, giúp tổ chức và truy xuất thông tin một cách hiệu quả hơn.
1.2.6 Mô hình thực thể trong kho dữ liệu
Mô hình thực thể mối quan hệ (ER) thường được sử dụng trong cơ sở dữ liệu OLTP, nhưng không phù hợp cho thiết kế kho dữ liệu do cần truy vấn nhiều bảng khác nhau Thay vào đó, hầu hết các kho dữ liệu sử dụng mô hình sao (star schema), bao gồm một bảng sự kiện và một bảng chiều cho mỗi chiều Bảng sự kiện chứa các trường khóa ngoài liên kết với khóa chính của các bảng chiều.
Mô hình sao không hỗ trợ tốt cho các bảng chứa các thuộc tính phân cấp
Kỹ thuật phân tích OLAP
OLAP (On-Line Analytical Processing) là kỹ thuật sử dụng các khối dữ liệu đa chiều để truy xuất nhanh thông tin từ kho dữ liệu Việc tạo khối từ các bảng chiều và bảng sự kiện trong kho dữ liệu cho phép thực hiện các truy vấn phức tạp và phân tích sâu cho các ứng dụng client, theo Hari Mailvaganam.
Trong khi kho dữ liệu và data mart lưu trữ dữ liệu cho phân tích, OLAP là kỹ thuật cho phép các ứng dụng client truy xuất dữ liệu một cách hiệu quả OLAP mang lại nhiều lợi ích cho người phân tích, chẳng hạn như tăng tốc độ truy vấn và khả năng phân tích đa chiều.
- Cung cấp mô hình dữ liệu đa chiều trực quan cho phép dễ dàng lựa chọn, định hướng và khám phá dữ liệu.
- Cung cấp một ngôn ngữ truy vấn phân tích, cung cấp sức mạnh để khám phá các mối quan hệ trong dữ liệu kinh doanh phức tạp.
- Dữ liệu được tính toán trước đối với các truy vấn thường xuyên nhằm làm cho thời gian trả lời rất nhanh đối với các truy vấn đặc biệt.
- Cung cấp các công cụ mạnh giúp người dùng tạo các khung nhìn mới của dữ liệu dựa trên một tập các hàm tính toán đặc biệt.
OLAP được thiết kế để xử lý các truy vấn liên quan đến khối lượng dữ liệu lớn, điều mà hệ thống OLTP không thể thực hiện hiệu quả hoặc sẽ mất nhiều thời gian để hoàn thành.
1.3.3 Các thành phần của OLAP
Những thành phần mà OLAP sử dụng để thực hiện các dịch vụ bao gồm:
Nguồn dữ liệu cho kho lưu trữ OLAP bao gồm các cơ sở dữ liệu OLTP và các nguồn dữ liệu hợp lệ khác Những dữ liệu này có thể được chuyển đổi thành định dạng phù hợp để phục vụ cho việc phân tích và báo cáo trong kho lưu trữ.
Kho trung gian là một hệ thống lưu trữ và xử lý dữ liệu, nơi dữ liệu được tập hợp, sắp xếp và sàng lọc, sau đó chuyển đổi thành dữ liệu OLAP có giá trị.
Máy chủ lưu trữ bao gồm các máy tính chạy cơ sở dữ liệu liên kết, nơi chứa kho dữ liệu cho kho lưu trữ, cùng với các máy chủ quản lý dữ liệu OLAP.
Các ứng dụng thông minh và bộ công cụ OLAP giúp thực hiện truy vấn dữ liệu hiệu quả, cung cấp báo cáo và thông tin cần thiết cho người ra quyết định trong doanh nghiệp, từ đó nâng cao khả năng phân tích và hỗ trợ quy trình ra quyết định trong lĩnh vực Business Intelligence.
Siêu dữ liệu bao gồm các đối tượng như bảng biểu trong cơ sở dữ liệu OLTP, các khối trong kho lưu trữ dữ liệu, và các bản ghi mà ứng dụng sử dụng để tham chiếu đến các đoạn dữ liệu khác nhau.
Xây dựng luồng ETL
Tầng ETL (Extract – Transform – Load) là tầng thấp nhất, ẩn đi với người dùng cuối, bao gồm 3 bước:
- Bước thu thập (extract) gom góp dữ liệu từ nhiều khác nhau về Các nguồn này có thể là database hệ thống nghiệp vụ (MS SQL, mySQL, Oracle,
Một hệ thống ETL hiệu quả cần phải tương thích với nhiều nguồn dữ liệu khác nhau, bao gồm cả cơ sở dữ liệu như DB2 và các định dạng file phổ biến như CSV, fix-length, Excel, và XML Dữ liệu có thể đến từ các nguồn nội bộ của doanh nghiệp hoặc từ bên ngoài.
Bước chuẩn hoá dữ liệu là quá trình chuyển đổi dữ liệu từ định dạng nguồn sang định dạng của kho dữ liệu, bao gồm các bước chi tiết để đảm bảo dữ liệu được tổ chức theo cấu trúc đa chiều.
- Bước dọn dẹp (cleaning) xoá các bản ghi bị sai, lỗi và chuyển hoá dữ liệu về định dạng chuẩn chung.
- Bước tập hợp (integration) cắt gọt dữ liệu có chung ý nghĩa từ nhiều nguồn khác nhau về một khung duy nhất.
- Bước tổng hợp (aggregation) tổng hợp dữ liệu dựa vào độ chi tiết của data warehouse.
Bước nạp dữ liệu vào kho dữ liệu (data warehouse) là quá trình ghi dữ liệu đã được chuẩn hóa, bao gồm việc cập nhật các thay đổi từ hệ thống nghiệp vụ để đảm bảo số liệu báo cáo luôn chính xác và kịp thời Tần suất cập nhật có thể thay đổi tùy thuộc vào chính sách của công ty, có thể là theo thời gian thực, theo giờ, theo ngày hoặc thậm chí theo tháng.
2 Mô hình bài toán thực tế
Giới thiệu bài toán
Mô hình tổng quan trong chương 4 về kho hàng tập trung vào việc xử lý dữ liệu thực tế của một kho hàng Một ví dụ điển hình là hệ thống của một công ty giao hàng trực tuyến, trong đó hệ thống sẽ bao gồm nhiều mức độ kho hàng khác nhau.
- Kho hàng lớn : có sức chứa lớn nhập hàng từ các nhà sản xuất theo một chu lớn
- Kho hàng nhỏ : có sức chứa nhỏ, chỉ đủ để giao hàng trong một khu vực nhất định
Các bước trong mô hình kinh doanh:
Kho lớn chuyển hàng cho kho nhỏ
Khách hàng đặt hàng online
Kiểm tra hàng trong kho nhỏ gần nhất có còn hay không
Nếu Không thì yêu cầu nhập hàng từ kho lớn
Kho nhỏ nhận hàng trả lại do lỗi từ người dùng kho lớn nhận hàng trả lại từ kho nhỏ (hàng tồn)
Xây dựng data warehouse
Xây dựng các dimension-table
Bảng dimension đóng vai trò quan trọng trong việc cung cấp thông tin và ngữ cảnh cho bảng fact, từ đó ảnh hưởng đến tất cả số liệu trong data warehouse Mặc dù kích thước nhỏ hơn nhiều so với bảng fact, các bảng dimension lại là trái tim và khối óc của data warehouse, vì mọi truy cập số liệu đều phải thông qua chúng Thiết kế tốt hay xấu của một data warehouse thường phản ánh chất lượng thiết kế của các bảng dimension.
DateKey FullDate DayOfWeek DayNumInMonth DayNumOverall DayName WeekdayFlag WeekNumInYear WeekNumOfOverall WeekBeginDate WeekBeginDateKey Month MonthNumOverall MonthName
Bảng date dimension không chỉ ghi lại thông tin về ngày tháng mà còn lưu trữ các đặc trưng của từng ngày, chẳng hạn như thứ trong tuần và liệu ngày đó có phải là ngày cuối tuần hay không.
Sau đây là thiết kế của bảng Date dimension:
Bảng Store dimension sẽ lưu lại thông tin chính của các kho nhỏ : bao gôm vị trí, nơi đặt kho, quản lý, sức chưa,
StoreKey StoreAddress StoreManager StoreNumber StoreName StoreCountry FloorPlanType SellingSquareFootage TotalSquareFootage FirstOpenDate LastRemodelDate
ProductKey ProductName ProductModel ProductValue ProductUnit ProductQuantity ProductSource
Bảng kích thước sản phẩm lưu trữ thông tin quan trọng về các mặt hàng trong kho, bao gồm khóa chính, tên hàng, nhãn hiệu, giá trị, số lượng và nguồn hàng.
Trong bảng này, chúng tôi ghi lại các dạng chính của quá trình giao dịch, bao gồm TypeKey, mô tả và nhóm chính Nhóm được phân loại từ 1 đến 11, tương ứng với các loại giao dịch khác nhau.
WarehouseKey WarehouseNumber WarehouseName WarehouseAddress WarehouseCity WarehouseZone WarehouseTotalSquareFootage
● Place product into inspection hold.
● Release product from inspection hold.
● Return product to vendor due to inspection failure.
● Return product to inventory from customer return.
Bảng Warehouse dimension sẽ lưu lại thông tin chính của các kho lớn : bao gôm vị trí, nơi đặt kho, sức chưa,
Cấu trúc dữ liệu kho hàng
Trong bài viết này, chúng tôi sẽ khám phá nhiều mô hình quản lý tồn kho bổ sung, bắt đầu với mô hình bản chụp định kỳ (Inventory Periodic Snapshot) Mô hình này thể hiện các mức gian như các lớp dữ liệu trong mô hình chiều, tương tự như các lớp địa chất phản ánh sự tích tụ của trầm tích qua thời gian.
Mô hình kiểm kê thứ hai sẽ được thảo luận, trong đó mọi giao dịch đều ảnh hưởng đến mức tồn kho khi sản phẩm di chuyển qua nhà kho và được ghi lại một cách chi tiết.
Trong mô hình thứ ba, chúng tôi mô tả cách thức chụp tích luỹ hàng tồn kho Mỗi lần phân phối sản phẩm, một hàng bảng sự kiện sẽ được chèn vào, và sau đó, hàng tồn kho sẽ được cập nhật khi sản phẩm di chuyển qua kho.
Mỗi mô hình thể hiện một câu chuyện riêng biệt, và trong một số trường hợp phân tích, có thể sử dụng đồng thời hai hoặc ba mô hình để đạt được kết quả tốt nhất.
3.2.1 Bản chụp nhanh định kỳ (Inventory Periodic Snapshot)
Mức tồn kho tối ưu trong các cửa hàng có ảnh hưởng đáng kể đến tính linh hoạt của chuỗi cung ứng Đảm bảo rằng sản phẩm phù hợp được phân phối đến đúng cửa hàng vào thời điểm thích hợp là yếu tố then chốt để nâng cao hiệu quả hoạt động.
-> giảm thiểu lượng hàng tồn kho
-> giảm chi phí vận chuyển hàng tồn kho.
Nhà bán lẻ cần phân tích hàng tồn kho hàng ngày theo từng sản phẩm và cửa hàng, yêu cầu thiết kế quy trình bốn bước để thực hiện Quy trình này tập trung vào việc xem xét hàng tồn kho định kỳ, với chi tiết tối ưu được cung cấp bởi hệ thống kiểm kê hoạt động Dữ liệu hàng tồn kho hàng ngày bao gồm các yếu tố như ngày tháng, sản phẩm và cửa hàng Trong thực tế, việc chụp nhanh hàng tồn kho định kỳ thường không thể mô tả chi tiết trong bối cảnh giao dịch, do đó cần có một danh sách các chiều thay thế Trong nghiên cứu này, không có thêm chiều mô tả nào ở mức độ chi tiết này Ví dụ, kích thước quảng cáo liên quan đến chuyển động sản phẩm, như khi sản phẩm được đặt hàng, nhận hoặc bán, nhưng không liên quan đến khoảng không quảng cáo.
3.2.2 Các giao dịch của kho hàng (Inventory Transactions)
Một phương pháp hiệu quả để mô hình hóa quy trình kinh doanh hàng tồn kho là ghi lại tất cả các giao dịch, điều này được coi là hành động dồn dập Các giao dịch hàng tồn kho tại kho có thể bao gồm nhiều hoạt động khác nhau.
Nhận sản phẩm. Đặt sản phẩm vào kiểm tra giữ.
Giải phóng sản phẩm khỏi sự kiểm tra.
Trả lại sản phẩm cho nhà cung cấp do lỗi kiểm tra Đặt sản phẩm vào thùng.
Chọn sản phẩm từ bin Đóng gói cho lô hàng.
Gửi sản phẩm tới khách hàng
Nhận sản phẩm lại từ khách hàng
Trả lại sản phẩm cho hàng tồn kho từ sự trả lại của khách hàng
Xóa sản phẩm khỏi kho
Bảng giao dịch, mặc dù đơn giản, cung cấp thông tin chi tiết về các thao tác kiểm kê riêng lẻ Nó hữu ích trong việc đo lường tần suất và thời gian của các loại giao dịch cụ thể, giúp trả lời những câu hỏi mà các báo cáo định kỳ ít chi tiết không thể giải đáp.
Mặc dù bảng sự kiện giao dịch có thể cung cấp thông tin hữu ích, nhưng không nên coi đây là cơ sở duy nhất để phân tích hiệu suất kho Việc khôi phục vị trí kiểm kê chính xác tại bất kỳ thời điểm nào là khả thi về lý thuyết, nhưng thực tế thì quá phức tạp và không khả thi cho các phân tích liên quan đến ngày, sản phẩm, kho hàng hay nhà cung cấp.
Tích lũy ảnh chụp nhanh từ các bảng dữ liệu giúp theo dõi quá trình bắt đầu và kết thúc xác định, cùng với các mốc quan trọng trong kho Mỗi sản phẩm được nhận sẽ được ghi nhận trong bảng dữ liệu, và cách bố trí của sản phẩm sẽ được theo dõi trên hàng thực tế duy nhất cho đến khi sản phẩm rời kho, đảm bảo việc quản lý chuyển động của sản phẩm theo số sản phẩm hoặc số lô.
Xây dựng fact-table
Có ba loại bảng fact table cơ bản: transaction, periodic snapshot và accumulating snapshot, mỗi loại phục vụ các mục đích quan trọng khác nhau Thông thường, cần sử dụng hai bảng fact table để có cái nhìn tổng thể về công việc Cách quản lý và nhịp độ của ba loại bảng này cũng có sự khác biệt đáng kể.
Thu thập thông tin kho hàng theo chu kỳ (Periodic Snapshot)
Thu thập thông tin tích lũy
Chu kỳ Các thời điểm giao dịch rời rạc
Các góc nhìn định kỳ với chu kỳ xác
Một khoảng thòi gian không xác định bao gồm định các tiến trình làm việc. Đơn vị 1 Hàng cho mỗi giao dịch
1 Hàng với mỗi chu kỳ snapshot cộng với các chiều khác
1 Hàng cho một hành động trong tiến trình công việc
Ngày giao dịch Ngày lấy thông tin Số ngày dành cho các mốc quan trọng trong tiến trình công việc
Thông tin Biểu diễn các giao dịch
Biểu diễn sự tích lũy sau mỗi chu kỳ
Biểu diễn các hoạt động của tiến trình công việc
Mật độ của bảng fact table
Thưa hay dày là phụ thuộc và các giao dịch
Mật độ có thể dự đoán được do tiến hành thu thập dữ liệu theo chu kỳ
Thua hay dày là phụ thuộc vào các hoạt động của tiến trình công việc
Việc cập nhật bảng fact table
Không cập nhật trừ khi là sửa lỗi
Không cập nhật, trừ khi là sửa lỗi sai
Cập nhật bất cứ khi nào xảy ra các hoạt động của tiến trình làm việc
Cái nhìn cơ bản về điều hành kinh doanh tập trung vào các giao dịch đơn lẻ hoặc tầng giao dịch Các bảng fact table biểu diễn các sự kiện xảy ra tại một thời điểm nhất định, với mỗi hàng dành cho một khách hàng hoặc sản phẩm cụ thể khi có sự kiện giao dịch Ngược lại, một khách hàng hoặc sản phẩm có thể liên kết tới nhiều hàng trong bảng, do khách hàng có thể thực hiện nhiều giao dịch hoặc sản phẩm có thể được giao dịch nhiều lần.
Dữ liệu giao dịch có thể dễ dàng được nạp vào mô hình phân chiều, trở thành các dữ liệu phân chiều điển hình Điều này cho phép phân tích các hành vi trong những chi tiết cụ thể Khi dữ liệu giao dịch đã được nạp vào bảng fact table, chúng ta gần như không cần phải quay lại xem xét chúng nữa.
Việc chỉ xây dựng một bảng dữ liệu cứng để mô tả các giao dịch là không đủ, vì nhiều vấn đề trong kinh doanh không thể được giải quyết chỉ bằng cách phân tích dữ liệu giao dịch.
Bảng Periodic fact table là điều kiện cần thiết để theo dõi kết quả kinh doanh liên tục trong các chu kỳ xác định Khác với bảng giao dịch (transaction fact table) được cập nhật với mỗi sự kiện, bảng Periodic fact table về kho hàng sẽ được thu thập vào cuối ngày, tuần hoặc tháng Dữ liệu về hoạt động trong các chu kỳ tiếp theo sẽ được nạp chồng lên bảng fact table, cung cấp cái nhìn thường xuyên về xu hướng theo chiều dọc.
Khi hoàn thành giao dịch, chúng ta có thể dễ dàng chuyển các giao dịch đơn lẻ vào bộ dữ liệu hàng ngày bằng cách thêm chúng vào bảng Trong trường hợp này, periodic snapshot đại diện cho một tập hợp các giao dịch trong một khoảng thời gian nhất định Bảng snapshot nên được xây dựng để thể hiện các nguyên nhân Thiết kế của bảng snapshot tương tự như bảng transaction, nhưng thường có ít dimension hơn Ngược lại, dữ liệu trong bảng Periodic fact table phong phú hơn bảng transaction table, vì mọi giao dịch đều được ghi nhận trong bảng Periodic fact table.
Trong nhiều lĩnh vực, việc tổng kết chi tiết giao dịch để đánh giá kết quả là một thách thức lớn Đặc biệt trong quản lý kho hàng, việc xem xét tất cả các giao dịch có thể tốn nhiều thời gian Hơn nữa, việc hiểu rõ ảnh hưởng của các loại giao dịch khác nhau lên kho hàng là một nhiệm vụ phức tạp, ngay cả khi có sẵn dữ liệu lịch sử cần thiết.
Periodic snapshot cung cấp cái nhìn linh hoạt và nhanh chóng cho việc quản lý dữ liệu ở từng tầng của kho hàng Tuy nhiên, dữ liệu được nạp vào mô hình periodic cần phải tuân theo logic cụ thể Nếu không, hệ thống ETL phải có khả năng triển khai các logic phức tạp để giải thích chính xác ảnh hưởng của các loại giao dịch.
Accumulating Snapshot Fact Tables có thể rất phức tạp, vì chúng đại diện cho các quy trình với điểm khởi đầu và kết thúc rõ ràng cùng với một chuỗi các bước trung gian được xác định Loại bảng này phù hợp nhất cho việc phân tích workflows hoặc pipeline, giúp tối ưu hóa quá trình ra quyết định và cải thiện hiệu suất.
Accumulating snapshots thường có nhiều khóa ngoài thời gian, giúp biểu diễn các sự kiện có thể dự đoán hoặc cột mốc trong tiến trình Đôi khi, còn có cột ngày cập nhật cuối cùng của hàng hóa.
Bảng fact table đóng vai trò quan trọng trong việc đo lường hiệu quả và thời gian chạy của workflow và pipeline, vì nó liên kết các thước đo thể hiện độ trễ hoặc thời gian giữa các cột mốc Việc sử dụng bảng transaction table đơn lẻ sẽ gây khó khăn trong việc xác định khoảng thời gian, do cần có các hàng tương quan để tính toán Đôi khi, độ trễ chỉ được tính bằng sự chênh lệch giữa các mốc thời gian, trong khi ở những trường hợp khác, nó được xác định thông qua việc so sánh giữa các ngày làm việc và ngày nghỉ.
Bảng fact snapshot tích lũy thường chứa các mốc thể hiện sự hoàn thành của quá trình, với giá trị 0 và 1 Các bảng snapshot này thường có khóa ngoại liên kết đến bảng dimension trạng thái, nhằm phản ánh tình trạng mới nhất của pipeline.
Khác với các loại bảng khác, bảng accumulating snapshot fact table cho phép người dùng tái truy cập và cập nhật các hàng, phản ánh phần lớn các trạng thái và thước đo hiện tại Bảng này không được thiết kế cho các kịch bản phức tạp hiếm khi xảy ra, trong khi việc phân tích các giá trị ngoại lệ có thể được thực hiện thông qua transaction fact table.
3.3.4 Complementary Fact Table Types ( Kết hợp các bảng) Đôi khi , accumulating và periodic snapshot tương tác với nhau, như khi bạn xây dựng thêm các snapshot theo tháng bằng việc thêm sự ảnh hưởng của các giao dịch mỗi ngày vào một accumulating snapshot xoay vòng trong khi đồng thời lưu trữ dữ liệu của 36 tháng trước đó vào bảng periodic snapshot Theo đó, khi đến ngày cuối cùng của 1 tháng, accumulating snapshot đơn giản là trở thành một chu kỳ mới trong chuỗi chu kỳ và 1 accumulating snapshot sẽ bắt đầy ngày tiếp theo.
Transactions và snapshots là hai khía cạnh trái ngược trong mô hình phân chiều Khi kết hợp, chúng mang lại cái nhìn toàn diện về công việc Cả hai bảng này đều cần thiết, vì việc kết hợp chúng gần như không thể thực hiện được.
Tích hợp chuỗi giá trị
Chúng tôi đã hoàn thành thiết kế ba mô hình khoảng không quảng cáo và giờ đây cần xem xét lại chuỗi giá trị của nhà bán lẻ Doanh nghiệp và tổ chức CNTT thường chú trọng đến việc tích hợp chuỗi giá trị để cải thiện hiệu suất Quản lý kinh doanh cần đánh giá các quy trình doanh nghiệp, đặc biệt là trong các dự án DW/BI, nhằm hiểu rõ hơn hành vi khách hàng từ góc độ cuối-tới-cuối Điều này yêu cầu khả năng liên tục xem xét thông tin khách hàng qua các quy trình như báo giá, đơn hàng, lập hóa đơn, thanh toán và dịch vụ khách hàng Tương tự, các tổ chức cũng cần phân tích sản phẩm của mình qua các quy trình liên quan đến nhân viên, sinh viên, nhà cung cấp, và các bên liên quan khác.
Các nhà quản lý CNTT nhận thức rõ rằng hội nhập là yếu tố thiết yếu để hiện thực hóa tiềm năng của kho dữ liệu và thông tin kinh doanh Họ cảm thấy có trách nhiệm trong việc quản lý tài sản thông tin của tổ chức, đồng thời hiểu rằng sự hoàn thiện trong quản lý là cần thiết để thúc đẩy sự phát triển Ngoài việc đáp ứng nhu cầu của doanh nghiệp, CNTT cũng hưởng lợi từ hội nhập, giúp tổ chức tối ưu hóa việc sử dụng các nguồn lực hạn chế và nâng cao hiệu quả thông qua việc áp dụng các thành phần tái sử dụng.
Các nhà quản lý cấp cao thường chú trọng đến việc hội nhập, vì họ nhận thức được tầm quan trọng của tổ chức và sức mạnh kinh tế để thực hiện điều này Nếu họ không đánh giá cao sự hội nhập, dự án của bạn sẽ gặp phải thách thức lớn và có nguy cơ thất bại Do đó, trách nhiệm không chỉ thuộc về người quản lý DW mà còn cần sự hỗ trợ từ các cấp lãnh đạo khác.
Để đạt được sự đồng thuận trong tổ chức về việc hội nhập chuỗi giá trị, BI cần sự hỗ trợ chính trị mạnh mẽ từ quản lý cấp cao Việc có một người quản lý DW/BI là cần thiết, và trách nhiệm này nên được đặt lên vai lãnh đạo cấp cao, nơi mà sự quyết định và cam kết thực sự thuộc về.
5 Các yêu cầu đặt ra
Một số yêu cầu đặt ra khi vận hành hệ thống giao hàng của kho hàng
● Có một cái nhìn tổng quát về :
● Số lượng hàng đã giao trong ngày/ tháng/ năm
● Hàng nào chuyển nhiều nhất
● Tổng doanh thu của cửa hàng trong ngày/ tháng/ năm
● Số lượng đơn hàng chưa giao được do thiếu hàng
● Số lượng hàng trả lại từ khách hàng
● Lập báo cáo thống kê
● Khách từ lúc đặt hàng đến lúc nhận hàng có thời gian chờ ngắn nhất
Để giảm thiểu tình trạng thiếu hàng tại các kho, cần tính toán chính xác số lượng hàng hóa cần thiết cho mỗi loại sản phẩm khi giao hàng Điều này không chỉ giúp đảm bảo đủ hàng hóa được chuyển đến các kho mà còn hạn chế tình trạng hàng tồn kho do chuyển quá nhiều.
Các công cụ sử dụng:
Xem số lần vận chuyển và lượng hàng hóa chuyển qua các kho hàng trong từng giai đoạn (VD : trong 3 tháng, trong 1 tuần gần nhất )
Biểu đồ đặc trưng và giải thích:
Ta có thể thấy trục hoành là số hiệu của Kho hàng (có tất cả 14 kho)
Các cột màu xanh là số lượng sản phẩm được chuyển qua kho này
Các cột màu đen là số lần vận nhập hàng vào kho
Biểu đồ cho thấy sự chênh lệch giữa số lần nhập hàng và số lượng hàng chuyển tới, giúp xác định cửa hàng nào có lượng nhập ít và cửa hàng nào có lượng nhập nhiều.
Và ta có thể biết được kho nào có số lần nhập nhiều nhất và lượng hàng cung ứng cho mỗi kho có đang thiếu hụt hay không.
Ta có thể thấy kho nào nhận nhiều hàng nhất để chuẩn bị phương tiện
Muốn xem được tổng quan hàng hóa nào được giao nhiều nhất trong từng khoảng thời gian nhất định (VD : trong 3 tháng, trong 1 tuần gần nhất )
Biểu đồ đặc trưng và giải thích:
Ta có thể thấy trục hoành là số hiệu của mặt hàng (có ~ 200 mặt hàng) trong này ta chỉ lấy các mặt hàng có số lượng giao dịch lớn
Các cột màu xanh là số lượng sản phẩm chuyển tới khách hàng.
Biểu đồ cho thấy hàng hóa nào có lượng giao dịch cao nhất, từ đó giúp tăng cường lượng hàng này chuyển về kho Đồng thời, cần chuyển bớt hàng hóa có số lượng giao dịch thấp để tiết kiệm diện tích cho các kho nhỏ.
Chúng ta có thể tăng cường doanh số cho các mặt hàng có lượng giao dịch thấp bằng cách áp dụng các chương trình khuyến mãi kết hợp với những sản phẩm đang bán chạy.
Muốn xem số lần giao/ nhận hàng của từng kho hàng trong 1 khoảng thời gian nhất định (VD : trong 3 tháng, trong 1 tuần gần nhất )
Biểu đồ đặc trưng và giải thích:
Ta có thể thấy trục hoành là số hiệu của kho hàng
Các cột màu xanh là số lần giao nhận của các kho hàng đó.
Muốn xem được giá trị của hàng hóa xuất ra từ các kho trong 1 năm
Biểu đồ đặc trưng và giải thích:
Ta có thể thấy trục hoành là các tháng trong năm
Các cột màu xanh ứng với giá trị thu lại lợi nhuận, còn cột màu đen là giá trị hàng nhập vào kho
Biểu đồ này hiển thị giá trị hàng hóa xuất kho theo từng tháng, với mỗi cột đại diện cho một tháng cụ thể Qua biểu đồ, chúng ta nhận thấy tháng 3 có giá trị hàng hóa xuất kho cao nhất, trong khi tháng 11 ghi nhận giá trị thấp nhất.
Giá trị chênh lệch bao gồm giá trị của các mặt hàng bị lỗi cần phải hủy bỏ và giá trị của các mặt hàng bị người dùng trả lại.
Muốn xem được tỷ trọng của các loại hàng có trong kho nhất định
Biểu đồ đặc trưng và giải thích:
Ta có thể thấy trục hoành là các mặt hàng có mặt trong kho đó
Các cột màu xanh ứng với giá trị của của các mặt hàng đó.
Ta có thể thấy loại hàng nào hiện tại là loại hàng mang tính chiến lược của doanh nghiệp.
Biểu đồ này thể hiện tổng số giao dịch của bốn loại thiết kế kho mà doanh nghiệp quản lý Trong đó, Mixed Floor Plan nổi bật với số lượng giao dịch cao nhất, vượt trội hơn hẳn so với ba loại thiết kế kho khác Điều này cho thấy Mixed Floor Plan có khả năng khai thác hiệu quả hơn so với các thiết kế kho còn lại.