Hệ thống lưu trữ dữ liệu hình ảnh và âm thanh bằng kỹ thuật số tại Đài phát thanh - truyền hình Sơn La cần đáp ứng được những yêu cầu cơ bản như sau:
- Đáp ứng được nhu cầu sản xuất chương trình và phát sóng ngày càng tăng của Đài phát thanh - truyền hình Sơn La với năng suất và chất lượng cao.
- Đáp ứng được khả năng tìm kiếm tư liệu nhanh, chính xác, hình ảnh – âm thanh lưu trữ đảm bảo chất lượng sản xuất cũng như phát sóng.
- Thích ứng với công nghệ hiện nay và tương lai của Đài. Kế thừa được kết quả của công tác lưu trữ đã được thực hiện một phần trong thời gian gần đây. Ghép nối được với hạ tầng công nghệ thông tin và các hệ thống thiết bị của đơn vị.
- Đảm bảo tuổi thọ cao cho hệ thống với công nghệ tiên tiến, phù hợp với xu hướng phát triển trong tương lai, hệ thống mở rộng và phát triển sau này.
- Hệ thống phải hỗ trợ natively tất cả các chuẩn trong SMPTE directory cũng như các mở rộng (plus any extention).
- Giải pháp phần mềm quản lý toàn bộ hệ thống phải linh hoạt và có tính mở, có thể phù hợp với nhiều hãng sản xuất thiết bị phần cứng.
- Đáp ứng khả năng kết nối của hệ thống lưu trữ đối với tất cả các bộ phận khác của Đài thông qua cơ sở mạng truyền dẫn LAN Gigabit băng thông rộng.
- Hệ thống quản lý sẽ được tự động sao lưu theo định kỳ nhằm đảm bảo an toàn cao nhất cho các dữ liệu lưu trữ.
- Khả năng kết nối trực tiếp với các loại hình dịch vụ truyền hình tiên tiến như: IPTV, HDTV, Webcast, Mobilecast.
- Thiết bị phần cứng đảm bảo giao tiếp tốt với các thiết bị sản xuất hiện có tại Đài cũng như những thiết bị truyền hình chuyên dụng khác.
Nguyn Mnh Hùng - Lp cao hc Đin t K3 - Vin Đi hc M Hà N i Trang: 34 3.1.2. Yêu cầu về công nghệ lưu trữ dữ liệu số.
Giải pháp công nghệ được lựa chọn cho hệ thống quản lý tư liệu phải đáp ứng các yêu cầu sau:
- Hoạt động trong môi trường Microsoft Windows để cho phép người dùng dễ khai thác, sử dụng.
- Có giải pháp phần mềm thông minh, điều khiển và tự động hoá toàn bộ hệ thống lưu trữ, hỗ trợ các phần cứng cho hệ thống, cho phép người sử dụng chủ động nâng cấp và duy trì hệ thống, làm cho hệ thống thực sự là một “hệ thống mở”.
- Có khả năng ghép nối với các hệ thống hiện có tại Đài. Có khả năng chấp nhận và chuyển đổi giữa các format AVI, Quicktime, OMF, WMA... thông qua MXF hoặc AAF.
- Có tốc độ tìm kiếm nhanh, khả năng biên tập tại chỗ và tính ổn định cao.
3.1.3. Yêu cầu về giải pháp phần cứng.
Sử dụng một máy chủ để bảo quản toàn bộ dữ liệu Video/Audio nearline, offline và dữ liệu Metadata nhằm tạo cho việc quản lý mạng đơn giản và giảm chi phí. Để tạo điều kiện cho việc khai thác song song nhiều máy trong tương lai, sẽ vẫn có một hệ thống máy chủ quản lý cơ sở dữ liệu chạy clustering và tách phần lưu trữ storate thành hai hệ thống Media storage và Database storage để tận dụng được toàn bộ giải thông của mạng Gigabit. Các Storage đều phải chạy trên các hệ thống Raid tiên tiến để đảm bảo cho lưu trữ dữ liệu an toàn.
Database Server: Chạy trên hệ điều hành Microsoft Windows Server, sử dụng hệ thống cơ sở dữ liệu SQL, cấu hình cluster quản lý toàn bộ các file Video, audio, image... quản lý cơ sở dữ liệu Metadata và các hiệu ứng biên tập, tìm kiếm, chỉnh sửa đồng thời kết nối trực tiếp với hệ thống lưu trữ file ở dạng chất lượng thấp.
Nguyn Mnh Hùng - Lp cao hc Đin t K3 - Vin Đi hc M Hà N i Trang: 35 Database Storage: Dùng lưu trữ các tư liệu video ở chất lượng thấp nhằm phục vụ cho việc tìm kiếm và xem trước dữ liệu của các biên tập viên hay phóng viên. Người dùng có thể truy tìm xem trước các tư liệu với chất lượng thấp trên hệ thống lưu trữ này và nếu được chấp nhận sẽ được dùng tư liệu đã chọn với chất lượng cao được tải từ Media storage về. Để đảm bảo cho công tác quản lý dữ liệu tránh thất thoát, các dữ liệu chất lượng thấp này nếu người sử dụng sao chép mà không được sự cho phép sẽ có logo STV (Đài Phát thanh – truyền hình Sơn La) trên đoạn video sao chép trái phép đó.
Media storage: Nơi lưu trữ các tập tin hình ảnh và âm thanh chất lượng cao, việc lưu trữ phải đảm bảo sao cho vì bất cứ lý do nào hệ thống lữ liệu gốc vẫn phải nguyên vẹn. Dung lượng hệ thống này phải đủ lớn và có thể mở rộng lên hàng trăm Terabyte, cấu hình hệ thống và băng thông cần phải đáp ứng được nhu cầu download dữ liệu của số lượng lớn người dùng.
Webserver/FTP: Có chứng năng đưa các thông tin lên mạng nội bộ hoặc Internet để giới thiệu một số nội dung cần thiết. Nội dung trên server này có chất lượng tương đương WMV (Windows Media Video) hoặc ASF (Advanced Streaming Format). Server ngày hoạt động độc lập với CMA. FTP chuyên dụng cho truyền hình đáp ứng được quản lý dịch vụ truyền file với kích thước lớn trong hệ thống.
Transcode server: Thực hiện các nhiệm vụ mã hoá chuyển đổi các tư liệu từ độ phân giải cao xuống phân giải thấp phục vụ việc duyệt, tìm kiếm tư liệu hay chuyển đổi sao chép giữa các định dạng phân giải cao để phục vụ việc trao đổi tư liệu lưu trữ với các bộ phận khác như phát sóng, biên tập và các loại hình dịch vụ khác.
Network Sercurity: Hệ thống máy chủ trên được kết nối trong một hệ thống mạng Gigabit và được bảo mật cách ly với các hệ thống máy tính truy cập bên ngoài vào. Các máy tính từ các mạng bên ngoài truy cập vào hệ thống cơ sở dữ
Nguyn Mnh Hùng - Lp cao hc Đin t K3 - Vin Đi hc M Hà N i Trang: 36
liệu đều được giám sát qua hệ thống Firewall và các phần mềm sercurity đi kèm khác nhằm bảo mật hệ thống server quản lý một cách tốt nhất.
* Mô hình Server trong hệ thống như sau:
Hình 3.1: Mô hình Server trong hệ thống lưu trữ dữ liệu.
3.1.4. Yêu cầu về tính hiệu quả trong công việc.
Hệ thống đảm bảo mỗi biên tập viên, phóng viên, đạo diễn, cán bộ tư liệu và cán bộ sản xuất chương trình đều có khả năng, điều kiện cần thiết để tự tìm ra một nội dung cần tìm một cách chính xác nhất trong thời gian ngắn nhất để đưa kết quả tìm kiếm và sản xuất hay phát sóng. Do vậy hệ thống phải đáp ứng được những yêu cầu sau:
- Có nhiều tư liệu online và offline chứa trong server và cơ sở dữ liệu. Mỗi tư liệu hình và tiếng đều có Siêu dữ liệu (Metadata) đi kèm.
- Có nhiều công cụ tìm kiếm, nhận dạng tư liệu như tìm bằng định dạng của Video (DV, AVI, MPG...), tìm theo tác giả, thể loại, dung lượng, ngày tháng lưu trữ...
- Khả năng cho phép thêm các trường mới trong Metadata để phục vụ tìm kiếm nhanh chóng, hiệu quả.
Web&FTP
SNMP console
SQL Server main & Backup
VPN generator FC Storage
INTRANET
Transcodes Switch Gigabit
Nguyn Mnh Hùng - Lp cao hc Đin t K3 - Vin Đi hc M Hà N i Trang: 37
- Hệ thống cho phép tự động hoá việc ingestion và nén theo chuẩn hình chỉ định và từ nhiều nguồn khác nhau như VTR, vệ tinh, truyền hình số, số hoá từ nhiều định dạng và đưa thẳng vào hệ thống cơ sở dữ liệu chính mà không cần sự theo dõi của người sử dụng.
- Các tư liệu sau khi ingest phải xuất hiện realtime trên giao diện của hệ thống, cho phép truy xuất nhanh và chuyển tư liệu video đó lên mạng hay chuyển phát sóng.
- Phải có giải pháp để ác bộ phận sản xuất chương trình hiện có tại Đài khi cần có thể trao đổi thông tin với hệ thống tư liệu (thông qua các file dưới dượng MXF hoặc AAF).
- Phải có giải pháp thực hiện việc lấy tư liệu trực tiếp từ hệ thống để phát sóng theo lịch đã được lập trước.
- Phải cho phép biên tập viên không chỉ tìm được tư liệu mà khi cần còn có khả năng chọn lọc các cảnh cần sử dụng, phục vụ sản xuất chương trình, phát sóng hoặc các yêu cầu khác.
3.2. Giải pháp lưu trữ tài nguyên số.
3.2.1. Đánh giá tốc độ gia tăng của dung lượng cần lưu trữ.
- Hiện nay Đài Phát thanh - truyền hình tỉnh Sơn La có 01 kho băng lưu trữ. Trung bình mỗi tháng kho băng lưu trữ tiếp nhận nhập khoảng 60 giờ tư liệu hình ảnh và âm thanh được lưu trữ trên băng từ. Ngoài ra các chương trình đã và đang phát sóng được lưu trữ trên các máy sản xuất chương trình truyền hình và chương trình phát thanh dung lượng với lưu trữ khoảng 200 giờ/tháng cho dữ liệu Video và Audio.
- Như vậy, tổng số giờ dữ liệu cần lưu trữ và quản lý dưới dạng số hoá là 260 giờ/tháng. Nếu số hoá toàn bộ dung lượng dữ liệu trên sẽ tương ứng khoảng 3,4 Terabyte dung lượng lưu trữ số nếu nén chuẩn DV25.
Nguyn Mnh Hùng - Lp cao hc Đin t K3 - Vin Đi hc M Hà N i Trang: 38
- Với lộ trình phát triển chương trình cả về số lượng và chất lượng của đơn vị như hiện nay thì dung lượng cần lưu trữ sẽ tăng dần khoảng 40% mỗi năm.
- Khối lượng băng từ lưu trữ hiện có trong kho tư liệu của Đài Phát thanh - truyền hình tỉnh Sơn La:
TT Thể loại Số lượng băng Thời lượng (phút) Tổng thời gian lưu trữ (giờ)
1 Phim tài liệu, Phóng sự, Thời sự 642 60 642
2 Phim truyện 138 90 207
3 Ca nhạc, văn nghệ 90 40 60
4 Chương trình khoa giáo 226 60 226
5 Chương trình khác 176 90 264
Cộng: 1272 1.399 giờ
Bảng 3.1: Thống kê băng từ tại Đài phát thanh - truyền hình Sơn La.
3.2.2. Đánh giá tốc độ phát triển của thiết bị lưu trữ.
Công nghệ hiện nay cho phép người dùng lựa chọn một số thiết bị lưu trữ - bảo quản dữ liệu Video – Audio như sau:
- Lưu trữ vào thư viện băng số theo kỹ thuật từ tính: Video được lưu trữ dưới dạng số (Data) hoặc vào băng từ. Thư viện gồm một phần mềm quản lý và thiết bị tự động Roboter có thể quản lý được vài nghìn băng. Roboter có thể chọn đúng băng theo yêu cầu và nạp vào đầu đọc (Reader). Tốc độ đọc và nghi chậm hơn so với đĩa quang. Nếu được bảo quản tốt dữ liệu có thể đảm bảo sử dụng từ 20 - 25 năm.
- Lưu trữ vào băng DV: Ở một số Đài trong và ngoài nước việc bảo quản băng Betacam đã và đang được chuyển sang băng DV/DVC-Pro bởi các lý do sau: Trên một băng DV có thể lưu trữ max 180 phút dữ liệu theo chuẩn DV25 hoặc
Nguyn Mnh Hùng - Lp cao hc Đin t K3 - Vin Đi hc M Hà N i Trang: 39
DV50 do đó sẽ tiết kiệm được số lượng băng cần lưu hơn so với chuẩn băng Betacam; Băng DVCam, DVC-Pro hoặc Digital-Betacam ghi tín hiệu vào băng theo dạng Digital, khác phương pháp điều chế FM sử dụng Betacam-SP do đó thời gian tồn tại của tín hiệu trên băng sẽ kéo dài hơn băng Analog từ 7 - 10 năm. Có nghĩa là với băng Analog bảo quản được trong 10 năm thì băng Digital sẽ giữ được trong khoảng từ 17 - 20 năm; Phương pháp này cũng sử dụng băng từ nhưng không cần sử dụng thêm các thiết bị IT để đọc như Sony/HP/IBM - Tape - Reader. Khi tìm băng có thể sử dụng thiết bị tự động để tìm theo Barcode.
- Lưu trữ vào CD hoặc DVD: Nếu lưu trữ theo chất lượng DV-25 thì sẽ cần 13GB/giờ. Như vậy, một CD với dung lượng 700MB thì lưu trữ được 5,3 phút tư liệu. Trong khi đó đĩa DVD phổ biến là 4,7GB. Nếu ghi nén chất lượng DV- 25Mbit/sec hoặc MPEG2-25 thì chỉ lưu được khoảng 27 phút/DVD. Đối với loại DVD 2 lớp (Double layer - DVD) dung lượng 9GB thì sẽ có thể lưu được khoảng 40 phút . Nếu bảo quản trong điều kiện tốt, đĩa DVD sẽ lưu trữ được trong thời gian từ 10 - 15 năm.
- Lưu trữ vào Blu-ray: Blu-ray là tên của một format đĩa quang mới nhất do 13 hãng điện tử và tin học hàng đầu thế giới nghiên cứu và phát triển. Trong khi các đĩa quang hiện nay như CD, DVD, DVD RAM sử dụng lazer đỏ để ghi và đọc lữ liệu, loại Blu-ray sử dụng lazer xanh (blue lazer). Blu-ray cho phép ghi hơn 120 phút video DV-25 trên một đĩa 27GB. Bru-ray hiện đang đưa ra chuẩn đĩa Blu-ray có dung lượng chứa tới 54GB dữ liệu. Tuổi thọ của đĩa Blu-ray khoảng 10-15 năm. - Tất cả các phương pháp lưu trữ vào băng từ hay đĩa quang đều được gọi là phương pháp bảo quản "cận tuyến" hay còn gọi là Nearline Archive. Chúng cho phép lưu trữ tư liệu với chất lượng online (chất lượng phát sóng), nhưng không truy cập ngay được mà phải qua thiết bị trung gian để đọc. Đài Phát thanh - truyền hình tỉnh Sơn La đang sử dụng thiết bị ghi hình Betacam-SP, loại định dạng này Sony đã ngừng sản xuất từ năm 2003, do vậy việc lựa chọn và sử dụng một định dạng lưu trữ tài nguyên mới là yêu cầu tất yếu.
Nguyn Mnh Hùng - Lp cao hc Đin t K3 - Vin Đi hc M Hà N i Trang: 40 3.2.3. Phân tích giải pháp số hoá dữ liệu.
Thông thường một hệ thống lưu trữ được phân chia thành nhiều cấp như: Lưu trữ Online, lưu trữ Nearline và lưu trữ Offline. Ưu điểm của phân chia hệ thống như trên là giảm dần chi phí thiết bị lưu trữ khi dữ liệu di chuyển từ lưu trữ Online sang Nearline, từ Nearline sang Archive...
Mỗi cấp lưu trữ có một cách thức truy cập dữ liệu khác nhau, với những ưu điểm và nhược điểm khác nhau. Việc lựa chọn cấp lưu trữ cần phải được xem xét cụ thể khi tiến hành xây dựng hệ thống lưu trữ và quản lý dữ liệu.
Trong phạm vi của đề tài hệ thống lưu trữ sẽ được xây dựng bao gồm: Hệ thống lưu trữ Online cho phần nạp tín hiệu đầu vào; Hệ thống Nearline lưu trữ toàn bộ các file số hoá, hệ thống tủ băng từ lưu trữ tư liệu offline trên băng từ.
* Bảng so sánh hình thức lưu trữ:
TT Hình thức
lưu trữ Mô tả Đánh giá
1 Online Các ổ cứng tốc độ cao gắn trực tiếp vào các thiết bị: Videoserver, bộ dựng phi tuyến
Giá thành: Cao Tốc độ truy nhập: Ngay lập tức 2 Nearline Hệ thống các đĩa nhớ lưu trữ IT
thông thường được quản lý bởi hệ thống Quản lý tư liệu, dễ dàng trao đổi dữ liệu với các hệ thống lưu trữ Online
Giá thành: Vừa phải Tốc độ truy nhập: Rất nhanh
3 Offline Băng từ vẫn được lưu trữ trong tủ băng hoặc lưu trữ trong kho nhưng vẫn được hệ thống quản lý giám sát
Giá thành: Thấp Tốc độ truy nhập: Chậm
Bảng 3.2: Bảng so sánh hình thức lưu trữ dữ liệu.
Do vậy, dung lượng lưu trữ tổng cộng của hệ thống lưu trữ Online, nearline, offline trước mắt phải đáp ứng được nhu cầu số hoá và lưu trữ cho khoảng hơn
Nguyn Mnh Hùng - Lp cao hc Đin t K3 - Vin Đi hc M Hà N i Trang: 41
1.400 giờ tư liệu ở cả độ phân giải cao và phân giải thấp. Việc lựa chọn số giờ lưu trữ Online hay offline cần được tính toán dựa trên tần suất sử dụng các tư liệu lư trữ để tối ưu hoá hệ thống lưu trữ.