Nghiên cứu giải pháp xây dựng trung tâm dữ liệu cho tổng công ty xăng dầu việt nam (petrolimex)

Phan công tình Bộ giáo dục đào tạo Trường đại học bách khoa Hà Nội - Luận văn thạc sĩ khoa học Ngành: Kỹ THUậT điện tử Điện tử viễn thông NGHIÊN CứU GIảI PHáP XÂY DựNG TRUNG TÂM Dữ LIệU CHO TổNG CÔNG TY XĂNG DầU VIệT NAM (PETROLIMEX) PHAN CÔNG TìNH 2007 - 2009 Hà Nội 2009 Hà Nội - 2009 Bộ giáo dục đào tạo Trường đại học bách khoa Hà Nội Luận văn thạc sĩ khoa học NGHIÊN CứU GIảI PHáP XÂY DựNG TRUNG TÂM Dữ LIệU CHO TổNG CÔNG TY XĂNG DầU VIệT NAM (PETROLIMEX) Ngành: Kỹ THUậT ĐIệN Tử PHAN CÔNG TìNH Cán hướng dẫn khoa học: TS Bùi việt khôi Hà Néi - 2009 Luận văn cao học ĐTVT 2007 - 2009 MỤC LỤC MỤC LỤC DANH MỤC CÁC CHỮ VIẾT TẮT DANH MỤC CÁC BẢNG DANH MỤC CÁC HÌNH VẼ LỜI NÓI ĐẦU CHƯƠNG I: TỔNG QUAN VỀ TRUNG TÂM DỮ LIỆU .10 1.1 Mơ hình Trung tâm liệu 12 1.2 Phân loại tiêu chuẩn Trung tâm liệu .16 CHƯƠNG II: CÁC GIẢI PHÁP LƯU TRỮ 19 2.1 Công nghệ lưu trữ đĩa cứng .19 2.1.1 Các mơ hình lưu trữ 19 2.1.1.1 Mơ hình lưu trữ DAS 19 2.1.1.2 Mơ hình lưu trữ NAS 22 2.1.1.3 Mơ hình lưu trữ SAN 25 2.1.2 Công nghệ RAID 29 2.1.2.1 Một số thuật ngữ .30 2.1.2.2 Các chuẩn RAID .32 2.1.3 Chuẩn giao diện đĩa cứng .40 2.1.3.1 ATA 40 2.1.3.2 SATA 42 2.1.3.3 SCSI 44 2.1.3.4 SAS 44 2.1.3.5 FC 45 2.2 Công nghệ lưu trữ băng từ 46 2.2.1 Định dạng DSS 46 2.2.2 Định dạng VXA AIT 48 2.2.3 Định dạng DLT 50 Phan Cơng Tình Luận văn cao học ĐTVT 2007 - 2009 2.2.4 Định dạng SDLT 54 2.2.5 Định dạng LTO 55 CHƯƠNG III NGHIÊN CỨU GIẢI PHÁP XÂY DỰNG TRUNG TÂM DỮ LIỆU CHO TỔNG CÔNG TY XĂNG DẦU VIỆT NAM (PETROLIMEX) 65 3.1 Hiện trạng ứng dụng công nghệ thông tin Petrolimex 65 3.2 Yêu cầu đặt .67 3.3 Giải pháp xây dựng phần lõi Trung tâm liệu 68 3.3.1 Giải pháp mạng diện rộng cho tồn cơng ty .69 3.3.1.1 Mơ hình mạng diện rộng 69 3.3.1.2 Tính tốn tốc độ truyền liệu qua mạng diện rộng 72 3.3.2 Giải pháp mạng cho Trung tâm liệu 74 3.3.2.1 Thiết kế mơ hình mạng cho Trung tâm liệu .76 3.3.2.2 Lựa chọn thiết bị .81 3.3.3 Giải pháp hệ thống máy chủ 81 3.3.3.1 Chọn dòng máy chủ hệ điều hành 81 3.3.3.2 Giải pháp loại bỏ điểm lỗi đơn cho máy chủ 83 3.3.3.3 Lựa chọn thiết bị .85 3.3.4 Giải pháp lưu trữ 88 3.3.4.1 Lựa chọn mơ hình lưu trữ 88 3.3.4.2 Tính tốn dung lượng lưu trữ 88 3.3.4.3 Lựa chọn thiết bị .90 3.3.5 Giải pháp lưu phục hồi liệu .93 3.3.5.1 Lựa chọn giải pháp lưu .93 3.3.5.2 Lựa chọn thiết bị .99 3.3.6 Giải pháp giám sát quản trị hệ thống 101 3.3.6.1 Giải pháp giám sát mạng .102 3.3.6.2 Giải pháp giám sát hệ thống lưu trữ 105 3.3.6.3 Giải pháp giám sát hệ thống máy chủ 107 3.3.6.4 Lựa chọn thiết bị 108 Phan Công Tình Luận văn cao học ĐTVT 2007 - 2009 3.4 3.3.7 Danh mục thiết bị lựa chọn 109 3.3.8 Mơ hình logic tổng thể hệ thống TTDL tổng thể 110 Giải pháp phần hạ tầng cho TTDL 111 KẾT LUẬN .117 TÀI LIỆU THAM KHẢO .118 PHỤ LỤC 119 Phan Cơng Tình Luận văn cao học ĐTVT 2007 - 2009 DANH MỤC CÁC CHỮ VIẾT TẮT Từ viết tắt Tiếng Anh Tiếng Việt ACL Access Control List Danh sách điều khiển truy nhập AIT Advanced Intelligent Tape Băng từ thông minh cao ATA Advanced Technology Kết nối công nghệ tiên tiến Attachment CIFS Common Internet File System Hệ thống file dùng chung DAS Direct Attached Storage Lưu trữ kết nối trực tiếp DAT Digital Audio Tape Băng từ âm số DDS Digital Data Storage Lưu trữ liệu số DLT Digital Linear Tape Băng từ tuyến tính số DMA Direct Memory Access Truy cập nhớ trực tiếp EDA Equitpment Distribution Area Khu vực phân phối thiết bị FC Fibre Channel Cáp quang HDA Horizontal Distribution Area Khu vực phân phối theo chiều ngang HDD Hard Disk Drive Đĩa cứng LAN Local Area Network Mạng cục MDA Main distribution area Khu vực phân phối NAS Network Attached Storage Lưu trữ qua mạng SAN Storage Area Network Mạng lưu trữ riêng biệt SATA Serial ATA Kết nối công nghệ tiên tiến dạng nối tiếp SCSI Small Computer System Giao tiếp hệ thống máy tính nhỏ Interface TIA Telecommunications Industry Hiệp hội công nghiệp viễn thông Association WAN Wide Area Network Mạng diện rộng Phan Cơng Tình Luận văn cao học ĐTVT 2007 - 2009 ZDA Zone Distribution Area Khu vực phân phối vùng Data center Trung tâm liệu (TTDL) Operation center Trung tâm vận hành Computer room Phòng máy tính Phan Cơng Tình Luận văn cao học ĐTVT 2007 - 2009 DANH MỤC CÁC BẢNG Bảng 2- 1: Bảng trạng thái phép toán XOR .31 Bảng 2- 2: Phép toán XOR hai chuỗi liệu 32 Bảng 2- 3: Các phiên giao diện ATA 41 Bảng 2- 4: Bảng chuẩn DDS .47 Bảng 2- 5: Các thông số chuẩn định dạng VXA .49 Bảng 2- 6: Bảng định dạng AIT 50 Bảng 2- 7: Bảng thông số chuẩn DLT 53 Bảng 2- 8: Bảng thông số chuẩn LTO 64 Bảng 3- 1: Bảng thiết bị mạng security 81 Bảng 3- 2: Bảng tính dung lượng lưu trữ cho 10 năm 89 Bảng 3- 3: Bảng danh mục thiết bị 109 Bảng 3- 4: Bảng tính cơng suất điện tiêu thụ TTDL 111 Bảng 3- 5: Công suất tỏa nhiệt 113 Phan Cơng Tình Luận văn cao học ĐTVT 2007 - 2009 DANH MỤC CÁC HÌNH VẼ Hình 1- 1: Mơ hình logic trung tâm liệu 12 Hình 1- 2: Mơ hình bố trí khu vực TTDL loại lớn thực tế 15 Hình 1- 3: Mơ hình kết nối mạng cho cấp độ TTDL 18 Hình 2- 1: Mơ hình lưu trữ DAS sử dụng cáp SCSI cáp quang 19 Hình 2- 2: Kiến trúc phần mềm DAS 20 Hình 2- 3: Mơ hình lưu trữ NAS .23 Hình 2- 4: Kiến trúc phần mềm NAS .24 Hình 2- 5: Mơ hình lưu trữ SAN .26 Hình 2- 6: Kiến trúc phần mềm SAN .28 Hình 2- 7: Stripping 30 Hình 2- 8: RAID 33 Hình 2- 9: RAID 34 Hình 2- 10: RAID 36 Hình 2- 11: RAID 37 Hình 2- 12: RAID 38 Hình 2- 13: RAID 39 Hình 2- 14: RAID 10 .39 Hình 2- 15: Cáp ATA 40 Hình 2- 16: Biểu đồ ghi quét theo dạng xoắn 47 Hình 2- 17: Đường băng từ loại mm 48 Hình 2- 18: Cơ cấu đường băng DLT 51 Hình 2- 19: Thiết kế đầu ghi DLT 2000 51 Hình 2- 20: DLT cartridge 52 Hình 2- 21: Định dạng ghi tuyến tính DLT 2000/4000 52 Hình 2- 22: Đầu đọc băng DLT 7000/8000 53 Hình 2- 23: Cơng nghệ ghi pha đối xứng 53 Hình 2- 24: Vị trí servo band 57 Phan Cơng Tình Luận văn cao học ĐTVT 2007 - 2009 Hình 2- 25: Điều chỉnh băng cho cặp servo burst .58 Hình 2- 26: Mã hóa bit sử dụng băng servo servo burst 59 Hình 2- 27: băng liệu ghi rãnh servo 60 Hình 2- 28: Vị trí data band thể ghi rãnh Ultrium .62 Hình 2- 29: So sánh ghi vào băng từ hệ hệ .63 Hình 3- 1: Mơ hình mạng diện rộng 72 Hình 3- 2: Mơ hình mạng cho TTDL nói chung .75 Hình 3- 3: Mơ hình mạng cho TTDL 77 Hình 3- 4: Sơ đồ kết nối logic máy chủ ứng dụng 86 Hình 3- 5: Mơ hình hai máy chủ sở liệu chạy chế độ cluster 87 Hình 3- 6: Mơ hình hốn đổi vai trị máy chủ Active bị hỏng 87 Hình 3- 7: Mơ hình kết nối cho tủ đĩa lưu trữ SAN 92 Hình 3- 8: Sao lưu qua mạng SAN 94 Hình 3- 9: Mơ hình kết nối Tủ băng từ máy chủ lưu 101 Hình 3- 10: Mơ hình thiết kế logic mạng cho TTDL 111 Phan Cơng Tình Patch panels, ổ cắm,cáp cần gắn nhãn theo tiêu chuẩn Có Có Có Có Có Có Có Có Có ANSI/TIA/EIA-606-A Các tủ Cabinets rack cần gắn nhãn lên mặt trước sau Patch cords dây nhảy ( jumper) cần gắn nhãn hai đầu tên kết nối hai đầu cáp Patch panel patch cable phù hợp với tiêu chuẩn ANSI/TIA/EIA-606-A Bảng 1.2: Chuẩn điện TIER TIER TIER TIER 1 1 chính/1 dự phịng Có Có Hai dây Hai dây Hai dây Có Có Có Yêu cầu chung Số đường điện cung cấp Khả bảo trì hệ thống hoạt động Dây nguồn cho thiết bị Computer Một dây viễn thơng Tồn thiết bị điện phải có chứng Có nhận bên kiểm định thứ ba Điểm lỗi đơn (Single Points of Một nhiều điểm Một nhiều điểm Khơng có điểm lỗi Khơng có điểm lỗi Failure) lỗi đơn hệ lỗi đơn hệ đơn hệ thống đơn hệ thống thống phân phối thống phân phối phân phối phục phân phối phục phục vụ bới hệ thống phục vụ bới hệ thống vụ bới hệ thống điện vụ bới hệ thống điện điện hệ thống điện hệ thống hệ thống khí hệ thống khí khí khí ATS với đặc tính nối ATS với đặc tính nối ATS với đặc tính nối ATS với đặc tính nối tắt cho bảo trì để tắt cho bảo trì để tắt cho bảo trì để tắt cho bảo trì để chuyển mạch chuyển mạch chuyển mạch chuyển mạch điện, tự động điện, tự động điện, tự động điện, tự động chuyển từ điện lưới chuyển từ điện lưới chuyển từ điện lưới chuyển từ điện lưới tới máy phát tới máy phát tới máy phát tới máy phát điện lưới điện lưới điện lưới điện lưới Chuyển hệ thống tải quan trọng Máy phát điện phải tương ứng với Có Có Có Có Nhiên liệu cho máy phát điện(khi (Không cần máy 24 72 96 chạy chế độ full load) phát UPS có khả dung lượng UPS dự phịng phút) UPS Chế độ dự phịng Mơ hình UPS N N+1 N+1 N+1 Một mô đun đơn Các mơ đun dự phịng Các mơ đun dự phịng Các mơ đun dự phịng mơ đun song song song song song song song song khơng dự phịng mơ đun dự phịng mơ đun dự phịng mơ đun dự phịng phân tán Hệ phân tán Hệ phân tán thống dự phòng dạng thống dự phòng dạng khối Sắp đặt bypass bảo trì UPS khối Bypass xảy Bypass xảy Bypass xảy Bypass nguồn từ hệ đường điện đường điện đường điện thống UPS cấp mô đun UPS mô đun UPS mô đun UPS từ mộ đường điện khác sử dụng cho hệ thống UPS PDU phân phối điện cho server Có Có Có Có thiết bị viễn thơng UPS nằm bảng phân phối điện Có riêng với thiết bị server viễn thông Tiếp đất Hệ thống chống sét Nối đất cho máy phát lối Có Có Có Có Có Có Có Có vào Nối đất cho thiết bị TTDL Hệ thống ngắt nguồn khẩn cấp cho phịng máy Kích hoạt ngắt nguồn khẩn Có Có Có Có Có Có Có Có cấp (EPO) lối với chức tắt hệ thống server viễn thông Tự động chống cháy sau hệ thống server viễn thông tắt Kích hoạt hệ thống cảnh báo cháy Có vùng thứ hai cách tắt EPO tay Hệ thống EPO phịng battery Kích hoạt cơng tắt ngắt nguồn Có Có Có Có Có Có Có Có Có Có khẩn cấp (EPO) lối với chức tắt hệ thống server viễn thơng Giải phóng xả khí cho hệ thống vùng đơn sau EPO tắt Kích hoạt hệ thống cảnh báo cháy vùng thứ hai Hệ thống ngắt điên khẩn cấp Tắt điện UPS dùng cho phịng máy Có Có Có Có Tắt điện AC hệ thống làm Có Có Có Có Có Có Có Có Có Có mát Giám sát hệ thống Hiển thị UPS Giám sát môi trường điện tập trung, kiểm soát hệ thống từ xa Điều khiển từ xa Có Tự động nhắn tin tới máy kỹ sư Có sữa chữa Cấu hình battery Các mơ đun dùng chung dãy Có battery Mỗi mơ đun có dãy battery Thời gian standby tối thiểu Có Có Có phút 10 phút 15 phút 15 phút VRLA flooded VRLA flooded VRLA flooded VRLA flooded type type type type Rack tủ Rack tủ Có Có chạy đầy tải Loại battery Kiểu lắp đặt Lắp đặt chống tràn acid Lịch kiểm tra battery chế độ đầy năm lần năm lần Rack dạng mở Có năm lần tải Rack dạng mở Có năm lần hàng năm Phòng battery Tách biệt với phịng thiết bị UPS/ Có chuyển mạch Có Có Các dãy battery tách biệt Có Có Kính quan sát loại khơng vỡ cửa Có Có phịng battery Có ngắt battery nằm ngồi Có Có Có Có UPS tự giám sát UPS tự giám sát UPS tự giám sát Hệ thống tự động tập phòng battery Hệ thống giám sát battery trung để kiểm tra nhiệt độ, điện áp trở kháng cell Hệ thống máy phát dự phịng Qui mơ máy phát Qui mơ đáp ứng cho Qui mô đáp ứng cho Qui mô đáp ứng cho hệ thống server, thiết hệ thống server, thiết hệ thống server, thiết bị viễn thông bị viễn thông bị viễn thông + dự Tổng tải + dự phòng phòng Các máy phát nằm đường Có Có Có Có Có Có Có trục Một máy phát cho hệ thống với máy phát dự phịng Bảo trì thiết bị Nhân viên bảo trì Onsite ca ngày On- Onsite ca ngày On- Onsite 24 từ thứ call thời gian call thời gian đến thứ On-call vào trên cuối tuần Bảo trì, bảo dưỡng Chương trình đào tạo thiết bị Onsite 24/7 Chương trình bảo trì Chương trình bảo trì bảo dưỡng hạn chế bảo dưỡng tồn diện Chương trình đào tạo Chương trình đào tạo tổng hợp tổng hợp bao gồm hướng dẫn vận hành tay cần chuyển bypass hệ thống điểu khiển Bảng 1.3: Chuẩn xây dựng TIER TIER TIER Không nằm khu Không nằm khu TIER Lựa chọn địa điểm Khu vực chịu ảnh hưởng lụt lội Không yêu cầu Không thấp 91 vực rủi ro lụt vực có nguy lụt mét so với khu vực có vịng 100 năm nguy lụt độ cao thấp vòng 100 năm 91 mét khu vực có nguy lụt vòng 50 năm Độ cao so với mặt biển Cao 91 mét Cao 0,8 km Cách xa đường giao thơng >= 91 mét >= 0,8 km Cách xa sân bay >= 1,6 km >= km < 48 km < 16 km Có Có Vị trí so với khu vực thị Các thành phần xây dựng Nhiều lối vào TTDL có kiểm tra an ninh Độ cao trần Kích thước cửa Tối thiểu 2,6m Tối thiểu 2,7 m Tối thiểu 3m (cao Tối thiểu 3m (cao điểm cao điểm cao thiết bị 46 cm) thiết bị 46 cm) Tối thiểu 1m chiều Tối thiểu 1m chiều Tối thiểu 1m chiều Tối thiểu 1,2 m chiều rộng 2,13m chiều rộng 2,13m chiều rộng 2,13m chiều rộng 2,13m chiều 10 cao cao cao cao Có Có Có Có Có Có Yêu cầu tối thiểu u cầu tối thiểu (khơng giở) (khơng giở) Có Có Có u cầu tối thiểu Yêu cầu tối thiểu Yêu cầu tối thiểu (khơng giở) (khơng giở) Có Có Yêu cầu tối thiểu Yêu cầu tối thiểu (khơng giở) (khơng giở) Khu vực xây dựng thiết kế chống lại xạ điện từ Hành lang Có Lối vào cách li với khu vực khác TTDL Hệ chống cháy tách biệt với khu Yêu cầu tối thiểu Yêu cầu tối thiểu vực khác TTDL Phòng quản trị Tách biệt mặt vật lý với khu vực khác Hệ chống cháy tách biệt với khu Yêu cầu tối thiểu vực khác TTDL Phòng bảo mật Tách biệt mặt vật lý với khu vực khác Hệ chống cháy tách biệt với khu Yêu cầu tối thiểu Yêu cầu tối thiểu vực khác TTDL 11 Phịng bảo mật dành riêng cho thiết Khuyến nghị có Khuyến nghị có Có Có Yêu cầu tối thiểu Yêu cầu tối thiểu vực khác TTDL (khơng giở) (khơng giở) Cạnh phịng server Khả thâm nhập Khả thâm nhập gián tiếp trực tiếp Tối thiểu 1m Tối thiểu 1,2m bị bảo mật giám sát Phòng vận hành Tách biệt mặt vật lý với khu vực khác Hệ chống cháy tách biệt với khu Yêu cầu tối thiểu Yêu cầu tối thiểu Phòng battery UPS Chiều rộng lối cho bảo trì, sữa chữa tháo lắp thiết bị Cạnh phịng server Khơng u cầu Khơng u cầu Có Có Hệ chống cháy tách biệt với khu Yêu cầu tối thiểu Yêu cầu tối thiểu Yêu cầu tối thiểu u cầu tối thiểu (khơng giở) (khơng giở) u cầu tối thiểu u cầu tối thiểu (khơng giở) (khơng giở) vực khác TTDL Yêu cầu hành lang lối Hệ chống cháy tách biệt với khu Yêu cầu tối thiểu Yêu cầu tối thiểu vực khác TTDL 12 Chiều rộng Yêu cầu tối thiểu Yêu cầu tối thiểu >= 1,2 m >= 1,5 m Có Có Có Khơng u cầu Có Có Có Khơng u cầu khu vực /2500 mét khu vực/2500 mét khu vực/2500 mét vng vng phịng máy vng phịng máy tính tính Nếu tịa nhà với Tách biệt với tịa nhà TTDL phải có khả TTDL Khu vực tiếp nhận chuyển thiết Không yêu cầu bị Tách biệt mặt vật lý với khu vực khác Khu vực lưu hàng Khu vực chứa nhiên liệu máy phát Gần phòng máy khu vực hỗ trợ Không yêu cầu Không yêu cầu cách li chống cháy khu vực khác Khoảng cách khu vực thâm Không yêu cầu Không yêu cầu nhập Access control/ giám sát 13 Khoảng cách tối thiểu Khoảng cách tối thiểu 9m 19m Phát xâm nhập Phát xâm nhập Phát xâm nhập Phát xâm nhập Card access Card access Giám sát Quyền vào theo mã Quyền vào theo mã Khơng có Card access Card access Card access Card access Phát xâm nhập Card access Card access Phát xâm nhập Vào thẻ Vào thẻ sinh trắc học sinh trắc học Giám sát bên lối vào Có Có Máy phát Có Có Có Có Có Máy phát Sử dụng khóa cơng nghiệp Phịng UPS, điện thoại Sử dụng khóa cơng nghiệp Cửa hiểm Trung tâm vận hành thiết bị an Khơng có ninh Trung tâm vận hành mạng Phòng thiết bị an ninh Cửa vào phịng server Sử dụng khóa cơng nghiệp Hệ thống CCTV Cửa có kiểm sốt vào Phịng server Khơng u cầu Khơng u cầu Có Có Phịng điện thoại, UPS Khơng u cầu Khơng u cầu Có Có Ghi lại hoạt động TTDL Không yêu cầu Không u cầu Có Có 14 Tốc độ ghi ( hình/s) Tối thiểu 20 hình/s Tối thiểu 20 hình/s Chịu tải sàn 7,2 kPa 8,4 kPa 12 kPa 12 kPa Độ dày bê tông 127mm 127mm 127mm 127mm Bảng 1.4: Chuẩn học TIER TIER TIER TIER Hệ thống làm mát Khối điều hòa nhà Khơng có dự phịng Chỉ dự phịng Số lượng điều hòa Số lượng điều hòa điều hòa cho khu vực đảm bảo phục vụ cho đảm bảo phục vụ cho quan trọng khu vực quan trọng khu vực quan trọng đường đường điện điện Kiểm sốt độ ẩm cho phịng server Có Có Có Có Hệ thống cấp điện Mỗi điều hịa có Mỗi điều hịa có Mỗi điều hịa có Mỗi điều hịa có đường cấp điện đường cấp điện nhiều đường cấp điện nhiều đường cấp điện Khơng Có Có Có Hệ thống chống cháy Hệ thống phát cháy 15 Hệ thống bình chống cháy Hoạt động có u Tự kích hoạt (hoặc Tự kích hoạt(hoặc Tự kích hoạt(hoặc cầu có u cầu) có yêu cầu) có yêu cầu) Tác nhân chống cháy Tác nhân chống cháy liệt kê liệt kê tiêu chuẩn tiêu chuẩn NFPA 2001 NFPA 2001 Hệ thống chống cháy khí Hệ thống cảnh bảo khói Có Có Có Hệ thống phát rị rỉ nước Có Có Có 16 ... sĩ khoa học NGHIÊN CứU GIảI PHáP XÂY DựNG TRUNG TÂM Dữ LIệU CHO TổNG CÔNG TY XĂNG DầU VIệT NAM (PETROLIMEX) Ngành: Kỹ THUậT ĐIệN Tử PHAN CÔNG TìNH Cán hướng dẫn khoa học: TS Bùi việt khôi Hà... dạng LTO 55 CHƯƠNG III NGHIÊN CỨU GIẢI PHÁP XÂY DỰNG TRUNG TÂM DỮ LIỆU CHO TỔNG CÔNG TY XĂNG DẦU VIỆT NAM (PETROLIMEX) 65 3.1 Hiện trạng ứng dụng công nghệ thông tin Petrolimex ... Nghiên cứu giải pháp xây dựng Trung tâm liệu cho Tổng cơng ty xăng dầu Việt Nam hồn thành nhằm đưa giải pháp việc xây dựng TTDL cụ thể cho doanh nghiệp Tôi xin chân thành cảm TS Bùi Việt Khôi