Công cụ di chuyển dữ liệu sang IBM pot

Công cụ di chuyển dữ liệu sang IBM Di chuyển dữ liệu từ các cơ sở dữ liệu nguồn tới DB2 theo cách dễ dàng Vikram S. Khatri, Chuyên gia tư vấn Công nghệ thông tin có chứng chỉ, IBM Tóm tắt: Bài viết này trình bày một công cụ rất đơn giản và mạnh mẽ để di chuyển (migration) dữ liệu từ nhiều nguồn khác nhau một cách dễ dàng. Công cụ này cho phép các ứng dụng từ Oracle và Sybase chạy trên DB2® phiên bản 9.7 của IBM®, cho Linux®, UNIX® và Windows® như nó vốn có, với thay đổi rất ít hoặc không cần thay đổi gì. Công cụ này cũng có thể được sử dụng để di chuyển dữ liệu từ nhiều hệ thống quản lý cơ sở dữ liệu khác nhau sang DB2 cho Linux, UNIX và Windows và DB2 cho z/OS®. Công cụ này cũng hỗ trợ di chuyển dữ liệu từ một cơ sở dữ liệu nguồn tới DB2 trong một môi trường pureScale. Mở đầu Công cụ di chuyển này có thể được sử dụng để di chuyển dữ liệu từ các nguồn dữ liệu khác nhau tới DB2 trong một môi trường pureScale. Khi bắt đầu với DB2 V9.7 cho Linux, UNIX và Windows, để sử dụng các ứng dụng từ Oracle và Sybase (sau bản Fixpack 3) trên các sản phẩm DB2 không đòi hỏi Bộ công cụ di chuyển (Migration Toolkit - MTK). Công cụ này thay thế chức năng MTK với một dòng công việc đơn giản hơn nhiều. Đối với tất cả các kịch bản khác, ví dụ, di chuyển dữ liệu từ một cơ sở dữ liệu tới DB2 cho z/OS, công cụ này hỗ trợ MTK rất nhiều trong lĩnh vực di chuyển dữ liệu tốc độ cao. Khi sử dụng công cụ này, nhiều hơn 4TB dữ liệu đã được di chuyển chỉ trong ba ngày. Công cụ này có giao diện GUI dễ sử dụng với người mới bắt đầu, trong khi người dùng cao cấp thường ưa thích dùng API dòng lệnh. Chuẩn bị Tải về Trước tiên, tải về công cụ này từ phần Tải về vào máy chủ DB2 đích của bạn. Để di chuyển dữ liệu tới DB2 cho z/OS cần các bước bổ sung thêm. (Kiểm tra phiên bản hiện có mới nhất của công cụ này.) Cài đặt Một khi bạn đã tải về tệp IBMDataMovementTool.zip, hãy trích xuất các tệp này vào một thư mục tên là IBMDataMovementTool trên máy chủ DB2 đích của bạn. Chúng tôi khuyên bạn nên cài đặt phía máy chủ (trên DB2) để đạt được hiệu năng di chuyển dữ liệu tốt nhất. Các điều kiện tiên quyết  DB2 V9.7 nên được cài đặt trên máy chủ đích của bạn nếu bạn đang bật lên một ứng dụng Oracle để chạy trên DB2 cho Linux, UNIX và Windows.  Java™ phiên bản 1.5 hoặc cao hơn phải được cài đặt trên máy chủ đích của bạn. Để kiểm tra phiên bản Java hiện tại của bạn, hãy chạy lệnh java - version. Theo mặc định, Java được cài đặt như một phần của DB2 cho Linux, UNIX và Windows trong <install_dir>\SQLLIB\java\jdk (Windows) or /opt/ibm/db2/V9.7/java/jdk (Linux). Bảng 1. Nơi đặt các trình điều khiển JDBC cho cơ sở dữ liệu nguồn và DB2 của bạn Cơ sở dữ liệu Các trình điều khiển JDBC Oracle ojdbc5.jar hoặc ojdbc6.jar hoặc ojdbc14.jar, xdb.jar, xmlparserv2.jar hoặc classes12.jar hoặc classes111.jar for Oracle 7 hoặc 8i SQL Server sqljdbc5.jar hoặc sqljdbc.jar Sybase jconn3.jar và antsjconn2.jar cho tính năng DB2 SKIN MySQL mysql-connector-java-5.0.8-bin.jar hoặc trình đi ều khiển mới nhất PostgreSQL postgresql-8.1-405.jdbc3.jar hoặc trình điều khiển mới nhất DB2 cho Linux, UNIX và Windows db2jcc.jar, db2jcc_license_cu.jar hoặc db2jcc4.jar, db2jcc4_license_cu.jar DB2 for z db2jcc.jar, db2jcc_license_cisuz.jar hoặc db2jcc4.jar, db2jcc4_license_cisuz.jar DB2 for i jt400.jar Teradatra terajdbc4.jar và tdgssconfig.jar MS Access Tùy chọn Access_JDBC30.jar Thiết lập môi trường  UNIX: Đăng nhập vào máy chủ của bạn như là chủ sở hữu cá thể (instance) DB2.  Windows: Khởi chạy một cửa sổ lệnh DB2.  Chuyển đến thư mục IBMDataMovementTool. Công cụ này là một tệp JAR có hai kịch bản lệnh của trình điều khiển để chạy công cụ này. IBMDataMovementTool.cmd - Command script to run the tool on Windows. IBMDataMovementTool.sh - Command script to run the tool on UNIX. IBMDataMovementTool.jar - JAR file of the tool. Pipe.dll - A DLL required on Windows if pipe option is used.  Tạo cơ sở dữ liệu đích DB2 Do cần một kết nối cơ sở dữ liệu tới đích để chạy công cụ này, nên cơ sở dữ liệu DB2 phải được tạo ra đầu tiên. Trên DB2 V9.7, chúng tôi khuyên bạn nên sử dụng lưu trữ tự động mặc định và chọn kích thước trang 32KB. Khi cho phép các ứng dụng được chạy trên DB2 V9.7, cá thể và cơ sở dữ liệu phải đang hoạt động trong chế độ tương thích. Cũng nên điều chỉnh hành vi làm tròn để khớp với cơ sở dữ liệu đó của Oracle. Bạn có thể triển khai các đối tượng ngoài thứ tự phụ thuộc bằng cách thiết lập ngữ nghĩa xác nhận lại hợp lệ là deferred_force. Trên các hệ thống UNIX $ db2set DB2_COMPATIBILITY_VECTOR=ORA $ db2set DB2_DEFERRED_PREPARE_SEMANTICS=YES $ db2stop force $ db2start $ db2 "create db testdb automatic storage yes on /db2data1, /db2data2,/db2data3 DBPATH ON /db2system PAGESIZE 32 K" $ db2 update db cfg for testdb using auto_reval deferred_force $ db2 update db cfg for testdb using decflt_rounding round_half_up Trên các hệ thống Windows C:\> db2set DB2_COMPATIBILITY_VECTOR=ORA C:\> db2set DB2_DEFERRED_PREPARE_SEMANTICS=YES C:\> db2stop force C:\> db2start C:\> db2 "create db testdb automatic storage yes on C:,D: DBPATH ON E: PAGESIZE 32 K" C:\> db2 update db cfg for testdb using auto_reval deferred_force C:\> db2 update db cfg for testdb using decflt_rounding round_half_up Trích xuất các đối tượng và dữ liệu Trước khi bạn chạy công cụ này, có sẵn thông tin sau đây cho máy chủ nguồn và máy chủ DB2 của bạn:  Địa chỉ IP hoặc Tên máy chủ (Host Name) của các máy chủ nguồn và các máy chủ DB2.  Các số cổng kết nối.  Tên của các cơ sở dữ liệu, SID, tên hệ thống con v.v khi cần.  Một mã định danh người dùng (User ID) với các đặc quyền của quản trị viên cơ sở dữ liệu (DBA) trên cơ sở dữ liệu nguồn.  Mật khẩu cho người dùng đó.  Nơi đặt cơ sở dữ liệu nguồn và trình điều khiển DB2 JDBC của bạn.  Có đủ thông tin về dung lượng hoặc khối lượng/điểm lắp đặt tại nơi dữ liệu sẽ được lưu trữ. Chạy IBMDataMovementTool.cmd trên Windows hoặc ./IBMDataMovementTool.sh trên UNIX. Công cụ này sẽ bắt đầu một GUI nếu máy chủ có khả năng hiển thị đồ họa. Nếu không nó sẽ chuyển sang chế độ dòng lệnh tương tác để thu thập đầu vào. Trên Windows: IBMDataMovementTool.cmd Trên UNIX: chmod +x IBMDataMovementTool.sh ./IBMDataMovementTool.sh DB2_COMPATIBILITY_VECTOR là gì? Dùng DB2_COMPATIBILITY_VECTOR để đặt cả hai cá thể và cơ sở dữ liệu DB2 V9.7 vào trong một chế độ tương thích với Oracle. Để biết chi tiết hãy xem Trung tâm Thông tin DB2 V9.7. Bây giờ bạn sẽ thấy một cửa sổ GUI (Giao diện đồ họa người dùng). Một số thông báo cũng sẽ xuất hiện trong cửa sổ trình vỏ (shell). Hãy xem qua các thông báo này để đảm bảo không có lỗi nào được ghi nhật ký trước khi bạn bắt đầu sử dụng GUI. Nếu bạn chưa thiết lập DB2_COMPATIBILITY_VECTOR, công cụ này sẽ đưa ra một cảnh báo. Hãy làm theo các bước sau để thiết lập vector tương thích nếu bạn vẫn chưa làm như vậy. [2010-01-10 17.08.58.578] INPUT Directory = . [2010-01-10 17.08.58.578] Configuration file loaded: 'jdbcdriver.properties' [2010-01-10 17.08.58.593] Configuration file loaded: 'IBMExtract.properties' [2010-01-10 17.08.58.593] appJar : 'C:\IBMDataMovementTool\IBMDataMovementTool.jar' [2010-01-10 17.08.59.531] DB2 PATH is C:\Program Files\IBM\SQLLIB [2010-01-10 17.35.30.015] *** WARNING ***. The DB2_COMPATIBILITY_VECTOR is not set. [2010-01-10 17.35.30.015] To set compatibility mode, discontinue this program and run the following commands [2010-01-10 17.35.30.015] db2set DB2_COMPATIBILITY_VECTOR=FFF [2010-01-10 17.35.30.015] db2stop force [2010-01-10 17.35.30.015] db2start Sử dụng giao diện người dùng đồ họa Màn hình giao diện người dùng đồ họa (GUI) như trong Hình 1 có các trường để xác định thông tin kết nối cơ sở dữ liệu nguồn và cơ sở dữ liệu DB2. Chuỗi các sự kiện trong màn hình này là: 1. Chỉ rõ thông tin kết nối nguồn và DB2. 2. Nhấn vào Connect to Oracle (Kết nối với Oracle) để kiểm tra kết nối. 3. Nhấn vào Connect to DB2 (Kết nối với DB2) để kiểm tra kết nối. 4. Chỉ rõ thư mục làm việc để trích xuất DDL và dữ liệu vào đó. 5. Chọn cái bạn muốn giữa DDL và/hoặc Dữ liệu. Nếu bạn chỉ chọn DDL, một kịch bản lệnh genddl bổ sung sẽ được tạo ra. 6. Nhấn vào nút Extract DDL/Data (Trích xuất DDL/Dữ liệu). Bạn có thể theo dõi tiến trình trong cửa sổ bàn điều khiển. 7. Sau khi hoàn thành trích xuất dữ liệu thành công, hãy xem xét kỹ các tệp đầu ra kết quả với các trạng thái về dịch chuyển dữ liệu, các cảnh báo, các lỗi và các vấn đề tiềm năng khác. 8. Theo tùy chọn, bạn có thể nhấn vào nút View Script/Output (Xem Kịch bản lệnh/Đầu ra) để kiểm tra các kịch bản lệnh, DDL, dữ liệu hoặc tệp bản ghi nhật ký kết quả đầu ra được tạo ra. 9. Nhấn vào nút Deploy DDL/Data (Triển khai DDL/Dữ liệu) để tạo ra các bảng, các chỉ mục trong DB2 và nạp dữ liệu đã được trích xuất từ cơ sở dữ liệu nguồn. 10. Bạn có thể sử dụng Execute DB2 Script (Thực hiện Kịch bản lệnh DB2 ) để chạy các kịch bản lệnh DB2 được tạo ra thay vì chạy nó từ dòng lệnh. Việc di chuyển dữ liệu là một hành động tương tác. Nếu bạn cần hủy bỏ tất cả các bảng trước khi bạn bắt đầu làm mới, bạn có thể chọn kịch bản lệnh bảng hủy bỏ và thực hiện nó. Bạn cũng có thể sử dụng nút này để thực hiện các kịch bản lệnh theo thứ tự mà bạn muốn thực hiện chúng. Hình 1. Các tham số đầu vào cho cơ sở dữ liệu nguồn và DB2 Sau khi nhấn vào nút Extract DDL/Data, bạn sẽ nhận thấy các thông báo của công cụ trong thẻ View File (Xem tệp), như trong Hình 2: [...]... chờ để di chuyển dữ liệu 3 Hãy chắc chắn rằng bạn có khoảng 10.000 giá trị cài đặt con trỏ đã mở cho cơ sở dữ liệu Oracle nếu đó là nguồn 4 Xem kết quả từ tệp bản ghi nhật ký Để di chuyển dữ liệu lớn, còn cần nhiều hơn nữa về lập kế hoạch, sự rèn luyện và khả năng tự động hóa công việc Công cụ này cung cấp tất cả khả năng mà bạn yêu cầu cho việc di chuyển này Công cụ nhỏ này đã thực hiện việc di chuyển. .. ống để di chuyển dữ liệu Khi kích thước cơ sở dữ liệu nguồn quá lớn và không đủ dung lượng để giữ các tệp dữ liệu trung gian, việc sử dụng đường ống là cách được khuyên dùng để di chuyển dữ liệu Trên các hệ thống Windows Công cụ này sử dụng Pipe.dll để tạo ra các đường ống Windows và đảm bảo rằng dll này được đặt trong cùng thư mục ở đó đặt tệp IBMDataMovementTool.jar Trên các hệ thống UNIX Công cụ này... USAGE: ibm. Jd USAGE: ibm. Jd "DNET770.TBLDATA.**" USAGE: ibm. Jd "DNET770.TBLDATA.**.CERR" USAGE: ibm. Jd "DNET770.TBLDATA.**.LERR" USAGE: ibm. Jd "DNET770.TBLDATA.**.DISC" Vì vậy, nếu bạn muốn xóa tất cả các tập dữ liệu trong "DNET770.TBLDATA", hãy sử dụng lệnh sau đây DNET770:/u/dnet770/migr: >./jd "DNET770.TBLDATA.**" Kế hoạch di chuyển dữ liệu rất lớn Sức mạnh của công cụ này dùng để di chuyển. .. tạo ra dữ liệu DDL và nạp dữ liệu vào z/OS DB2 20 DSNUTILS sẽ có lỗi nếu bạn không xóa các tập dữ liệu đó Chương trình java sau đây có thể xóa các tập dữ liệu trung gian đó java -cp /u/dnet770/migr/IBMDataMovementTool.jar:$JZOS_HOME/ibmjzos.jar \ -Djava.ext.dirs=${JZOS_HOME}:${JAVA_HOME}/lib/ext ibm. Cleanup 21 22 Sau khi hoàn thành nạp dữ liệu vào bảng DB2 trên z/OS, bạn có thể tìm ra các tập dữ liệu. .. cấp công cụ này do các lý do cấp phép Bạn sẽ nhận được trình điều khiển cơ sở dữ liệu JDBC của bạn từ phần mềm được cấp phép của bạn Ít nhất bạn sẽ cần sở dữ liệu (DBA) cho người dùng đang SELECT_CATALOG_ROLE được cấp trích xuất dữ liệu từ cơ sở dữ liệu cho người sử dụng và các đặc quyền Oracle Tôi có thể sử dụng công cụ này SELECT trên bảng được sử dụng để di như thế nào? chuyển Bất kỳ cơ sở dữ liệu. .. sở dữ liệu mà công cụ này có thể bạn có thể kết nối tới MySQL, PostgreSQL, Ingres, SQL Server, kết nối là gì? Sybase, Oracle, DB2 và các cơ sở dữ liệu khác Nó cũng có thể kết nối đến một cơ sở dữ liệu có một bộ nối ODBC- JDBC, do đó bạn cũng có thể di chuyển từ cơ sở dữ liệu Access Bạn cần tối thiểu là Java phiên bản 1.5 để chạy công cụ này Phụ thuộc cho Java 1.5 về cơ bản là do phần GUI của công cụ. .. gian để nạp dữ liệu vào dữ liệu và thời gian còn lại sẽ được dùng cho quá trình tải lên  Lập kế hoạch bố trí cơ sở dữ liệu DB2 trước Hãy tham khảo Các trang về cách làm tốt nhất của IBM cho DB2 Các thủ thuật và các kỹ thuật  Có được sự hiểu biết về công cụ này trong chế độ dòng lệnh Sử dụng GUI để tạo ra các kịch bản lệnh di chuyển dữ liệu (geninput và unload) và thực hành tải lên dữ liệu bằng cách... trong tệp IBMExtract.properties Kịch bản lệnh này do công cụ này tạo ra và bạn có thể rowcount chạy nó sau khi triển khai dữ liệu để kiểm tra số đếm hàng (rowcount) trong cơ sở dữ liệu nguồn và DB2 Hình 3 Các tệp được tạo ra sau khi trích xuất dữ liệu Sử dụng chế độ dòng lệnh Bạn có thể chạy công cụ này bằng cách sử dụng cụ thể chế độ dòng lệnh khi không có sẵn khả năng GUI Công cụ này chuyển đổi... z/OS không thể sử dụng các tệp HFS để nạp dữ liệu Đó là lý do, bạn cần sử dụng bộ công cụ JZOS để tạo ra các tập dữ liệu PS trên z/OS từ Các dịch vụ hệ thống Unix (Unix System Services) Tuy nhiên, DB2 LOAD có thể sử dụng các tệp USS (hoặc HFS) cho LOAD CLOBS/BLOBS trong DB2 Đó là lý do, chúng ta tạo ra các tập dữ liệu PS trên z/OS để di chuyển dữ liệu từ cơ sở dữ liệu nguồn tới z/OS và chúng ta sử dụng... chuyển dữ liệu quy mô lớn Công cụ này đã được sử dụng để di chuyển dữ liệu Oracle 4TB chỉ trong ba ngày với việc lập kế hoạch và các thủ tục tốt Dưới đây là những thủ thuật và kỹ thuật sẽ giúp bạn đạt được sự di chuyển dữ liệu quy mô lớn với khung thời gian hạn chế mà bạn có thể có Yêu cầu phần cứng và lập kế hoạch dung lượng Việc thảo luận về yêu cầu phần cứng và lập kế hoạch dung lượng cơ sở dữ liệu . Công cụ di chuyển dữ liệu sang IBM Di chuyển dữ liệu từ các cơ sở dữ liệu nguồn tới DB2 theo cách dễ dàng Vikram S. Khatri, Chuyên gia tư vấn Công nghệ thông tin có chứng chỉ, IBM Tóm. từ một cơ sở dữ liệu tới DB2 cho z/OS, công cụ này hỗ trợ MTK rất nhiều trong lĩnh vực di chuyển dữ liệu tốc độ cao. Khi sử dụng công cụ này, nhiều hơn 4TB dữ liệu đã được di chuyển chỉ trong. để di chuyển dữ liệu Khi kích thước cơ sở dữ liệu nguồn quá lớn và không đủ dung lượng để giữ các tệp dữ liệu trung gian, việc sử dụng đường ống là cách được khuyên dùng để di chuyển dữ liệu.