CÀI đặt ORACLE RAC với FreeNAS

tài liệu cài đặt oracle RAC với freeNAS tài liệu cài đặt oracle RAC với freeNAS tài liệu cài đặt oracle RAC với freeNAS tài liệu cài đặt oracle RAC với freeNAS tài liệu cài đặt oracle RAC với freeNAS tài liệu cài đặt oracle RAC với freeNAS tài liệu cài đặt oracle RAC với freeNAS tài liệu cài đặt oracle RAC với freeNAS

CÀI ĐẶT ORACLE 11G R2 RAC Bảng theo dõi thay đổi tài liệu Ngày 30/03/2017 Người thay đổi Đinh Văn Hoán Lý Viết tài liệu Oracle RAC Ghi Mục lục Thông tin cài đặt Public IP Private IP OS Hostname DB cluster SCAN Cluster name Node Node FreeNAS 10.0.0.37 10.0.0.38 10.0.0.139 192.168.10.37 192.168.10.38 Oracle Linux 6.6 Oracle Linux 6.6 vmrac37 vmrac38 vmrac 10.0.0.27 – vmrac-scan 10.0.0.28 – vmrac-scan 10.0.0.29 – vmrac-scan Vmrac-cluster Cài đặt SAN 2.1 Cấu hình FreeNAS 2.2 Cấu hình node - Cài đặt gói iSCSI yum -y install iscsi-initiator-utils lsscsi - Cấu hình khởi động OS chkconfig iscsi on chkconfig iscsid on service iscsi start service iscsid start - Kết nối đến SAN iscsiadm -m discovery -t sendtargets -p x.x.x.x x.x.x.x IP SAN Storage - Cấu hình tự động kết nối iSCSI disk OS khởi động iscsiadm -m node op update -n node.startup -v automatic - Map iSCSI disk vào OS iscsiadm -m node -p x.x.x.x login x.x.x.x IP SAN Storage - Xem thông tin disk map /dev/disk/by-path/  Trên node 2, sau cài đặt iSCSI cần gõ lệnh: partprobe để lấy cấu hình disk cấu hình node 1.1 Cấu hình disk OS - Sử dụng fdisk để định dạng disk map từ SAN thành định dạng OS Cài đặt gói pre-install, tạo user thư mục 3.1 Trường hợp cài đặt gói pre-install • Trên node 1: - Cài đặt gói pre-install Oracle yum install oracle-rdbms-server-11gR2-preinstall.x86_64 - Tạo thêm user groupadd asmdba groupadd asmoper groupadd asmadmin groupadd oper - Phân quyền user oracle usermod -G oper,dba,oinstall,asmdba,asmadmin,asmoper oracle - Tạo thư mục phân quyền mkdir -p /u01/app mkdir -p /u01/grid mkdir -p /u01/setup chown -R oracle:oinstall /u01 chmod 775 -R /u01 passwd oracle • Trên node - Thực tương tự node 1, trừ groupadd với ID user tương ứng với bên node Ví dụ: groupadd -g 4555 asmdba (với 4555 id group asmdba bên node với lệnh id asmdba) 3.2 Trường hợp cài đặt tham số OS thủ công - Kiểm tra package cần thiết cho Oracle Database 11.2.0.4 rpm -q binutils compat-libstdc++-33 compat-libstdc++-33 coreutils elfutils-libelf elfutils-libelf-devel gcc gcc-c++ glibc glibc glibc-common glibc-devel glibc-devel glibc-headers ksh libaio libaio libaio-devel libaio-devel libgcc libgcc libstdc++ libstdc++ libstdc++-devel make sysstat unixODBC unixODBC-devel - Cài đặt bổ sung packet thiếu - Tạo user thư mục cài đặt - groupadd oinstall groupadd dba groupadd oper useradd -g oinstall -G dba,oper oracle passwd oracle mkdir -p /u01/app/oracle/product/11.2.0/db_1 chown -R oracle:oinstall /u01/app/oracle chmod -R 775 /u01/app/oracle mkdir -p /u01/app/oraInventory chown -R oracle:oinstall /u01/app/oraInventory chmod -R 755 /u01/app/oraInventory mkdir -p /u02/app/oracle/oradata chown -R oracle:oinstall /u02 Cấu hình số file hệ điều hành File /etc/hosts Thêm đoạn sau vào cuối file /etc/sysctl.conf comment (#) tham số giống bên - # Oracle Configuration fs.aio-max-nr = 1048576 fs.file-max = 6815744 kernel.shmall = 2097152 kernel.shmmax = 3221225472 kernel.shmmni = 4096 kernel.sem = 250 32000 100 128 net.ipv4.ip_local_port_range = 9000 65500 net.core.rmem_default = 262144 net.core.rmem_max = 4194304 net.core.wmem_default = 262144 net.core.wmem_max = 1048576 - Sau áp dụng thay đổi sysctl -p - Thêm đoạn sau vào cuối file /etc/security/limits.conf oracle oracle oracle oracle oracle oracle soft hard soft hard soft hard nproc 2047 nproc 16384 nofile 1024 nofile 65536 stack 10240 stack 10240 - Thêm vào file /etc/pam.d/login chưa có session - required pam_limits.so Thêm đoạn sau vào cuối file /etc/profile if [ $USER = "oracle" ]; then if [ $SHELL = "/bin/ksh" ]; then ulimit -u 16384 ulimit -n 65536 else ulimit -u 16384 -n 65536 fi fi - Cấu hình file bash_profile cho user oracle # # OS User: oracle # Application: Oracle Database Software Owner # Version: Oracle 11g release # - # Get the aliases and functions if [ -f ~/.bashrc ]; then ~/.bashrc fi #alias ls="ls -FA" JAVA_HOME=/u01/app/oracle/product/11.2.0/db_1/jdk; export JAVA_HOME ORACLE_SID=orcldb01; export ORACLE_SID ORACLE_UNQNAME=orcldb01; export ORACLE_UNQNAME ORACLE_BASE=/u01/app/oracle; export ORACLE_BASE ORACLE_HOME=$ORACLE_BASE/product/11.2.0/db_1; export ORACLE_HOME ORACLE_PATH=/u01/app/oracle/dba_scripts/sql:$ORACLE_HOME/rdbms/admin; export ORACLE_PATH ORACLE_TERM=xterm; export ORACLE_TERM NLS_DATE_FORMAT="DD/MM/YYYY HH24:MI:SS"; export NLS_DATE_FORMAT TNS_ADMIN=$ORACLE_HOME/network/admin; export TNS_ADMIN ORA_NLS11=$ORACLE_HOME/nls/data; export ORA_NLS11 PATH=.:${JAVA_HOME}/bin:$JAVA_HOME/db/bin:${PATH}:$HOME/bin:$ORACLE_HOME/bin: $ORACLE_HOME/Opatch PATH=${PATH}:/usr/bin:/bin:/usr/bin/X11:/usr/local/bin PATH=${PATH}:/u01/app/oracle/dba_scripts/bin export PATH LD_LIBRARY_PATH=$ORACLE_HOME/lib LD_LIBRARY_PATH=${LD_LIBRARY_PATH}:$ORACLE_HOME/oracm/lib LD_LIBRARY_PATH=${LD_LIBRARY_PATH}:/lib:/usr/lib:/usr/local/lib export LD_LIBRARY_PATH CLASSPATH=$ORACLE_HOME/JRE CLASSPATH=${CLASSPATH}:$ORACLE_HOME/jlib CLASSPATH=${CLASSPATH}:$ORACLE_HOME/rdbms/jlib CLASSPATH=${CLASSPATH}:$ORACLE_HOME/oc4j/ant/lib/ant.jar CLASSPATH=${CLASSPATH}:$ORACLE_HOME/oc4j/ant/lib/ant-launcher.jar CLASSPATH=${CLASSPATH}:$JAVA_HOME/db/lib/derby.jar CLASSPATH=${CLASSPATH}:$ORACLE_HOME/network/jlib export CLASSPATH THREADS_FLAG=native; export THREADS_FLAG export TEMP=/tmp export TMPDIR=/tmp umask 022 Cấu hình file host - Cấu hình file host giống node Cài đặt ASM - Cài đặt packet oracleasm yum install oracleasm-support* - Khởi tạo ASM /etc/init.d/oracleasm configure oracle dba y y - Tạo đĩa cho Oracle ASM /etc/init.d/oracleasm createdisk ASMDISK1 /dev/sdb1 - Sau tạo xong đĩa ASM, dùng câu lệnh sau để kiểm tra lại /etc/init.d/oracleasm querydisk ASMDISK1 - Để liệt kê danh sách ổ đĩa ASM, dùng lệnh: ls -l /dev/oracleasm/disks/ On node 2, [root@primary02 ~]# partprobe Cài đặt Grid + Upload file zip chứa cài đặt Grid Oracle lên node user oracle + Trong user oracle, giải nén cài đặt Grid Oracle + Sử dụng Xbrowser kết nối tới node user oracle Vào thư mục grid giải nén, gõ lệnh /runInstaller + Chọn Skip software updates -> Next + Install and Configure Oracle Grid Infrastructure for a Cluster -> Next + Advanced Installation -> Next + English -> Next + Nhập Cluster name, SCAN Name, bỏ chọn Configure GNS -> Next + Cấu hình node cluster Chọn Add để thêm node, nhập Public Hostname Virtual hostname Chọn SSH Connectivity , nhập password user oracle, chọn Setup để cấu hình ssh node Cài đặt xong SSH, chọn Next để tiếp tục + Network -> Next + Oracle Automatic Storage Management -> Next + Tạo diskgroup VOTE -> Next + Nhập password cho quản trị ASM -> Next + Do not use IPMI -> Next + Chọn user group quản trị ASM -> Next + Chọn Grid Home -> Next + Chọn Inventory Home -> Next + Pre-install check -> (fix) -> Next + Install + Chạy script theo hướng dẫn + Finish Cài đặt Oracle Software Trong thư mục database giải nén + Chạy /runInstaller + Bỏ chọn I wish to… -> Next + Skip software updates -> Next + Install database software only -> Next + Chọn node -> Next + English -> Next + Enterprise Edition -> Next + Chọn DB HOME -> Next + Chọn group dba oper -> Next + Pre-install check -> (Fix) -> Next + Install + Finish Cài đặt Oracle Database + Chạy lệnh dbca + Oracle Real Application Cluster Database -> Next + Create database -> Next + General Purpose -> Next + Nhập Global Database name -> Next + Bỏ cài đặt EM -> Next + Nhập password system -> Next + Chọn kiểu lưu trữ ASM -> Chọn Diskgroup -> Next + Chọn FRA -> Next + Cấu hình Memory Management -> Next + Cấu hình Redo file, Control file -> Next + Create database -> Finish 9 Quản trị Oracle RAC # Kiểm tra tình trạng cluster [oracle@rac1 ~]$ crsctl check crs [oracle@rac1 ~]$ crsctl check cluster [oracle@rac1 ~]$ crsctl check cluster -all [oracle@rac1 ~]$ crsctl status resource -t # Stop CRS tất node [root@rac1 bin]# /crsctl stop cluster -all # Stop CRS node cụ thể [root@rac1 bin]# /crsctl stop has # Disable CRS tự động start [root@rac1 bin]# /crsctl disable has # Enable CRS tự động start [root@rac1 bin]# /crsctl enable has # Start CRS node cụ thể [root@rac1 bin]# /crsctl start has # Kiểm tra tình trạng database [oracle@rac1 ~]$ srvctl status database -d RACDB # Stop instance 10 [oracle@rac1 ~]$ srvctl stop instance -i RACDB1 -d RACDB [oracle@rac1 ~]$ srvctl status database -d RACDB # Start instance [oracle@rac1 ~]$ srvctl start instance -i RACDB1 -d RACDB # Stop database RAC [oracle@rac1 ~]$ srvctl stop database -d RACDB # Start the database RAC [oracle@rac1 ~]$ srvctl start database -d RACDB # Stop the listener on a Node [oracle@rac1 ~]$ srvctl stoplistener -n rac1 # Start the listener on a Node [oracle@rac1 ~]$ srvctl start listener -n rac1 # Check the voting disk [oracle@rac1 ~]$ crsctl query css votedisk # Show OCR backup [root@rac1 bin]# /ocrconfig -showbackup # Take a manual backup of the OCR [root@rac1 bin]# /ocrconfig -manualbackup 11 ... JAVA_HOME=/u01/app /oracle/ product/11.2.0/db_1/jdk; export JAVA_HOME ORACLE_ SID=orcldb01; export ORACLE_ SID ORACLE_ UNQNAME=orcldb01; export ORACLE_ UNQNAME ORACLE_ BASE=/u01/app /oracle; export ORACLE_ BASE ORACLE_ HOME= $ORACLE_ BASE/product/11.2.0/db_1;... ORACLE_ HOME= $ORACLE_ BASE/product/11.2.0/db_1; export ORACLE_ HOME ORACLE_ PATH=/u01/app /oracle/ dba_scripts/sql: $ORACLE_ HOME/rdbms/admin; export ORACLE_ PATH ORACLE_ TERM=xterm; export ORACLE_ TERM NLS_DATE_FORMAT="DD/MM/YYYY... Finish 9 Quản trị Oracle RAC # Kiểm tra tình trạng cluster [oracle@ rac1 ~]$ crsctl check crs [oracle@ rac1 ~]$ crsctl check cluster [oracle@ rac1 ~]$ crsctl check cluster -all [oracle@ rac1 ~]$ crsctl