Secret

SMP

상호 연결된 하나 이상의 컴퓨터가 그룹을 이루어 작업을 함께 처리하는 방식

CRS(Cluster Ready Service)는 10g Real Application Cluster의 새로운 기능으로, 모든 플랫폼에 대한 표준화된 클러스터 인터페이스를 제공해 주고, 이전 버전에 없었던 새로운 고가용 서비스를 제공해 줍니다.

CRS는 H/W업체에서 제공하는 Cluster S/W/와 함께 사용 되어질 수도 있으며, H/W 업체의 Cluster S/W없이 CRS자체만으로도 구성할수 있습니다.

 9i RAC환경에서는 H/W업체에서 제공하는 Cluster S/W 사용이 필수요소였지만, 10g RAC로 오면서 H/W 업체의 Cluster S/W의 사용은 선택사항이 되었습니다.

 이와 같은 CRS를 구성하기 위해서는 아래사항을 반드시 확인해야 하며 인지하고 있어야 합니다.

 - CRS 10g RAC를 설치하기 전에 설치되고 실행되어야 합니다.

 - CRS HOME과 ORACLE_HOME은 반드시 다른 디렉토리에 설치되어야 합니다.

 - CRS를 설치하기 전에, VOTING 파일 또는 OCR(Oracle Configuration Repository)파일을 설치 할 수 있는 공유된 

   디렉토리 또는 디바이스가 구성 되어야 합니다. 이를 위한 voting file은 최소 20MB 정도 크기이며, OCR 파일은

   최소 100MB 크기가 되어야 합니다.

 - CRS 및 RAC를 설치하기 위해서는 다음과 같은 네트워크 인터페이스가 구성되어야 합니다.

   Public Interface

   Pravate Interface

   Virtual Interface

 - RAC NODE당 1개의 CRS 데몬만 실행 가능합니다.

 - 네트워크 split이 있을 경우 (NODE간 통신 두절) data corruTESTion을 방지 하기 위해 하나 또는 그 이상의 NODE

   에서 시스템 Rebooting 현상이 발생 할 수 있습니다.

 - 서비스를 중단시키는 올바른 방법은, 장비를 shutdown 시키거나, "init.crsstop" 명령을 실행시키는 것입니다.

CRS를 구성하고 있는 프로세스

 - CRSD

CRS를 구성하고 있는 가중 중요한프로세스로서 RAC에서 담당하는 역활은 아래와 같습니다.

  - HA(High Availability) 작업을 위한 엔진

  - Application 자원 관리

  - Application 자원을 구동, 정지, failover 처리

  - OCR(Oracle Configuration Repository)의 구성 프로파일 관리

  - OCR의 현재 알려진 상태를 저장

  - root 권한으로 실행

 이처럼 CRSD 데몬은 RAC환경에서 가장 기본적인 NODE간의 자원상태를 감지하고 있습니다. 필요한 경우 해당 NODE를 Down 하거나 Rebooting 하는 역활을 수행하게 됩니다. CRS데몬은 장애 발생 시 자동으로 구동되도록 설정되어 있습니다. 만약에 CRS 데몬을 OS명령어로 KILL하게 될 경우 해당 NODE는 Rebooting 될 수 있으니 주의하시기 바랍니다.

 - CSSD

   CSSD는 RAC의 일부로, ASM과 함께 단일 인스턴스를 구성

   NODE 맴버쉽에 대한 액세스를 제공

   그룹 서비스 제공

   기본적인 클러스터 LOCK 기능 제공

   오라클 계정으로 실행

  이처럼 CSSD 데몬은 데이터베이스의 Syncronization 부분을 담당하게 됩니다.

########################################################

# Listener (stop, start, status)
# srvctl stop listener -n <hostname> -l LISTENER

########################################################

srvctl stop listener -n rac1 -l LISTENER
srvctl start listener -n rac1 -l LISTENER
srvctl status listener -n rac1 -l LISTENER

srvctl stop listener -n rac2 -l LISTENER
srvctl start listener -n rac2 -l LISTENER
srvctl status listener -n rac2 -l LISTENER

########################################################

# Oracle Instance and service(status)
# srvctl status database -d <database_name>

########################################################

srvctl status database -d ORCL

########################################################

# Oracle 11g RAC stop command
# srvctl stop instance -d <database_name> -i ORCL1<instance_name>
# srvctl stop listener -n r<hostname> -l LISTENER
# srvctl stop nodeapps -n <hostname>

########################################################

- RAC1

emctl stop dbconsole

srvctl stop instance -d ORCL -i ORCL1
srvctl status instance -d ORCL -i rac1

srvctl stop listener -n rac1 -l LISTENER
srvctl status listener -n rac1 -l LISTENER

srvctl stop nodeapps -n rac1

- RAC2
emctl stop dbconsole

srvctl stop instance -d ORCL -i ORCL2
srvctl status instance -d ORCL -i ORCL2

srvctl stop listener -n rac2 -l LISTENER
srvctl status listener -n rac2 -l LISTENER

srvctl stop nodeapps -n rac2

########################################################

# Oracle 11g RAC start command
# srvctl start listener -n r<hostname> -l LISTENER
# srvctl start instance -d <database_name> -i <instance_name>

########################################################

- RAC1

srvctl start nodeapps -n rac1
srvctl status nodeapps -n rac1

srvctl start listener -n rac1 -l LISTENER
srvctl status listener -n rac1 -l LISTENER

srvctl start instance -d ORCL -i ORCL1
srvctl status instance -d ORCL -i ORCL1

emctl start dbconsole

- RAC2
srvctl start nodeapps -n rac2
srvctl status nodeapps -n rac2

srvctl start listener -n rac2 -l LISTENER
srvctl status listener -n rac2 -l LISTENER

srvctl start instance -d ORCL -i ORCL2
srvctl status instance -d ORCL -i ORCL2

emctl start dbconsole

########################################################

# All Database (stop, start)
# srvctl start database -d <database_name>

########################################################

srvctl start database -d ORCL
srvctl stop database -d ORCL

RAC 관리 Oracle/MSSQL 

1) 관리 툴 : EM, CVU(Cluster Verification Utility, RAC 설치 후 검증 툴), srvctl(server control)
      - crsctl(cluster ready services control) : oracle cw 기동/중지 툴
      - oifcfg(oracle interface configuration tool) : 네트워크 인터페이스 할당/해제 툴
      - ocrconfig(OCR configuration tool) : ocr 관리 툴, ocrcheck, ocrdump 등의 유틸리티도 있음
      - vipca : vip 관리

2) Voting Disk 관리
      - voting disk 백업 : $[oratest] dd if=voting_disk_name of=backup_file_name
      - voting disk 복구 : $[oratest] dd if=backup_file_name of=voting_disk_name

      - Multiple voting disk path 추가
        #[root] crsctl stop crs (모든 노드에서)
        #[root] crsctl add css votedisk path -force

      - Multiple voting disk path 삭제
        #[root] crsctl delete css votedisk path

3) OCR 관리
      - OCR location 추가 : #[root] ocrconfig -replace ocr destination_file or disk
      - OCR mirror location 추가 : #[root] ocrconfig -replace ocrmirror destination_file or disk

      - OCR 교체
        . 교체할 OCR 외에 나머지 OCR이 online 상태인지 확인
        . Oracle CW가 해당 노드에서 작동 중인지 확인
        . 다음의 명령어로 OCR 교체
          # ocrconfig -replace ocr [dst file] or [disk]
          # ocrconfig -replace ocrmirror [dst file] or [disk]

        . 교체 작업 중 shutdown 상태였던 node가 있었다면, 해당 노드 restart 시에 다음의 명령어로 repair 작업 수행
          # ocrconfig -repair ocr [device_name]
          # ocrconfig -repair ocrmirror [dev_name]

      - OCR 복구
        # ocrconfig -repair ocrmirror [dev_name]

      - OCR 삭제
        . 제거할 OCR 외에 나머지 OCR이 online 상태 인지 확인
        . 다음의 명령어로 OCR 삭제
          # ocrconfig -replace ocr
          # ocrconfig -replace ocrmirror

      - OCR 백업
        . Oracle이 자동으로 백업 생성/관리
        . 백업 디폴트 위치 : CRS_home/cdata/cluster_name

      - OCR 백업 확인
        # ocrconfig -showbackup

      - OCR 복구
        . OCR 백업 확인
          # ocrconfig -showbackup
          # ocrdump -backupfile [file_name]
        . 모든 노드에서 ORACLE CW 중지
          # crsctl stop crs
        . 복구
          # ocrconfig -restore [file_name]
        . 모든 노드에서 Oracle CW 시작
          # crsctl start crs

      - OCR 내용 확인
        . ocrdump 이용하여 ocr의 내용을 파일로 출력해서 확인

      - OCR 체크 : $ ocrcheck

4) DB와 인스턴스(서버) 관리
      - DB와 인스턴스(서버) 시동 : $ srvctl start instance -d [dbname] -i [inst_name_list]
      - DB와 인스턴스(서버) 중지 : $ srvctl stop instance -d [dbname] -i [inst_name_list]

      - 모든 인스턴스 시작 : $ srvctl start database -d [dbname]
      - 모든 인스턴스 중지 : $ srvctl stop database -d [dbname]

      - DB policy 변경
        . policy 종류 : Automatic(Default), manual
        . 현재 policy 확인 : # srvctl config database -d [dbname] -a
        . Policy 변경 : # srvctl modify database -d [dbname] -y [policy name]
        . Database 추가 및 Policy 설정 : # srvctl add database -d [dbname] -y [policy name]

      - SPFILE 변경
        . 현재 spfile 설정 확인 : # srvctl config database -d [dbname] -a
        . spfile 변경 : # srvctl modify database -d [dbname] -p [spfile위치]

      - RAC NIC 관리
        . NIC 정의 : $ oifcfg setif -global eth0/139.185.141.0:cluster_interconnect
        . NIC 확인 : $ oifcfg iflist
                     $ oifcfg getif
        . NIC 삭제 : $ oifcfg delif -global eht0/139.185.141.0

      - CSS failover 파라메터 설정
        . CSS 파라메터 : Misscount, Disktimeout, Reboottime
        . CSS 파라메터 설정 확인
          $ crsctl get css misscount
          $ crsctl get css disktimeout
          $ crsctl get css reboottime

        . CSS 파라메터 설정 변경
          # crsctl set css misscount [value]
          # crsctl set css disktimeout [value]
          # crsctl set css reboottime [value]

        . CRS 재시작
          # crsctl stop crs
          # crsctl start crs

      - OCR 파일내의 CRS 파라메터 변경
        . VIP 의 CHECK_INTERVAL 값 변경
          # crs_stat -p XXX.vip > XXX.vip.cap
          생성한 XXX.vip.cap 파일을 열어서, CHECK_INTERVAL 값 변경
          crs를 내렸다 올림
          # crs_register -u XXX.vip (.cap는 자동으로 인식하므로, 생략함)
          # crsctl stop crs
          # crsctl start crs

      - 로그 레벨 변경
        . 관련 로그 및 위치
          = CRS Log : $ORA_CRS_HOME/log/hostname/crsd
          = CSS Log : $ORA_CRS_HOME/log/hostname/cssd
          = OCR Log : $ORA_CRS_HOME/log/hostname/client
          = EVM Log : $ORA_CRS_HOME/log/hostname/evmd

        . CSS 로그 레벨 변경
          # crsctl set trace [level] (default 1)
          # crsctl stop crs
          # crsctl start crs

        . OCR 로그 레벨 변경
          $ORA_CRS_HOME/srvm/admin/ocrlog.ini 의 mesg_logging_level 값 조정 (default 0)

RAC 인스턴스 개수 확인 : select count(*) from gv$instance;

RAC STOP => 역시 관리의 기본은 STOP/START/상태 확인이다.... ^^
  1) 리스너 종료 : $ lsnrctl stop
  2) RAC 의 모든 인스턴스 shutdown : $ srvctl stop database -d [db sid]
  3) ORACLE CW 종료 : # crsctl stop crs (root)

RAC START
  1) ORACLE CW 시작 : # crsctl start crs (root)
  2) RAC 의 모든 인스턴스 start : $ srvctl start database -d [db sid]
  3) RAC 관련 서비스 시작(옵션, ex:TAF) : $ srvctl start service -d [db sid]
  4) 리스너 시작 : $ lsnrctl start

CRS 상태 확인 : crs_stat -t => 가독성이 떨어짐
                       crsstat     => 가독성이 좋음

RAC 내의 DB 목록 확인
  $ srvctl config database
  oracl

RAC DB의 설정 확인
  $ srvctl config database -d [sid]
  linux1 orcl1 /u01/app/oracle/product/10.2.0.1/db_1
  linux2 orcl2 /u01/app/oracle/product/10.2.0.1/db_1 

RAC 관련 서비스 확인
  $ srvctl config service -d [sid]
  oracltest PREF: oracl2 oracl1 AVAIL

RAC 인스턴스 상태 확인
  $ srvctl status database -d [sid]

RAC 프로세스 확인
  ps -ef | grep d.bin
  => HP는 3개 있으면 OK(crsd, evmd, css), oprocd는 SGeRAC가 수행함.
     IBM은 4개 있으면 OK(crsd, evmd, css, oprocd)
 
RAC 프로세스 상태 확인
  crsctl check crs

crs_stop all  => CRS 부터 인스턴스까지 등록된 모든 것을 중지함(비 권장)
crs_start all => CRS 부터 인스턴스까지 등록된 모든 것을 시작함(비 권장)

crsctl disable crs * => rebooting 후 crs가 자동 시작되는 것을 disable
crsctl enable crs*   => rebooting 후 crs가 자동 시작되는 것을 enable

플랫폼 별 RAC 구동 순서

  1) HP : MCSG(SGeRAC) -> CFS -> CRS -> 각 노드의 DB 인스턴스 구동
  2) IBM : GPFS mount -> CRS -> 각 노드의 DB 인스턴스 구동 

GRID COMPUTING 특징

분산 네티워크를 통해서 서버에서 감당해야 하는 부하를 분산시켜 사용자에게 원하는 데이터를 빠른속도로 처리할 수 있다는 장점이 있다.
기존의 서버 부하는 서버의 하드웨어적인 SPEC를 업그레이드하여 부하를 줄여야 했으므로 처음 서버의 구성에서 부터 하드웨어의 업그레이드를 고려하여
서버를 구성해야 했다면 분산 네트워크의 경우는 저급 SPEC의 서버라도 네트워크를 통해서 다수의 서버를 통합하여 자원 혹은 정보를 공급하므로
처음 서버의 구성을 할때 서버의 SPEC 고려사항이 상대적으로 줄어들었다.
만약, 부하가 걸린다면 네트워크를 통해서 서버를 붙여주기만 하면 그만이기 때문이다.

L2, L3, L4 스위치
두개의 서버를 클러스터링을 하여 운영을 할 경우 하나의 통신 회로에 집중되던 로드를 스위치를 통해서 이를 분산시키며 (Load Balancing) 예상치 못하게 하나의 서버가 shutdown 되었을 경우 정상적으로
가동되고 있는 서버로 이전시키는(FAILOVER) 역활을 하는것이다.
이는 WEB을 기준으로 했을 때 서블릿을 처리하는 WAS에 접근했을 때 두개의 WAS중 현재 로드가 덜한 곳으로 스위치가 유저의 요청을 WEB SERVER에 전달하고,
두개의 WEB SERVER중 로드가 덜한 곳에서 이미지나 음악파일등을 가져와 유저가 원하는 정보를 제공하여 현재 조금 더 여유로운 곳으로 분산시켜준다는 것이다.

RAC (Real Application Cluster)
DB 서버의 장애를 대비해서 DB서버를 2대 이상 설치하는 것. 2대의 DB서버의 내용은 반드시 같아야 한다.

Clusterware
DB 서버를 관리해주는 프로그램. RAC내에서 어떻게 작동하고 관리하는지 알아야 한다.
Clusterware를 관리하는 것이 어렵다.

CRS 프로그램
사용자가 DB에 접속을 할 경우 직접 DB로 접속되는 것이 아니라 CRS로 접속하여 CRS node1과 node2중 어느 node로 접속 할 지를 분배해 준다.
CRS 데몬은 어떠한 장비가 살아있고 죽어있는지의 상태를 모두 알고 있어야 한다. 그리고 자기가 관리하는 서버의 IP 및 서버가 몇대가 있는지를 알고 있어야 한다.
이러한 정보들을 OCR 이라는 파일에 저장되어 있다. Clusterware에 CRS프로그램이 포함되어 있는 것이다.
CRS는 엔진에 CRS라는 Directory가 생성되고 그 안에 설치가 된다.

OCR : 모든 자원(Insatance)들을 관리한다.

Vote : Instance의 활성, 비활성 상태를 저장하고 있는 파일. CRS가 이 파일을 보고 정보를 얻는다.

Publick IP : 외부에서 관리자가 접속하는 IP

Private IP ( Inter Connect) : Instance끼리 정보를 주고 받는다. 이때 사용하는 IP가 private IP이다.

Node1과 Node2가 통신할 때만 사용되는 IP이다. 사용자가 쓰는 것이 아니라 CRS가 Instance끼리 통신하는데 사용한다.

외부에서 접근이 되지 않는다. 그렇기 때문에 private IP는 사설 IP를 많이 부여해 준다.

virtual IP : CRS가 로드밸런싱 할 떄 쓰는 IP

한 서버에 LAN카드가 총2개이다.

File system                                    

- File system이란?

파일시스템(filesystem)이란 운영체제가 파티션이나 디스크에 파일들이 연속되게 하기 위해 사용하는 방법이고 자료구조이다. 즉, 파일들이 디스크상에서 구성되는 방식이다. 파일시스템이라는 말은 파일을 저장하는데 사용되는 파티션이나 디스크를 가리킬 때나, 파일 시스템의 형식을 가리킬 때 사용되기도 한다. file system은 mount란 단계를 거쳐서 특정 block device를 사용할 수 있게 해주는 것입니다.

- File system의 구조

Disk drive

File system

• boot block : file system의 처음에 위치. operation system이 초기화되거나 부팅될 때, 필요한 bootstrap 코드를 포함하고 있다. 시스템이 부팅되기 위해서는 단지 하나의 부트 블록이 필요하며, 모든 시스템에는 부트 블록이 있어야 한다.

• super block : filesystem에 대한 모든 중요한 정보를 저장하는 곳이다. file system이 얼마나 큰지, 얼마나 많은 파일을 저장할 수 있는지, 자유 저장공간을 어디에서 찾아야 하는지 등의 다양한 정보를 포함하고 있다. 여기에 들어가는 정보는 파일시스템에 의존한다.

• inode list : 파일 시스템이라는 것은 inode(index node)라는 형태의 정보로 저장된다. inode는 항목(파일, 디렉토리, 심볼릭 링크) 자체의 이름을 제외하고는 다른 모든 파일시스템을 저장한다. 파일이름은 디렉토리에 저장되며 이는 inode의 포인터로 이용된다. Inode list 는 inode들의 리스트이며, 관리자에 의해 그 크기가 변경될 수 있다. 파일 시스템의 모든 파일이나 디렉토리는 각기 단 하나의 inode에 의하여 표현된다. 리스트에서 한 inode는 root inode로 file system을 mount 시킨 이후에 접근 가능하게 된다.

• data block : 파일 데이터와 관리 데이터를 저장하고 있는 부분이다. 각각의 데이터 블록은 한번에, 단지 하나의 파일에만 할당될 수 있다.

Raw Device                                    

- Raw Device란?

Raw device는 file system이 set up 되지 않은 disk drive이다. Raw Device는 데이터베이스와 같이 주로 자신들의 캐싱 시스템을 갖고 있는 경우에 서비스 프로그램에서 많이 사용한다. 운영체제의 캐싱 시스템은 일반적인 상황에서는 성능에 지대한 영향을  미치지만 데이터베이스 등에서는 이미 자신의 방식으로 캐싱을 하기 때문에 두번의 캐싱으로 인해 부하가 생길 수 있다. 그러므로 운영체제가 지원하는 부분을 사용하지 않게 하기 위해서 raw device를 사용한다. 또한 두 대 이상의 machine과 이 machine들이 공유하고 있는 disk로 구성되는 OPS의 경우, shared disk를 os file system으로 구성하면 한쪽에서만 이를 볼 수 있고 동시에 access하는 것이 불가능하다. 그러므로 raw device를 사용해야 하며, raw device를 사용하면 os를 거치지 않으므로 보다 빠른 access를 기대할 수 있다.

• 장점

1. Raw Device는 os에 mount되지 않은 디스크이므로 os kernel에 의해 buffering이 되지 않고 user buffer와 device간에 직접 data가 전송되므로 disk I/O 성능이 향상되고 cpu overhead가 감소된다.

2. os file system의 overhead를 피할 수 있다.

3. os buffer size를 줄일 수 있다.

• 단점

1. setup 하기 어렵고 backup 절차가 file system 보다 복잡하다.

2. raw device와 os file을 혼합하여 사용할 경우 os file은 ulimit parameter의 size 보다 작아야 한다. 따라서 ulimit를 초과하는 table들은 raw device를 사용하여야 한다.

3. os는 cylinder 0을 보호하지 못하기 때문에 cylinder 0에서 시작하면 안된다.

- raw device 운영시 주의사항

² raw device는 ‘/dev’ directory 밑에 c type (character special file)으로 나타난다. 

예>

crw-rw----   1 oraerp01   dba         64 0x090001 May 15 14:07 rlvabmd01.dbf

crw-rw----   1 oraerp01   dba         64 0x090002 May 15 14:07 rlvabmx01.dbf

crw-rw----   1 oraerp01   dba         64 0x090003 May 15 14:07 rlvahld01.dbf

² logical volume 확인

lvdisplay –v lvpath

예> THVSD01:/dev/vgdbmst2> lvdisplay -v lvctrl1

² partitoin 개수 및 size 결정

oracle data file : device = 1 : 1

device size = oracle file size + a (a : 대략 1M 정도. header 정보 보관)

향후 DB가 늘어날 것을 감안하여 size 별 raw device를 미리 생성해둔다.

² file system의 file을 raw device 로 옮기는 방법 : dd if = file명 of = raw device명예>
dd bs=20480 if=/DBMS/orarac/oradata/RAC/rlvsystem01.dbf  of=/dev/vgdbmsg1/rlvsystem01.dbf

dd bs=20480 if=/DBMS/orarac/oradata/RAC/rlvtemp01.tmf  of=/dev/vgdbmsg1/rlvtemp01.tmf

dd bs=20480 if=/DBMS/orarac/oradata/RAC/rlvtools01.dbf  of=/dev/vgdbmsg1/rlvtools01.dbf

² raw device를 file로 copy하는 방법 : dd if = raw device명 of = file명 예>
dd bs=20480 if=/dev/vgdbmsg1/rlvsystem01.dbf  of=/DBMS/orarac/oradata/RAC/rlvsystem01.dbf

dd bs=20480 if=/dev/vgdbmsg1/rlvtemp01.tmf  of=/DBMS/orarac/oradata/RAC/rlvtemp01.tmf

dd bs=20480 if=/dev/vgdbmsg1/rlvtools01.dbf  of=/DBMS/orarac/oradata/RAC/rlvtools01.dbf