OpenCloud

CentOS7 HA Cluster 구축 하기

* 요구사항

 - 두대의 Private IP를 가진 서버, 별개의 VIP를 통한 Failover 구성

 - 상기 두개의 서버에서 1개의 공유 스토리지 사용 : Block Storage, GFS2, 100GB/1000IOPS (성능은 맞추어서)

* 아키텍처

* HA 구성을 위한 리소스 구매

- Linux Server 2대 신청 : CentOS 7.x - Minimal Install (64 bit)

==>  svr01.mungi.com  10.178.80.44

==>  svr02.mungi.com  10.178.80.45

- Performance Storage 100GB/1000IOPS 신청

==>  대상 주소 :161.26.102.18

==>  허용서버 추가 (2대)

==>  svr01

   사용자명: IBM01SU1040169-V36035181

   패스워드: Sm99G8pgxSlfH3EG

   호스트 IQN: iqn.2005-05.com.softlayer:IBM01SU1040169-V36035181

==>  svr02

   사용자명: IBM01SU1040169-V29352927

   패스워드: EZlHmrKzNgexS9ar

   호스트 IQN: iqn.2005-05.com.softlayer:IBM01SU1040169-V29352927

- VIP 사용을 위한 Portable Private IP 신청 

==>  10.178.5.230

* iSCSI연결

yum install -y iscsi-initiator-utils device-mapper-multipath

touch /etc/multipath.conf

systemctl start multipathd

systemctl enable multipathd

cp /etc/iscsi/initiatorname.iscsi{,.orig}

vi /etc/iscsi/initiatorname.iscsi #=> CloudZ포털에서 확인한 HOST IQN 값으로 변경

cp /etc/iscsi/iscsid.conf{,.orig}

vi /etc/iscsi/iscsid.conf  #=> 아래 항목을 주석 해제 및 CloudZ 포털에서 확인한 값으로 변경

    node.session.auth.authmethod = CHAP

    node.session.auth.username = "Username-value-from-SL-Portal"

    node.session.auth.password = "Password-value-from-SL-Portal"

    discovery.sendtargets.auth.authmethod = CHAP

    discovery.sendtargets.auth.username = "Username-value-from-SL-Portal"

    discovery.sendtargets.auth.password = "Password-value-from-SL-Portal"

systemctl enable iscsi

systemctl enable iscsid

systemctl start iscsi

systemctl start iscsid

systemctl status iscsid #=> active (running) 인지 확인

iscsiadm -m discovery -t sendtargets -p "161.26.102.18" #=> CloudZ 포털에서 확인한 IP 값으로 변경

iscsiadm -m node -L automatic

multipath -l #=> 아래 처럼 보여야 함

* Cluster 구성

/etc/hosts에 상대 정보 추가

10.178.80.44  svr01.mungi.com svr01

10.178.80.45  svr02.mungi.com svr02

==> VIP

yum install -y corosync pacemaker pcs resource-agents

systemctl start pcsd

systemctl enable pcsd

systemctl enable corosync

systemctl enable pacemaker

passwd hacluster                   #자동생성된 hacluster유저의 패스워드 설정

# --> 여기서 부터는 한쪽에서만 해도 됨.

pcs cluster auth svr01          #인증 계정 적용

pcs cluster auth svr02

# MyCluster 이름의 클러스터를 생성

#해당 클러스터엔 svr01 svr02 두대의 서버가 포함

#데이터 전송은 UDP통신을 사용하도록 설정

pcs cluster setup --start --name MyCluster svr01 svr02 --transport udpu

pcs property set stonith-enabled=false

pcs cluster start --all

pcs status #옵션 정상 구성확인, 계속볼려면 crm_mon

* VIP 클러스터 리소스 설정, Portable Private IP 사용

pcs resource create SVC_VIP IPaddr2 ip=10.178.77.230 cidr_netmask=32 nic=eth0:1 op monitor interval=5s  #사용할 VIP로 설정, 퍼블릭이면 eth1:1

* 스토리지 클러스터 리소스 설정

iscsiadm -m session  #각서버에서 세션 맺어진 것 확인

yum install -y fence-agents-scsi  gfs2-utils  lvm2-cluster

# multipath -l dev id 확인후 3600a098038303743372b4966496d724d 변경

pcs stonith create SCSI-STONITH fence_scsi devices=/dev/mapper/3600a098038303743372b4966496d724d pcmk_monitor_action=metadata  pcmk_reboot_action=off pcmk_host_list="svr01 svr02" meta provides=unfencing

pcs property set stonith-enabled=true

pcs property set no-quorum-policy=ignore

pcs property set default-resource-stickiness=100

#볼륨 매니저 설정

lvmconf --enable-cluster

pcs cluster cib dlm_cfg

pcs -f dlm_cfg resource create dlm ocf:pacemaker:controld op monitor interval=120s on-fail=fence clone interleave=true ordered=true

pcs -f dlm_cfg resource create clvmd ocf:heartbeat:clvm op monitor interval=120s on-fail=fence clone interleave=true ordered=true

pcs -f dlm_cfg constraint order start dlm-clone then clvmd-clone

pcs -f dlm_cfg constraint colocation add clvmd-clone with dlm-clone

pcs -f dlm_cfg property set no-quorum-policy=freeze

pcs -f dlm_cfg constraint

pcs -f dlm_cfg resource show

pcs cluster cib-push dlm_cfg

#디스크 파티션 구성 및 포맷

fdisk /dev/mapper/3600a098038303743372b4966496d724d

  n -> primary -> 계속 엔터, t -> 8e

partprobe /dev/mapper/3600a098038303743372b4966496d724d

pvcreate -ff /dev/mapper/3600a098038303743372b4966496d724d

vgcreate --clustered=y vg_cluster /dev/mapper/3600a098038303743372b4966496d724d

lvcreate -l 100%FREE --name lv_storage vg_cluster

mkfs.gfs2 -j2 -t MyCluster:DataDisk -p lock_dlm /dev/vg_cluster/lv_storage

# 디스크 마운트

mkdir -p /DataDisk  #디렉토리 생성은 양쪽 서버에 수행

pcs resource create ClusterFS Filesystem device="/dev/vg_cluster/lv_storage" directory="/DataDisk" fstype="gfs2" "options=noatime" op monitor interval=10s on-fail=fence clone interleave=true