믿거나... 말거나...


AWS : KT 목동센터 , SKB 일산센터, 롯데정보통신/현대정보기술 용인센터, LG U+ 평촌메가센터

Azure : 평촌메가센터 (LGU+ IDC), LG CNS ; LG CNS 부산 글로벌 클라우드데이터센터

IBM Cloud : 판교 SK C&C 데이터 센터

KT : KT 목동센터, 천안, 김해

CentOS7 HA Cluster 구축 하기

* 요구사항

 - 두대의 Private IP를 가진 서버, 별개의 VIP를 통한 Failover 구성

 - 상기 두개의 서버에서 1개의 공유 스토리지 사용 : Block Storage, GFS2, 100GB/1000IOPS (성능은 맞추어서)

* 아키텍처


* HA 구성을 위한 리소스 구매

- Linux Server 2대 신청 : CentOS 7.x - Minimal Install (64 bit)

==>  svr01.mungi.com  10.178.80.44

==>  svr02.mungi.com  10.178.80.45


- Performance Storage 100GB/1000IOPS 신청

==>  대상 주소 :161.26.102.18

==>  허용서버 추가 (2대)

==>  svr01

   사용자명: IBM01SU1040169-V36035181

   패스워드: Sm99G8pgxSlfH3EG

   호스트 IQN: iqn.2005-05.com.softlayer:IBM01SU1040169-V36035181

==>  svr02

   사용자명: IBM01SU1040169-V29352927

   패스워드: EZlHmrKzNgexS9ar

   호스트 IQN: iqn.2005-05.com.softlayer:IBM01SU1040169-V29352927


- VIP 사용을 위한 Portable Private IP 신청 

==>  10.178.5.230


* iSCSI연결

yum install -y iscsi-initiator-utils device-mapper-multipath


touch /etc/multipath.conf


systemctl start multipathd

systemctl enable multipathd


cp /etc/iscsi/initiatorname.iscsi{,.orig}

vi /etc/iscsi/initiatorname.iscsi #=> CloudZ포털에서 확인한 HOST IQN 값으로 변경


cp /etc/iscsi/iscsid.conf{,.orig}

vi /etc/iscsi/iscsid.conf  #=> 아래 항목을 주석 해제 및 CloudZ 포털에서 확인한 값으로 변경

    node.session.auth.authmethod = CHAP

    node.session.auth.username = "Username-value-from-SL-Portal"

    node.session.auth.password = "Password-value-from-SL-Portal"

    discovery.sendtargets.auth.authmethod = CHAP

    discovery.sendtargets.auth.username = "Username-value-from-SL-Portal"

    discovery.sendtargets.auth.password = "Password-value-from-SL-Portal"


systemctl enable iscsi

systemctl enable iscsid

systemctl start iscsi

systemctl start iscsid

systemctl status iscsid #=> active (running) 인지 확인


iscsiadm -m discovery -t sendtargets -p "161.26.102.18" #=> CloudZ 포털에서 확인한 IP 값으로 변경


iscsiadm -m node -L automatic


multipath -l #=> 아래 처럼 보여야 함



* Cluster 구성

/etc/hosts에 상대 정보 추가

10.178.80.44  svr01.mungi.com svr01

10.178.80.45  svr02.mungi.com svr02


==> VIP

yum install -y corosync pacemaker pcs resource-agents


systemctl start pcsd

systemctl enable pcsd

systemctl enable corosync

systemctl enable pacemaker


passwd hacluster                   #자동생성된 hacluster유저의 패스워드 설정


# --> 여기서 부터는 한쪽에서만 해도 됨.

pcs cluster auth svr01          #인증 계정 적용

pcs cluster auth svr02


# MyCluster 이름의 클러스터를 생성

#해당 클러스터엔 svr01 svr02 두대의 서버가 포함

#데이터 전송은 UDP통신을 사용하도록 설정

pcs cluster setup --start --name MyCluster svr01 svr02 --transport udpu


pcs property set stonith-enabled=false


pcs cluster start --all


pcs status #옵션 정상 구성확인, 계속볼려면 crm_mon



* VIP 클러스터 리소스 설정, Portable Private IP 사용

pcs resource create SVC_VIP IPaddr2 ip=10.178.77.230 cidr_netmask=32 nic=eth0:1 op monitor interval=5s  #사용할 VIP로 설정, 퍼블릭이면 eth1:1



* 스토리지 클러스터 리소스 설정

iscsiadm -m session  #각서버에서 세션 맺어진 것 확인


yum install -y fence-agents-scsi  gfs2-utils  lvm2-cluster


# multipath -l dev id 확인후 3600a098038303743372b4966496d724d 변경

pcs stonith create SCSI-STONITH fence_scsi devices=/dev/mapper/3600a098038303743372b4966496d724d pcmk_monitor_action=metadata  pcmk_reboot_action=off pcmk_host_list="svr01 svr02" meta provides=unfencing


pcs property set stonith-enabled=true

pcs property set no-quorum-policy=ignore

pcs property set default-resource-stickiness=100


#볼륨 매니저 설정

lvmconf --enable-cluster


pcs cluster cib dlm_cfg

pcs -f dlm_cfg resource create dlm ocf:pacemaker:controld op monitor interval=120s on-fail=fence clone interleave=true ordered=true

pcs -f dlm_cfg resource create clvmd ocf:heartbeat:clvm op monitor interval=120s on-fail=fence clone interleave=true ordered=true

pcs -f dlm_cfg constraint order start dlm-clone then clvmd-clone

pcs -f dlm_cfg constraint colocation add clvmd-clone with dlm-clone

pcs -f dlm_cfg property set no-quorum-policy=freeze


pcs -f dlm_cfg constraint

pcs -f dlm_cfg resource show

pcs cluster cib-push dlm_cfg


#디스크 파티션 구성 및 포맷

fdisk /dev/mapper/3600a098038303743372b4966496d724d

  n -> primary -> 계속 엔터, t -> 8e

partprobe /dev/mapper/3600a098038303743372b4966496d724d

pvcreate -ff /dev/mapper/3600a098038303743372b4966496d724d

vgcreate --clustered=y vg_cluster /dev/mapper/3600a098038303743372b4966496d724d


lvcreate -l 100%FREE --name lv_storage vg_cluster

mkfs.gfs2 -j2 -t MyCluster:DataDisk -p lock_dlm /dev/vg_cluster/lv_storage


# 디스크 마운트

mkdir -p /DataDisk  #디렉토리 생성은 양쪽 서버에 수행

pcs resource create ClusterFS Filesystem device="/dev/vg_cluster/lv_storage" directory="/DataDisk" fstype="gfs2" "options=noatime" op monitor interval=10s on-fail=fence clone interleave=true




CentOS 7 기준

사설 - eth0

cp /etc/sysconfig/network-scripts/ifcfg-eth0{,:1}

vi /etc/sysconfig/network-scripts/ifcfg-eth0:1

   DEVICE=eth0:1

   IPADDR=10.178.5.230

   #나머진 그대로.


ifup eth0:1


공인 - eth1

cp /etc/sysconfig/network-scripts/ifcfg-eth1{,:1}

vi /etc/sysconfig/network-scripts/ifcfg-eth1:1

BOOTPROTO=static

DEFROUTE=yes

DEVICE=eth1:1

GATEWAY=169.56.115.25

IPADDR=169.56.115.26

NETMASK=255.255.255.248

ONBOOT=yes

ifup eth1:1


+ Recent posts