잊지 않겠습니다.

'LVS'에 해당되는 글 4건

  1. 2009.07.03 LVS 방법에 따른 제약사항 정리
  2. 2009.06.30 LVS 설정 - Direct Routing
  3. 2009.06.30 LVS 관련 자료 (2)
  4. 2009.06.30 LVS 설정 - Directo Routing

LVS 방법에 따른 제약사항 정리

OS 자료들 2009. 7. 3. 13:53
LVS를 이용해서 Load Balancer를 구성할때 Direct Routing, NAT, Tunneling 방식으로 3가지 방식으로 사용될 수 있는데, 각 3가지 방법은 다음과 같은 차이를 가지고 있다.

1. Direct Routing
LVS에 VIP를 설정, VIP를 통해서 Node단에 Network Load 전송

* LVS
- eth0 에 자신의 private ip가 eth0:1에 VIP가 설정되는 식으로 VIP와 private ip를 모두 갖는다.
* Node
- loopback devicde(lo)에 LVS의 VIP가 설정되어야지 된다.
: IP Diagram에 자신이 처리해야지 되는 연결임을 알 수 있도록 설정되어야지 된다.

2. NAT
- 조금 특이한 형태. Input/output이 모두 LVS를 통해서 나가게 된다.
- 20대 이상의 대규모 네트워크에 매우 불리하다.

* LVS
- 반드시 2개 이상의 network adapter가 필요하다.
- 1개는 public ip로 연결, 나머지 1개는 private ip로 연결된다.
* Node
- private ip가 반드시 있어야지 된다. (public ip는 필요 없다.)
- private ip의 gateway에 LVS의 private ip가 설정된다.
: Network input/output이 모두 NAT를 통해서 나가게 되기 때문에 gateway를 모두 같이 맞춰줄 필요가 있다.
: IP class에 따라 제한이 될 수 있다.

3. Tunneling
- IP Diagram 변경을 통해 Network Load가 전송된다.

* LVS
- 특별하게 지정해줄 필요 없다. ipvsadm 명령어 옵션만 다를 뿐이다.
* Node
- tunl0 라는 network 가상 device를 추가해주고, LVS의 private ip로 연결되어야지 된다.
: LVS와 node간의 연결 통로를 미리 지정해주게 된다. 그리고, 이 곳에서 온 자신에 대한 네트워크 연결은 Tunneling으로 온 것으로 판단하고, 들어온 입력이 아닌, ip diagram에 있는 정보를 이용해서 return 시켜주게 된다.


결론
네트워크 시스템을 어떻게 구성할지를 고민해야지 될듯. 모든 Network에 대한 감시가 필요하고, LVS를 좋은 녀석으로 구성한다면 NAT가 가장 최선의 방법이 될 수도 있지만, 이는 LVS 에 엄청난 부하를 줄 수 있기 때문에 가장 많이 사용되는 것은 Direct Routing 방법. 그렇지만, Node에 따로 설정을 해줘야지 된다는 것은 부담으로 남는다.


저작자표시 비영리 변경금지
Posted by Y2K
,

LVS 설정 - Direct Routing

OS 자료들 2009. 6. 30. 11:57
출처 : http://www.cyberlation.net/entry/LVS-IPVS-%EC%84%A4%EC%A0%95%ED%95%98%EA%B8%B0-DR-Direct-Routing
----------------------------------------------------------------------------------

IPVS Configuration : DR (Direct Routing)


LVS 에서 부하를 분산하는 방법 즉, 패킷을 다른 노드로 전달해 버리는 방법(IP Packet Forwarding Method)에는 크게 NAT (Network Address Translation), TUN (IP Tunneling), DR (Direct Routing) 등 3가지가 있으며, 여기에서는 가장 널리 사용되는 Direct Routing 방법을 위한 설정 사항을 정리한다.

1. Dispatcher Node 설정

Dispatcher Node (또는 Director)는 Clients로부터 서비스 요청 패킷을 받아 미리 설정된 Scheduling 방식으로 Real Servers에게 부하를 분산하는 역할을 수행한다.
1.1. VIP 및 DIP 설정
Dispatcher Node에서는 크게 DIP (Director IP)와 VIP (Virtual IP)를 설정해야 한다. 여기에서 DIP는 Dispatcher Node가 고유하게 가질 IP 주소로서, NIC의 기본 IP 주소가 된다. 반면 VIP는 외부 Clients에게 서비스를 제공하기 위해 사용될 인터페이스 IP 주소 (즉, 외부 Clients가 접속할 IP 주소)로서, Aliasing을 통해 설정할 수 있으며, 부하를 상호 분산할 Real Server도 이 VIP를 반드시 가져야 한다.

따라서, 우선 VIP가 123.234.1.101 이고, DIP가 123.234.1.102 이라고 가정할 때,

>$ su -
Password :
># ifconfig eth0 123.234.1.102 netmask 255.255.255.0 up
># ifconfig eth0:1 123.234.1.101 netmask 255.255.255.0 up
># ifconfig

위와 같이, ifconfig 명령을 이용하여 VIP와 DIP를 각각 설정한 다음, ifconfig로 설정사항을 확인한다. 단, 이미 eth0에 DIP가 설정되어 있는 경우가 대부분이므로, 이 단계에서는 VIP 만을 설정해도 된다.

1.2. Packet Forwarding 활성화
Dispatcher 는 Client로부터 전송된 요청 메시지를 Real Server로 전달해야 하므로, 반드시 Packet Forwarding 기능이 활성화되어 있어야 한다. 이는 proc의 ip_forward의 값을 1로 설정함으로써 가능하다.

># echo 1 > /proc/sys/net/ipv4/ip_forward
1.3. IPTABLES 및 IPVSADM 설정 초기화

Virtual Service를 본격적으로 등록하기 전에 IPTABLES와 IPVSADM의 설정을 다음과 같이 초기화한다. 단, 현재의 설정 사항이 문제를 야기할 소지가 없을 때에는 본 단계를 생략할 수 있다.

># iptables -F                // Clear all iptables rules
># iptables -Z                // Reset iptables counters
># ipvsadm -C               // Clear all ipvsadm rules and services
1.4. Virtual Service 등록 (IPVSADM 설정)
이미 Dispatcher Node에 IPVS Admin이 설치되었다고 가정한다. 정상적으로 설치된 경우, root 계정으로 쉘에서ipvsadm 명령을 실행하면 다음과 같은 화면이 출력되면 정상이다.

># ipvsadm
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
>#

이 상태에서 부하를 분산시킬 Dispatcher Node의 VIP와 Port 번호 그리고 Scheduling 방식을 다음과 같이 입력한다. 단, 여기에서는 VIP로 접속하는 Web Requests (80 port)를 Round-Robin 방식으로 부하 분산시키는 것을 가정한다.

># ipvsadm -A -t 123.234.1.101:80 -s rr

여기에서 각 옵션은 다음과 같다.
  • -A, --add-service : 가상 서비스의 추가를 위한 옵션으로서, 임의의 가상 서비스는 IP 주소, Port 번호, 프로토콜의 조합으로 유일하게 정의된다.
  • -t, --tcp-service : TCP 서비스를 의미하며, 가상 서비스를 규정하는 한 요소이다.
  • -s, --scheduler : TCP 연결과 UDP Datagram을 Real Server에게 전달(할당)하기 위한 알고리즘으로서, LVS에서는 Kernel 모듈로서 총 10개의 방식이 구현되어 있다.
    • rr : Round Robin
    • wrr : Weighted Round Robin
    • lc : Least-Connection
    • wlc : Weighted Least-Connection
    • lblc : Locality-Based Least-Connection
    • lblcr : Locality-Based Least-Connection with Replication
    • dh : Destination Hashing
    • sh : Source Hashing
    • sed : Shortest Expected Delay
    • nq : Never Queue


2. Real Server 설정

Real Server는 실제 Client에게 서비스를 제공하는 노드로서, Dispatcher Node로부터 전달된 요청을 처리한 뒤 바로 Client에게 응답 메시지를 전송한다.

2.1. ARP Problem 해결 : ARP Hidden
패 킷 전달 방식에 있어 NAT를 제외한 TUN 및 DR 방식은 모두 ARP Flux Problem을 해결해야 한다. 기본적으로 Dispatcher Node와 Real Server 모두 VIP를 갖고 있기 때문에, 클라이언트가 VIP의 MAC 주소를 묻는 ARP Request를 전송했을 때 Dispatcher와 Real Server 모두 이에 응답하게 되면 클라이언트는 이들 중 특정 서버의 MAC 주소를 해당 VIP에 해당하는 MAC 주소로 기억(ARP Caching)하고는 이 서버에게만 모든 서비스 요청 메시지를 전송한다. 결국 부하 분산을 더 이상 제공할 수 없으며, 임의의 클라이언트가 어떤 서버로부터 서비스를 제공받는지 관리할 수 없다. 

결국 이를 해결하기 위해서는 클라이언트가 ARP 요청 메시지를 전송했을 때 Dispatcher만이 이에 응답하고, Real Server는 모두 ARP 요청 메시지를 무시해야 한다. 여기에서는 가장 간단한 ARP Hidden 방식을 소개한다.

일반적으로 Real Server에 VIP는 lo 장치에 Aliasing으로 설정되기 때문에, lo 장치와 다른 모든 인터페이스에 대해 ARP를 무시하도록 설정한다.

># echo 1 > /proc/sys/net/ipv4/conf/lo/arp_ignore
># echo 2 > /proc/sys/net/ipv4/conf/lo/arp_announce
># echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore
># echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce

2.2. VIP 및 RIP 설정
Real Server는 고유의 IP 주소인 RIP (Real Server IP)를 갖고 있으며, Dispatcher는 RIP 주소를 기반으로 서비스 요청을 분산시킨다. 다만, Direct Routing 방식의 특성상 처리된 클라이언트의 요청은 Real Server에서 클라이언트로 직접 전달되므로(NAT 방식에서 Dispatcher를 거치는 것과는 달리), Real Server는 VIP 주소도 함께 lo 장치로서 갖고 있어야 한다. 
따라서, 우선 VIP가 123.234.1.101 이고, RIP가 123.234.1.111 이라고 가정할 때,

># ifconfig eth0 123.234.1.111 netmask 255.255.255.0 up
># ifconfig lo:0 123.234.1.101 netmask 255.255.255.255 up
># ifconfig

위와 같이, ifconfig 명령을 이용하여 VIP와 RIP를 각각 설정한 다음, ifconfig로 설정사항을 확인한다. 단, 이미 eth0에 RIP가 설정되어 있는 경우가 대부분이므로, 이 단계에서는 VIP 만을 설정해도 된다.

2.3. Routing Table 설정
lo:0 장치에 VIP를 설정했으므로, Destination이 VIP인 요청 메시지를 lo:0 장치로 전달해야 한다. 그런 다음에는 이를 Real Server의 커널에 의해 처리된다.

># route add -host 123.234.1.101 dev lo:0


3. Real Server를 Virtual Service에 등록 (on Dispatcher Node)

Dispatcher Node 및  Real Server의 설정이 완료되었고, Virtual Service도 등록되었으므로, 이제 실제 Virtual Service를 제공할 Real Server 노드를 Virtual Service에 등록한다. 일반적으로 Dispatcher Node 또한 부하 분산의 기능 외에 Real Server와 같이 Virtual Service를 제공할 수 있기 때문에, 여기에서는 Dispatcher Node가 Real Server로서 Virtual Service에 등록되는 경우와 일반적인 Real Server가 Virtual Service에 등록되는 경우로 구분하여 정리한다.

참고로 Real Server가 Virtual Service에 등록되는 시점부터 바로 클라이언트는 VIP를 통해 서비스를 제공받을 수 있다.

3.1. Dispatcher를 Real Server로서 등록하기
Dispatcher Node가 Real Server로서 Virtual Service를 제공하기 위해서는 클라이언트로부터 전송된 요청 메시지를 다음과 같이 Local host (127.0.0.1) 로 전송할 수 있도록 등록하면 된다.

># ipvsadm -a -t 123.234.1.101:80 -r 127.0.0.1 -g

여기에서 각 옵션은 다음과 같다.
  • -a, --add-server : 가상 서비스에 Real Server를 추가하기 위한 옵션으로서, 임의의 가상 서비스를 나타내는 IP 주소, Port 번호, 프로토콜의 조합 (Virtual Service 등록시 입력한 값)과 더불어 추가할 Real Server의 IP 주소로서 추가된다.
  • -t, --tcp-service : TCP 서비스를 의미하며, 가상 서비스를 규정하는 한 요소이다.
  • -r, --real-server : Virtual Service에 등록할 Real Server의 IP 주소 또는 호스트명으로서, 경우에 따라 Port 번호를 추가할 수 있다.
  • Packet-forwarding-method : Dispatcher Node에 전달된 클라이언트의 요청 메시지를 Real Server에게 전달하기 위한 방식으로서, LVS에서는 3가지 방식이 있다.
    • -g, --gatewaying : Direct Routing (gatewaying 방식 사용, Default)
    • -i, --ipip : Tunneling (ipip encapsulation 방식 사용)
    • -m, --masquerading : NAT (Masquerading 방식 사용)
3.2. Real Server를 등록하기

일반적인 Real Server를 Virtual Service에 등록하는 방식도 위와 동일하다. 다만 local host 대신 RIP를 입력하는 것만 차이가 있다.

># ipvsadm -a -t 123.234.1.101:80 -r 123.234.1.111 -g
3.3 Virtual Service 설정 확인

위와 같이 Real Server를 Virtual Service에 등록한 다음에는 정상적으로 등록되었는지 그 결과를 확인한다.

># ipvsadm -Ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  123.234.1.101:80  rr
  ->  127.0.0.1:80                    Route    1         0               0 
  ->  123.234.1.111:80             Route    1         0               0 
>#


4. Virtual Service 상태 모니터링

이상과 같이 Virtual Service에 Real Server가 등록된 이후에는 즉시 VIP를 통한 서비스 제공이 가능하다. 이때 Dispatcher Node에서 주기적으로 서비스 상태(# of Active Connection and # of Inactive Connection)를 계속해서 모니터링하고 싶은 경우 watch 명령을 이용한다.

># watch ipvsadm -Ln



저작자표시 비영리 변경금지
Posted by Y2K
,

LVS 관련 자료 (2)

OS 자료들 2009. 6. 30. 11:56


Linux Virtual Server(LVS)




ㅇ 제작 : 리눅스포털(www.superuser.co.kr) 수퍼유저코리아 서버팀


ㅇ SULINUX 홈페이지 : www.sulinux.net

ㅇ 리눅스포털 홈페이지 : www.superuser.co.kr




http://www.linuxvirtualserver.org/


“The Linux Virtual Server is a highly scalable and highly available server built on a cluster of real servers, with the load balancer running on the Linux operating system.”

March 31, 2007 SUPERUSER.CO.KR 이창목


1. Linux Virtual Server(LVS)란?


리눅스 가상 서버란, 한대의 서버로 증가하는 인터넷 사용자를 처리하기가 힘들어 지면서 고가용성 서버를 구축하기 위해 리눅스 머신을 로드 발랜스 하도록 해주는 운영시스템이다.

만약 하나의 노드에서 처리량이 너무 많아서 서비스가 불가능할 경우 간단히 하나의 노드를 병렬 구성으로 추가 함으로써 부하분산을 하도록 하는 것을 말한다. 공개소스로서 이러한 기능을 담당하고 있는 것이다.


2. Linux Virtual Server 스케쥴링


    1)라운드-로빈(round-robin)

    라운드-로빈 방식은 로드밸런서에 들어오는 요청 패킷들을 차례대로 실제 서버에 할당하는 방식이 다. 이 방식에서 실제 서버의 현재 부하 상황 등은 고려되지 않는다. 단지 차례대로 할당할 뿐이다. 하지만, 이렇게 하더라도 로드밸런싱을 위해 이전에 사용되던 라운드-로빈 DNS 방식에 의해 서버를 할당하는 방식에 비해서는 우수한데, DNS의 경우는 한번 서버가 지정되면 해당 서버에 수많은 요청 패킷이 몰릴 수 있기 때문이다.

    2)가중 라운드-로빈(weighted round-robin)

    가중 라운드-로빈 방식은 기본적으로 라운드-로빈 방식인데, 각 서버에 서로 다른 가중치를 주어서 할당하는 방식이다. 이 방식을 사용해야 하는 경우는 실제 서버들이 CPU의 수와 성능, 메모리 용량 등 서로 다른 성능을 가지고 있어서, 각 서버를 동등하게 취급할 수 없는 경우이다.

    3)최소 연결(least connection)

    최소 연결 방식은 실제 서버들 중에서 현재 가장 적은 수의 요청을 처리하고 있는 서버를 선택하여 요청 패킷을 할당하는 방식이다. 이 방식은 실제 서버의 현재 부하 상황을 동적으로 판단하여 요청을 처리하기 때문에, 앞의 두 방식에 비해서 동적으로 우수한 부하 분산 효과를 얻을 수 있다.

    4)가중 최소 연결(weighted least connection)

    가중 최소 연결 방식은 기본적으로 최소 연결 방식인데, 가중 라운드-로빈 방식과 마찬가지로 각 서버에 서로 다른 가중치를 주어서 할당하는 방식이다.


3. 시스템 구성 및 ipvsadm 설치


1)Load Balancer Server

운영체제 : SULinux1.5

커널 : kernel-2.6.9-42.0.2.ELsmp

IP : 210.224.223.1

가상IP : 210.224.223.10

2)Real Server1(RS1)

운영체제 : Sulinux1.5

커널 : kernel-2.6.9-12.0.2.ELsmp

IP : 210.224.223.11

IP : 192.168.0.11 [NAT 설정시 부여할 사설 ip]


3)Real Server1(RS2)

운영체제 : CentOS4

커널 : kernel-2.6.9-42.0.2.ELsmp

IP : 210.224.223.12

IP : 192.168.0.12 [NAT 설정시 부여할 사설 ip]


4)Load Balancer Server ipvsadm 설치

Load Balancer Server에서 ipvsadm을 다운로드 후 설치를 한다.

커널 2.4.x 이하 버젼에서는 커널 컴파일 및 hidden 패치를 해야 했으나 커널 2.6.x에서는

Virtual Server 기능들이 기본 포함되어 있으므로 아주 간단하다.

shell>wget http://mirror.centos.org/centos/4/extras/i386/RPMS/ipvsadm-1.24-6.i386.rpm


shell>rpm -ivh ipvsadm-1.24-6.i386.rpm


shell>ipvsadm

IP Virtual Server version 1.2.0 (size=4096)

Prot LocalAddress:Port Scheduler Flags

-> RemoteAddress:Port Forward Weight ActiveConn InActConn


설치가 정상적으로 되었다면 위와같이 나타날 것이다.여기서부터 ipvsadm을 이용하여 아래 방식 으로 설정하여 테스트 해보도록 하겠다.


  • Direct Routing

  • NAT 방식

A.Direct Routing 방식

실제 서버와 부하분산 서버에서 가상 IP 주소를 부여하여 서로 공유한다. 부하분산 서버에도

마찬가지로 가상 IP 주소를 설정한 인터페이스가 있어야하며 이 인터페이스를 이용, 요청

패킷을 받아들이고 선택한 서버에 직접 라우팅할 수 있게 된다.

모든 실제 서버는 가상 IP주소로 설정한 non-arp alias 인터페이스가 있거나 가상 IP 주소로

향하는 패킷을 지역 소켓으로 재지향한다. 그래서 실제 서버 에서 패킷을 지역적으로 처리할

수 있는 구조를 가지게 된다.


Direct Routing 방식의 구조도는 아래와 같다.










A-1.Load Balancer Server 설정법

/etc/sysctl.conf에 net.ipv4.ip_forward = 0 부분을 1로 변경후

shell>sysctl -p

커널파라미터 적용


shell>ifconfig eth0:0 210.224.223.10 up

가상아이피 등록


shell>ipvsadm -A -t 210.224.223.10:80 -s rr

라운드-로빈방식으로 설정


shell>ipvsadm -a -t 210.224.223.10:80 -r 210.224.223.11:80 -g

RS1 서버로 다이렉트 라우팅 설정


shell>ipvsadm -a -t 210.224.223.10:80 -r 210.224.223.12:80 -g

RS2 서버로 다이렉트 라우팅 설정



A-2.Real Server(RS1) 설정법

/etc/sysctl.conf에 net.ipv4.ip_forward = 0 부분을 1로 변경하여야 하며

#for ipvs

net.ipv4.conf.lo.arp_ignore = 1

net.ipv4.conf.lo.arp_announce = 2

net.ipv4.conf.all.arp_ignore = 1

net.ipv4.conf.all.arp_announce = 2

#end of ipvs

#for ipvs ~ #end of ipvs 부분을 추가한후

shell>sysctl -p

커널파라미터 적용

shell>ifconfig eth0:0 210.224.223.10 up

가상아이피 등록


A-3.Real Server(RS2) 설정법

/etc/sysctl.conf에 net.ipv4.ip_forward = 0 부분을 1로 변경하여야 하며

#for ipvs

net.ipv4.conf.lo.arp_ignore = 1

net.ipv4.conf.lo.arp_announce = 2

net.ipv4.conf.all.arp_ignore = 1

net.ipv4.conf.all.arp_announce = 2

#end of ipvs

#for ipvs ~ #end of ipvs 부분을 추가한후

shell>sysctl -p

커널파라미터 적용

shell>ifconfig eth0:0 210.224.223.10 up

가상아이피 등록


클라이언트에서 가상아이피 210.224.223.10으로 접속하면 우리는 느끼지 못하지만

rr(라운드-로빈)방식을 이용해서 RV1,RV2 서버에 접속하게 된다.

RV1 서버에 장애가 있다면 RV2 서버로 접속하게 된다.


B.NAT 방식

NAT는 특정한 IP 주소를 한 그룹에서 다른 그룹으로 매핑하는 기능이다.

클라이언트가 가상 아이피로 접근시 사설 아이피로 구성된 부하분산 서버 RS1,RS2로 패킷이 향 하게 된다. 사설 아이피로 구성된 부하분산 서버는 패킷의 목적지와 포트 번호를 검사한다.

NAT 방식의 구조도는 아래와 같다





B-1.Balancer Server 설정법


네트웍 디바이스 eth0,eth1 정보

DEVICE=eth0

ONBOOT=yes

BOOTPROTO=static

IPADDR=210.224.223.11

NETMASK=255.255.255.0

GATEWAY=210.223.223.1

DEVICE=eth1

ONBOOT=yes

BOOTPROTO=static

IPADDR=192.168.0.1

NETMASK=255.255.255.0


/etc/sysctl.conf에 net.ipv4.ip_forward = 0 부분을 1로 변경후

shell>sysctl -p

커널파라미터 적용


shell>ifconfig eth0:0 210.224.223.10 up

가상아이피 등록


shell>ipvsadm -A -t 210.224.223.10:80 -s lc

최소연결 방식으로 설정



shell>ipvsadm -a -t 210.224.223.10:80 -r 192.168.0.11:80 -m

RS1 서버로 NAT 설정


shell>ipvsadm -a -t 210.224.223.10:80 -r 192.168.0.12:80 -m

RS2 서버로 NAT 설정


B-2.Real Server(RS1,RS2) 설정법


RS1

DEVICE=eth0

ONBOOT=yes

BOOTPROTO=static

IPADDR=192.168.0.11

NETMASK=255.255.255.0

GATEWAY=192.168.0.1


RS2

DEVICE=eth0

ONBOOT=yes

BOOTPROTO=static

IPADDR=192.168.0.12

NETMASK=255.255.255.0

GATEWAY=192.168.0.1


클라이언트에서 가상아이피 210.224.223.10으로 접속하면 우리는 느끼지 못하지만

최소연결 방식을 이용해서 RV1,RV2 서버 중에 접속자가 작은 서버로 된다.

RV1 서버에 장애가 있다면 RV2 서버로 접속하게 된다.

NAT 방식의 경우 패킷 Load Balancer Server를 반드시 거쳐가야 하므로 20대 이상 구성해야

할때는 문제가 발생할 수 있는 단점이 있다.

C.IP Tunneling 방식

IP 터널링 (IP encapsulation)은 IP 데이터그램안에 IP 데이터그램을 넣는 기술로서, 어떤 IP 주 소를 향하는 데이터그램을 감싸 다른 IP 주소로 재지향할 수 있다. IP encapsulation은 현재 엑 스트라넷, 모빌-IP, IP-멀티캐스트, tunnled 호스트나 네트웍 등에 일반적으로 사용되고 있다.

IP Tunneling 방식의 구조도는 아래와 같다




C-1.Balancer Server 설정법

/etc/sysctl.conf에 net.ipv4.ip_forward = 0 부분을 1로 변경후

shell>sysctl -p

커널파라미터 적용


shell>ifconfig eth0:0 210.224.223.10 up

가상아이피 등록


shell>ipvsadm -A -t 210.224.223.10:80 -s wlc

가중치 최소연결 방식으로 설정



shell>ipvsadm -a -t 210.224.223.10:80 -r 210.224.223.11:80 -i

RS1 서버로 Tunneling


shell>ipvsadm -a -t 210.224.223.10:80 -r 210.224.223.12:80 -i

RS2 서버로 Tunneling


C-2.Real Server(RS1,RS2) 설정법


RS1

DEVICE=tunl0

ONBOOT=yes

BOOTPROTO=static

IPADDR=210.224.223.10

NETMASK=255.255.255.0


RS2

DEVICE=tunl0

ONBOOT=yes

BOOTPROTO=static

IPADDR=210.224.223.10

NETMASK=255.255.255.0


또는 각 리얼서버에서


RS1

shell>ifconfig tunl0 210.224.223.10 up

가상아이피를 IPIP Tunnel에 등록한다.

RS2

shell>ifconfig tunl0 210.224.223.10 up

가상아이피를 IPIP Tunnel에 등록한다.


클라이언트에서 가상아이피 210.224.223.10으로 접속하면 우리는 느끼지 못하지만

가중치 최소연결 방식을 이용해서 RV1,RV2 서버 중에 접속자가 작은 서버로 된다.

RV1 서버에 장애가 있다면 RV2 서버로 접속하게 된다.


http://www.linux.co.kr/home/lecture/index.php?cateNo=&secNo=&theNo=&leccode=10904 에서 긁기

저작자표시 비영리 변경금지
Posted by Y2K
,

LVS 설정 - Directo Routing

OS 자료들 2009. 6. 30. 11:54
셋팅하기위해서 아래와 같이 설정하겠다. 공인 아이피대신 그냥 사설아이피를 쓰겠다.
웹서비스를 위한 예제이다.
 
▶ 로드밸런싱 서버 IP : 192.168.1.10    eth0
▶ Real 서버 1번 IP   : 192.168.1.11    eth0 
▶ Real 서버 2번 IP   : 192.168.1.12    eth0
▶ Virtual IP : 192.168.1.5 (DNS에 셋팅할 도메인과 맵핑할 Web IP 예를들어 192.168.1.5 = www.empas.com  ...ㅋ )
 
★ 로드밸런싱 서버 설정★
LBSERVER# yum intall ipvsadm             ==> RPM으로 ipvsadm 설치
LBSERVER# ifconfig eth0:0 192.168.1.5 netmask 255.255.255.255 up  
                                                   ==> 물리 랜카드 하나에 2개 아이피셋팅 etho 192.168.1.10, eth0:0 192.168.1.5           
LBSERVER# ipvsadm -A -t 192.168.1.5:80 -s wlc
                                                             --라운드로빈(rr)-차례대로 리얼서버로                                                    
                                                             --가중라운드로빈(wrr)-라운드로빈+가중치                               
                                                             --최소연결(lc)-리얼 서버들중 가장 적은 수의 요청을 처리하는 서버 선택.
                                                             --가중최소연결(wlc)-최소연결+가중치                                   
LBSERVER# ipvsadm -a -t 192.168.1.5:80 -r 192.168.1.11:80 -g -w 5     ==> ipvs 테이블 설정
LBSERVER# ipvsadm -a -t 192.168.1.5:80 -r 192.168.1.12:80 -g -w 10
                                                 -a 추가, -t 대상타겟, -r 리소스 주소, -g 다이렉트 라우팅, -w 가중치 설정
LBSERVER# vi /etc/sysctl.conf
----------------------------------------------------------------
net.ipv4.ip_forward = 1               ===>  0을 1로 변경후 저장
----------------------------------------------------------------
LBSERVER# sysctl -p           ====> sysctl.conf 설정 적용    
LBSERVER# ipvsadm  ==>설정확인 , ipvsadm -C 설정 모두 삭제, ipvsadm -e -t ..설정 수정 
----------------------------------------------------------------------
IP Virtual Server version 1.2.0 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  211.233.5.72:http wlc
  -> 211.233.5.71:http            Route   10      0          0         
  -> 211.233.5.70:http            Route   10      0          0   
----------------------------------------------------------------------

★ Real 1번 서버 설정 ★
Real_1# ifconfig lo:0 192.168.1.5 netmask 255.255.255.255 up
Real_1# vi /etc/sysctl.conf 
-------------------------------------------------------------
net.ipv4.ip_forward = 1            ===>  0을 1로 변경
#linux-1 part
# ARP 문제 해결을위해 arp에 대한 응답 없음으로 설정(추가부분)
net.ipv4.conf.lo.arp_ignore = 1
net.ipv4.conf.lo.arp_announce = 2
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2
net.ipv4.conf.default.arp_ignore = 1
net.ipv4.conf.default.arp_announce = 2
net.ipv4.conf.eth0.arp_ignore = 1
net.ipv4.conf.eth0.arp_announce = 2
------------------------------------------------------------------
Real_1# sysctl -p       ====> sysctl.conf 설정 적용
Real_1# vi /usr/local/apache/conf/httpd.conf 에서 virtualhost를 가상아이피(192.168.1.5)로 설정을 한다.
 
★ Real 2번 서버 설정 ★
리얼서버 1번과 같이 설정한다.
 
★ 확인하기 ★
그리고 나서 로드밸런싱서버, 리얼 서버1, 리얼서버2 에서 /etc/rc.d/init.d/network restart 해준다.
당연히 웹서비스 로드밸런싱이기 때문에 리얼서버 1,2 번에는 웹이 돌아가야지 테스트 확인이가능하다.
리얼1에는 index.htm 파일에 리얼1번이라는 웹피이지를 만들어주고 리얼2에는 index.htm 파일에 리얼2번이라는 웹피이지를
만들어준다. 
이제 www.empas.com 도메인으로 접속하면 한번은 리얼1번에가따가 또 한번은 리얼2번으로 갈것이다.
위에서 지정한  rr, wrr, lc, wlc 를 용도에 맞게 바꿔 가면서 스케줄링을 하면된다.
저작자표시 비영리 변경금지
Posted by Y2K
,

티스토리툴바