– Test 계기.
현재 우리회사에서 사용하는 Layer 3 용도로 가장 많이 사용되는 PLANET 스위치를 만지던 중.
언제부턴가 Version 이 update 되어서 들어온 장비들 중에 vsf 라는 Config가 생겨 있었는데 풀어서 Virtual Switching Framework 라고 스위치 에서 설명이 나와 있다.
뭐 무슨 느낌인지는 대충 알겠지만 그래도 protocol 에 정확한 동작 방식을 알고 싶어서 www.planet.com.tw 을 들어가서 해당 장비의 메뉴얼을 다운받아서 관련 기능을 찾아보았지만
아무리 뒤져봐도 나오지가 않는다.
그래서 어쩔 수 없이 다른 벤더사의 메뉴얼을 뒤져서 한 번 Test를 진행 해 보기로 마음을 먹고 HPE 5400 스위치의 메뉴얼을 참고 삼아 Test를 진행 하기로 마음을 먹었다.
Test를 진행하기전에 간략히 설명을 드리자면 현재 Smileserv의 간단한 네트워크 구조는 아래와 같습니다.
왼쪽에 있는 구성도는 하나의 VLAN 으로 구성 후 VRRP 와 STP 을 연동한 구성이고
오른쪽에 있는 구성도는 InterLink로 대역을 분리한뒤 각 L2 스위치 마다 다른 vlan으로 설정하여 VRRP 로 구성을 해놓은 상태 입니다.
양쪽 모두 Gateway 이중화 프로토콜을 사용하여 L3 장비의 이중화를 통해 각 L3 장비 마다 라인이 연결 되어 있습니다.
하지만 위에 구성도를 보면 점선으로 된 부분은 Traffic을 올려 보내지 못합니다. 대기 상태 입니다. Master 장비로 가는 장비가 죽거나 끊어지면 stand-by가 장비가 Mster로 변경되고
통신을 계속해서 하게 됩니다.
하지만 STP과 VRRP 동작방식을 살펴보면 Link가 다시 살아나기 까지 30~50초 ( STP 복구 시간 ) 정도 걸린다는걸 알 수 있습니다.
또 링크는 2개지만 실질적인 대역폭은 1개 밖에 사용하지 못합니다. (Vrrp는 G/W 를 쥐고 있는 Master로만 traffic을 올려보냄)
그러면 VSF가 무엇인지 vrrp 구성과 vsf 의 차이점을 확인해 보겠습니다.
일단 비슷한 Protocol 로는 Cisco의 VSS HP사의 IRF 가 있습니다. 모두 각 벤더사의 상위장비에서 만 동작하는 protocol 입니다.
먼저 topology 부터 확인 해 보도록 하겠습니다.
- VSF – 여러 물리적 장치를 하나의 가상 패브릭 (Fabric) 으로 가상화 하여 복구기능을 대폭 단축 하여 네트워크 설계 관리를 간소화 하여 가용성을 높임.
– Fabric 이란 인프라 리소스가 환경에 따라서 빠르게 동적으로 구성 혹은 재배치 될 수 있도록 최적화된 서버. 또는 네트워크, 스토리지의 ‘묶음’ 을 의미 합니다.
말 그대로 풀어서 얘기하면 2개의 장비가 서로 라인이 연결되어 1개의 장비처럼 동작을 합니다.
- 장비가 2대이니 1대가 죽어도 장애가 발생하지 않습니다.
- 2개의 Link의 대역폭을 모두 사용할 수 있습니다. (Smileserv의 network Serial 구간은 10G 이므로 Bandwith가 20G 까지 확장 할 수도 있다는 뜻입니다.)
- 그러므로 가용성도 대폭 증가 됩니다.
- VRRP 구성의 비해 장애타임이 급속도로 줄어듭니다. ( 장비가 Down 될때 1개의 ping 정도… 다시 UP 상태가 되더라도 Ping 이 빠지지는 않았음)
그러면 저희가 가지고 있는 장비도 과연 위의 topology 처럼 잘 작동을 하는지 Test를 해보겠습니다.
Test 장비
Planet 24042 1대 – BackBone 대역
Planet 6340 2대 – L3 스위치 및 VSF 구성
DCN S5750E 1대 – 하단 L2
참고문서 HPE5400 Switch Manual (망할 대만놈들 왜 만들어놓은 기능을 메뉴얼에 추가도 해주지 않는건지…..)
먼저 6340 장비에 들어가서 vsf 명령어에 대해서 살펴봅니다.
SGS-6340-16XR(config)#vsf ?
auto-merge Auto merge function
domain Configure domain ID
link VSF link
mac-address Mac-address reserve function
mad multi-active detecting
member Configure member ID
non-wait non-wait
port-group Configure vsf port
priority Configure priority |
HPE4500 메뉴얼에도 있는 익숙한 명령어도 보이지만 차이가 나도 너무 차이가 납니다. ㅠ
일단 vsf auto-merge를 활성화 해보도록 하겠습니다.
SGS-6340-16XR(config)#vsf auto-merge enable
You can’t configure the command in stand-alone mode!
SGS-6340-16XR(config)# |
stand-alone mode 에서는 confg 명령어를 날릴 수 없다고 합니다.
아마 Switch 모드를 변경 해줘야 설정이 가능한 것 같습니다.
SGS-6340-16XR(config)#switch convert mode vsf
The device will convert to vsf mode and reboot. Do you want to convert the content of running-config to make it available in vsf mode? [Y/N]: |
Switch 모드를 vsf 모드로 변경 하니 재부팅 하라고 합니다.
일단 No 라고 하고 취소 합니다. ( 여러번 Test를 진행 하다 보니 vsf 모드에서 사용할 수 있는 명령어와 stand-alone mode 모드에서 사용할 수 있는 명령어가 구분 되어 있습니다.)
그리고 다시 1번 스위치 부터 설정을 합니다.
SGS-6340-16XR(config)#vsf domain 2 도메인 2로 설정을 합니다. (스위치 1번과 2번 모두 동일 설정)
SGS-6340-16XR(config)#vsf member 1 vsf Member를 추가합니다. (2번 스위치의 경우 member2)
SGS-6340-16XR(config)#vsf priority 20 Master 장비의 우선순위가 될 값을 지정 합니다.
SGS-6340-16XR(config)#vsf port-group 1 vsf port 그룹을 만들고
SGS-6340-16XR(config)#vsf port-group Interface Ethernet1/0/15 만든 포트그룹을 interface에 적용 합니다.
SGS-6340-16XR(config)#vsf port-group 2
SGS-6340-16XR(config)#vsf port-group Interface Ethernet1/0/14 |
그리고 다시 switch 모드를 vsf 로 변경한 후 재시작을 합니다.
SGS-6340-16XR(config)#switch convert mode vsf
The device will convert to vsf mode and reboot. Do you want to convert the content of running-config to make it available in vsf mode? [Y/N]: |
2대의 장비 모두 vsf 모드로 변경 후 재부팅을 하였습니다. 그리고 콘솔 화면을 확인하니 prompt가 변경 되었습니다.
S_Master> 라는 prompt 로 변경 되어 있는걸 확인할 수 있었습니다.
그리고 일반적인 running-config를 확인 하는 명령어나 config terminal로 접근하는 명령어를 입력하니
‘This command is only supported on master’ 이 커맨더는 무조건 마스터에서만 지원한다 라고 하는 거 같습니다.
그러면 다른 장비로 접근하여 다시 확인해 보도록 하겠습니다.
Interface Ethernet1/0/1
Interface Ethernet1/0/2
Interface Ethernet1/0/3
Interface Ethernet1/0/4
Interface Ethernet1/0/5
Interface Ethernet1/0/6
Interface Ethernet1/0/7
Interface Ethernet1/0/8
Interface Ethernet1/0/9
Interface Ethernet1/0/10
Interface Ethernet1/0/11
Interface Ethernet1/0/12
Interface Ethernet1/0/13
Interface Ethernet1/0/14
Interface Ethernet1/0/15
Interface Ethernet1/0/16
Interface Ethernet2/0/1
Interface Ethernet2/0/2
Interface Ethernet2/0/3
Interface Ethernet2/0/4
Interface Ethernet2/0/5
Interface Ethernet2/0/6
Interface Ethernet2/0/7
Interface Ethernet2/0/8
Interface Ethernet2/0/9
Interface Ethernet2/0/10
Interface Ethernet2/0/11
Interface Ethernet2/0/12
Interface Ethernet2/0/13
Interface Ethernet2/0/14
Interface Ethernet2/0/15
Interface Ethernet2/0/16 |
Test의 사용한 장비는 6340-16XR 입니다. 10G fiber 전용으로 16port만 지원하는 장비인데 vsf 연동이 잘 되었는지
1/0/16 까지만 있던 port의 수가 맨 앞자리 slot_number가 2로 생성되고 2/0/16까지 증가 되었습니다.
이제부터 실제로 2개의 port를 묶어서 L2 Switch와 연결을 하고 장애 Test를 진행을 합니다
SGS-6340-16XR(config)#show interface port-channel 10
Interface brief:
Port-Channel10 is up, line protocol is up
Port-Channel10 is layer 2 port, alias name is (null), index is 1034
Port-Channel10 is LAG port, member is :
Ethernet1/0/1 Ethernet2/0/1
Hardware is EtherChannel, address is a8-f7-e0-23-8e-9f
PVID is 10
MTU 1500 bytes, BW 20000000 Kbit
bonding 으로 Ethernet1/0/1 Ethernet2/0/1 2개의 port를 묶고 확인해 보니 Bandwith 가 BW 20000000 Kbit 인걸 확인할 수 있었습니다.
실제로도 load-balance가 되는지 확인해 보기 위해 L2 스위치 아래에 노트북을 연결 하고 ping 패킷사이즈를 늘려서 6340 위에 24042 장비로 패킷을 날려봅니다.
Ethernet1/0/1 is LAG member port, LAG port:Port-Channel10
Statistics:
5 minute input rate 764096 bits/sec, 66 packets/sec
5 minute output rate 50 bits/sec, 0 packets/sec
The last 5 second input rate 494760 bits/sec, 45 packets/sec
The last 5 second output rate 205 bits/sec, 0 packets/sec
Ethernet2/0/1 is LAG member port, LAG port:Port-Channel10
Statistics:
5 minute input rate 35 bits/sec, 0 packets/sec
5 minute output rate 700566 bits/sec, 60 packets/sec
The last 5 second input rate 0 bits/sec, 0 packets/sec
The last 5 second output rate 494510 bits/sec, 45 packets/sec
정확한 트래픽 흐름은 MRTG를 그려서 Graph로 확인을 해봐야 겠지만 현재 상태를 보니
한쪽 port는 inbound packet 만 받고 반대 port는 Outbound packet을 내보내는것 같습니다.
대역폭이 2배로 증가한 부분은 확인 하였으니 이 상태에서 Master로 동작하는 장비를 장애를 강제로 발생 시킵니다.
하단 장비(노트북) 에서 6340을 지나 상단 24042로 ping check 를 한 후 장비의 power를 강제로 shutdown 해보았습니다.
장애를 일으킨 순간 1개 ping 정도의 packet loss 가 발생 되었고 연속성 있게 통신은 지속 되었습니다.
S_Master>
Slot member 2, slot 1 become active master!
Jan 01 23:41:08:000 2006 SGS-6340-16XR MODULE_PORT/5/:%LINK-5-CHANGED: Interface Ethernet1/0/14, changed state to UP
Jan 01 23:41:08:000 2006 SGS-6340-16XR MODULE_PORT/5/:%LINEPROTO-5-UPDOWN: Line protocol on Interface Ethernet1/0/14, changed state to DOWN
Jan 01 23:41:08:000 2006 SGS-6340-16XR DEFAULT/8/:Loading startup-config …
Jan 01 23:41:08:000 2006 SGS-6340-16XR DEFAULT/8/:web server is on
Jan 01 23:41:08:000 2006 SGS-6340-16XR DEFAULT/8/:Set the port Ethernet2/0/1 access vlan 100 successfully
Jan 01 23:41:09:000 2006 SGS-6340-16XR DEFAULT/8/:Set the port Ethernet2/0/16 access vlan 216 successfully
Jan 01 23:41:09:000 2006 SGS-6340-16XR MODULE_PORT/5/:%LINK-3-DESTROY: Interface Ethernet1/0/1, changed state to DESTROYED
Jan 01 23:41:09:000 2006 SGS-6340-16XR MODULE_PORT/5/:%LINK-3-DESTROY: Interface Ethernet1/0/2, changed state to DESTROYED
Jan 01 23:41:09:000 2006 SGS-6340-16XR MODULE_PORT/5/:%LINK-3-DESTROY: Interface Ethernet1/0/3, changed state to DESTROYED
Jan 01 23:41:09:000 2006 SGS-6340-16XR MODULE_PORT/5/:%LINK-3-DESTROY: Interface Ethernet1/0/4, changed state to DESTROYED
Jan 01 23:41:09:000 2006 SGS-6340-16XR MODULE_PORT/5/:%LINK-3-DESTROY: Interface Ethernet1/0/5, changed state to DESTROYED
Jan 01 23:41:09:000 2006 SGS-6340-16XR MODULE_PORT/5/:%LINK-3-DESTROY: Interface Ethernet1/0/6, changed state to DESTROYED
Jan 01 23:41:09:000 2006 SGS-6340-16XR MODULE_PORT/5/:%LINK-3-DESTROY: Interface Ethernet1/0/7, changed state to DESTROYED
Jan 01 23:41:09:000 2006 SGS-6340-16XR MODULE_PORT/5/:%LINK-3-DESTROY: Interface Ethernet1/0/8, changed state to DESTROYED
Jan 01 23:41:09:000 2006 SGS-6340-16XR MODULE_PORT/5/:%LINK-3-DESTROY: Interface Ethernet1/0/9, changed state to DESTROYED
Jan 01 23:41:09:000 2006 SGS-6340-16XR MODULE_PORT/5/:%LINK-3-DESTROY: Interface Ethernet1/0/10, changed state to DESTROYED
Jan 01 23:41:09:000 2006 SGS-6340-16XR MODULE_PORT/5/:%LINK-3-DESTROY: Interface Ethernet1/0/11, changed state to DESTROYED
Jan 01 23:41:09:000 2006 SGS-6340-16XR MODULE_PORT/5/:%LINK-3-DESTROY: Interface Ethernet1/0/12, changed state to DESTROYED
Jan 01 23:41:09:000 2006 SGS-6340-16XR MODULE_PORT/5/:%LINK-3-DESTROY: Interface Ethernet1/0/13, changed state to DESTROYED
Jan 01 23:41:09:000 2006 SGS-6340-16XR MODULE_PORT/5/:%LINK-3-DESTROY: Interface Ethernet1/0/14, changed state to DESTROYED
Jan 01 23:41:09:000 2006 SGS-6340-16XR MODULE_PORT/5/:%LINK-3-DESTROY: Interface Ethernet1/0/15, changed state to DESTROYED
Jan 01 23:41:09:000 2006 SGS-6340-16XR MODULE_PORT/5/:%LINK-3-DESTROY: Interface Ethernet1/0/16, changed state to DESTROYED
Jan 01 23:41:10:000 2006 SGS-6340-16XR DEFAULT/5/:%LINEPROTO-5-UPDOWN: Line protocol on Interface Vlan1,changed state to DOWN
Jan 01 23:41:10:000 2006 SGS-6340-16XR DEFAULT/5/:%LINEPROTO-5-UPDOWN: Line protocol on Interface Vlan116,changed state to DOWN User Access Verification |
Master 장비의 종속 되어있던 2번째 장비는 Master가 장애 발생과 동시에 위와 같은 log를 남기고 자신이 Master로 선언을 하였습니다.
이후 장애가 발생하였던 장비의 전원을 연결 하였지만 Master 상태를 그대로 유지 하였고 vsf 는 다시 정상동작 하는걸 보니 최초 우선순위가 높더라도 다시 Master 권한을 돌려주지는 않는것 같습니다.
이상으로 vsf 테스트를 마치도록 하겠습니다.
감사합니다.