개요
Small World Datacenter 논문을 요약 정리한다.
소개
기존의 데이터 센터는 아래와 같이 백본, 스위치, 라우터 등으로 아래와 같이 계층형으로 구성을 한다.
이 방식의 장점은 모듈화가 쉽고 관리가 직관적인 면이 있지만 단점은 상위 계층의 일부 구간에 병목현상이 발생할 여지가 있다.(필자의 경험상 장애 영향도가 커지는게 더 문제일수 있을듯 하다.)
이를 보완하기 위해 CamCube와 같은 토플로지가 등장하기도 했지만 설치가 쉽지 않고 latency도 높은 단점이 있다. 따라서 논문에서는 Small World에 대한 연구를 진행하였다.
Relavant Study
Small World의 구조는 아래의 패턴이 있을 수 있다. 점선은 Random Link, 실선은 Regular Link이다.
Small World Datacenter Design
네트워크 토플로지는 기본 Small World의 특징인 six degrees of separation을 따른다. 물리적 구조는 스위치 대신 각 물리장비가 라우팅 역할을 한다. 각 물리장비는 복수의 NIC 카드를 꽂아 다중 네트워크를 구성한다. 인프라 담당자가 각 물리장비의 (데이터센터 내에서의) 지리적 위치만 입력해주면 서버들이 나머지 서버들과 자동으로 Regular link, Random link를 설정한다. 라우팅의 방식으로는 2가지 시도가 있었다. 첫째는 각각의 목적지로 가는 최단 경로를 탐색하는 것인데 실제로 비용효율적이지 않았다.(왜냐하면 항상 같은 최적의 경로를 쓰기 때문에 특정 경로가 병목이 될 가능성이 높기 때문이다.) 두번째는 greedy 알고리즘은 그때 그때 최선의 선택을 추구하는 방법으로 전체적인 최적은 아니지만 이 케이스에서 비용효율적이었다. 따라서 논문에서는 greedy approach를 사용하였다. 끝으로 이 Small World가 데이터센터에 적용 가능한지는 기가비트 이더넷은 100미터까지 link될 수 있고 10K 서버가 렉 구성 할 때 100미터 안에서 다 구성이 가능하였다. 또한 이 논문의 케이스에서는 트래픽의 80%가 내부에서 발생하는 웹 클라우드 센터라 의미가 있다고 한다.(필자의 사견은 서비스 회사의 IDC에서는 외부 트래픽이 압도적인 면이 있는것 같다. 빅데이터 클러스터를 제외하곤)
Content Routing
IDC 센터 내의 Rack간의 데이터 전송이 빈번할 때 Small World가 유리하는 얘기를 하고 있다.
평가
Path Length 분석
최단거리 알고리즘을 사용했을 때 CamCube 방식보다 SmallWorld 방식이 2~3배 빠른것을 알 수 있었다. Greedy 알고리즘을 사용하더라도 약간 더 CamCube방식보다 좋은 것을 확인 할 수 있었다.
Packet Delivery latency
SWDC가 CamCube보다는 대부분의 case에서 우수했다. 하지만 상대적으로 path length가 길고 RTT가 늘어남에 따라 기존 DataCenter보다는 성능이 떨어졌다.
Maximum Aggregate Bandwidth
CDC보다 packet latency는 떨어졌지만 SWDC는 최대 대역폭에 있어서는 더 우수했다.(필자 생각은 당연히 Random Link를 사용하여 패킷을 다양한 경로로 분산 시키니 그렇지 않을까 한다.)
Hardware Acceleration
하드웨어 가속을 사용했을때 그렇지 않았을때 대비 2~6.5배 정도 latency가 개선되었다고 한다.
Load Distribution
CamCube나 CDC 대비 SWDC는 부하 분산에 있어 병목에 걸릴 여지가 있다. Greedy 알고리즘을 사용하였을때 이를 글로벌 하게 state를 관리하는 장비가 없으므로 소수의 특정 랜덤링크에 트래픽이 몰릴 가능성이 있고 이로 인해 병목이 발생할 여지가 있다. 마지막 그래프는 탐색 알고리즘과 토플로지에 따라 부하 분산과 성능을 어떻게 개선시킬 수 있는지 나타낸다.
Fault Tolerance
SWDC는 Regular link뿐만 아니라 많은 Random Link가 있기때문에 타 토플로지 대비 장애에 대한 방어에 더 유리한면이 있다.
결론
- SWDC는 짧은 경로는 Regular Link로 긴 경로는 Random Link로 연결시키는 토폴로지이다.
- SW-2DTorus와 SW-3DHexTorus 구성의 경우 대부분의 경우 CamCube 대비 평가 메트릭이 우수했다. CDC 대비해서는 latency에서 대부분 밀리는 모습이지만 대역폭 측면에서는 유리함이 있다.
- SWDC와 CDC의 latency 차이는 패킷을 처리하는데 있어 스위치와 서버가 처리하는 효율성의 차이다. 라우팅을 처리하는 소프트웨어가 발전하면 SWDC는 latency에 있어 더 향상이 일어날것으로 본다.(높은 대역폭, 높은 fault tolerance는 유지한채)