개요
Alluxio 소개글을 보고 내용을 간단히 정리해둔다.
What is Alluxio
- 데이터 드리븐 어플리케이션과 스토리지 사이에서 다리 역할을 함
- 다리라 함은 메모리기반 티어 역할을 함
- 다양한 스토리지들의 데이터를 통합된 API 형태로 접근할수 있게도 해줌
Benefits
- Memory-Speed I/O
- 데이터에 대한 메모리 캐시 기능
- 경우에 따라 메모리, ssd, disk 로 확장 가능
- Simplified Cloud and Object Storage Adoption
- 클라우드로 i/o를 수행하는데서 오는 성능 오버헤드를 alluxio가 완화해줌
- Simplified Data Management
- 다양한 데이터소스에 대한 단일 access point
- Easy Application Deployment
- 어플리케이션의 코드 변화 없이 손쉽게 alluxio 적용 가능
Technical Innovations
-
Global Namespace
다양한 스토리지들을 alluxio namespace 하나로 접근 가능함(아래 예제 참조)
-
Intelligent Multi-tiering Caching
alluxio가 데이터 read/write시 알아서 스토리지 데이터의 캐시를 최적화하여 만들어줌 -
Server-Side API Translation
HDFS API, S3 API, FUSE API, REST API 와 같은 표준 API를 Alluxio가 받아서 내부적으로 스토리지 최적화를 진행함