개요

Alluxio 소개글을 보고 내용을 간단히 정리해둔다.

What is Alluxio

  • 데이터 드리븐 어플리케이션과 스토리지 사이에서 다리 역할을 함
  • 다리라 함은 메모리기반 티어 역할을 함
  • 다양한 스토리지들의 데이터를 통합된 API 형태로 접근할수 있게도 해줌

Benefits

  • Memory-Speed I/O
    • 데이터에 대한 메모리 캐시 기능
    • 경우에 따라 메모리, ssd, disk 로 확장 가능
  • Simplified Cloud and Object Storage Adoption
    • 클라우드로 i/o를 수행하는데서 오는 성능 오버헤드를 alluxio가 완화해줌
  • Simplified Data Management
    • 다양한 데이터소스에 대한 단일 access point
  • Easy Application Deployment
    • 어플리케이션의 코드 변화 없이 손쉽게 alluxio 적용 가능

Technical Innovations

  1. Global Namespace
    다양한 스토리지들을 alluxio namespace 하나로 접근 가능함(아래 예제 참조)

  2. Intelligent Multi-tiering Caching
    alluxio가 데이터 read/write시 알아서 스토리지 데이터의 캐시를 최적화하여 만들어줌

  3. Server-Side API Translation
    HDFS API, S3 API, FUSE API, REST API 와 같은 표준 API를 Alluxio가 받아서 내부적으로 스토리지 최적화를 진행함