개요

필자는 보험사에 만 3년 동안 재직을 하였다가 이번에 이직을 하려고 한다. 이에 따라 3년간 무엇을 했는지 정리를 하고자 한다.

주로 한일은 AWS 기반으로 데이터 레이크를 1인 개발로써 완성하였는데 속도, 핵심기술력확보, 거버넌스라는 3가지 요소를 설정하여 진행하였다.

첫째, 속도 측면에서는 CDK를 사용하여 100% 인프라 구축을 진행했고 주니어 엔지니어들도 ETL을 손쉽게 할 수 있게 Engine Framework를 만들어 glue, mwaaa 등의 사용을 코드 2~3줄로 끝낼수 있게 제공했다.
둘째, 핵심기술력 확보는 400TB 가량 데이터를 Athena에 Iceberg 포맷을 도입하여 적재하였다.
셋째, 거버넌스 측면에서는 금융사에서 중요한 보안 관리등을 Lake Formation 기반으로 직접 등급제를 만들어 관리하고 금감원에 정식 중요시스템 신고를 끝마쳐서 쓸수 있게 만들었다.

왜 이직하였는가?

빅테크에서 보험사로 이직을 했던 이유는 AWS 기반으로 데이터 레이크를 end-to-end로 아키텍처를 설계/구현을 할 JD가 오픈되었기 때문이었다.

카카오 에서의 생활이 만족스러웠지만 내심 엔지니어로써 오롯이 내힘으로 전부 다 만들었다고 내세울수 있는 product를 한번 경험하고 싶었다.

금융사 IT 수행 생태계

대부분의 금융사는 클라우드이 경우 MSP 계약을 통해 소위 턴키 방식으로 플랫폼을 구축한다.

그러나 필자는 금융사가 장기적으로 테크 기업으로 전환할 생각이 있다면 수행사를 통한 방식보다 해당 업권 및 비지니스에 최적화된 플랫폼을 자체적으로 구축, 운영하는것이 맞는 방향성이라 확신한다.

이유는 명확한데 수행사는 금융당사 내의 비지니스와 보안 사정에 완전히 접근할 수 없고 이 수준까지 고려한 아티텍팅 및 구현을 하기에는 한계점이 명확하기 때문이다. 또한 이는 컨설팅을 받는다 해도 마찬가지 맥락이다.
* 수행사 역량을 폄하하는것이 아니라 구조적 한계점이 있다는 뜻임을 명확히 밝힌다.

무엇을 하였는가?

필자는 보험사에 직접 소속되어 턴키 방식이 아닌 직접 내재화 하는 방식으로 end-to-end로 데이터 레이크를 만들것을 주장하였다.

이게 받아들여 졌는데 이는 구축 비용과 속도 측면에서 잇점이 명확했고 필자가 이름을 걸고 잘못되면 모든 책임을 지겠다고 밀어붙인것이 받아들여 지기도 했기 때문이다.

결론적적으로 AWS 기반으로 데이터 레이크를 만들어 빅데이터 분석이나 MLOPS를 돌릴수 있는 플랫폼을 직접 구축, 주니어 2~3명을 육성, 금감원 및 당사 규정등을 준수하며 거버넌스 및 정책을 수립하는 업무를 진행하였다.

특징점은 무엇인가?

  • 대외적 의미
    • S그룹 금융사 최초의 public 클라우드 기반 데이터 레이크
    • 금융권 내 100% 내재화 구축은 이례적
    • 1인 구축 및 운영을 염두해 두고 설계/운영하여 시스템 전반적으로 비용 효율적
  • 기술적 의미
    • cdk 100%로 인프라 구축, iceberg 100%로 athena 적재
    • aws 기반 오픈소스 Baram 공개
    • glue, mwaa등을 Engine이라는 이름의 Framework로 최적화

성과로써 어떻게 입증할 수 있는가?

  • aws summit 2024에 초대, aws re:invent 2024에 초대
    • aws가 아닌 소속회사 사정으로 drop됨

다뤄진 내용이 적어도 2024년 내에서는 뾰족함이 있다고 AWS 측에서 좋게 봐주셔서 2024년 summit 발표자로 선정되었었다.

그러나 사실상 납득되지 않는 회사 사정으로 인해 발표가 drop되었다. 리허설까지 다 한 마당에 취소된것이다.

이후 해당 내용으로 24년 12월 1째주에 열리는 re:Invent에 다시 노미네이트 되었다. (여담이지만 국내 금융사 최초 노미네이트라고 한다.)

그러나 이것 또한 회사 사정으로 drop 되었다.

개인적으로 아쉽긴 하지만 회사이름을 달고 나가는 것이라 회사의 동의가 필요한 부분임은 본인도 동의하는 바이다.

필자 입장에서는 개인 커리어적으로도 도움이 되지만 회사 입장에서도 도움될게 많아 보였는데 싫다는데 어쩌겠는가?
이는 속해있떤 회사에서 이직을 결심하게 만드는 여러 요인중에 하나였다.

슬라이드 자료

기존에 만들었던 자료를 아쉬운 마음으로 정리본을 공개한다.