AI Native 추론 플랫폼 개발자

About the role

**ThakiCloud(다키클라우드 코리아)**는 글로벌 AI 인프라 시장을 대상으로 소버린(Sovereign) 및 프라이빗 AI 클라우드 플랫폼을 개발하는 기업입니다.
우리는 GPUaaS를 넘어 AI 모델의 학습, 추론, 배포, 운영을 하나의 환경에서 수행할 수 있는 AI Native Cloud Platform을 구축하고 있습니다.
특히 NVIDIA GPU뿐 아니라 다양한 AI 가속기(NPU)를 활용하여 AI 모델의 추론 성능과 하드웨어 효율을 극대화하는 Token Factory를 개발하고 있습니다.
Token Factory는 단순히 LLM을 API로 배포하는 시스템이 아닙니다. 모델 특성, 하드웨어 구성, 동시 요청, 메모리 사용량, 추론 지연과 비용을 종합적으로 최적화하여 대규모 AI 추론 서비스를 효율적으로 제공하는 플랫폼입니다.
우리는 기존 오픈소스를 설치하고 운영하는 것을 넘어, 추론 엔진의 내부 구조를 이해하고 직접 성능을 개선하며, 이를 클라우드 네이티브 플랫폼으로 구현할 엔지니어를 찾고 있습니다.

What you'll do

1. 고성능 AI 추론 엔진 및 런타임 개발
• vLLM, SGLang, TensorRT-LLM 등 오픈소스 추론 엔진을 분석하고 성능을 개선합니다.
• Continuous Batching, KV Cache, Prefix Caching, Speculative Decoding 등 핵심 추론 최적화 기술을 구현하고 검증합니다.
• GPU 메모리 활용, 모델 병렬화, 요청 스케줄링을 최적화하여 처리량과 동시 사용자 수를 확대합니다.
FP8, INT8, NVFP4 등 양자화 모델의 추론 성능과 정확성을 평가하고 최적화합니다.

2. Token Factory 플랫폼 아키텍처 설계 및 개발
• 다양한 LLM과 멀티모달 모델을 효율적으로 실행하는 추론 플랫폼을 설계합니다.
• 모델 배포, 동적 로딩, 오토스케일링, 요청 라우팅 및 자원 할당 시스템을 개발합니다.
• 멀티테넌트 환경에서 성능 격리, SLA/SLO, 사용량 계측 및 자원 최적화를 구현합니다.
• TTFT, TPOT, Throughput, Goodput, 동시성 및 토큰당 비용을 측정하고 지속적으로 개선합니다.

3. Multi-GPU / Multi-NPU 추론 인프라 개발
• NVIDIA GPU 및 다양한 NPU 환경에서 모델을 안정적으로 실행하기 위한 추론 아키텍처를 설계합니다.
• Kubernetes 기반 AI 워크로드 스케줄링과 자원 오케스트레이션을 구현합니다.
• GPU/NPU 특성에 따른 런타임 및 모델 배치 전략을 최적화합니다.
• 분산 추론 및 고가용성 모델 서빙 환경을 구축합니다.

4. AI Native 플랫폼 고도화
• 모델 특성과 실시간 시스템 상태에 따라 최적의 추론 경로를 선택하는 기술을 연구하고 구현합니다.
• 추론 성능 벤치마크와 회귀 테스트를 자동화합니다.
• 최신 AI 추론 연구 및 오픈소스 기술을 검토하고 실제 플랫폼에 적용합니다.

Requirements

• AI 추론, ML 시스템, 클라우드 플랫폼 또는 고성능 백엔드 분야에서 5년 이상 또는 그에 준하는 설계·개발 역량을 보유하신 분
• Python, Go, C++ 중 하나 이상의 언어로 복잡한 시스템을 직접 개발할 수 있는 분
• LLM 추론 구조와 GPU 메모리·연산 특성에 대한 이해가 있으신 분
• vLLM, SGLang, TensorRT-LLM, Triton 등 추론 프레임워크를 활용하거나 내부 구조를 분석한 경험이 있으신 분
• Kubernetes 및 컨테이너 기반 분산 시스템 설계·개발 경험이 있으신 분
• 성능 병목을 측정하고 프로파일링을 통해 개선한 경험이 있으신 분
• 새로운 기술을 스스로 분석하고 실제 동작하는 시스템으로 구현할 수 있는 분

이런 분과 함께하고 싶습니다
•단순한 모델 API 연동이 아닌 LLM 추론 시스템 자체를 만들고 싶은 분
•GPU를 더 많이 사용하는 것보다 같은 GPU에서 더 많은 요청을 안정적으로 처리하는 방법을 고민하는 분
•기술 논문과 오픈소스를 읽는 데 그치지 않고 실제 코드로 구현해 성능을 검증하는 분
•오픈소스를 그대로 사용하기보다 내부 구조를 이해하고 개선하는 데 흥미가 있는 분
•연구 수준의 추론 최적화 기술을 실제 고객이 사용하는 플랫폼으로 연결하고 싶은 분

우리가 만들고자 하는 것은 단순한 LLM Serving API가 아닙니다. AI 모델, 가속기, 스케줄링, 추론 최적화를 하나의 시스템으로 통합하는 차세대 Token Factory입니다.

Preferred qualifications

• CUDA, Triton Language, GPU Kernel 최적화 경험
• PyTorch 내부 구조 및 LLM 추론 엔진 개발·기여 경험
• Tensor Parallelism, Pipeline Parallelism, Prefill/Decode Disaggregation 등 분산 추론 기술 경험
• GPU/NPU 이기종 가속기 및 하드웨어별 최적화 경험
• 대규모 모델 서빙 시스템의 성능 최적화 또는 운영 경험
• KV Cache 관리, 메모리 오프로딩, 동적 배칭 및 추론 스케줄러 개발 경험
• LLM 양자화, Speculative Decoding, 모델 라우팅 관련 연구·개발 경험
• 대규모 GPU 클러스터, Kubernetes GPU Operator, Kueue, Ray 등의 활용 경험
• 오픈소스 AI 추론 엔진에 기여하거나 관련 기술을 직접 구현한 경험

Benefits

• 연금/보험 : 국민연금, 고용보험, 산재보험, 건강보험
• 휴무/휴가/행사 : 주 5일제, 연차제도(반차), 경조 휴가
• 보상/수당/지원 : 점심식사 지원.인센티브, 명절 수당, 건강검진(년 1회, 가족 일부 지원), 독감접종비, 야근 식대 및 택시비, 자격증 취득비
• 기타 : 사내 카페 머신 구비, 간식 제공

Hiring process

서류전형 - 면접 - 처우협상