Data Engineer (Streaming)

About the role

[합류하게 될 팀에 대해 알려드려요]

• 토스플레이스의 Data Engineer는 Data Platform Team에 속해 있어요.
• Data Platform Team은 Data Engineer와 Data Analytics Engineer로 구성되어 있으며, 서비스와 분석에 필요한 데이터 플랫폼과 데이터 파이프라인을 구축하고 운영해요.
• 토스플레이스의 제품과 서비스가 확장되면서 서비스에서 데이터를 실시간으로 활용하기 위한 요구도 빠르게 증가하고 있어요.
• 새로운 데이터 요구가 생길 때마다 파이프라인을 별도로 개발하는 방식에서 나아가, 다양한 서비스가 일관된 방식으로 데이터를 활용할 수 있는 공통 스트리밍 플랫폼을 만들어가고 있어요.

What you'll do

• Flink와 Kafka를 기반으로 서비스에 필요한 실시간 데이터 파이프라인을 설계하고 구축해요.
• 기존 데이터 인프라를 기반으로 서비스에 필요한 스트리밍 파이프라인의 구조와 운영 기준을 직접 설계하고 만들어갈 수 있어요.
• 서비스에서 발생한 데이터를 필요한 형태로 가공하고 다른 서비스에서 안정적으로 활용할 수 있도록 전달해요.
• 데이터의 생성부터 적재·배포·모니터링·변경까지 전체 과정을 안정적으로 운영해요.
• 반복되는 데이터 파이프라인 구축 과정을 표준화하고 플랫폼으로 만들어요.
• 새로운 요구가 생길 때마다 파이프라인을 별도로 개발하지 않아도 되도록 공통 구조를 설계해요.
• 설정이나 SQL, 템플릿을 통해 데이터 파이프라인을 쉽게 생성하고 운영할 수 있는 환경을 만들어요.
• 서비스 개발자와 직접 협업하며 데이터를 실시간으로 활용할 기회를 먼저 발굴하고, 파이프라인의 설계부터 개발까지 주도해요.

Requirements

• Kafka 기반 환경에서 Flink, Kafka Streams, Spark Streaming 등으로 실시간 데이터 처리 파이프라인을 구축하고 운영해 본 분과 함께하고 싶어요.
• 요구사항을 이해하는 것부터 설계·개발·배포·모니터링까지 데이터 파이프라인의 전체 과정을 주도적으로 경험한 분과 함께하고 싶어요.
• 반복되는 데이터 처리 요구를 발견하고 재사용할 수 있는 구조로 표준화해 본 경험이 있는 분을 찾고 있어요.

Preferred qualifications

• Kubernetes 환경에서 Flink 또는 Kafka Streams와 Kafka Ecosystem(Kafka Connect, Schema Registry 등)을 활용해 실시간 데이터 파이프라인을 구축하고 운영해 본 경험이 있다면 더 좋아요.
• 장애나 재시작 상황에서도 데이터가 유실되거나 중복되지 않도록 Exactly-once 또는 멱등성을 보장해 본 경험
• 로직 변경이나 장애 발생 이후 과거 데이터를 재처리(Backfill, Replay)할 수 있는 구조를 설계해 본 경험
• CQRS, CDC 등을 기반으로 서비스 DB의 변경 데이터를 실시간으로 수집하고, 다른 서비스에서 조회할 수 있는 저장소로 전달·동기화하는 구조를 설계해 본 경험이 있다면 더 좋아요.
• 결제, 커머스 등 데이터 정합성이 중요한 서비스에서 실시간 데이터 파이프라인을 운영한 경험이 있다면 더 좋아요.
• Apache Iceberg, StarRocks 등 데이터 저장 및 분석 환경과 스트리밍 파이프라인을 연계해 본 경험이 있다면 더 좋아요.

Benefits

[이렇게 일해요]
• 자율과 책임의 문화: 토스는 Manager가 아닌 Maker들로 구성된 조직으로, 투명한 정보 공유와 수평적인 문화 속에서 구성원 업무에 대한 위임과 신뢰를 바탕으로 세상을 변화 시켜 나가고자 합니다.
• 효율적인 업무방식: 가장 중요하고, 큰 영향을 미칠 수 있는 일에 집중합니다. 획일적인 업무 프로세스보다는 데이터 기반의 사고로 적극적으로 토론하며, 가장 효율적인 문제 해결을 위해 협업하고 실행합니다.
• 훌륭한 팀과 동료: 각 분야 최고 수준의 역량을 갖춘 인재들이 자율과 책임의 원칙 아래 뛰어난 역량을 발휘하고 있습니다.

[이런 지원을 받아요]
토스커뮤니티 복지 자세히 보기: https://toss.im/career/culture

Hiring process

[토스플레이스로의 합류 여정]
서류 접수 ＞ 직무 인터뷰 ＞ 문화적합성 인터뷰 ＞ 레퍼런스 체크 ＞ 처우 협의 ＞ 최종 합격

[이력서는 이렇게 작성하시는 걸 추천해요]
• 실시간 데이터를 다루면서 해결한 문제를 구체적으로 작성해주세요. 어떤 규모와 환경에서 데이터 유실·중복·지연·장애 등의 문제가 발생했고, 원인을 어떻게 진단하고 해결했는지가 드러나면 좋아요.
• 파이프라인을 구축하고 운영하면서 마주했던 기술적 고민과 구조 개선 경험을 적어주세요. 개별 파이프라인을 구축한 경험보다는 반복되는 문제나 요구사항을 어떻게 재사용 가능한 구조로 표준화하고 개선했는지가 궁금해요.
• 개선 결과는 가능한 객관적인 근거와 함께 보여주세요. 처리 지연시간, 처리량, 장애 빈도, 데이터 정합성 등 전후의 변화를 수치나 구체적인 성과로 보여주시면 좋아요. 단, 외부 공개가 민감한 내용은 제외해 주세요.