데이터 플랫폼 엔지니어

About the role

한경에이셀은 한국경제신문 그룹의 계열사이자 한국 최초의 대체데이터 전문 기업으로, 전 세계 금융기관과 기관투자자에게 한국 자본시장에 대한 고도화된 인사이트를 제공합니다.
우리는 데이터와 AI를 결합해, 혁신적인 콘텐츠 생성 및 분석 서비스를 통해 주식 투자자에게 세상에 없던 가치를 전달하는 AI 서비스를 만들어가고 있습니다.

＜About epic AI＞
epic AI는 검증된 데이터와 고도화된 AI 분석 기술을 결합한 차세대 투자 인텔리전스 플랫폼입니다. 리서치 보고서, 산업 데이터, 공시, 뉴스 등 방대한 정보를 통합하여 투자 분석 프로세스의 혁신을 이끌고 있습니다.
AI가 투자 질문에 답하려면 그 근거가 되는 데이터가 먼저 있어야 합니다. 공시와 리포트를 AI가 읽을 수 있는 형태로 정리하고, 뉴스 속 기업 관련정보를 찾고, 그 데이터로 새로운 콘텐츠를 만드는 일. epic AI의 답변 뒤에 있는 이 데이터의 여정을 함께 만들어 갈 분을 찾습니다.
=＞ epic AI 서비스 : https://epic.ai.kr

What you'll do

AI 데이터 엔지니어는 epic AI가 쓰는 기업 비정형 데이터를 구조화하고, 텍스트에서 기업·사건·감성 같은 신호를 추출하며, LLM으로 새 데이터를 만듭니다. 그 데이터가 서비스까지 정확히 전달되는 파이프라인을 리드와 함께 설계하고, 운영을 주도합니다.

비정형 데이터 파이프라인 구축·운영
• 수집된 공시, 리서치 리포트, 뉴스 원문을 파싱, 청킹, 임베딩을 거쳐 검색 가능한 형태로 적재하는 파이프라인을 설계합니다.
• 실시간·배치 파이프라인의 실패·재처리 경로를 설계하고, 배포부터 운영 반영 확인까지 맡습니다.
• 저장소 간 정합성을 대조해 어긋난 데이터를 찾아내고, 원인을 확인한 뒤 재처리·백필을 안전하게 반영합니다. 이를 위한 정합성 모니터링을 구축합니다.
• 청킹 규칙과 메타데이터를 개선해 RAG(Retrieval-Augmented Generation) 검색 품질을 높입니다.

LLM 기반 데이터 생성
• 기업 개요, 리서치 리포트 요약, 뉴스 인사이트, 피드 콘텐츠를 생성하는 LLM 파이프라인을 운영합니다.
• 프롬프트와 구조화 출력(structured output)을 관리하고, 생성 품질을 지키는 평가 체계를 만듭니다.

한국어 텍스트 분석과 기업 지식베이스
• 뉴스, 공시, 리포트 등의 문서에서 기업·종목 개체명 인식과 연결(NER·NEL), 감성·이벤트 분류, 관련성 판별을 수행하는 텍스트 분석 파이프라인을 운영하고 개선합니다.
• 형태소 분석, 임베딩, 시맨틱 청킹 등 한국어 텍스트 처리 방법을 검색·생성 품질 관점에서 선택하고 튜닝합니다.
• 분류·연결 모델의 학습 데이터를 만들고 주기적 학습·검증·배포 파이프라인을 운영하며, 버전·성능 추적 체계를 만듭니다.
• 기업·종목·브랜드 등 동의어 사전과 지식베이스를 관리하고 외부 지식원과 동기화합니다.

AI 어시스턴트용 데이터 툴
• 코파일럿과 MCP(Model Context Protocol) 서버가 사용하는 금융 데이터 툴의 스키마와 응답 형식을 함께 설계하고 구현합니다.

＜기술 스택＞
• Python, Kafka, Airflow
• PostgreSQL(pgvector), OpenSearch, MongoDB, Redis
• OpenAI·Anthropic API, LangGraph, SageMaker, DataDog, LangSmith
• AWS, Kubernetes, Docker

Requirements

• 컴퓨터공학 등 관련 전공 학사 이상 또는 그에 준하는 경력
• 금융시장에 대한 관심 혹은 주식 투자 경험
• Python 기반 데이터 파이프라인을 설계부터 배포·운영까지 직접 책임진 경험 3년 이상 (아래 항목은 연차 무관)
• Airflow, Dagster, Prefect 등 오케스트레이션 도구나 Kafka 등 메시지 큐 기반 파이프라인 운영 경험
• 관계형 DB와 검색엔진·벡터 저장소(Vector DB)에 데이터를 적재하고, 누락·중복·불일치 같은 정합성 문제를 검증한 경험
• PDF, XML, HTML 중 한 가지 이상의 비정형 문서를 파싱하고 청킹·임베딩 파이프라인을 구축한 경험
• LLM API를 파이프라인에 적용해 스키마가 정해진 구조화 출력을 만든 경험

Preferred qualifications

• 운영 중인 모델의 재학습·검증·배포 파이프라인 또는 SageMaker 등 관리형 ML 엔드포인트를 운영해 본 경험
• MCP 서버나 AI 에이전트용 데이터 툴·API의 스키마와 응답 형식을 설계하고 구현해 본 경험
• 공시, 리서치 리포트, 시세 등 금융·자본시장 데이터를 다뤄 본 경험
• 온프레미스 또는 클라우드와 온프레미스가 혼재된 환경에서 데이터 인프라를 구축·운영해 본 경험
• Kubernetes 위에 Airflow 등 파이프라인 실행 환경을 직접 구성하고 배포해 본 경험

＜이 자리에서 경험할 수 있는 것＞
• 만든 데이터가 epic AI 답변과 피드에 바로 반영되고, 답변에 달린 사용자 반응까지 직접 확인합니다.
• 파싱·적재부터 LLM 생성, 지식베이스, 데이터 툴까지 데이터 흐름 전반을 다룹니다.
• 공시 XML의 계층 구조 청킹, 리포트 PDF의 표·각주 파싱처럼 문서 구조 자체가 과제인 한국 자본시장의 비정형 데이터를 다룹니다.
• 보유 데이터를 MCP로 AI 에이전트에 제공하는 데이터 툴을 설계하고 만듭니다.
• AI 코딩 도구를 기본으로 쓰는 팀에서, 함께 설계 방향을 정합니다.

＜우리가 기대하는 동료의 모습＞
• 서비스를 직접 써 보고 발견한 문제를 데이터까지 거슬러 올라가 해결하는 분
• 맡은 파이프라인이 어디에 쓰이고 앞뒤에 무엇이 연결되는지 이해하고, 배포 전에 예외 상황과 주변 영향을 먼저 확인하는 분
• 문제를 완결 가능한 단위로 나누고, 배포까지 끝낸 뒤 다음으로 넘어가는 분
• 자신이 작성한 코드를 이유와 함께 설명하고 테스트로 검증하며, 논의한 내용을 기록으로 남기는 분
• 금융·자본시장 데이터에 관심이 있고, 문제를 스스로 찾아 해결하는 분

＜우리가 일하는 방식＞
• AI 코딩 도구를 팀의 기본 도구로 쓰며, 운영에는 리뷰를 거쳐 머지된 코드만 반영합니다.
• 데이터 문제는 저장소 간 대조하여 찾고, 원인을 실제 측정하여 확정한 뒤 고칩니다.
• 모델을 새로 만들거나 GPU 서빙 인프라를 구축하는 자리가 아니라, 운영 중인 학습·서빙 파이프라인 위에서 데이터의 정확성과 흐름에 집중합니다.

Benefits

• 희망 장비(노트북, PC) 지원
• 자기계발비 연 100만 원, 도서비·운동비 월 지원
• 세미나 참가비 지원, 해외 컨퍼런스 참가 기회 제공
• 시차근무제(출퇴근 시간 선택), 주 40시간 근무
• 자유로운 연차 사용, 임신·출산 휴가
• 건강검진, 경조사비, 4대 보험

Hiring process

서류 전형 ＞ 1차 기술 면접 ＞ 2차 경영진 면접 ＞ 레퍼런스 체크(지원자 동의 후 진행) ＞ 처우 협의 ＞ 최종 합격

＜서류에 꼭 담아 주시기 바라는 점＞
• 포트폴리오
• 데이터 파이프라인에서 품질 문제를 발견하고 해결한 경험 하나를 800자 안팎으로 적어 주시기 바랍니다. 어떻게 문제를 알아챘고 무엇을 기준으로 해결되었다고 판단했는지를 알려주세요. AI 도구를 썼다면 AI가 낸 결과를 어떻게 검증했는지를 중심으로 적어 주시고, 쓰지 않았다면 그 점은 평가에 반영하지 않습니다. 요청드린 내용이 포함된 글을 AI 도구로 다듬어도 괜찮습니다. 자기소개 항목에 포함하여 적어 주시면 됩니다.