AI Applied Engineer(RL 환경 · 벤치마크)

About the role

" 플리토리안은
안되는 이유를 찾기보다는
해낼 수 있는 방법을 고민하고,
협업을 통해 함께 성취하며 성장합니다. "

플리토는 유수의 글로벌 IT 기업들과 협력하며 AI 개발을 지원하는 'AI를 위한 데이터 파트너'입니다.

고객의 모델이 무엇을 배워야 하는지 파악하는 데서 출발해 필요한 데이터를 설계·생산·검증합니다. 사전학습용 코퍼스와 RLHF·SFT 같은 정렬 데이터, 모델 성능을 재는 벤치마크·평가 데이터까지 텍스트·이미지·오디오·비디오를 아우르는 데이터셋을 제공합니다.

173개국 1,400만 명이 참여하는 크라우드소싱 플랫폼 플리토 아케이드(Arcade)의 크라우드와 분야별 전문 작업자가 데이터를 제작하고, 전문가가 이를 검수합니다.

플리토는 국내외 AI 기업에 대규모 데이터를 생산·판매하며 역량을 쌓아왔습니다. 지금은 AI 기술의 변화에 맞춰 새로운 데이터 영역으로 사업을 넓혀가고 있습니다.

AI의 성능은 결국 데이터가 결정합니다. 플리토에서 AI가 아직 배우지 못한 현실의 데이터를 채워 나가는 도전에 함께할 분들의 지원을 기다립니다.

What you'll do

플리토는 AI 데이터 · 평가 사업으로 무게중심을 옮기고 있습니다. 이 포지션은 에이전트 학습·평가 데이터를 직접 만드는 일을 합니다.

클라우드 에이전트 워크스페이스에서 에이전트 트레젝토리(trajectory)를 만들고, RLHF 벤치를 구성하고, 그 결과로 다음 벤치마크를 설계합니다.

특정 도메인 전공을 요구하지 않습니다. 코드, 보안, 업무 자동화, 도구 사용, 문서 작업 등 에이전트가 실제로 하는 일이라면 무엇이든 평가 대상이 됩니다. 본인이 잘 아는 분야에서 “어려운 과제가 무엇이고 무엇이 정답인지” 판단할 수 있으면 됩니다.

작업자들이 쓸 Task와 보상 설계 하네스를 만들어 전달하고, 올라온 결과로 모델을 돌린 뒤, 그 결과를 보고 기준을 다듬어 다시 요청하는 흐름으로 일합니다. 처음에는 이미 진행 중인 Task를 함께 돌려보며 시작합니다.

• 작업자가 쓸 Task 스펙과 보상(reward) · 검증기(verifier) 를 설계하고 하네스 형태로 전달합니다.
※SWE-bench · Terminal-Bench · OSWorld 같은 실행 환경부터
GDPval · τ-bench · APEX-Agents 같은 실무 과제 벤치마크까지, 형태는 다양합니다.
• 클라우드 에이전트 워크스페이스에서 에이전트 트레젝토리를 수집하고 품질을 점검합니다.
• 취합한 데이터로 모델을 실행하고, 결과를 분석해 보상과 채점 기준을 다듬습니다.
• 수집한 트레젝토리를 바탕으로 RLHF 벤치를 구성하고, 다음 벤치마크를 설계합니다.
• 생산된 트레젝토리와 평가 결과를 벡터 DB로 연결해 활용합니다.

Requirements

• 벤치마크를 직접 만들고 분석해 본 경험 — 문항을 설계하고, 채점 기준을 정하고, 결과를 분석해 기준을 다듬어 본 경험
• Python으로 파이프라인을 직접 만들고 운영해 본 경험
• LLM API 또는 오픈모델을 다뤄본 경험 (에이전트 실행, 출력 파싱 · 검증)
• 본인이 잘 아는 분야에서 과제의 난이도와 정답을 직접 판단할 수 있는 수준의 전문성
※ 분야는 무관합니다
• 경력 3년 이상
• 숫자가 어디서 나왔는지 설명할 수 있게 기록을 남기시는 분
• 무엇을 측정할지부터 정리하고 시작하시는 분
• 자기 기준을 다른 사람이 따라 할 수 있는 형태로 정리하실 수 있는 분

Preferred qualifications

• 컨테이너 기반 RL 환경(RL Container)에서 벤치마크 제작 및 LLM 분석 경험
*OpenEnv, Prime Intellect Verifiers, SWE-bench · Terminal-Bench · OSWorld · WebArena · τ-bench류 태스크 하네스 등 (관련 오픈소스를 직접 다뤄본 수준도 환영)
• 태스크 실행 · 자동 채점 환경 구축 경험 — Docker 격리 실행, 테스트 · 검증기 기반 채점, 재현 가능한 실행
• GDPval · τ-bench · APEX-Agents류 실무 과제 · 도구 사용 벤치마크 관련 경험
• RLHF · 선호 데이터 파이프라인 경험
• 작업 가이드 작성, 검수 기준 설계 등 작업자와 함께 일해 본 경험
• 평가 하네스 도구 경험 (lm-evaluation-harness, HELM, inspect-ai, OpenAI Evals)
• 벡터 DB · 검색 평가 실무 경험 (BEIR · MTEB류 리트리벌 평가 포함)
• 벤치마크 · 평가 데이터셋 공개 이력 (논문, 오픈소스)
• Kubernetes, Celery 등 배치 실행 환경 운영 경험

Benefits

[기타사항]
• 근무지 : 플리토 서울본사 (2호선 삼성역 도보 5분 거리 위치)
• 근무시간 : 10:00 ~ 19:00 기본근무 / 금요일은 플렉서블 근무가능 (8:00~11:00 사이 출근시간 선택)
• 근로계약 : 정규직(*회사 내규에 의해 3개월의 수습기간 적용)

• 상호 존중하는 문화
: 직급 없는 "님" 호칭 및 경어 사용, 자율 복장 등
: 자유로운 연차 사용과 사생활에 대한 배려와 존중

• 복리후생
: 연봉 外 중식대 별도 제공 (앱 활용, 출근일 기준 11,000원/일)
: 경조휴가 및 경조지원금 (ex : 결혼 50만원, 출산 100만원 등)
: 기념일 휴가 (ex : 생일휴가, 결혼기념일 반차 등)
: 근속기간에 따른 추가 복리후생 (명절 상여, 건강검진, 자기개발비, 사내대출 지원 등)

• 개발장비
: 맥북 + 4K 모니터 + 개발장비 지원비(최초 입사시 15만원)

Hiring process

• 입사지원 : ~ 2026-10-11(일) 23:59 까지
• 채용전형 : 서류전형 - 라이브 테스트 & 면접전형 - 최종합격 - 입사
*라이브 테스트는 면접 전형 시작 전 현장에서 진행됩니다. (30~45분 소요)
*빠른 채용진행을 위해 면접전형 시 경력/소득 증빙자료를 요청드릴 수 있습니다.
*전형 결과에 상관없이 결과 확정 시 개별 메일로 안내드립니다.