AI Research Engineer

About the role

CollabOps는 ㈜에이티씨아이에서 스핀오프한 기술 스타트업입니다. Google·Salesforce 출신 대표가 설립했으며, Seed 투자와 TIPS 선정·협약을 완료했습니다.

소프트웨어를 개발하고 운영하는 팀은 흩어진 코드, 이슈, 테스트, 배포 기록을 확인하며 문제의 원인을 찾고 수정 결과를 검증합니다. CollabOps는 이 과정을 수행하는 AI 모델과 에이전트를 연구·개발합니다.

사용자의 요청을 실행 가능한 변경으로 만들고, 실패 원인을 조사하며, 수정 결과를 검증하는 경험을 함께 만들 AI Research Engineer를 찾습니다.

What you'll do

학습·평가 데이터 구축: GitHub 공개 저장소의 이슈, PR, 변경 전후 코드, 테스트, CI 설정과 확보 가능한 실행 로그를 수집·연결하고, 출처·이용 범위·품질·중복을 관리합니다.
재현 가능한 과제 제작: 버그 수정 사례를 컨테이너에서 재현하고, 문제 상태·입력·검증 기준을 갖춘 학습·평가 과제로 만듭니다.
개발·운영 시나리오 구현: 플랫폼 엔지니어와 함께 의존성 충돌, 잘못된 설정, 배포 실패 등의 시나리오를 만들고 에이전트의 해결 결과를 평가합니다.
에이전트 실행 데이터 생성: 코드 조회, 로그 분석, 도구 호출, 수정, 테스트로 이어지는 실행 기록을 수집하고, 성공·실패 원인을 분석해 학습 데이터로 구성합니다.
모델 학습 및 개선: 공개 모델을 활용한 SFT와 LoRA·QLoRA 실험을 수행하고, 필요에 따라 선호 학습과 실행 결과 기반 강화학습을 연구합니다.
평가 체계 구축: 작업 해결률, 회귀 발생, 근거의 정확성, 사람 개입, 지연 시간과 비용을 측정하고, 분리된 평가 과제로 기존 모델과 학습 모델을 비교합니다.
모델·에이전트 공동 최적화: 문맥 구성, 검색, 도구 사용, 실패 복구 전략을 개선하고 어떤 변경이 성능에 기여했는지 실험으로 확인합니다.
제품 적용: 백엔드·플랫폼 엔지니어와 협업해 모델을 서빙하고, 온프레미스 환경의 자원 제약과 사용자 피드백을 연구에 반영합니다.

Requirements

Python으로 데이터 처리, 실험 자동화, 모델 학습·평가 코드를 작성할 수 있는 분
PyTorch 등 머신러닝 프레임워크를 활용해 모델을 학습하거나 파인튜닝한 경험이 있는 분
LLM, 지도학습, 학습·검증 데이터 분리와 기본적인 평가 방법을 이해하는 분
Git, Linux, Docker와 소프트웨어 테스트·디버깅에 대한 기본기를 갖춘 분
문제를 가설·실험·지표로 구체화하고, 결과를 재현 가능한 코드와 문서로 설명할 수 있는 분
제품·백엔드·플랫폼 엔지니어와 협업하며 연구 결과를 사용 가능한 기능으로 연결할 수 있는 분

Preferred qualifications

소프트웨어 엔지니어링 에이전트, 도구 사용, 코드 수정·리뷰·테스트 자동화 경험
GitHub 이슈·PR·CI 데이터 처리, 합성 과제 생성, 데이터 중복·오염 관리 경험
SWE-bench, SWE-smith 등 실행 기반 평가 환경을 구축하거나 확장한 경험
LoRA·QLoRA, 선호 학습, 강화학습, 증류 등 모델 추가 학습 경험
모델 양자화·서빙·추론 최적화 또는 온프레미스 LLM 운영 경험
CI/CD, Kubernetes, 관측 데이터, 장애 대응 또는 소프트웨어 보안 중 한 분야의 실무 경험
논문 재현, 오픈소스 기여, 연구 결과의 제품 적용 경험

Benefits

데이터와 평가 기준부터 모델 학습, 실제 제품 적용까지 연구의 전 과정을 설계할 수 있습니다.
개발·운영 현장의 문제를 바탕으로 연구 주제를 정하고 사용자에게 미치는 결과를 확인할 수 있습니다.
초기 연구 체계와 실험 문화를 함께 만들고, 제품·플랫폼 엔지니어와 밀접하게 협업합니다.
연구 몰입 시간과 정기적인 실험 리뷰