Claude Code에서 쓰는 모델을 오픈웨이트 모델로 바꿔도 될지 알아보기 위한 기록이다. 1편에서는 SWE-bench의 문항과 채점 방식을 분석하고 비교 원칙을 정리한다. 2편에서는 사내 PR 20건으로 문항 36개와 채점기를 만들고 Claude Code 실행 환경을 구성한다. 3편에서는 해결률과 비용, 패치 결함을 바탕으로 모델 교체 여부를 판단하고, 4편에서는 실행 1,164회를 돌아보며 남은 생각을 정리한다.
◆ SERIES 4 POSTS
코딩 에이전트의 모델 교체를 판단하기
SWE-bench의 문항과 채점 방식을 살펴보고, Claude Code에서 모델을 비교할 실험을 설계한 뒤 해결률과 비용을 바탕으로 교체 여부를 판단한다.
README
04 ITEMS
전체 글
in order
02
사내 PR 20건으로 SWE-bench 문항 36개 만들기
사내 WebSocket 패키지의 병합된 PR을 코딩 에이전트 평가 문항으로 바꾸고 채점기를 검증한 뒤, Claude Code 실행 환경에서 개인 지침을 격리하기까지의 과정