yceffort
◆ SERIES 4 POSTS

코딩 에이전트의 모델 교체를 판단하기

SWE-bench의 문항과 채점 방식을 살펴보고, Claude Code에서 모델을 비교할 실험을 설계한 뒤 해결률과 비용을 바탕으로 교체 여부를 판단한다.

README

Claude Code에서 쓰는 모델을 오픈웨이트 모델로 바꿔도 될지 알아보기 위한 기록이다. 1편에서는 SWE-bench의 문항과 채점 방식을 분석하고 비교 원칙을 정리한다. 2편에서는 사내 PR 20건으로 문항 36개와 채점기를 만들고 Claude Code 실행 환경을 구성한다. 3편에서는 해결률과 비용, 패치 결함을 바탕으로 모델 교체 여부를 판단하고, 4편에서는 실행 1,164회를 돌아보며 남은 생각을 정리한다.

04 ITEMS

전체 글

in order
01

SWE-bench로 코딩 에이전트의 모델을 비교하는 방법

#ai
코딩 에이전트의 모델 성능은 어떻게 측정할까?
47분
02

사내 PR 20건으로 SWE-bench 문항 36개 만들기

#ai#testing
사내 WebSocket 패키지의 병합된 PR을 코딩 에이전트 평가 문항으로 바꾸고 채점기를 검증한 뒤, Claude Code 실행 환경에서 개인 지침을 격리하기까지의 과정
39분
03

Claude Code의 모델을 GLM 5.3으로 바꾸면 생기는 일

#ai
사내 문항 36개를 Claude Sonnet 5.5와 GLM 5.3으로 3회씩 푼 결과. 216회의 해결률, 한도 중단, 비용, 패치 결함을 비교하고 공개 벤치마크와의 조건 차이를 살펴본 뒤 모델 교체 여부 판단하기
수정
49분
04

코딩 에이전트 모델 교체 실험을 마치며

#ai
실행 1,164회를 마치고 돌아본 사내 벤치마크 제작 과정과 결과. 작업당 비용, Claude Code의 실행 환경, 오픈웨이트 모델에 대한 기대, 다시 실험한다면 바꾸고 싶은 조건
11분