토큰 절감 효과 측정 리포트 #7

Open
opened 2026-04-22 00:26:29 +09:00 by xhh · 2 comments
Owner

시범 전환한 유동성 스킬의 Before/After 토큰 사용량 비교. 통합 로드맵 핵심 검증 지표.

시범 전환한 유동성 스킬의 Before/After 토큰 사용량 비교. 통합 로드맵 핵심 검증 지표.
Author
Owner

첫 페어 기록 (2026-04-26 liquidity)

#6 시범 전환 직후 같은 세션에서 A/B 페어 1쌍 측정.

Scanner 단계 실측

메트릭 B 모드 A 모드 차이
총 토큰 79,767 90,143 -11.5%
소요 시간 357s 488s -26.8%
Tool 호출 42 46 -8.7%
API 호출 14 0
Web 검색 14 22 -36.4%
scan_data 크기 20.0 KB 19.0 KB +5.3%

해석

  • 토큰 -11.5% — Web 검색 14→22 증가가 capabilities fetch 비용을 일부 상쇄. 절감 폭이 예상보다 작음.
  • 속도 -26.8% — API 결정적 응답 vs WebSearch 직렬 지연 차이. 사용자 체감은 이쪽이 더 큼.
  • 정성 차이: B 가 RRP/TGA 등 정량값 정확. A 는 추정.

측정표

elhaz/claude-plugin#3 에서 token-savings.md 갱신 진행 중.

다음 단계

  • 페어 5쌍 누적 후 평균 절감률 확정 — 매주 1쌍 페이스로 약 5주 소요
  • type 별 절감률 비교 (insider, analyst, sector, regime 도 capabilities 적용 후 측정)
## 첫 페어 기록 (2026-04-26 liquidity) #6 시범 전환 직후 같은 세션에서 A/B 페어 1쌍 측정. ### Scanner 단계 실측 | 메트릭 | B 모드 | A 모드 | 차이 | |--------|---:|---:|:---:| | 총 토큰 | 79,767 | 90,143 | **-11.5%** | | 소요 시간 | 357s | 488s | **-26.8%** | | Tool 호출 | 42 | 46 | -8.7% | | API 호출 | 14 | 0 | — | | Web 검색 | 14 | 22 | -36.4% | | scan_data 크기 | 20.0 KB | 19.0 KB | +5.3% | ### 해석 - **토큰 -11.5%** — Web 검색 14→22 증가가 capabilities fetch 비용을 일부 상쇄. 절감 폭이 예상보다 작음. - **속도 -26.8%** — API 결정적 응답 vs WebSearch 직렬 지연 차이. 사용자 체감은 이쪽이 더 큼. - 정성 차이: B 가 RRP/TGA 등 정량값 정확. A 는 추정. ### 측정표 [elhaz/claude-plugin#3](https://github.com/elhaz/claude-plugin/pull/3) 에서 token-savings.md 갱신 진행 중. ### 다음 단계 - 페어 5쌍 누적 후 평균 절감률 확정 — 매주 1쌍 페이스로 약 5주 소요 - type 별 절감률 비교 (insider, analyst, sector, regime 도 capabilities 적용 후 측정)
Author
Owner

측정 리포트 위치를 fdp 레포로 이전: docs/token-savings.md (#71 머지).

이후 페어 누적은 본 문서에 한 줄씩 추가 + 마지막수정일 갱신. 5쌍 누적되면 평균 절감률 확정해 Phase 1 게이트 판단 — 그때 본 이슈 종료.

현재: 1/5 페어 (B 토큰 -11.5%, 속도 -26.8%, 2026-04-26 liquidity).

측정 리포트 위치를 fdp 레포로 이전: [`docs/token-savings.md`](https://git.xhhan.com/xhh/financial-data-platform/src/branch/main/docs/token-savings.md) (#71 머지). 이후 페어 누적은 본 문서에 한 줄씩 추가 + 마지막수정일 갱신. 5쌍 누적되면 평균 절감률 확정해 Phase 1 게이트 판단 — 그때 본 이슈 종료. 현재: 1/5 페어 (B 토큰 -11.5%, 속도 -26.8%, 2026-04-26 liquidity).
Sign in to join this conversation.
No project
No assignees
1 participant
Notifications
Due date
The due date is invalid or out of range. Please use the format "yyyy-mm-dd".

No due date set.

Dependencies

No dependencies set.

Reference
xhh/financial-data-platform#7
No description provided.