ETF 자금 흐름 수집기 (etf.com 또는 ICI) #9

Open
opened 2026-04-22 00:26:31 +09:00 by xhh · 1 comment
Owner

etf_flows 테이블 채우기. etf.com 스크래핑 또는 ICI 주간 데이터. robots.txt 확인.

etf_flows 테이블 채우기. etf.com 스크래핑 또는 ICI 주간 데이터. robots.txt 확인.
Author
Owner

보류 결정 (2026-04-22)

실용적 무료 시계열 소스가 존재하지 않아 통째로 연기. 유료 API 결정(#12) 과 묶어서 재검토 필요.

소스 실사 결과

소스 상태 코멘트
etf.com Cloudflare 차단 /robots.txt 조차 challenge 페이지로 응답. 자동 스크래핑 실질 불가. 설령 우회해도 ToS 위반 소지.
ICI (ici.org) 대부분 gated 공개 리포트는 404 / 멤버십 로그인 요구. 주간 데이터라 업데이트 주기도 늦음.
yfinance .info 스냅샷만 sharesOutstanding/totalAssets 현재 시점 1건. 시계열 없음.
yfinance get_shares_full() ETF 미지원 SPY 등에 대해 None 반환.
OpenBB ETF 모듈 flow 미제공 holdings / price / search 만 있고 fund flow 는 없음.
StockAnalysis / ETFDB 스크래핑 필요 유사한 봇 방지. 안정성·법적 리스크 동반.

실현 가능한 경로 (모두 비용 큼)

  1. 운용사별 daily holdings 파싱 + AUM 역산

    • SSGA (SPDR), iShares, Vanguard, Invesco 등 운용사마다 파일 포맷/URL 이 달라 파서 4종 이상 필요
    • 스키마 변경 리스크 (분기 1~2회 레이아웃 바뀜)
    • Δshares_outstanding × NAV 로 flow 근사
    • 커버리지 역시 주요 대형 ETF 에 국한
  2. 유료 API

    • Morningstar / FMP (paid) / Benzinga
    • #12 (애널리스트 데이터) 결정과 묶어서 라이선스 비용 총합으로 판단하는 것이 합리적

재개 조건

  • 본 플랫폼이 유료 API 도입 의사결정 (Phase 2 후반) 을 내리면 그 시점에 ETF flows 도 같이 구독으로 해결.
  • 아니면 SPDR/iShares 두 운용사 한정으로 수동 파서 2종만 MVP 로 제한해서 시작하는 옵션. 이 경우 별도 #9a 이슈로 쪼갤 것을 권장.
  • 어느 쪽이든 지금 구현하는 것은 ROI 가 낮음 — Phase 2 의 다른 소스(#8 FedWatch 완료) 를 먼저 활용해 스킬 전환(#6) 을 진행하는 편이 낫다.
## 보류 결정 (2026-04-22) 실용적 무료 시계열 소스가 존재하지 않아 **통째로 연기**. 유료 API 결정(#12) 과 묶어서 재검토 필요. ### 소스 실사 결과 | 소스 | 상태 | 코멘트 | |---|---|---| | **etf.com** | Cloudflare 차단 | `/robots.txt` 조차 challenge 페이지로 응답. 자동 스크래핑 실질 불가. 설령 우회해도 ToS 위반 소지. | | **ICI** (`ici.org`) | 대부분 gated | 공개 리포트는 404 / 멤버십 로그인 요구. 주간 데이터라 업데이트 주기도 늦음. | | **yfinance `.info`** | 스냅샷만 | `sharesOutstanding`/`totalAssets` 현재 시점 1건. 시계열 없음. | | **yfinance `get_shares_full()`** | ETF 미지원 | SPY 등에 대해 None 반환. | | **OpenBB ETF 모듈** | flow 미제공 | holdings / price / search 만 있고 fund flow 는 없음. | | **StockAnalysis / ETFDB** | 스크래핑 필요 | 유사한 봇 방지. 안정성·법적 리스크 동반. | ### 실현 가능한 경로 (모두 비용 큼) 1. **운용사별 daily holdings 파싱 + AUM 역산** - SSGA (SPDR), iShares, Vanguard, Invesco 등 운용사마다 파일 포맷/URL 이 달라 **파서 4종 이상** 필요 - 스키마 변경 리스크 (분기 1~2회 레이아웃 바뀜) - `Δshares_outstanding × NAV` 로 flow 근사 - 커버리지 역시 주요 대형 ETF 에 국한 2. **유료 API** - Morningstar / FMP (paid) / Benzinga - #12 (애널리스트 데이터) 결정과 묶어서 라이선스 비용 총합으로 판단하는 것이 합리적 ### 재개 조건 - 본 플랫폼이 **유료 API 도입 의사결정** (Phase 2 후반) 을 내리면 그 시점에 ETF flows 도 같이 구독으로 해결. - 아니면 SPDR/iShares 두 운용사 한정으로 **수동 파서 2종만 MVP** 로 제한해서 시작하는 옵션. 이 경우 별도 `#9a` 이슈로 쪼갤 것을 권장. - 어느 쪽이든 **지금 구현하는 것은 ROI 가 낮음** — Phase 2 의 다른 소스(#8 FedWatch 완료) 를 먼저 활용해 스킬 전환(#6) 을 진행하는 편이 낫다.
Sign in to join this conversation.
No project
No assignees
1 participant
Notifications
Due date
The due date is invalid or out of range. Please use the format "yyyy-mm-dd".

No due date set.

Dependencies

No dependencies set.

Reference
xhh/financial-data-platform#9
No description provided.