打通 oshwhub origin=std 项目的工程源(schematic + PCB dataStr)抓取链路。原
plan.md §1.6 假设需要登录,实测 lceda.cn/api/documents/<doc>?uuid=<doc>&path=<doc>
对公开项目匿名可访问 —— 无需 cookie,无账号封禁风险。
调研:4 轮探测留痕在 data/state/std_probe[1-5]/(gitignored);翻 Std 编辑器
v6.5.51 的 main.min.js bundle 找到 ajaxDetail 端点;按 docType 区分两种
响应 shape(schematic 项目视图 vs PCB 文档视图)。
Crawler:
- make_source_client() 用浏览器 UA + lceda.cn/editor Referer,因为
oshwhub /api/project/<uuid> 端点拒绝 FacereDataset/0.1 UA(CLAUDE.md
UA 例外条款:目标站主动封自定义 UA + 公开静态资源)
- fetch_std_source(): 项目元 → version_documents → 逐文档 dataStr → 落
source/<doc>.json + source/manifest.json
- --with-source(爬新项目时一并抓源)/ --backfill-source(仅扫已有)
- QPS ≤ 0.2 (SLEEP_SOURCE = 5s) 自律
Schema: 加 source_format / source_path / source_documents / editor_version
(前 3 进 enum 锁定,便于后续 Pro / KiCad 源对齐)。
回填结果:10/10 成功,45 个文档,33.2 MB;schema validate 全通。
docTypes 主要是 1 (schematic) 与 3 (pcb);USB 电压电流表只有 PCB 文档(4 个:
主板+盖板+底板+面板,作者未上传原理图源)。
完整调研:docs/sources/easyeda_std_source.md。
4.1 KiB
4.1 KiB
Crawled Projects Index
自动生成,最近更新 2026-04-28 12:05 UTC
当前:10 个项目 · 52 个附件 · 510.8 MB
按 Stars 倒序。Title → 源站;UUID → 本仓库对应目录。
| # | Title | Author | License | ⭐ Stars | ❤️ Likes | 🍴 Forks | 👁 Views | 💬 Comments | Files | Size (MB) |
|---|---|---|---|---|---|---|---|---|---|---|
| 1 | 加热台量产计划7b6a3988… |
sheep_finder | Public Domain | 3,293 | 1,447 | 3,939 | 347,329 | 383 | 4 | 23.0 |
| 2 | 支持PD3.1/米PPS与Emarker读取的USB电压电流表1a1e8655… |
qaxslk | CC BY-NC-SA 4.0 | 2,695 | 1,215 | 1,146 | 306,681 | 448 | 13 | 204.5 |
| 3 | 自制ST-LINK V2-1(开源版本)298873b7… |
攻城狮神木 | GPL 3.0 | 1,947 | 863 | 996 | 239,671 | 369 | 7 | 20.9 |
| 4 | QF ZERO V2 智能手表终端V1.0.9-24-6-29892dbc4e… |
启凡科创 | Public Domain | 1,737 | 774 | 643 | 175,969 | 164 | 6 | 113.0 |
| 5 | RT300-MKV 250W 数控升降压桌面可调电源91206ca7… |
XACT | CC BY-NC-SA 4.0 | 1,735 | 867 | 782 | 185,523 | 231 | 2 | 80.9 |
| 6 | t12-858d烙铁热风枪通用焊台二合一3e2f893d… |
mojinyinhu | GPL 3.0 | 1,013 | 483 | 395 | 133,220 | 293 | 7 | 44.1 |
| 7 | 大功率感应加热2500W 增强型ZVSf974b06d… |
金石之声 | TAPR Open Hardware License | 708 | 355 | 378 | 61,550 | 265 | 2 | 8.8 |
| 8 | 手持红外热成像1b09581d… |
wesd | CERN Open Hardware License | 646 | 247 | 175 | 73,081 | 266 | 2 | 3.3 |
| 9 | 小汐 & 阿曈 -> 盖革计数器(MWGC-2T)b077573d… |
久治明千树汐 | CC BY-SA 4.0 | 365 | 212 | 189 | 49,755 | 168 | 2 | 4.0 |
| 10 | 柚子爱AI相机-YuzuAI-YuzuMaix-AIoT-V831开发板922c1f3a… |
Armbian-PythonIot | CC BY-NC-SA 3.0 | 236 | 129 | 96 | 45,128 | 93 | 7 | 8.3 |
汇总
- Stars 合计 14,375(平均 1,437/项目)
- Likes 合计 6,592
- Views 合计 1,617,907
License 分布
Public Domain— 2 项目CC BY-NC-SA 4.0— 2 项目GPL 3.0— 2 项目TAPR Open Hardware License— 1 项目CERN Open Hardware License— 1 项目CC BY-SA 4.0— 1 项目CC BY-NC-SA 3.0— 1 项目
数据源分布
oshwhub— 10 项目
目录结构(每个项目)
data/raw/<source>/<uuid>/
├── metadata.json # 统一 schema,见 schemas/project.schema.json
├── description.md # 标题 + 简介 + 许可证
├── cover.{jpg,png} # 封面
├── _urls.json # 所有原始 URL
└── files/* # 原始附件(Git LFS)
重新生成
uv run python scripts/build_index.py