Facere/FacereDataset
3
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases 2 Wiki Activity
Files
c6279bff081444b70bf7943b6145a245c64be981
FacereDataset/projects.md
Knowit c6279bff08 Add EasyEDA Pro 2.x legacy source ingestion (5/5 batch closure) 
补齐前一批失败的 2 个 legacy Pro 项目（立创·泰山派 RK3566、立创·梁山派），
打通 Pro 2.x 旧版工程的源抓取链路。结合上一 commit 的 modern Pro 3.x
路径，本仓库 5/5 Pro 项目 EPRO2/dataStr 全部端到端打通。

Pro 2.x 与 Pro 3.x 是两个完全不同的存储模型：
- Pro 3.x：git-style branch + linear history chain，AES-128-GCM 加密的
  EPRO2 增量消息流，按 history 重放（已在前一 commit 打通）
- Pro 2.x：无 branch / 无 history。文档以 EasyEDA Std plaintext dataStr
  存储（同 ["DOCTYPE","SCH","1.1"] 格式），按 doc UUID 通过
  /api/v2/documents/lists 批量 GET，主体无加密，只组件库走 AES

Pro 2.x 抓取链由 HAR (tmp/prodownload3.har, 178 请求) 反推：

  GET  /api/v4/projects/<P>                     → boards: [{sch, pcb, name}]
  GET  /api/projects/<P>/ticket?uuid=&g_ticket=-1
                                                → 完整项目 manifest
  POST /api/schematic/lists {uuids:[<sch>]}     → sort: [{uuid:<sheet>}]
  POST /api/v2/documents/lists {uuids,docType:1} → schematic plaintext
  POST /api/v2/documents/lists {uuids,docType:3} → PCB plaintext
  POST /api/coppers/search {paths}              → 铺铜层
  POST /api/textpath/search {paths,project_uuid}→ 字体/文字
  POST /api/v2/resources/search {hash,project_uuid} → BLOB 图片

实现：
- crawlers/oshwhub/crawler.py:
  - fetch_pro_source() refactor 成 dispatcher，先 GET project meta
    检查 branch_uuid，null 即旧版走 _fetch_pro_legacy()，非空走
    _fetch_pro_modern()
  - _fetch_pro_legacy() 新增（按上面 9 步流程拉所有 doc + 辅助层）
  - _pro_post_json() POST helper（与 _pro_get_json 对称）
- schemas/project.schema.json: source_format enum 加 easyeda-pro-legacy
- docs/sources/easyeda_pro_source.md rev 4: §1.1 旧版 vs 新版判别表更新、
  §2.7 新增旧版抓取流程 + 实测数据

落盘约定（旧版）：
  source/ticket.json                     完整 manifest
  source/<sheet_uuid>.json               每张原理图（含 dataStr）
  source/pcb_<pcb_uuid>.json             每块 PCB
  source/coppers.json/textpath.json/blobs.json  辅助 PCB 层资源
  source/manifest.json                   索引

实测：
  立创·梁山派      editor=2.1.30, 2 sheets+1 pcb,    1.0 MB,  78 sym/191 fp/128 dev
  立创·泰山派 RK3566 editor=2.1.40, 29 sheets+1 pcb, 0.8 MB, 299 sym/524 fp/295 dev

旧版项目体量比新版小两个数量级（梁山派 1 MB vs RK3576 66 MB）—— 没有
增量 history，组件库走单独端点，本身就是当前快照。

5/5 Pro 项目终极汇总：
  X86 主板          easyeda-pro        3.2.15  7374 docs / 481 MB
  泰山派 RK3566     easyeda-pro-legacy 2.1.40    30 docs / 0.8 MB
  梁山派            easyeda-pro-legacy 2.1.30     3 docs / 1.0 MB
  220V 桌面电源     easyeda-pro        3.2.69   771 docs /  26 MB
  ESP-VoCat         easyeda-pro        3.2.91   278 docs / 7.5 MB

共 8456 docs / ~516 MB plain。

Co-Authored-By: Claude Opus 4.7 (1M context) <noreply@anthropic.com>
2026-04-28 21:59:25 +08:00

5.5 KiB
Raw Blame History

Crawled Projects Index

自动生成，最近更新 2026-04-28 13:56 UTC

当前：15 个项目 · 73 个附件 · 739.1 MB

按 Stars 倒序。Title → 源站；UUID → 本仓库对应目录。

# Title Author License ⭐ Stars ❤️ Likes 🍴 Forks 👁 Views 💬 Comments Files Size (MB)
1 加热台量产计划
7b6a3988…		 sheep_finder Public Domain 3,293 1,447 3,939 347,329 383 4 23.0
2 支持PD3.1/米PPS与Emarker读取的USB电压电流表
1a1e8655…		 qaxslk CC BY-NC-SA 4.0 2,695 1,215 1,146 306,681 448 13 204.5
3 （高颜值）220V供电300W四路彩屏桌面电源
dc91a91e…		 cqlcp CC BY-NC-SA 4.0 1,955 1,428 0 91,319 274 11 172.4
4 自制ST-LINK V2-1（开源版本）
298873b7…		 攻城狮神木 GPL 3.0 1,947 863 996 239,671 369 7 20.9
5 QF ZERO V2 智能手表终端V1.0.9-24-6-29
892dbc4e…		 启凡科创 Public Domain 1,737 774 643 175,969 164 6 113.0
6 RT300-MKV 250W 数控升降压桌面可调电源
91206ca7…		 XACT CC BY-NC-SA 4.0 1,735 867 782 185,523 231 2 80.9
7 ESP-VoCat 喵伴：会听、会动、会陪伴的 AI 萌宠
ba64bd6f…		 乐鑫小铁匠 GPL 3.0 1,525 558 0 215,910 434 8 32.6
8 立创·泰山派RK3566开发板
7360e73d…		 立创开发板 GPL 3.0 1,025 627 0 397,479 380 0 0.0
9 【全网首发】X86电脑主板
b7784066…		 OSHWHub GPL 3.0 1,015 754 0 99,998 407 1 10.1
10 t12-858d烙铁热风枪通用焊台二合一
3e2f893d…		 mojinyinhu GPL 3.0 1,013 483 395 133,220 293 7 44.1
11 立创·梁山派开发板
0c467598…		 立创开发板 GPL 3.0 891 760 0 237,019 518 1 13.1
12 大功率感应加热2500W 增强型ZVS
f974b06d…		 金石之声 TAPR Open Hardware License 708 355 378 61,550 265 2 8.8
13 手持红外热成像
1b09581d…		 wesd CERN Open Hardware License 646 247 175 73,081 266 2 3.3
14 小汐 & 阿曈 -> 盖革计数器（MWGC-2T）
b077573d…		 久治明千树汐 CC BY-SA 4.0 365 212 189 49,755 168 2 4.0
15 柚子爱AI相机-YuzuAI-YuzuMaix-AIoT-V831开发板
922c1f3a…		 Armbian-PythonIot CC BY-NC-SA 3.0 236 129 96 45,128 93 7 8.3

汇总

  • Stars 合计 20,786（平均 1,385/项目）
  • Likes 合计 10,719
  • Views 合计 2,659,632

License 分布

  • GPL 3.0 — 6 项目
  • CC BY-NC-SA 4.0 — 3 项目
  • Public Domain — 2 项目
  • TAPR Open Hardware License — 1 项目
  • CERN Open Hardware License — 1 项目
  • CC BY-SA 4.0 — 1 项目
  • CC BY-NC-SA 3.0 — 1 项目

数据源分布

  • oshwhub — 15 项目

目录结构（每个项目）

data/raw/<source>/<uuid>/
├── metadata.json   # 统一 schema，见 schemas/project.schema.json
├── description.md  # 标题 + 简介 + 许可证
├── cover.{jpg,png} # 封面
├── _urls.json      # 所有原始 URL
└── files/*         # 原始附件（Git LFS）

重新生成

uv run python scripts/build_index.py
Reference in New Issue View Git Blame Copy Permalink