Files

Zhang Jiahao ed4837dedf Rewrite oshwhub.md as canonical data source investigation

Why:
- Charles 要求把 12493 总数验证 + 90 项目采样结果合进主调研文档，消除
  oshwhub_corpus_estimate.md 与 oshwhub.md 的重复与分散。
- 一份高质量的数据源调查应该独立完备：任何人（人或 agent）读完就能
  复现爬取 / 估算 / 合规判断，不用跨文件拼凑。

What:
- docs/sources/oshwhub.md 重写为 9 节 + 附录：
  - TL;DR 表（一页纸核心事实）
  - 站点架构 / robots / API 入口 / 项目详情 SSR / 附件 CDN
  - 排除项：fs-web-stream.jlc.com 推广图标 / u.lceda.cn 登录源
  - §4 项目总数验证（新）：三路 sort 一致 12493 + 分页二分边界 ≈250 页 + grade 覆盖抽样
  - §5 抽样语料特征（从 corpus_estimate 并入）：体积 median 9MB/p90 54MB、
    视频占 54%、license 分布 GPL 3.0 49%/Public Domain 21%
  - 风险表 7 条、附录重跑命令
- 删除 docs/sources/oshwhub_corpus_estimate.md（内容已并入 §5）
- log.md: 本次记录

Co-Authored-By: Claude Opus 4.7 (1M context) <noreply@anthropic.com>

2026-04-23 19:59:05 +08:00

8.1 KiB

Raw Blame History

FacereDataset 执行日志

时间倒序，最新在顶部。

2026-04-23 19:55 oshwhub.md 重写成完整调研文档

Claude 会话

Charles 要求把 12 493 总数验证、90 项目采样结果合进主调研文档。

docs/sources/oshwhub.md 重写为 9 节 + 2 附录的完整调研：

一页纸 TL;DR 表
站点架构
robots.txt 与合规
API 与抓取入口（列表 / SSR 详情 / 附件 CDN / 排除项 / 未开放端点）
项目总数验证（新）：三路 sort 一致 + 分页二分搜索（250 × 50 = 12 500 吻合）+ grade 覆盖抽样
抽样语料特征（从 oshwhub_corpus_estimate.md 并入）：体积 / 文件类型 / license 分布
Schema 映射
速率与礼貌
目录输出约定
风险与未解决（7 条）
附录：重跑命令、变更历史

删除重复文件 oshwhub_corpus_estimate.md（内容已并入 §5）。

2026-04-23 19:50 加入 HF bshada/open-schematics 计划

Claude 会话

Charles 点名把 https://huggingface.co/datasets/bshada/open-schematics 纳入第一批。

调研结论：

这是已预处理的 HF 数据集，非待爬网站
78 parquet shards 6.4 GB；CC-BY-4.0（商用友好）
10K+ 条记录，每条含 .kicad_sch 源 / PNG / 组件列表 / JSON / YAML / name / description
与 oshwhub (EasyEDA) 互补，补 KiCad 生态

决定：

整包镜像到 data/external/huggingface/bshada--open-schematics/，不拆 per-project 目录
用 huggingface-cli download ... --repo-type dataset 拉；parquet 走 LFS
维护单独的 datasets.md，不与 per-project 的 projects.md 混

改动：

新增 docs/sources/hf_bshada_open_schematics.md 完整调研
plan.md 加 Phase 1.5
README.md 数据源表加一行

未下载，等 Charles 拍板 6.4 GB LFS 预算。

2026-04-23 19:30 Phase 1 MVP：10 个高质量 oshwhub 项目入库

Claude 会话：承接仓库初始化

API 调研结论

列表 API：GET https://oshwhub.com/api/project?page=N&pageSize=M&sort=hot，无鉴权，返回 12493 个项目元数据（含 grade / likes / stars / views / forks）
详情：GET https://oshwhub.com/<path> 是 SSR HTML，嵌入 escaped JSON，含 license + attachments[]（每个带 name / src / size / md5 / ext / mime / download_count）
附件 CDN：https://image.lceda.cn{src} — 已验证无鉴权直接下载
EasyEDA 工程源 JSON（u.lceda.cn）需登录，v0.1 不抓
详细调研见 docs/sources/oshwhub.md

选 10 个高质量项目

判据：grade == 4（平台精品徽章） + likes ≥ 100 + 应用领域多样（避免同类堆叠）+ 排除 _copy 派生仓。

10 个项目覆盖：调试器、加热台、盖革计数器、可调电源、焊台、智能手表、USB 测电流、ZVS 感应加热、AI 开发板、红外热成像。

MVP 爬虫

位置：crawlers/oshwhub/crawler.py

list_projects() — 列表 API 分页
pick_top() — 按 like×3 + star + fork×2 + views/100 + comments×2 + grade×50 排序
parse_detail_html() — 从 SSR HTML 提取 title / license / description / attachments
crawl_one() — 每项目产出：metadata.json / description.md / cover.* / files/* / _urls.json
QPS ≤ 0.5（SLEEP_BETWEEN = 2.0），UA 显式声明 FacereDataset/0.1

抓取与入库

10/10 成功，52 个附件，524 MB
Gitea LFS（v25.4.3 原生支持）+ 本地 git-lfs 3.5.1（用户态二进制装在 ~/.local/bin/）
.gitattributes 规则：data/raw/**/files/** 一律走 LFS；元数据（metadata.json / description.md / _urls.json / cover.*）走普通 git

每项目目录结构：

data/raw/oshwhub/<uuid>/
├── metadata.json      # 按 schemas/project.schema.json
├── description.md
├── cover.{jpg,png,jpeg}
├── _urls.json         # 所有原始 URL 清单
└── files/*            # 原始附件（LFS）

改动汇总

新增：crawlers/oshwhub/{__init__,__main__,crawler}.py、schemas/project.schema.json、docs/sources/oshwhub.md、pyproject.toml
修改：.gitattributes（缩窄到 data/raw/**/files/**）、.gitignore（移除 data/raw/* 排除）

下一步建议给 Charles

验收 10 个项目元数据质量（随机抽 2-3 条对照原站）
决定 Phase 1.4 放量目标（50？500？全量 12493？）
Phase 2 准备：GitHub KiCad repo 调研

2026-04-23 19:40 fs-web-stream 排查 + schema 自动校验

Claude 会话（自主推进）

fs-web-stream.jlc.com 定性

重新抓 /CYIIOT/ST_LINK-V2_1 并看 13 个 fs-web-stream.jlc.com 链接的上下文：全部是嘉立创服务侧栏/推广图标（3D 打印、发热片、Ican、EDA 扩展广场、开源硬件平台 badge 等），与项目本身无关。image.lceda.cn/attachments/ 就是项目附件的唯一入口，已确认闭环。docs/sources/oshwhub.md 对应章节已更新。

scripts/validate.py

jsonschema 做两层校验：

默认：所有 data/raw/**/metadata.json 对 schemas/project.schema.json 的结构校验
--check-files：另外验证每条 file 的本地 path 存在且 sha256 匹配

结果：10/10 项目两项全通过。

新增

scripts/validate.py
pyproject.toml 加 jsonschema>=4.26

还是需要 Charles 决策

放量规模 —— 已提供实测数据：median ≈ 110 GB，p90 上界 ≈ 660 GB，建议预算 150–180 GB（见 docs/sources/oshwhub_corpus_estimate.md）
是否需要抓 u.lceda.cn 的 EasyEDA 源 JSON（需登录，v0.1 跳过）

2026-04-23 19:45 全量规模实测 + License 分布