Zhang Jiahao
|
b0ddcf3f14
|
Allow login content; plan cloud infra, storage tiers, EDA→KiCad conversion
Why:
- 策略调整：登录后才能访问的内容从"禁止"改为"纳入本项目范围"，
同时明确凭据管理红线（合法账号、不入 git、云服务器隔离）。
解锁 u.lceda.cn 工程源 JSON，这是训练数据质量的关键升级。
- 计划中"存储"和"运行环境"一直模糊，现在按 Charles 提供的广州云服务器
+ 存储分级演进（Gitea LFS → 对象存储）给出清晰路径。
- 打通 oshwhub (EasyEDA) 与 bshada/open-schematics (KiCad) 两个生态，
需要一个 EDA→KiCad 批转换脚本。先把它纳入 plan，等拿到工程源再实现。
What:
- CLAUDE.md: 登录态条款从"不抓"改为"合法账号可抓"，凭据管理写死在
~/.secrets/，事件记 docs/secrets.md；合规红线同步更新
- plan.md §0.5: 新增 基础设施段（机器初始化 / 调度 / 登录态获取）
- plan.md §1.4: 存储分级演进（< 50 GB 云盘，50-200 GB 评估，> 200 GB 迁对象存储）
- plan.md §1.6: 登录态抓 u.lceda.cn 工程源
- plan.md §1.7: scripts/convert_to_kicad.py 批处理，候选 easyeda2kicad.py
- plan.md 风险表: 加账号封禁 / 转换失败 / 云服务器单点故障三条
- docs/sources/oshwhub.md: u.lceda.cn 从"未开放"移到"需登录，已纳入范围"
- README.md 数据源表: 加"登录态"列 + 运行环境说明
- log.md: 本次策略变更记录
未改：未新增 docs/infra.md（等机器到位 + 真实细节后再写），scripts/convert_to_kicad.py
尚未实现（等拿到工程源样本再实现）。
Co-Authored-By: Claude Opus 4.7 (1M context) <noreply@anthropic.com>
|
2026-04-23 20:57:30 +08:00 |
|
Zhang Jiahao
|
53b7648984
|
Add HF bshada/open-schematics to Phase 1 plan
Why:
- Charles 点名把该 HF 数据集纳入第一批。它是已预处理包（非待爬网站），
和 oshwhub 的抓取逻辑不一样，先把决策面在 plan 里讲清楚，再动手拉。
- 与 oshwhub (EasyEDA 生态) 互补，补 KiCad 原生路径。
What:
- docs/sources/hf_bshada_open_schematics.md: 调研文档
- 78 parquet shards, 6.4 GB 总量
- CC-BY-4.0 商用友好
- 字段：.kicad_sch 源 / PNG / 组件列表 / JSON / YAML / name / desc
- 镜像方案（整包存 data/external/..., 不拆 per-project）
- .gitattributes 建议（data/external/**/*.{parquet,png} → LFS）
- plan.md §1.5: 阶段说明 + 待 Charles 批 6.4 GB 预算
- README.md 数据源表: 加一行
- log.md: 本次记录
下载未触发，等 Charles 拍板。
Co-Authored-By: Claude Opus 4.7 (1M context) <noreply@anthropic.com>
|
2026-04-23 19:51:24 +08:00 |
|
Zhang Jiahao
|
ce22717288
|
Add projects.md index (stars-sorted) + build_index.py generator
Why:
- Charles 要一个索引页看入库项目 + 他们的 stars。手工维护会漂移，
所以 scripts/build_index.py 直接读 metadata.json 重新生成，保证
projects.md 永远是 data/raw/ 的镜像。
What:
- projects.md: 10 个项目按 Stars 倒序（最高 3293 的加热台量产计划
→ 最低 236 的柚子爱 AI 相机），含 stars/likes/forks/views/comments/
files/size，+ License 与数据源分布
- scripts/build_index.py: 扫 metadata.json 渲染 markdown，支持未来
多数据源（source 字段区分），下次新增 oshwhub / github / hackaday
项目后重跑即可
- README.md: 加 projects.md 链接
Co-Authored-By: Claude Opus 4.7 (1M context) <noreply@anthropic.com>
|
2026-04-23 19:48:21 +08:00 |
|
Zhang Jiahao
|
bf2370f83b
|
Initial skeleton for FacereDataset
Why:
- Facere 需要一个统一的开源硬件设计数据源，用于训练专有模型与
构建检索型知识库。仓库先立骨架，把合规红线、数据 schema 要求、
爬虫规约写在 CLAUDE.md 里，避免后续实现时各站点爬虫写法发散。
- plan.md 用阶段化路线图明确"先广度后深度、先合规后规模"的策略，
让放量前必须经过 Charles 对齐一次，降低存储与法律风险。
Contents:
- README.md: 项目简介、数据源表、仓库结构、合规声明
- CLAUDE.md: 项目级 Claude 指令（工作流 / 爬虫规约 / 合规红线）
- plan.md: Phase 0-6 分阶段计划 + 风险与未决项
- log.md: 首条日志（调研 + 初始化记录）
- .gitignore: 排除 data/{raw,processed,state} 内容，保留目录占位
- 目录骨架: crawlers/ schemas/ scripts/ data/ docs/sources/
Co-Authored-By: Claude Opus 4.7 (1M context) <noreply@anthropic.com>
|
2026-04-23 18:58:10 +08:00 |
|