爬虫设计代码仓库

这是给老师查看的爬虫设计代码包，只包含和“工作簿行与爬虫 source 映射设计”有关的代码。

老师优先看这些

1. docs/爬虫开发档案.md

   • 记录开发对象、source 拆分原则、复用原则和 ASX 官方目录源实现；
   • 说明为什么不是“一个爬虫对应一行”。

2. src/mappings/one_row_multiple_sources.json

   • 哪些工作簿行由多个 source 支撑。

3. src/mappings/one_source_multiple_rows.json

   • 哪些 source 被多个工作簿行复用。

4. src/services/pipeline/manifests/

   • 259 个 source 的 manifest 配置，完整代码入口以这里为准。

5. src/services/pipeline/external/wu_crawlers_20260625/

   • 外部 crawler 包，包括 ASX、YouTube、公告、新闻等 source 的 registry、runner、parser。

6. src/services/pipeline/pipeline/registry/

   • 统一 connector 代码，包括 ApiConnector、CsvConnector、HtmlScraper、RssConnector、ExternalCommandConnector。

关键设计例子

一行对应多个 source

工作簿第 198 行 ASX上市矿企列表·完整版 同时使用：

• company-asx-listed-companies-directory
• wu-asx-mining-stocks-html
• spglobal

原因：官方上市目录、矿企市场数据、行业新闻补充信息的字段和稳定性不同，不能合成一个大爬虫。

一个 source 对应多行

team-c-c01 同时服务第 2、3、128 行。

原因：同一个 Yahoo Finance/API 来源可以同时支撑 ASX 股票快照、ASX 日线历史和 Yahoo Finance 类需求，复用 source 可以避免重复抓取和重复维护。

说明

本仓库是从项目中抽取的教学查看版代码包，不包含 raw output、本地运行产物、.tmp、缓存文件或带本机绝对路径的原始 handoff 全量文件。