Skip to content

Repository files navigation

cuscuta

CI Build Helm Chart cuscuta-entry cuscuta-worker cuscuta-chilo License

欢迎来到cuscuta的Sekai!ヾ(^▽^*) ……虽然这里乏味而无趣(并且还未完成)

cuscuta是一个分布式爬虫,用于爬取xxxxxx的成绩数据

部署

cuscuta提供了Docker compose和Helm两种部署方法,推荐使用Helm部署方法

部署指南参见部署(简体中文) | Deployment (English)

接入

cuscuta是一个Web服务,使用RESTful API暴露服务,若欲调用现有的cuscuta服务,请参考OpenAPI文档

详情

cuscuta包括一些组件

名称 用途
cuscuta-entry 处理入站流量,暴露服务,分发任务,目前理论 不可扩展(仅单例)
cuscuta-worker 实际处理任务,理论可扩展
cuscuta-common entry和worker的通用组件
cuscuta-chilo chilo的一个WebAPI包装,被worker依赖,理论可扩展
cuscuta-mock worker的mock用镜像
cuscutactl cuscuta集群的一个简易命令行管理工具(半数以上使用AI生成)

设计与原理

关于cuscuta的设计,参见cuscuta的草稿 - 4

致谢

感谢@qianmo2233对架构设计的支持!

感谢@Hoyoak提供的题解!

Development of cuscutaceae is made possible by contributors like you!

About

[WIP] 一个实验性的分布式爬虫,用以实现对某资源的整合

Resources

Stars

Watchers

Forks

Releases

Packages

Contributors

Languages