外源 RSS 稳定采集流水线
范围
| 项 | 说明 |
|---|---|
| 运行机 | ssh ali(123.57.222.9) |
| 目录 | /root/workspace/techblog-collection |
| 入库 | MySQL llamafactory.rss_feed_data |
| API | https://api.llamafactory.cn/rss |
| 前台 | https://www.llamafactory.cn/feed/ |
稳定源(config.yaml)
科学空间、量子位、宝玉、CSDN、机器之心(bestblogs)、Simon Willison、Huggingface(经 Render)。
暂不纳入流水线:知乎、微信公众号(Render 不稳,配置为空或 RSS_SKIP_SOURCE_TYPES 跳过)。
调度
每天 2 次(上海时区举例:06:15、18:15):
cron
15 6,18 * * * /root/workspace/techblog-collection/scripts/collect-now.sh >> /root/workspace/techblog-collection/cron-collect.log 2>&1 # techblog-stablecollect-now.sh 使用 flock,禁止与常驻 collect.py(无 --now)并行;勿再 python collect.py 无参数常驻。
验收
bash
curl -sS 'https://api.llamafactory.cn/rss/list?page=1&pageSize=3' | python3 -m json.tool
# pubDate 应为近日
curl -sI 'https://www.llamafactory.cn/feed/'