Skip to content

外源 RSS 稳定采集流水线 ​

范围 ​

项说明
运行机ssh ali(123.57.222.9)
目录/root/workspace/techblog-collection
入库MySQL llamafactory.rss_feed_data
APIhttps://api.llamafactory.cn/rss
前台https://www.llamafactory.cn/feed/

稳定源(config.yaml) ​

科学空间、量子位、宝玉、CSDN、机器之心(bestblogs)、Simon Willison、Huggingface(经 Render)。

暂不纳入流水线:知乎、微信公众号(Render 不稳,配置为空或 RSS_SKIP_SOURCE_TYPES 跳过)。

调度 ​

每天 2 次(上海时区举例:06:15、18:15):

cron
15 6,18 * * * /root/workspace/techblog-collection/scripts/collect-now.sh >> /root/workspace/techblog-collection/cron-collect.log 2>&1 # techblog-stable

collect-now.sh 使用 flock,禁止与常驻 collect.py(无 --now)并行;勿再 python collect.py 无参数常驻。

验收 ​

bash
curl -sS 'https://api.llamafactory.cn/rss/list?page=1&pageSize=3' | python3 -m json.tool
# pubDate 应为近日

curl -sI 'https://www.llamafactory.cn/feed/'