起因就是B站刷到别人部署的聊天机器人有点意思,加上本来也想研究下LLM,所以翻了不少帖子,阴差阳错的被安利了Astrbot这工具,正好1panel商店里可以直接部署,顺手就架上了,再搭配napcat当载体,就有了现在这个机器人。
搭好了就要找模型吧,我直接去问豆包,回答就是DeepSeek和豆包天下无敌...好吧,然后又查了查免费的模型,最后就开始全网薅羊毛,什么硅基流动、派欧云、火山方舟,Gitee上挨个注册,不得不说新手期就是爽,送了一大堆额度。
但是前期我完全不懂提示词要怎么配置,一顿瞎调,再配合Astrbot上各种记忆插件,每天都浪费成吨的token,送的那点免费额度马上就被霍霍没了,还往里面充了不少钱。反复试错之后,还是觉得DeepSeek v3.2和Doubao Seed 1.6最对味,该有的上下文、工具调用功能都有,还能聊NSFW的内容(期间调了个魅魔橘光,能在群里随意发情...你看你压抑的.jpg),token价格也相对实惠,缺点就是没有多模态能力,要靠Qwen3 VL 235B和GLM 4.6V Flash这种视觉模型补位,好在派欧云大方,送的免费券有两百多块,能勉强撑到3月份。
不过派欧云有个挺烦人的槽点——不充满额度就限访问次数,每分钟只有5rpm,经常是聊到一半就500报错了,这一点还是硅基流动实在一点,免费用户给了相当多的rpm。期间也试了不少免费LLM,只能说免费的果然有代价:要么翻来覆去重复同一套回答,要么束手束脚放不开,说点骚话就拒绝回答,远不如DeepSeek v3系列和豆包1.6顶用。
机器人搞定了后,我马上分享到群里让群友们一起玩,结果立马就炸了,要么是token流水爆炸,要么是rpm超时,期间为了迎合群聊开了一大堆神秘插件(找游戏、游戏签到、生图),最后发现没啥人用,我就限制了只能私人聊天,不然我派欧云送的那几百块代金券也撑不过一个星期。
中途出了个小插曲:我的老服务器是联想M710q装了飞牛OS,CPU就i5 7600T,8G内存,虽然跑这个机器人并不怎么吃性能,但是有的插件需要本地调用RAG,飞牛后台还会挂一些相册和下载任务,我就整了个16G的内存,后来要开MC服务器,我担心CPU太垃圾导致服务器崩溃,只能先把机器人停了。直到换了12450H的小主机,性能有了富余,才敢重新启动机器人,总算不用在MC和机器人之间二选一了(实际上16G依旧有些不够用,模组服太吃内存了)。
也就这几天吧,想把LLM换成谷歌的Gemini 2.5 Flash,听说免费额度还挺多的,在Astrbot的热门插件上出镜率也挺高的,我就折腾了下docker部署Mihomo,打通代理。
调完了就试了一下,效果直接超出预期,响应速度和流畅度都在线,比国内的那几个真免费的模型确实要强多了,其实我对聊天机器人要求无非就是:可爱,能读懂照片,能聊NSFW,最好还不需要啥开销....嗯,到这一步机器人总算像点样子了。
这段时间折腾下来,也算摸透了LLM的一些门道。中途还动过本地部署的念头,本来想拿Mac mini M4 16G跑画图和视觉模型,结果实测下来效果太拉了,根本没法正常用,后来直接用Gitee上的Qwen Z-image免费画图了==。
更新:一定要在Astrbot的配置文件里把上下文限制(LLM压缩)打开,再配合记忆插件,不然token流水轻松破上限...




