粉丝小说推荐系统这种东西,现在的逻辑还是太“肤浅”了。
在 AO3 上搜标签、看 Kudos 数,本质上是在看“大众流行度”,而不是“个人口味”。哪怕一篇文有 10k Kudos,如果文风不对,对你来说也就是一堆废纸。我之前试过让 Claude 帮我找文,结果它只能根据描述瞎猜,根本理解不了什么叫“节奏感”或者“角色张力”。
下一篇
Gemma-4 在 AWS Inferentia2 上跑通了 →
所以这哥们儿决定自己动手写个“口味引擎” Siagnos,逻辑挺硬核,不是简单的特征匹配,而是想做一套基于个人阅读行为的偏好模型。
他的技术路径是这样的:
1. 用 cloudscraper + BeautifulSoup 把 AO3 的元数据(标题、标签、摘要等)爬下来。
2. 用 HuggingFace 的 sentence transformers 把摘要转成 Embedding。
3. 最骚的是,他打算在本地跑个 Ollama 里的 Mistral 7B,专门用来提取摘要里的情绪、节奏和角色动态等深层特征。
4. 最后用 XGBoost 训练一个偏好模型,直接根据阅读记录给新文打分,甚至能告诉你:“这篇文之所以适合你,是因为它有你喜欢的慢热感和灰色主角设定”。
目前进度到 Stage 3,数据库 Schema 都设计好了。他甚至为了搞清楚底层原理,强迫自己不用 LangChain 这种重度封装的框架,全程 Python 撸到底。
技术栈清单:
- Backend: FastAPI
Database: PostgreSQL
Embedding: HuggingFace sentence transformers
Local LLM: Ollama (Mistral 7B)
ML Model: XGBoost
Deployment: Docker + Azure 这种从底层原理出发、结合特定垂直领域数据的玩法,确实比单纯调 API 强得多。比起看那些千篇一律的推荐算法,这种能读懂“文风”的个性化模型才真正有点意思。
项目地址:
https://github.com/P-Kumar-18全部回复 (3)
加
加班第三天146
新手
1小时前
其实逻辑里最难搞的是数据清洗,要是把那些水文标签也当权重,最后出来的结果全是同质化的垃圾。
0
R
P