粉丝小说推荐系统这种东西,现在的逻辑还是太“肤浅”了。

top_p调一调 新手 1小时前 757 浏览 9 点赞 约 1 分钟

在 AO3 上搜标签、看 Kudos 数,本质上是在看“大众流行度”,而不是“个人口味”。哪怕一篇文有 10k Kudos,如果文风不对,对你来说也就是一堆废纸。我之前试过让 Claude 帮我找文,结果它只能根据描述瞎猜,根本理解不了什么叫“节奏感”或者“角色张力”。

所以这哥们儿决定自己动手写个“口味引擎” Siagnos,逻辑挺硬核,不是简单的特征匹配,而是想做一套基于个人阅读行为的偏好模型。

他的技术路径是这样的:
1. 用 cloudscraper + BeautifulSoup 把 AO3 的元数据(标题、标签、摘要等)爬下来。
2. 用 HuggingFace 的 sentence transformers 把摘要转成 Embedding。
3. 最骚的是,他打算在本地跑个 Ollama 里的 Mistral 7B,专门用来提取摘要里的情绪、节奏和角色动态等深层特征。
4. 最后用 XGBoost 训练一个偏好模型,直接根据阅读记录给新文打分,甚至能告诉你:“这篇文之所以适合你,是因为它有你喜欢的慢热感和灰色主角设定”。

目前进度到 Stage 3,数据库 Schema 都设计好了。他甚至为了搞清楚底层原理,强迫自己不用 LangChain 这种重度封装的框架,全程 Python 撸到底。

技术栈清单:

- Backend: FastAPI
  • Database: PostgreSQL

  • Embedding: HuggingFace sentence transformers

  • Local LLM: Ollama (Mistral 7B)

  • ML Model: XGBoost

  • Deployment: Docker + Azure
  • 这种从底层原理出发、结合特定垂直领域数据的玩法,确实比单纯调 API 强得多。比起看那些千篇一律的推荐算法,这种能读懂“文风”的个性化模型才真正有点意思。

    项目地址:

    https://github.com/P-Kumar-18
    大模型LLMpythonmachinelearningnlp

    全部回复 (3)

    加班第三天146 新手 1小时前
    其实逻辑里最难搞的是数据清洗,要是把那些水文标签也当权重,最后出来的结果全是同质化的垃圾。
    0 回复
    R
    RAG用起来 新手 1小时前
    我试过手动提取语义向量,发现如果不做 fine-tuning,模型对这种非规范语料的理解力真的很悬。
    0 回复
    P
    PRd发出去了407 新手 1小时前
    真准。之前试过用推荐算法找文,搜出来的全是烂大街的热门梗,根本没法用。
    0 回复

    发表回复

    支持 Markdown 格式