算法单一文化的影响取决于具体细节
AI 工具在某些场景下正在逐步取代人类判断。例如,在招聘中常用的简历筛选算法,可以提高决策的效率和一致性。然而,自动化系统的广泛采用可能导致某一领域内所有决策都由同一算法完成,这种所谓的算法单一文化可能带来负面影响。
在招聘领域,算法单一文化可能引发系统性排除问题:一旦某个候选人被某家公司的算法拒绝,由于其他公司使用相似的算法,他可能也会被拒绝。MIT 研究团队对此展开了深入分析,认为算法单一文化并不总是像一些学者描述的那么糟糕。
他们系统评估了对算法单一文化的主要批评观点,包括系统性排除,发现这些批评要么在特定条件下成立,要么并未对所有形式的算法单一文化表达决定性反对。通过数学推导,研究人员指出单一文化容易形成信息回音室,限制信息多样性,从而阻碍有效探索。在招聘场景中,这可能导致优秀候选人难以脱颖而出。但研究者还展示了一种解决方法:将多种招聘算法整合为一个“集合”,从而缓解这一问题。这一策略有时甚至能使算法单一文化的效果媲美或超过多样化算法的效果。
“转向算法单一文化既是当前的趋势,也是 AI 应用带来的重要挑战。但我们无法在抽象层面判断单一文化是否绝对有害。这取决于具体的领域背景和算法本身的性能。” MIT 语言学与哲学系教授 Brian Hedden 表示,他同时隶属于电气工程与计算机科学系 (EECS) 和信息与决策系统实验室 (LIDS)。
Hedden 与 MIT 斯隆管理学院及 EECS 的 Drew Houston (2005) 发展教授、LIDS 主要研究员 Manish Raghavan 共同完成了该项研究,成果已发表于《哲学视角》。
算法单一文化并非新现象。例如,贷款决策过去由各银行独立做出,但如今多依赖来自 Fair Isaac Corporation (FICO) 算法的标准化信用评分。同样,多家《财富》500强公司也在使用相同的简历筛选算法。
“随着越来越多的人依赖 AI 和算法进行信息获取和决策制定,算法间的相关性及其潜在风险愈发引人关注。” Raghavan 指出。
为更好地探究这一议题,他与 Hedden 合作,从招聘场景入手,系统评估了算法单一文化的利弊。他们的方法同样适用于其他领域,如贷款审批。然而,他们也指出,诸如生成式 AI 内容创作或 AI 辅助的科学研究等领域,可能面临不同的挑战,算法单一文化在这些场景中可能更易引发问题。
研究人员首先分析了关于算法单一文化的常见批评之一——系统性排除问题。他们认为,该问题在某些情况下确实存在。例如,若所有公司采用相同的简历筛选算法,候选人一旦在某公司被拒,便可能在其他公司也遭排斥。但若公司间使用的算法存在差异,则该候选人可能在部分公司获得机会,从而缓解系统性排除的风险。
此外,研究人员指出算法单一文化还可能引发信息回音室效应,限制信息多样性,从而阻碍有效探索。在招聘中,这可能使最优秀的候选人难以被发现。然而,将多种招聘算法合并为一个“集合”可以克服这一局限性。这一方法有时甚至能使算法单一文化的效果与多样化算法相当,或更胜一筹。
研究人员强调,算法单一文化的影响并非一概而论,而是取决于具体细节,如所讨论的领域及算法本身的准确性。例如,若某一领域的所有决策均由同一算法负责,则该算法的准确性将直接决定单一文化的影响效果。如果该算法具有较高准确性,则单一文化可能带来积极效果。相反,若算法准确性较低,则单一文化可能招致负面后果。

算法单一文化确实会导致系统性排除,但MIT的研究也指出,将多种算法捆绑成一个集合,可以克服这一限制。这让我想起我之前用过的一个招聘工具,它竟然把我排除在外,因为我没有提到某个关键词。真是让人心疼。