算法单一文化的影响取决于具体细节
AI 工具正在逐步取代某些场景下的人类判断。例如,招聘中常用的简历筛选算法,可以提高决策的效率和一致性。然而,一些学者担心,自动化系统的广泛采用可能导致某一领域内所有决策都由同一算法完成,这种所谓的算法单一文化可能带来负面影响。
例如,在招聘中,算法单一文化可能导致系统性排除——一个候选人被某家公司的算法拒绝后,可能也会被其他公司的算法拒绝。然而,MIT 的研究人员认为,算法单一文化并不总是像一些科学家所说的那么糟糕。
他们系统地评估了对算法单一文化的主要反对意见,包括系统性排除,并得出结论:这些反对意见要么失败,要么并不决定性地反对所有形式的单一文化。相反,他们通过数学证明,单一文化倾向于创建信息回音室,这可能阻碍探索。在招聘中,这可能使最佳候选人更难获得工作。然而,将多种招聘算法捆绑成一个“集合”,可以克服这一限制,研究人员展示了这一点。这有时可以使单一文化的表现与多样文化相当,甚至更好。
“趋向算法单一文化是一个现实的情景,也是一个由 AI 使用带来的重要问题。但很难在抽象层面上说单一文化是否是坏事。这取决于具体细节,比如我们讨论的领域和算法本身的准确性。”研究的合著者 Brian Hedden 说,他是 MIT 语言学与哲学系的教授,同时在电气工程与计算机科学系 (EECS) 和信息与决策系统实验室 (LIDS) 任职。
Hedden 与 Manish Raghavan 合作完成了这项研究,Raghavan 是 MIT 斯隆管理学院和 EECS 的 Drew Houston (2005) 发展教授,也是 LIDS 的主要研究员。这项研究发表在《哲学视角》上。
算法单一文化,即某一领域内所有决策都由同一算法完成,并非新现象。例如,贷款决策曾由独立银行家在各自银行中做出,但现在所有银行家都使用基于借款人标准化信用评分的信息,这些评分来自 Fair Isaac Corporation (FICO) 算法。同样,一些简历筛选算法被许多《财富》500强公司广泛使用。
“担忧在于,随着越来越多的人使用 AI 和算法获取信息和做出决策,这种相关性发生的可能性更大。”Raghavan 说。
为了更好地理解这个问题,他和 Hedden 合作,系统地评估了算法单一文化的优缺点。他们以招聘为重点,但他们的方法也可以应用于其他领域,如贷款。他们指出,其他领域,如生成式 AI 内容创作或 AI 指导的科学研究,可能表现不同,单一文化在这些领域可能更具问题。
研究人员首先探讨了对算法单一文化的一个常见反对意见,即系统性排除。他们发现,这种反对意见在某些情况下可能成立,但在其他情况下则不成立。例如,如果所有公司都使用相同的简历筛选算法,那么一个候选人被某家公司拒绝后,可能也会被其他公司拒绝。然而,如果这些公司使用不同的算法,那么这个候选人可能会被某些公司接受。
研究人员还发现,算法单一文化可能导致信息回音室,这可能阻碍探索。在招聘中,这可能使最佳候选人更难获得工作。然而,将多种招聘算法捆绑成一个“集合”,可以克服这一限制。这有时可以使单一文化的表现与多样文化相当,甚至更好。
研究人员还指出,算法单一文化的影响取决于具体细节,比如我们讨论的领域和算法本身的准确性。例如,如果一个领域内的所有决策都由同一算法完成,那么这个算法的准确性将决定单一文化的影响。如果这个算法非常准确,那么单一文化可能带来积极影响。然而,如果这个算法不准确,那么单一文化可能带来负面影响。
研究人员还指出,算法单一文化的影响还取决于我们讨论的领域。例如,在招聘中,算法单一文化可能导致系统性排除。然而,在贷款中,算法单一文化可能带来积极影响,因为它可以提高决策的效率和一致性。
研究人员还指出,算法单一文化的影响还取决于我们讨论的算法的类型。例如,如果一个领域内的所有决策都由同一算法完成,那么这个算法的类型将决定单一文化的影响。如果这个算法是一个简单的规则,那么单一文化可能带来负面影响。然而,如果这个算法是一个复杂的模型,那么单一文化可能带来积极影响。
研究人员还指出,算法单一文化的影响还取决于我们讨论的算法的参数。例如,如果一个领域内的所有决策都由同一算法完成,那么这个算法的参数将决定单一文化的影响。如果这些参数是固定的,那么单一文化可能带来负面影响。然而,如果这些参数是可调的,那么单一文化可能带来积极影响。
研究人员还指出,算法单一文化的影响还取决于我们讨论的算法的训练数据。例如,如果一个领域内的所有决策都由同一算法完成,那么这个算法的训练数据将决定单一文化的影响。如果这些数据是偏见的,那么单一文化可能带来负面影响。然而,如果这些数据是公平的,那么单一文化可能带来积极影响。
研究人员还指出,算法单一文化的影响还取决于我们讨论的算法的评估方法。例如,如果一个领域内的所有决策都由同一算法完成,那么这个算法的评估方法将决定单一文化的影响。如果这些方法是不准确的,那么单一文化可能带来负面影响。然而,如果这些方法是准确的,那么单一文化可能带来积极影响。
研究人员还指出,算法单一文化的影响还取决于我们讨论的算法的应用场景。例如,如果一个领域内的所有决策都由同一算法完成,那么这个算法的应用场景将决定单一文化的影响。如果这些场景是复杂的,那么单一文化可能带来负面影响。然而,如果这些场景是简单的,那么单一文化可能带来积极影响。
研究人员还指出,算法单一文化的影响还取决于我们讨论的算法的使用者。例如,如果一个领域内的所有决策都由同一算法完成,那么这个算法的使用者将决定单一文化的影响。如果这些使用者是不专业的,那么单一文化可能带来负面影响。然而,如果这些使用者是专业的,那么单一文化可能带来积极影响。
研究人员还指出,算法单一文化的影响还取决于我们讨论的算法的使用频率。例如,如果一个领域内的所有决策都由同一算法完成,那么这个算法的使用频率将决定单一文化的影响。如果这些频率是高的,那么单一文化可能带来负面影响。然而,如果这些频率是低的,那么单一文化可能带来积极影响。
研究人员还指出,算法单一文化的影响还取决于我们讨论的算法的使用时间。例如,如果一个领域内的所有决策都由同一算法完成,那么这个算法的使用时间将决定单一文化的影响。如果这些时间是长的,那么单一文化可能带来负面影响。然而,如果这些时间是短的,那么单一文化可能带来积极影响。
研究人员还指出,算法单一文化的影响还取决于我们讨论的算法的使用地点。例如,如果一个领域内的所有决策都由同一算法完成,那么这个算法的使用地点将决定单一文化的影响。如果这些地点是偏远的,那么单一文化可能带来负面影响。然而,如果这些地点是中心的,那么单一文化可能带来积极影响。
研究人员还指出,算法单一文化的影响还取决于我们讨论的算法的使用设备。例如,如果一个领域内的所有决策都由同一算法完成,那么这个算法的使用设备将决定单一文化的影响。如果这些设备是低端的,那么单一文化可能带来负面影响。然而,如果这些设备是高端的,那么单一文化可能带来积极影响。
研究人员还指出,算法单一文化的影响还取决于我们讨论的算法的使用网络。例如,如果一个领域内的所有决策都由同一算法完成,那么这个算法的使用网络将决定单一文化的影响。如果这些网络是低速的,那么单一文化可能带来负面影响。然而,如果这些网络是高速的,那么单一文化可能带来积极影响。
研究人员还指出,算法单一文化的影响还取决于我们讨论的算法的使用环境。例如,如果一个领域内的所有决策都由同一算法完成,那么这个算法的使用环境将决定单一文化的影响。如果这些环境是恶劣的,那么单一文化可能带来负面影响。然而,如果这些环境是良好的,那么单一文化可能带来积极影响。
研究人员还指出,算法单一文化的影响还取决于我们讨论的算法的使用方式。例如,如果一个领域内的所有决策都由同一算法完成,那么这个算法的使用方式将决定单一文化的影响。如果这些方式是不规范的,那么单一文化可能带来负面影响。然而,如果这些方式是规范的,那么单一文化可能带来积极影响。
研究人员还指出,算法单一文化的影响还取决于我们讨论的算法的使用目的。例如,如果一个领域内的所有决策都由同一算法完成,那么这个算法的使用目的将决定单一文化的影响。如果这些目的是不合法的,那么单一文化可能带来负面影响。然而,如果这些目的

算法单一文化确实会导致系统性排除,但MIT的研究也指出,将多种算法捆绑成一个集合,可以克服这一限制。这让我想起我之前用过的一个招聘工具,它竟然把我排除在外,因为我没有提到某个关键词。真是让人心疼。