俄勒冈州立大学的一名博士生与Adob​​e的研究人员合作，成功提出了一种新的人工智能系统训练方法，这种方法不仅更高效，而且提供包含可被视为社会偏见的想法和行为的解决方案的可能性更低。

众所周知，人工智能聊天机器人在回答各种问题时，往往会给出带有种族偏见的答案，许多研究工作都针对这一问题。现在，一种新的训练方法可以解决这个问题。这种方法被称为“公平重复数据删除”或简称“FairDeDup”，是Adob​​e团队和俄勒冈州立大学工程学院博士生EricSlyman进行研究的成果。

删除用于AI训练的数据集的重复数据包括删除冗余信息，从而降低整个过程的成本。目前，所使用的数据来自互联网的各个角落，因此其中包含了人类经常产生并在网上分享的不公平或有偏见的想法和行为。

Slyman表示：“FairDeDup删除了冗余数据，同时加入了可控的、人为定义的多样性维度，以减轻偏见。我们的方法使人工智能训练不仅具有成本效益和准确性，而且更加公平。”如今，人工智能聊天机器人所推崇的偏见方法包括职业、种族或性别，还包括年龄、地理和文化相关的观念，这些观念显然是不公平的。

FairDeDup是早期方法SemDeDup的改进版本，尽管事实证明它是一种经济有效的解决方案，但该方法往往会加剧社会偏见。对这一领域感兴趣的人应该购买KrisHermans的《精通AI模型训练：成为AI模型训练专家的综合指南》，目前Kindle版售价9.99美元，平装版售价44.07美元。