掌声通过大规模采购培训数据来针对AI偏见

当今,人工智能(AI)领域面临的最大挑战之一(也是许多挑战)是有限的培训数据所造成的固有偏差。例如,研究人员已经证明了亚马逊的面部分析软件如何在某些种族中比其他服务更不准确地区分性别,而民主党总统候选人充满希望的参议员伊丽莎白·沃伦(Elizabeth Warren)已呼吁联邦机构解决有关算法偏见的问题,例如美联储的交易方式。与放贷歧视。

在这种背景下,“狂野的”软件测试公司Applause希望通过一项新服务“重塑”人工智能测试,该服务通过将更大的培训数据集众包来更好地检测AI偏见。

简要回顾一下,总部位于马萨诸塞州的Applause(以前称为uTest)为Google和Uber等公司提供了一种不同类型的应用程序测试平台,该平台可以吸引全球成千上万“经过审核”的真实世界用户消除错误并解决可用性问题-都是要利用人群的力量,而不是完全在人为的实验室环境中进行测试。在2017年被投资公司Vista Equity Partners收购之前,该公司已经筹集了超过1.15亿美元的资金。

实际结果

掌声平台的一个关键方面不仅是其社区中大量的人群测试人员,而且还包括人口多样性,包括语言,种族,性别,地理位置,文化,兴趣爱好等等。这可能是主要的卖点之一,因为Applause希望重新采用其技术,为公司提供访问各种AI培训数据的机会。

掌声产品副总裁克里斯汀·西蒙尼尼(Kristin Simonini)表示:“这不仅可以改善全球各地消费者的AI体验,而且社区的广度还可以缓解偏见,并使AI更具现实意义。”

掌声的AI培训和测试服务涵盖五种核心AI类型,包括语音,光学字符识别(OCR),图像识别,生物识别和聊天机器人。例如,如果公司需要快速为虚拟语音助手提供各种培训数据,则可以要求各个地区的掌声用户记录并提交特定的语音。同样,他们可以提交物体或地点的照片,或者与聊天机器人互动以消除偏见。如果他们正在测试基于生物特征的安全产品,甚至可能会要求他们提交自拍照和指纹。

也许更重要的是,Applause承诺速度和规模可用于收集培训数据和测试输出,从而使公司能够实时从最终用户那里获得快速且迭代的反馈。这可以像持续的反馈循环一样工作,收集的数据用于改进AI算法,然后在掌声社区中进行重新测试。

Simonini补充说:“用户希望AI变得更自然,更人性化。”“掌声的众包方法提供了AI所缺少的东西:发布之前,各种各样的,大量的真实人类交互。”

目前,类似的举措还包括亚马逊的Mechanical Turk,它可以用于众包数据以进行机器学习实验。DefinedCrowd,可帮助创建用于AI模型训练的定制数据集;和德国的Clickworker,后者专门研究机器视觉和对话式AI。

然而,得益于与世界上一些最大的科技公司进行的十多年的软件测试,Applause处于有利位置,可以利用其在开发人员社区中的现有存在,并提供经过审查的人群测试人员,以通过减少偏差来改善AI应用程序。