随着机器学习的广泛普及，这项技术既带来了社会效益的机会，也存在产生危害的风险。负责任的机器学习具有挑战性，因为技术方法往往优先考虑便利性，并采用数学上的公平性定义，从而可能抽象化了现实世界中公平性的相关概念。相反，社会方法和理论尽管能够提供见解，但往往过于抽象，难以有效地转化为实际操作。在本论文中，我们将描述在整个机器学习流程中的研究，这些研究桥接了上述两种方法，并利用社会影响来指导技术实践。
首先，我们将讨论数据集偏差的含义，特别是考虑到视觉图像数据集的偏差。接下来，我们将探讨这种偏差在模型训练过程中的影响，包括在微调和考虑交叉性（intersectionality）时的情况。最后，我们将探讨公平性衡量这一复杂问题。我们将通过分析偏差放大效应的复杂性，考虑刻板印象带来的实际危害，以及展示在图像描述任务中如何衡量多种表现性伤害来实现这一目标。通过这些研究，我们将展示如何通过更紧密地结合社会背景，尽管技术上便于抽象地考虑平等，也能够操作化出一种更为公平的方案。总的来说，我们将探讨如何在负责任机器学习中拓宽对平等的狭隘关注，以包含更广泛的公平性理解，从而更深入地与社会背景相结合。
引言
随着机器学习（ML）从研究阶段逐步应用于现实世界，它正在对社会产生深刻的影响。这项技术带来了巨大的潜在益处，但也引发了关于公平性的重要担忧，包括不同群体表现差异、不公平的风险预测、刻板的搜索结果等。到目前为止，我们倾向于从平等的角度来思考公平问题，因为平等在数学上更易于表述（例如，不同群体间的准确率相等）。然而，现在随着人们对负责任的机器学习问题的关注日益增加，以及解决这些问题的动力越来越强，我们需要更接近于“公平”的形式化定义。作为公平性的“公平”更关注社会背景和历史不公，通过认识到不同人处于不平等的环境并具有不同的需求来实现更全面的公正性。然而，这种公平的概念更难以量化和实际应用于机器学习模型中。然而，为了确保技术的进步不会像历史上那样忽视边缘化群体，这种量化是至关重要的。
目前已有大量文献和研究领域在算法偏见的社会科学和人文学科方面做了深入的研究。然而，像“正义”和“公平”这样的概念如何转化为机器学习方法却并不总是显而易见，这也部分解释了为什么现有的技术方法往往偏向于数学上便于操作的“平等”概念。尽管确实不可能完全量化社会背景中的概念，也不能完全依靠技术来解决这些问题，但认为这些概念太定性或主观而无法量化的观点却导致了对它们的忽视。接下来，我将描述一项研究计划，旨在将这些重要的社会结构概念具体化到机器学习中。在这一过程中，势必要进行权衡，每种方法都有其局限性。然而，只有完全面对和参与真实世界的复杂现实，我们才能构建更接近公平的机器学习系统。
这在机器学习的各个方面都很重要——不仅仅是构建机器学习系统，还包括思考系统嵌入的结构、允许的使用场景和问题定义。然而，鉴于本论文的范围，我们将主要关注机器学习系统本身的各个方面，同时承认很多时候最重要的问题在于一个特定的系统是否应该被构建。
在本论文中，我们将深入探讨如何将负责任的机器学习具体化，按照机器学习管道的顺序，从数据集入手，逐步讨论模型训练，最后分析模型评估。
首先，在第二章中，我们将讨论机器学习数据集中的偏见，尤其是图像数据集。数据集是所有机器学习模型的基础，因此不可避免地包含一些对世界的有偏见的呈现方式。尽管最终有害的偏见类型会因下游应用的不同而异，但对于数据集创建者和用户来说，了解数据集中的偏见特征是非常重要的。鉴于这些数据集的规模及其潜在的偏见，我们提出了一种半自动化的偏见发现工具。研究表明，性别刻板印象对不同性别群体造成不同程度的危害，这引发我们对社会身份在认识论权威方面的相关性的思考。最后，在第七章中，我们将整合这些主题，提出一套全面的衡量图像描述系统中表现性伤害的方法。许多衡量标准彼此冲突，也就是说不可能同时改进。因此，通过提出多种衡量方法而非集中于单一标准，我们希望能直接揭示这些冲突，并展示模型选择和训练过程中需要在期望的公平性结果上作出抉择。
总之，我们将按照机器学习管道的顺序，从数据集开始，最终到模型评估，展示如何在负责任的机器学习中更深刻地与社会背景进行互动，以构建更公平的机器学习系统。
接下来，我们将讨论ML模型的训练。在第三章中，我们将讨论数据集在预训练和微调中的作用。目前，模型和数据集都太大，无法每次都从头开始训练。因此，利用迁移学习的优势，首先在更大的数据集上进行预训练，然后针对更小、更具应用性的特定数据集进行微调。虽然对用于预训练的大规模数据集的偏见存在一些担忧，但我们的研究表明，这些偏见可以通过对微调数据集的相对较小的调整得以克服，且性能几乎不受影响。在考虑模型训练的另一个相关问题时，我们将在第四章讨论公平性方法往往集中于同时处理两个群体，如男性和女性，白人和黑人。然而，现实世界远比这复杂得多，需要理解并处理交叉性问题。我们不仅提供了关于如何将交叉性纳入考虑的指导，还讨论了具体的实施方法。
继续推进机器学习管道，最后三章将讨论公平性评估这一常被忽视的步骤。在这些章节中，我们首先在第五章讨论一种实现社会偏见放大的方法。在此过程中，我们将展示我们在技术工作中通常所做的假设如何在社会环境中并不总是适用，因为这些假设破灭所带来的道德影响。社会偏见放大可以被看作是由刻板印象驱动的，因此在第六章中，我们将探讨机器学习误分类可能强化或打破刻板印象的实际危害。为此，我们将精确地定义何为“伤害”，并提出务实性和体验性伤害的不同类别。
专知便捷查看，访问下面网址或点击最底端“阅读原文”
https://www.zhuanzhi.ai/vip/a807f8c2a6df9c8c2b095065e0703312
点击“阅读原文”，查看下载本文
