自荐生数据结构考什么（李玉莹招录自动化决策中性别歧视的阶段类型及反思）

李玉莹 黑龙江大学法学院博士研究生

2022年政府工作报告中指出：坚决防止和纠正性别、年龄等就业歧视，着力解决侵害劳动者合法权益的突出问题。招录自动化决策作为个人信息利用以及自动化决策的人机协同综合应用体，理应受到个人信息保护法第24条的禁止歧视性后果及通用数据保护条例对于算法歧视的一般约束。对应自动化决策在就业招录过程中的三阶段，即：适聘对象的广告自动化推送——应聘简历的自动化初筛——拟聘人员的自动化预期判断，结合个人信息保护法第24条三款内容，从性别视角对招录自动化决策带来的性别歧视表现进行分析，并提出以是否自知为考量思路的规制路径。

引言

现在时代，算法深度参与了不同情境下的信息提取、分析与决策，越来越多地渗透到人类生产与生活，塑造了新型法权关系，促使人类社会秩序发生深度变革与重构。在算法参与下社会逐步由传统型过渡到智慧型，自动化决策逐步替代人工决策。构建开放协同的人工智能科技创新体系，是新时代深入创新驱动发展的战略要求。大到社会的综合治理、政府服务类型的转变，小到企业招聘、生产经营的确定、人们日常消费、出行交通、住宿旅游都因此而受到影响并得以便利。与此同时，信息数据也搭乘着智能的便车，被不露痕迹的自然收集，形成了“大数据”的时代背景。在大数据的“喂养”下，自动化决策利用各种数据信息的反馈，还原人、预测人、影响人，形成了“数据塑造人，自动化决策评价人”的社会现状。

有评价即有标准，有标准即有价值判断，有价值判断即有选择。自动化决策一旦涉及信息数据的处理以及社会治理的选择，就不应被简单的认定为计算机时代的理性工具，而应考虑其背后所承载的人文价值。谈及自动化决策的亮点时，人们往往会不约而同地认为其克服了人工决策的偏向性，形成了“机器是理性的，算法是中立的，从而推导出自动化决策是可信的”自洽逻辑。但现在算法“不理性、不中立”的判断以及自动化的决策存在歧视已然成为共识，自动化歧视的普遍性被从场景区分、表现形式以及驱动途径等角度验证，从而探讨出不同阶段、主体、维度的规制方法，尽可能减少自动化决策的歧视后果。

在就业领域，自动化决策利用算法黑箱等特点，隐藏了其背后的性别歧视问题，给我国的反就业性别歧视的基本价值追求带来时代性挑战。大部分学者将自动化的招录决策视为一个整体阶段，将其套用到传统的算法歧视类型当中，概括性的进行性别歧视分析，但招录实际是一个包括受聘广告的自动化推送-应聘简历的自动化初筛-拟聘人员的自动化确定的三阶过程，这三个阶段的歧视类型及表现不尽相同，有必要以是否自知作为新的类型划分依据进行三个阶段性别歧视的细致区分。同时个人信息保护法第24条系统规范了个人信息处理者在利用个人信息进行自动化决策时义务。关于这一条的价值阐述，学界有着不同的讨论。如杨立新教授认为其承载了个人对自动化决策的知情同意权及保障价值，王利明教授在此基础上更多的关注到了其在规制算法黑箱的隐藏下，算法歧视以及大数据杀熟的价值。本文试在个人信息保护法第24条所体现的反歧视价值为背景，以“性别”为视角，结合它在个人信息以及就业招录中的双重价值属性作为切入点，展开自动化决策在招录中的性别歧视的两种类型三个阶段的讨论，进一步展开规制路径思考，以期完善现有的招录自动化决策所引发的性别歧视规制内容。

一、从性别视角谈个人信息保护法第24条背景：自动化招录决策与性别歧视

性别在不同法律语境下发挥着不同的价值作用，在个人信息的区分类别里，它属于个人基本信息，在就业招录过程中属于就业平等的基本特征，以自动化决策为前提，可以从这一角度将个人信息保护法第24条理解为：企业禁止利用自动化决策在就业招录中实施性别歧视。个人信息保护法第24条为何会明令禁止自动化决策带来歧视性后果呢？深究其背景的就是自动化招录决策与性别歧视的法理依据。

自动化决策在就业招录领域的应用开启了新型的人力资源招聘模式，促成了个人以及企业的双向便利。个人通过自动化决策的条件设置，不断筛选适合自己的岗位，最终向心仪的岗位投发简历；同样的现代企业利用自动化进行招录决策已成为常态，大部分企业利用自动化决策，实现人才的选拔与录用。相较于传统形式的人力资源招聘，大部分的企业会期待大数据的分析和自动化的决策能够理性的克服人为偏见，减少招录中的性别歧视，从而承担其反性别歧视的企业责任。自动化决策在招录阶段利用简单的算法建模，看似客观的信息数据，进行着常人难以理解的运算、推理与论证，决定着招录过程中每个人的去留。

但是，诚如引言中所提到的，自动化决策一旦涉及信息数据的处理，就不应被简单的认定为计算机时代的理性工具，而应考虑其背后所承载的人文价值。从本质来看，自动化决策实际上是人机交互的产物，其所依赖的算法在计算机领域被定性为解决问题的方案或者指令的集合，在法学领域被拟化为一种物体，不管是何种定性，算法本身并不存在任何的人文价值，只是实现目的的理性工具，但在过程中被人为地或不经意赋予了各种各样价值选择。同样以数据和算法为运算的基础和逻辑的自动化决策，并没有完全脱离人的价值判断与选择，会被刻意或者不经意间植入带有性别歧视的因素，形成自动化决策的性别歧视。有学者称其称为“就业歧视的3.0阶段”。但是与传统的就业性别歧视相比，招录自动化决策中的性别歧视类型多样同时也更具有隐蔽性，就歧视危害而言影响也更大。

（一）招录自动化决策中性别歧视的两类型

当代社会持续性生成性别歧视的主要动因源自个体的外显偏见以及社会性别的内隐偏见。歧视发端于认知，认知产生表达与选择。区别于传统招录过程中的人为认知，招录自动化决策是人机交互的过程。在自动化决策对个人信息与数据分析的过程中，用人单位或机器的价值认知和选择通过运算予以表现。因此招录自动化决策的性别歧视主要有两种类型的区分，一种是以自动化决策为隐藏的用人单位自知的性别歧视，另一种则是基于个体无意识的偏见促使了社会内隐偏见下不自知的性别歧视。

第一种自知的性别歧视。其实原理上其与我们传统意义上所讨论的招录就业性别歧视构成上别无二异，唯一一点值得去区分与讨论的是载体的不同。传统的就业性别歧视主要来源于决策人员或者企业主观的偏见，具有鲜明的歧视性，也是我国《就业促进法》等反就业歧视法律中所明确禁止的性别歧视表现。这种规制已经形成了相应的体系，因此对于这种传统意义上的显性性别歧视，无论是从事前的预防还是事后的救济都非常的全面。但是招录自动化决策中的显性决策偏见实际上有所隐藏。因为自动化决策背后的设置是不为我们常人所知晓的，甚至被有些企业扣上了“商业秘密”的帽子。因此实际上每一个被自动化决策所决定命运的当事人，实际上对于自动化决策的标准、依据以及分析是并不知晓的，这就给了企业很大的“操作”空间。原理上自动化决策忠于计算机程序的运行规律即“输入即所输出”，那么如果存在自动化决策的显性偏见输入，那必然会导致显性偏见的输出。自动化决策的背后体现的是程序员或者是相应企业的利益和价值判断。因此企业在选择，程序员在设计的时候一定会遵循或自己或利益追求的价值，在自动化决策的设计过程中植入自己的主观偏见，或者在将偏见设置为筛选条件从而影响自动化决策。

在自知的性别歧视前提下，性别歧视是如何表现的呢？假设甲乙两人具备完全相同的前置条件，不同点在于乙是女性，该企业或者是设计者如果更想要男性通过招录，就会通过设置自动化决策在打分时因为性别是女而分数会低于男性。再比如，假设女性各项条件都符合基本要求，只是尚未婚育，而企业或者设计者在是否婚育上的设置将尚未婚育设置为减分项目，从而导致了其余条件尚不如该女性的男性被录用，导致女性被运算出不被录用的结果。实际上这些例子都暗藏了企业对女性的性别歧视，加剧了企业内部的结构不合理，助长了企业招录时性别歧视的嚣张气焰。而以商业秘密作为幌子，被性别歧视的当事人实际上是并不知情的，这也是我国个人信息保护法第24条规定的初衷，目的就在既然利用当事人的个人信息进行了决策，那就不能基于此实施不合理的差别待遇，当事人对通过自动化决策作出对个人权益有重大影响的决定享有要求说明的权利。

第二种不自知的性别歧视是假设一个完全不存在任何人为偏见的前提下，我们可以尽最大可能实现，企业与设计者的价值正义，这样看起来我们似乎有效地避免了第一种显性的决策偏见，那在这样的前提下，自动化决策就不会存在偏见了吗？答案实际上是否定的。虽然目前很多学者都提出我们所处的人工智能时代，实际上是弱人工智能时代，也有学者认为我们现在所讨论的是一种智能增强即IA（Intelligence Augmentation），尚未达到完全人工智能即AI（Artificial Intelligence）程度。但是虽然现在的自动化决策还没有完全达到人类的主动思维程度，但本质上是它是具备一定适应性以及内部复杂性的，甚至在伦理问题上有着一定的自觉性。也就是说在其具备初步的自我学习、自我进化的能力基础上，假设最大程度实现理想状态下的“技术中立”，数据获取、分析、决策所采用的集本以及数据高度发展后的学习，仍然可能会导致数据与机器并不能达到中立性与客观性。

在隐形决策偏见的前提下，性别歧视的表现主要潜藏在自动化决策运算逻辑中。比如企业将历年的入职人员简历及特征进行统计，并作为就业招聘的数据集导入自动化决策程序中，其实作为自动化决策的分析基础的数据集中暗含了该企业历年来男女招录比，算法经过分析发现，该公司历年来对女性的招录占比就少，那么它可能就会自动学习到这点从而会对女性求职者进行低于男性求职者的评价，最终可能会导致性别歧视的发生。或者是数据集来自社会数据库，看起来相对理性客观，但是实际上，社会数据中也暗含了一定的社会性别歧视，求职者性别与社会对某一群体的性别角色期有时并不一致，而自动化决策所学习的必然是求职者性别与社会对某一群体或某一工作的性别类型相匹配。比如社会性别的观念中一些高精尖的就业岗位往往并不适合女性，而一些劳动密集型的就业岗位更适合女性，这种所谓的适合标准实际上就是来自社会的刻板性别歧视，而自动化决策一旦以这些看似中立的社会数据所喂养，实际上就已经在不自觉中以社会性别的角度在实施性别歧视的决策。

（二）招录自动化决策中性别歧视的危害

技术理性带来了人文流失。表面看招录自动化决策的性别歧视，以算法黑箱作为隐藏，利用性别作为决策的筛选、分析、应用的标准，侵犯了就业招录过程中的性别平等就业权。但实际上，自动化决策所带来的性别歧视后果危害远不及这些。传统的人力资源招聘模式所带来的性别歧视问题以及显性的自动化偏见决策可以通过法律规制、个人偏见的矫正、偏见数据的修正等方式妥善解决，但是隐形自动化决策所实施的性别歧视来源具有未知性，影响范围广，后果严重且不易被发掘。自动化决策获取、分析以及应用所依赖的数据集以及自主学习中所获取的社会偏见，只需要给泛型算法提供数据，自动化决策就会根据数据建立自己的逻辑，这种性别歧视大概率上是无法避免的。自动化决策并未彻底改变就业招录中性别歧视的现状，相反在算法黑箱的遮蔽下，掩饰着背后或主观或社会刻板的性别歧视，影响抽象、广泛，不仅可能会被不良企业用来驱逐利益，更是对我国长久以来在就业领域反性别歧视工作的严峻挑战。

二、个人信息保护法第24条内含的性别歧视三阶表现

招录自动化决策实施过程中的性别歧视，并不是可以一概而论的。就招录而言，它本身就是一个过程性行为，从适聘对象的广告自动化推送，应聘简历的筛选，一直到最后拟聘人员的确定，实际上都取决于自动化决策的“操纵”，无形中潜藏着性别歧视的风险。因此个人信息保护法第24条也并非简单地用一个条文进行规定，而是分设三款，将反性别歧视的宗旨贯穿在招录过程的始终，分别体现在受聘信息的自动化推送、应聘简历的自动化初筛以及拟聘人员的自动化确定三阶段进行全面规制。

（一）第一阶段：适聘对象的广告自动化推送

个人信息保护法第24条第二款规定了针对个性化推荐的个人拒绝权，简单来说就是个人有拒绝通过自动化决策进行的个性推送的权利，在一定程度上对消费场景里由于自动化决策而导致的“大数据杀熟”现象进行了规范。但是，仅仅看到自动化推送在消费场景里的应用是不全面的，就业招录过程中也存在其适用的场景。最为明显的就是招聘广告的自动化定向推送。

招录自动化决策在第一阶段的原理类似于消费场景的“猜你喜欢”。企业首先确定具备某些个人属性特征的群体作为接收招聘广告的对象，通过对个人信息的分析对适聘范围内的个人进行招聘广告的自动化推送，将不符合特征需要的群体识别为不适聘对象，排除在接收广告的范围。即通过对于个人信息的掌握，进行目标人群的锁定，从而进行招聘广告的精准的投放。在这一阶段进行的性别歧视类型比较单一，多以企业的主观偏见为性别歧视的伊始。与传统招聘广告中的直接性别歧视不同，招录自动化决策在适聘对象的广告自动化推送阶段，看似依赖着中立的个人属性信息来投放广告，而这些所谓中立信息实际上与受保护的个人属性有着紧密联系。

分析这一阶段的性别歧视，需要结合大数据时代的数据留痕问题。诚如引言中所提到的，我们的日常生活中在享受智能生活带来的便利的同时，实际上也在给智能时代奉献着信息数据。这些信息数据可以拼凑出我们的样貌特征、一日三餐、日常交往甚至可以完美的复刻出一个由大数据拼凑的“我”，那自然在这种状态下，进行性别区分并非难事。企业通过算法运算将某一特定性别或者某一特定群体设定为不适聘范围，从而进一步限定了招聘广告的自动化推送范围，这种方式下，企业将自己的歧视意图隐藏，很难通过招聘广告发现该企业对某一群体或者某一性别的歧视。假设某企业就招录某一职位上，有着明显的男性倾向，他就会在选择投放招聘广告时，设置条件向更多的男性目标群众投放招聘广告，那么同等条件下，女性实际上就丧失了看到招聘广告的机会，从而实现了所谓的精准自动化推送，剥夺了未被推送到的群体知悉就业的机会。

（二）第二阶段：应聘简历的自动化初筛

个人信息保护法第24条第一款也是最重要的一款，即强调利用自动化进行决策的透明度和决策结果的公平公正。这一条所要解决的问题就是利用自动化决策实施的歧视问题，即不能利用自动化决策实施不合理的待遇。其实从性别视角来看，这一条所隐含的是针对的在自动化进行简历筛选过程中实施的性别歧视问题。

自动化决策在第二阶段的原理较为简单。企业将理想状态下的合适人员的个人属性输入，同时设定与工作相关的特征属性如：相关工作经历、有专业技能等，应用自动化决策对于不符合个人属性以及与工作相关的特征属性进行剔除，从而筛选出符合预期的简历。

然而这一阶段的实施的自动化决策性别歧视就具有复杂性，原因在于前述两种招录自动化决策的性别歧视类型在这一阶段都有可能存在。

第一种企业基于主观偏见自知的性别歧视。其实这种类型的主观偏见贯穿在整个招录过程中，但由于向适聘对象推送广告这一行为具有太多的不确定因素，并不能够确保基于偏见的筛选奏效，所以第二阶段中企业会利用自动决策的设置，将“某一特定性别”作为工作相关性的不符合特征，从而实现简历筛选过程中的性别歧视。例如：某企业更偏向于招募男性职工，较为直接的筛选方式是直接将“女性”作为不符合的个人属性，从而将女性的简历予以剔除；也还有些企业为了避免主观偏见过于明显，而利用设定与工作相关的特征属性进行针对女性的设置，如将“已婚已育”与“有充分的时间保证工作”进行关联，从而运算出已婚已育的女性无法匹配有充分的时间保证工作这一特征，从而对其简历进行剔除。

第二种则是不自知的自动化决策性别歧视。候选特征表面中立化，但是在自动化决策的运算过程中忽略了数据样本集的价值判断。

隐藏了相关性数据的偏向性，在数据分析的喂养下，通过比较，自动化决策筛选出经过合理运算得出的意义特征，从而输出歧视性结果。亚马逊公司针对筛选简历算法的失败尝试实际上就是这种自动化决策偏见最典型的代表，实际上亚马逊公司在一开始已经尽量地规避了显见的人为偏见，但是基于自动化决策自身通过数据集学习的能力，而并没有办法确保去偏见。因此亚马逊公司的这次失败是算法黑箱导致的必然结果。

因此，自动化决策对简历的筛选改变了传统的求职评估方式，通过数据分析以及属性特征的选择，决策出理想人选，缩小了简历审查的范围，大大提高了企业招聘效率的同时又能保证结果准确客观公正，但是不管是上述哪一种类型的性别歧视，在决策自动化的前提下，都要比传统意义上人工决策的危害要大，严重侵害了女性的平等就业权利。

（三）第三阶段：拟聘人员的自动化预期判断

个人信息保护法第24条的主要宗旨以及第三款所确定就是通过自动化决策方式作出对个人权益有重大影响的决定，个人有权要求个人信息处理者予以说明。实际上这一款所对应的阶段就是第三阶段。经过了招聘广告的自动化推送以及应聘简历的筛选，第三阶段也就是就业招录的最后一个阶段，即拟聘人员的确定，因此这一阶段也是个人最有可能要求企业进行决策说明的阶段。

自动化决策在这一阶段主要是依托第二阶段的简历初筛结果，在已经筛选完成的简历中进行推荐以及预期的推断。即在筛选出来的若干份符合特征性标准的简历中，按照与特征性标准的符合程度进行排序，同时结合数据信息，对各候选人的未来预期进行评价。从而推荐出最佳人选。

这一阶段的性别歧视大部分是不自知的自动化决策性别歧视。因为无论是特征性标准的符合程度排序还是未来预期的评价，都是自动化决策在被数据喂养后运用自身的逻辑而运算出的结果。例如，依据数据集中对现有应聘岗位的社会性别意识的学习，从而对符合该条件的女性进行低分评价，如像滴滴代驾或者外卖职业的评分中，女性往往得分较低，因为从社会性别的角度女性并不能够胜任此类型的工作；或者关联个人的购物消费信息，从而预测个人的工作风格、状态等，与未来个人的工作能力与表现相挂钩，以购买叶酸的消费行为判断，女性大概率可能有备孕打算，那么未来工作表现就有可能有因为怀孕而被预测为不稳定；以女性喜好购买穿搭购物判断该女性对待工作大概率并不严谨认真。这种看似客观中立的评判分析，实际上暗含了数据集中的社会性别歧视，同时与个人的其他信息相关联，对求职者的未来工作进行预判实际上也在无形之中加重了性别歧视。

三、由个人信息保护法第24条引申的规制思路：以是否自知为判断

个人信息保护法第24条以及国务院先后出台的有关人工智能的意见等表明，自动化决策在就业领域所带来的歧视危害已经引起了立法者的充分关注。沿着个人信息保护法对自动化决策的系统规制思路，能够发现在其在认定过程中尚存在可以完善之处，因此以期以上一部分分析的三阶段为理论基础分类型进行规制思路的引申。

（一）个人信息保护法第24条：决策透明规制思路

分析个人信息保护法第24条利用3款之规定想要呈现的立法设计，本文主要从权利与义务相一致的角度入手。首先，从企业角度来看，利用自动化进行决策是企业的权利，那么就应当承担利用自动化决策应尽的义务。这就是该条第1.2款所规定的就是利用自动化进行决策时的决策透明义务、结果公平公正义务以及提供拒绝方式的义务；其次从个人角度来看，因就业或者消费需求，而其个人信息被自动化决策所收集是其义务，但是其同样享有自动化决策的知情权、要求说明权以及拒绝权。因此个人信息保护法第24条对自动化决策的整体规制思路就是通过权利义务相一致的原则，以决策透明义务作为规制的思路。

决策透明义务实际是来自于GDPR第12条所规定的透明度原则。这一原则的设置目的就是解决自动化决策所带来的歧视性问题。前文已经简要分析过自动化决策导致的歧视问题之所以会引起如此大的关注，就是因为其背后的决策逻辑并不透明，从而导致自动化决策被滥用，肆意的实施着性别歧视，而个人信息被利用运算自动化决策的当事人并不知道决策的依据、标准而只能选择接受结果。一旦当事人要求公开自动化决策的算法逻辑，往往就涉及商业秘密的界限问题，那么什么时候才应该将决策透明化是亟待解决的问题，这也是个人信息保护法第24条规定的背景。

根据个人信息保护法第24条第3款所确定规制路径，自动化决策透明的限制较为明确，以“个人权益”和“重大影响”双重限制，作为决策说明与公开的前提，当自动化决策做出的决定对个人权益有重大影响时，个人有权要求信息处理者予以说明，而此时利用自动化进行决策的企业就具有说明的义务，此时决策透明化的义务产生。在这一条款中，“个人权益”实际上要求在法律上遭受的或人身或财产的实际损失，而不仅限于个人的信息权益，而同时“重大”表明轻微的或者一般性的影响实际上也不能触发此种义务，而我们本文中所讨论的就业与否实际上就属于重大影响范畴。所以利用自动化决策所实施的就业招录，如果当事人要求企业对自动化决策进行说明，实际上是符合个人信息保护法第24条第3款的规定，因此通过规定自动化决策的说明义务，一旦企业无法对其自动化决策进行说明，或者其说明的内容中表明了在自动化决策中该企业存在性别歧视，那么就可以对该企业的行为进行规制，在一定程度上遏制了企业利用自动化决策实施性别歧视的行为。

个人信息保护法第24条所确立的规制思路实际上存在一定的片面性。诚然，这是对于自动化决策下的自知的性别歧视最有效的规制路径，但是对于不自知的性别歧视实际上是无法通过该条进行规制的。因为即使符合了个人信息保护法第24条的决策公开前提，在不自知的性别歧视类型下，公开的决策内容表面上并没有存在不公平公正的待遇特征，但是已经造成了输出歧视的必然结果，在这种类型下决策公开与说明虽然规避掉了主观的偏见，但是仍然无法剔除自动化决策运算内部对于数据集学习后所造成的不自知的性别歧视。

（二）补充规制思路：区分企业和社会的不同主体视角

谈到自动化决策的规制内涵，实际上就是技术领域所要求的公平技术内涵，也包括必要的技术公平规则，而公平实际上就是价值追求，因此对于上述自知的认为的不符合公平技术内涵的性别歧视，我们可以较为轻松的予以规避。但要规制自动化决策所带来的不自知的性别歧视，首先还是应当明确：不自知的性别歧视实施的实质仍然是其所赖以分析、运算决策的数据存在价值意义。这些价值意义潜藏在数据集背后，是特定时期的特定环境所导致的特定价值分析与判断。正如《时间简史》中所提到的人文科学最终的目的在于赋予意义，因此哪怕是理想状态下客观中立的数据集暗含了价值判断的选择，想要规制不自知的性别歧视，需要从数据集中的价值偏见入手，树立自动化决策的正义观，使算法遵循善法，能更好地规制自动化决策下不自知的性别歧视，减少其对反性别歧视所带来的冲击。

树立自动化决策的正义观念构建这一提法实际上并不新鲜。大多数对于自动化决策引发的规制思路都是从这一角度出发的，试图构建设计人员的正义观念，从而使其在设计自动化决策程序时不会出现偏见输入。但是这种分析仍然建立在自知的性别歧视基础上，因此想要彻底解决不自知的性别歧视问题，就要从其所习得的数据集观念入手。数据集背后所暗含的价值观来源大致可以分为两种：一种是企业传统性别价值观，另一种则是社会刻板性别价值观，因此如何矫正企业传统性别价值的偏见以及社会刻板性别价值的偏见才是根本。

1.企业数据集传统性别歧视的矫正路径

（1）以个人信息保护法第55条引发的评估思考

企业数据集的性别歧视偏见实际上存在一定的明显性，因为本身每个企业都有其内部的就业组织结构，这一结构可能根据性别，年龄，岗位，技能而有所不同，久而久之地形成了所谓的企业传统。企业关于性别平等的用工观念在一定程度上会影响其行为，在反就业歧视的大力推导以及性别平等的观念倡导下，一个秉持着公平公正观念的企业，其给自动化决策所喂养的数据集是可以做到理论公正的，那因此就可以避免因企业的传统性别价值观而导致的自动化决策性别歧视。

但是在性别构成方面，人工智能挑战了传统的企业内部就业结构，男性员工的总体数量多于女性，已经在一些比较高精尖的科技企业成为趋势。以华为为例，在其公布的《2020年可持续发展报告》中披露了自2016年开始统计以来，华为的男女性别占比始终稳定在8：2，因此当以企业历年的招录作为数据集进行自动化决策时，其背后的暗含着这个企业的不自知价值选择。想要纠正或者提出这种性别价值选择，最需要的是企业需要注重对于自动化决策的跟踪、记录和评估，这是国家人工智能规划的要求，也已经在个人信息保护法中有所初步规定。

个人信息保护法第55条强调自动化决策的强制评估处要求，第56条要求从目的和方式角度具体落实中算法开发主体应承担对算法运行程序的解释义务。这两条实际是对用人单位的自动化决策适用予以必要的限制。在运用自动化决策技术前，企业内部进行平等测试评估，并形成相应的报告，对自动化决策中的应聘人员以及拟聘人员的属性要求进行阐述，并通过性别测试比例要求。如果存在性别歧视风险，则不能投入使用。

（2）明确企业的法律义务与责任

传统的就业歧视问题之所以一直尚未得到根本性的扭转，有一部分的原因在于企业的义务无法落实，宣示性的规定并不能真正起到消除性别歧视之初衷，而事后的责任追究也往往很难对企业造成实质影响，甚至有时会因责任较轻而助长企业的歧视之风。就此，自动化决策的开发与使用单位都应当明确责任和义务。《互联网信息服务算法推荐管理规定》已经对此有了规范建议，而在注意义务、侵权责任等方面仍需要进一步规定。

2.社会刻板印象数据集的性别歧视矫正思路

随着社会的不断发展，越来越多优秀的女性打破社会刻板性别价值偏见，重塑着这个时代对于女性的定义。但是在自动化决策所习得的数据中，仍然不能避免社会刻板印象对女性的性别偏见。时代的观念在更新，社会刻板印象中对女性的性别偏见在逐步地瓦解，但是我们仍然应当在立法中强调男女平等观念，宣传男女平等思想，进一步巩固现有的社会性别意识的改变。

（1）完善立法引导数字男女平权观念

立法对社会观念起引导作用。针对传统就业领域的性别歧视现象，国家层面先后通过专门的劳动立法、就业促进立法以及妇女权益保障的立法进行了规制，国务院九部门也专门针对招聘就业领域的歧视出台通知，但是目前我国的反就业歧视法律规制仍然停留在以性别为由拒绝录用妇女或者提高对妇女的录用标准得直接就业性别歧视为原则，以保护性限制为例外，本身并没有对间接性别歧视的立法进行规制，由此导致存在社会中的性别刻板偏见并未得到有效的引导，那以此为数据集的自动化决策必然也暗含了社会的刻板印象歧视，因此立法应当明确对妇女就业性别歧视的定义和类型，明确对基于社会刻板印象而实施的性别歧视行为进行规制，从而打破传统以来的社会刻板性别印象，引导社会的男女平等观念。

（2）探索伦理嵌入机器的可能性

当然，法律的约束力实际上是有限的，被动的，所以全社会应当推广构建机器伦理，“当算法在质量监控之下，以公平方式影响各方当事人，正义方能实现”，通过自动化决策内部的主动自我约束，与外部的法律约束相配合，从而对自动化决策所引发的性别歧视现象进行完善规制。将社会基本的道德和法律标准作为自动化决策运算的基础，利用自动化决策的自主学习特点，使其将学习后的法律与道德准则转化成为自身的运算基础，甚至可以矫正数据集中的性别歧视偏见。以西方学者为例，对AMAs（人工道德智能体）的探索说明了将社会的普遍道德与法律认知嵌入自动化决策中事具有一定价值的，而我国也已经重视了科技与伦理的交叉领域，顺应时代趋势和的要求，成立了国家科技伦理委员会，构建机器伦理，是顺应时代智能化的发展大势，也有利于维护我国的法治进程。

（3）多元社会监督与矫正

矫正社会刻板性别印象数据集需要探索多元的社会监督与矫正架构。现在的社会治理结构早已不是国家与社会的二元治理，越来越多的的主体参与到社会治理与监督过程。国家层面一直积极应对算法给各领域所带来的冲击，出台规范治理，确定了算法性别歧视控制的总基调，政府适当干预自动化决策进行政府层面的监督，设置监督层面的风险决策程序以及后果的规制，坚持正确的男女平等社会导向。与此同时各头部企业在承担各自责任外仍应承担社会责任，形成矫正社会刻板性别印象之合力，将社会刻板印象的导向与人工智能发展规划制相结合，从而既促进自动化决策之规范，也在一定程度上推动了男女平等的性别观与就业观。

结语

算法势不可挡，就业领域作为典型，自动化决策正在悄然改变着传统的就业招录模式。这是其顺应时代趋势的必然选择，就其给就业领域带来的性别歧视挑战是无法回避和避免的。探其本质，实际就是对人机交互过程中关于男女平等价值的又一次重申和确立。在对招录自动化决策中的性别歧视三阶两类型进行区分过后，结合个人信息保护法第24条提出企业和社会两种方向的规制路径，避免在数字理性的前提下，人文价值的流失，维护在数字时代人的价值与尊严。

,