【文章编号】1002—6274（2022）04—094—12



内容摘要：随着自动化技术的发展和运用，人类的许多决策并不再由人自身作出，而是由机器完全自行作出或者由机器辅助作出。自动化决策正在改变传统的人是主体、机器是客体的人机关系模式，对人的尊严形成了挑战。自动化决策往往容易忽视正当程序理念，违反正当程序中的中立性原则、公开性原则和参与性原则。免受自动化决策的禁令进路和权利进路在规制目标、规制方式和规制限度等方面存在一定的分歧，但是，它们都在一定程度上忽视了数据主体与数据控制者之间的利益平衡。这种平衡论的引入可以改变我们对于个人免受自动化决策的权利效力、属性和规范的认识，并为个人免受自动化决策权利的实现提供方法论基础。
关键词：人工智能；算法；自动化决策；“平衡论”
【中图分类号】DF03　　【文献标识码】A
　　自动化决策是利用计算机技术和算法程序对大量数据进行收集整理，并在此基础上通过深度学习或神经网络技术来对相关数据进行研究和处理，自动生成决策的活动。这种技术被日益广泛地应用到医疗诊断、警务管理、司法裁判、金融投资、就业招聘、无人驾驶、新闻推送、社会福利等公共和商业领域。它能够将大规模数据中隐藏的信息和知识挖掘出来，从而极大地提高决策的效率和准确性。然而，自动化决策受制于以“大数据，小定律”技术范式为核心的概率统计逻辑和追求效率而非追求绝对精确、强调相关性而非因果性的效率主导逻辑影响，往往会出现人的主体性丧失和决策结果不公正等问题。［1］P35-50在这种现实背景下，人们是否具有免受自动化决策的正当性，在多大程度上能够免受自动化决策以及如何通过法律手段来保护人们免受自动化决策愈来愈成为学术界和实务界关注的问题。就既有的研究来看，学者们往往将个人享受免受自动化决策权作为一个研究的前提，并在此基础上从禁止进路和权利进路来构建个人免受自动化决策的法律保护制度。禁令进路将数据主体的权利放在首位，带有强烈的道德目的论的色彩，而权利进路更为强调数据行业的发展，具有较强的功利主义色彩。因此，本文试图超越这两条进路，从平衡论角度出发，在充分考虑数据主体个人利益和公共利益之间平衡的基础上，构建一套个人免受自动化决策的法律制度保护体系。
一、个人免受自动化决策的正当性
　　决策本来属于人类的一种专属活动，它是人类运用人脑具有的认识能力和逻辑思维能力，对一定的信息和经验进行占有和分析，并在此基础上将人们的思维过程和意志行动过程进行结合的产物。从本质上讲，这种决策是建立在人与人之间相互信任基础上的，它强调的是人与人之间的一种共情心和同理心。也正是这种共情心与同理心的存在，决策主体的决策才能够被决策对象接受和采纳。然而，随着自动化技术的发展和运用，人类的许多决策并不再由人自身作出，而是由机器完全自行作出或者由机器辅助作出。这种自动化决策在丰富人与人之间连接线索、交流场景与手段的同时，可能会削弱人对自我的控制和保护能力，并极有可能沦为凯瑟琳·海勒所说的作为物质-信息混合物的后人类主体。［2］因此，个人免受自动化决策的呼声愈来愈强烈。例如，欧盟委员会颁布了《数据保护指令》。该指令第15条第1款规定，“如果一项决定是完全基于数据的自动化处理作出且目的是评估与其相关的某些个人方面，例如工作表现、信用、可靠性、行为等，成员国应当赋予数据主体免受对其产生法律效力或者重大影响的完全自动化决策约束的权利”。从理论上讲，个人免受自动化决策具有法理上的正当性。
（一）自动化决策与人的尊严
　　人的尊严是一个具有独立的伦理规范的先在性概念和根本性的伦理准则。其它的社会规范和法律规范都是在落实这一伦理总纲的基本要求。［3］“人性尊严毋宁为法治的核心价值，盖不论是着重程序公平的形式法治理论，或者追求实质正义的实质法治理论，最终都可统摄在人性尊严的价值概念底下，致力于建构一个完善的现代法治国家，使人人都过着有尊严的美好人生。”［4］因此，是否尊重人的尊严构成了评价某项行为是否具有正当性的首要标准。从内涵上讲，尊严尽管是一个模糊性较高的概念，其含义难以被精确界定，但是，人类所具有的共情心和同理心，使人们对尊严这一概念形成了一些最基本的共识。第一，尊严的主体只能是现实生活中的自然人。尊严首先体现的是有生命的个体对于现实生活的一种认识和感受，而只有自然人才是生活在特定的时间和空间内的有生命的个体，是生活的主体，是“从事实际活动的人”。［5］人在具体的现实生活中相互交往，通过肉体和精神感知到对方态度，并将这种感知上升为一种具有反思和评价性的情感。尊严感就是这些情感中的一种，它源自于人所独有的情感感知能力。第二，人具有不受支配的主体性。人与动物的一个重要区别在于人具有反思和评价生活的本能，它独立表达了人们对于善的生活的追求。这种独立追求强调人拥有不受他人干涉的自我选择的能力。［6］自启蒙哲学以来，人们就从目的而非手段来定义人的本质问题，并从不受支配的自治性角度来定义人的尊严问题，强调人应当按照客观的道德实践法则来行动，并排除外在的干预和支配，除非这种干预和支配得到了人的同意，并以实现社会增益为目的。第三，每个人都具有受到尊重和重视的地位。沃尔德伦认为，尊严的古典意义含有因等级或职位而享有荣誉和特权以及受人尊重的意思。在平等主义思潮的影响下，尊严与等级之间的联系虽然有所松动，但是两者并不可能彻底分离，高等级别的观念并不是简单地被否弃，而是被进一步地普遍化，即我们每个人都应被视为授予了某一贵族或皇室的头衔，我们每个人都应被视为高级物种，因为人类就是天底下高等级别的物种，负有特殊的使命。人类应当通过实现级别平等来将以前只有贵族才拥有的尊严赋予每一个人。［7］这种受到尊重和重视的地位在法律上往往体现为人人具有平等人格并享有平等的权利。在自动化决策中，机器不断凭借大数据和高效率接管和挤压人的决策权力。在这个过程中，自动化技术所具有的优势将自身的目的性嵌入到具体决策，原先作为机器控制者的人被当作一个元素纳入进机器运作中。这迫使人们去服从或适应技术自身的目的性。［8］这种自动化决策在实质上正在改变传统的人是主体、机器是客体的人机关系模式，从而给人的尊严形成了挑战。
　　首先，自动化决策受制于算法逻辑的影响，忽视了现实人通过肉体和精神而获得的感受。自动化决策是在算法的驱动下，通过深度学习或神经网络技术来处理关键数据的活动。因此，算法在自动化决策中具有重要意义。从算法的运行逻辑来看，它是利用以量子力学为基础的“大数据，小定律”技术范式来作出决策的，即在概率统计的数理基础上，通过智能化的机器依据特定场景、语境和实用需要，从海量的“大数据”中，随机提取特定的“小定律”，从而对行为形成一种反馈机制。［9］在这个过程中，现实人在某一特定时间和空间中的具体感受极可能被排除在外，因为这些感受并不一定被纳入到通过图谱画像方式建立的用户形象中。有学者甚至提出自动化决策本身就是一个使个人去个性化的过程。它从数学角度进行计算，并将人置于一套自治的演算系统中进行符号推演，而无须过多地考虑人的情感因素和尊严。
　　其次，自动化决策容易忽视人不受支配的主体地位。主体性是现代性的根本基石，它强调人是一切活动的出发点和归宿，一切活动都应当服从人是目的而非手段这一道德实践法则。这一法则主要包括以下三个基本命题：第一，作为个体的人才是社会、政治和经济生活中唯一积极主动的参与者；第二，个人在自由状态下作出的决策是以自我利益的实现为出发点的；第三，个人是自我利益的最好判断者，没有人能够像利益者本人那样了解他自己的利益。［11］P6然而，自动化决策往往是从整体主义和工具主义出将人当作一个符号来进行计算，从而侵犯到人的尊严。自动化决策特别是完全型自动化决策本来就不是由人来作出的，决策者将决策的权力交由机器来决策。尽管这些机器是由工程师设计出来的，但是，对于“人+自动化技术”这个系统而言，工程师的设计道德会慢慢地转化成为“人+技术”这个系统本身的道德，而人真正能够支配的会越来越少。［8］换言之，这种自动化决策极有可能是基于机器自身的目的而非人的目的作出来的，人成为了机器支配的对象。另一方面，自动化决策容易使人丧失自由意志。自动化决策需要遵循“数据喂养”的逻辑。在这个过程中，自动化决策能够利用相关的认知来控制人的行为。例如，在脸书推行的“情感蔓延”项目中，它对50万名用户进行了精准的新闻投放。在投放过程中，它通过积极或消极的语言来影响这50万名用户的情感和态度，并让这些用户产生脸书所期望的情感和态度，去转发积极或者消极的消息。［12］这种做法严重侵犯了人的尊严，将人作为实现某种目的的工具。
　　最后，自动化决策因人工智能算法具有极强的分类筛选能力和超乎想象的预测能力而容易出现歧视，从而侵犯人的尊严。在自动化决策中，机器主要通过选择与各种行为具有密切关联性的数据的显著特征来工作，这种工作机制极有可能不恰当地将某类个体或群体标记为具有某种风险或倾向，进而对这类个人或群体产生歧视。这种偏见和歧视往往从一开始就隐藏在人工智能系统中，并因人工智能具有自我学习特性而有可能日趋严重。［13］在实践中，自动化决策主要通过偏见代理和特征选择等隐蔽机制来产生歧视。［14］例如在美国推行的一款预测警务决策系统中，算法因为过于强调邮政编码这一因素，从而在不同种族居住地与犯罪地区之间建立了一种关联性。该系统经过收集过去犯罪人的个人信息、邮政编码等，发现犯罪人来自于低收入的非洲裔美国人社区。因此，它将该社区的非洲裔美国人都标识为预测犯罪的具体目标。［15］P2218，2223又例如，在Google算法歧视案中，算法决策受制于“偏见进，则偏见出”的运作模式的影响，往往在非洲裔美国人相关名称与犯罪相关信息之间建立关联，形成对非洲裔美国人的歧视。［16］P17，18这种“垃圾进，垃圾出”的算法决策模式非常容易对人形成刻板印象和对人进行“污名化”，从而对人的尊严构成侵害。
（二）自动化决策与正当程序
　　随着现代法治思想和法治思维在社会公共生活中作用的凸显，正当程序的基本理念深入人心，它已经成为检验权力运行的一项重要指标。只要存在权力滥用的可能，正当程序就应当成为权力行使的一种约束。陈景辉认为，权力在事实上经常会不恰当地导致其他人受到损害，因此，符合正当程序的基本要求就成为对这种权力以及赋予它的社会制度本身具有正当性的一种道德证成。［17］当然，从正当程序理念的起源来看，它主要是为了约束国家公权力，而且权力的行使者主要是国家和政府。随着社会的发展，这种国家-个人的二元模式逐步被打破。特别是随着科学技术的发展和专业社会的来临，技术因知识垄断而愈来愈多地生成一种有别于基于国家暴力而产生的权力。在自动化决策中，算法权力就是这种支配形态。自动化决策赖于存在的算法在本质上就是一种“逻辑+控制”的形式，是一组抽象的指令（逻辑）和操作的可能性（控制）。Grffey认为算法会做一些事情，而它们的语法体现了一种命令结构，从而使这一切成为可能。算法不仅被赋予了对软件“做事情”的权力，而且还能让人类参与者做出相应的反应。［18］P743-752它通过“分类”“筛选”“优先”“过滤”等机制塑造人们的感知，主导了建构受众感知的权力，从而形成了一种隐性的强制力量，即算法权力。［19］这种算法权力也存在高度滥用的可能性，因此，自动化决策理应接受正当程序理念的校验。
　　然而，在实践中，自动化决策往往容易忽视正当程序理念，甚至自动化决策本身就对正当程序形成了一定的冲击。首先，自动化决策因受制于平台和算法设计者的效率和利益考量而具有前见或偏见，违反正当程序中的中立性原则。人们在设计自动化决策时，就将设计者的价值追求和预期用途有意无意地冻结在代码中，并将这些价值和用途架构化。［20］P323-343这些价值和用途可能随着数据的积累和算法的迭代而被强化和扩大，成为自动化决策程序的前见或偏见。换言之，自动化决策程序从一开始就不是中立的，而是预示了某种特定的结果就是最好或最有效的选择。其次，自动化决策的不透明性遮蔽了正当程序中的公开性原则。公开透明是正当程序的一项基本要求，这一原则需要相关的决策信息向外公开，决策的最终结果也应当让外界知晓。然而，自动化决策带有强调的“黑箱”色彩，高度的专业化和技术化让人们既无法看到也无法理解这种决策过程。在实践中，这种决策过程往往会关涉国家和商业的秘密，决策主体以关涉国家和商业秘密为由，防止危害国家利益或出现“搭便车”现象和“羊群效应”。最后，自动化决策因技术垄断和嵌入模式而架空了参与性原则。参与性原则是人的主体性和享有尊严的体现，体现的是人们在社会生活中对自己意愿的表达、沟通与交流。从参与的效果来看，参与主体信息愈对称、地位愈平等、认知能力愈相当，参与的效果就愈好。按照哈贝马斯的理解，平等参与到交往实践是一系列程序运转的前提，当平等的参与性原则实现不了的时候，这个人也就没有什么主体性可言。［21］P150在自动化决策中，决策因不透明性、专业性、即时性和封闭性等因素，将被决策者完全对象化，而且随着算法的学习能力不断增强，自动化决策逐步成为一个自我封闭的自主系统，并通过“法律代码化”和“代码即法律”路径嵌入到具体的决策流程，从而压缩或无视被决策者的参与，沟通与交流在这套体系中也被省略。［22］例如，在威斯康辛州诉卢米斯案中，法官就从自动化决策背后的算法属于商业秘密角度出发，认为COMPAS程序应由开发商来监督，社会公众不应当参与进去。这种看法在实质上侵犯了被告的正当程序权利。［23］
二、个人免受自动化决策法律保护的既有进路及其反思
　　随着自动化决策被广泛运用于诸多场景，人们在感受自动化决策带来便利的同时，也愈来愈强调自动化决策应当维护人的尊严和遵守正当程序原则。在这两种基本理念的加持下，许多国际公约和国家法律愈来愈加强对于人们免受自动化决策的保护。例如，1995年《欧盟个人数据保护指令》第15条第1款规定：“数据主体享有免受基于用户侧写的完全自动化决策的权利。”欧盟数据保护部门发布的《为实现监管目的的个人自动化决策指南》，要求利用辅助系统的自然人必须“有权利和有能力质疑自动化决策且经常表达对自动化决策的异议。”《通用数据保护条例》也对人们免受自动化决策进行了规定。在实践中，各国也形成了大量有关个人免受自动化决策的判例。归结起来，这些保护措施可以分为禁令进路和权利进路两种基本路径。
（一）免受自动化决策保护的禁令进路
　　所谓禁令进路，是指法律认为自动化决策侵犯人的尊严和违反正当程序原则，而对自动化决策采取一种谨慎约束的态度，应当禁止对数据主体实施完全自动化决策，除非采用这种决策具有完全合法合理的理由［24］这种进路以禁止使用自动化决策为原则，以有限使用为例外。例如，1998年《比利时数据保护法》就规定当数据权人的权利因自动化决策而受到损害，并没有行使反对自动化决策的权利时，政府可以禁止这种自动化决策。2009年《德国联邦数据保护法》也采取了这种禁令保护模式。该法律规定禁止运用完全自动化决策来作出对数据主体的利益具有法律后果或实质性损害的决定。欧盟第29条数据保护工作组（WP29）也主张采取禁令保护模式，强调《通用数据保护条例》第22条的规定是一种禁止性规范，禁止基于个人数据进行产生法律上或近似重大影响的完全的自动化决策。2016年，欧洲议会和理事会发布的《刑事事项数据保护指令》要求成员国禁止完全基于自动化处理的决策来处理涉及犯罪或执行刑事处罚等方面的问题。
　　具体来讲，这种禁令保护进路主要有以下特点：第一，这种进路保护的重点范围是个人数据处理事项。对个人数据进行分析、决策指向特定个人是禁止自动化决策的两项基本条件。因此，禁令进路主要还是从个人数据角度出发进行的一种制度构建，其强调的是禁止不经过有效的人工介入就将个人数据用于作出对数据主体产生实质性影响的自动化决策。第二，这种进路保护的核心利益是数据主体一方的利益。在这种进路看来，保护数据主体的利益是自动化决策作出的前提，只要数据主体向数据控制者提出反对意见，并且有证据证明在此争议上数据主体的合法利益高于数据控制者，那么这种自动化决策就应当被禁止。［25］P134第三，这种进路体现的是一种事前规制的基本理念。所谓事前规制，是指在通过管控好自动化决策程序设计的前端，对自动化决策程序的启动设置严格的条件，以防止自动化决策构成对人的权利的侵犯。《德国联邦数据保护法》规定，如果自动化决策过程会给数据主体权利和自由带来风险，数据保护官应当在自动化决策之前对决策收集的个人资料的类型、个人资料处理的目的、是否获得数据主体同意等问题进行事先检查。
　　在实践中，这种禁令进路也规定了一些可以适用自动化决策的例外情形。例如，欧盟《通用数据保护条例》规定以下情况可以适用完全自动化决策：（1）对于数据主体与数据控制者之间订立或履行合同来说，适用完全自动化决策是必要的；（2）由控制者所遵循的联盟或成员国法律授权可以适用这种决策方式；（3）数据主体明确同意接受这种完全自动化决策。《德国联邦数据保护法》也有类似例外情形的规定：（1）在数据主体的要求已得到满足的情况下，运用自动化决策来订立和履行合同是应当被允许的；（2）在采取适当措施保护数据主体的合法权益，告知数据主体将采取自动化决策，并对相关内容进行解释的前提下，运用自动化决策是可以的。
（二）免受自动化决策保护的权利进路
　　所谓权利进路，是指通过赋予数据主体免受自动化决策权的方式来保护数据主体的合法权益。在这种进路看来，全部禁止完全自动化决策及用户画像的存在和展开是不现实的，因此，应当将是否接受这种自动化决策的约束交由数据主体来决定。近年来，学者们愈来愈主张从权利进路出发来构建个人免受自动化决策的法律保护体系。他们认为，欧盟《通用数据保护条例》除了第22条第1款规定了免受自动化决策的权利这一特定权利，而且还规定了反对处理个人数据的权利、数据删除权、数据更正权、算法解释权等。这些权利能够有效地保护个人免受自动化决策。［28］为了保障这项权利的实现，除了要求参与自动化决策的数据控制者承担披露义务以外，还赋予了数据主体进行主动干预的权利。与此同时，法律也赋予数据主体一定的诉讼救济权利，当数据主体认为自动化决策侵犯其合法权益时，有权利到法院去提出诉讼，请求司法救济。
　　具体来讲，这种权利保护进路主要有以下特点：第一，这种进路给予数据控制者进行自动化决策较大的空间。数据主体在没有行使免于自动化决策权利或选择退出自动化决策之前，数据控制者只要不违反国家强行性规范就可以采取自动化决策方式对个人数据进行决策。第二，这种进路强调数据主体始终具有获得人工干预的权利。在自动化决策中，数据主体可以请求人工干预使自动化决策变为非自动化决策。［27］P54例如，数据主体认为某一自动化决策方式存在疑问，可以要求对这种自动化决策的结果进行人工评估。第二，这种进路强调事后规制的基本理念。如果说免受自动化决策保护的禁令进路是一种防患于未然的进路的话，权利进路则具有较强的事后补救性。Huq认为，免受自动化决策约束权事前赋予了数据主体针对自动化决策一般意义上的反对权，并在自动化决策发生后享有一定的知情权、表达权、提出异议的权利和人为干预权。这些权利能够构筑一套私法层面的算法风险防范机制，并让数据主体获得一种程序性的救济。它能够有效克服事前和事中的预警机制存在问题和不足。［28］P611，614-615
（三）对两种保护进路的评述
　　从上文的分析我们不难发现，这两种进路都意识到了自动化决策特别是完全自动化决策极其容易对数据主体的权利构成侵害，法律应当介入到自动化决策领域，对其进行规制。但是，它们在规制目标、规制方式和规制限度等方面都存在一定的分歧。禁止进路倾向于从数据主体角度出发，以个人利益最大化为原则，采取一种事前规制的基本路径来对自动化决策进行规制。权利进路则倾向于从数字生产或数据社会效益角度出发，以个人同意和选择为基础，强调建立一套事后规制和事后救济体系。这两种进路都能对保护个人免受自动化决策起到一定的作用，但也存在一定的问题。
　　就禁令进路而言，它强调从源头上对自动化决策进行规制，强调对自动化决策进行事前的数据保护影响评估。倘若数据保护影响评估结果显示数据控制者是在没有采取措施降低风险的情况下处理相关数据并将导致高风险，人们就应当中止或禁止这种自动化决策。［29］这种进路虽然尽最大可能地保护数据主体的权利和尊严，但既忽视了自动化决策已经在现实生活场境中广泛运用的客观现实，又忽视了数据权利具有公共产品属性的一面，阻碍了数据开发和利用，从而不利于算法技术的创新发展、合理应用以及数据行业的良性发展。数据的开放与共享是数字生产的前提。对数据的价值挖掘愈深，数据的社会价值就愈大。因此，数据被誉为“21世纪的石油和钻石矿”。免受自动化决策的禁令模式增加了数字生产的成本，压缩了数字生产的空间。另一方面，数据保护影响评估具有较强的量化色彩，无法将人类因共同的文化教育和生活经验积累而对他人产生同理心、同情心和情感共鸣等质性因素纳入到评估体系，从而无法在自动化决策过程中体现寄希望于道德与情感纽带生成法律规范无法精准规定的决策智慧。［30］