·轻罪治理的中国方案·


内容提要：目前我国科技伦理审查实践存在审查形式化、虚置化等现实问题，并且科技伦理治理固有的“软治理”特征也使得该制度难以实现预期的制度目标。实践中伦理失控风险主要表现为既有的科技伦理审查制度难以有效控制人工智能科技伦理风险，造成这一现象的根源在于未能明确人工智能科技伦理审查制度的功能定位，导致在审查范围、审查标准、审查程序等方面存在模糊性问题。该审查制度虽然属于典型的风险治理范式，但其以非强制性的社会伦理规范为制度基础，审查结果属于伦理道德层面的判断，其性质属于科技创新活动的合理性审查。基于此种定位，应当适当区分科技伦理委员会与科技伦理审查委员会的定位差异，仅限于涉及敏感研究领域才强制要求被审查对象组建科技伦理审查委员会，并将审查结果与安全风险评估结果一并作为采取特定治理措施的风险依据。
关键词：科技伦理审查；科技伦理风险；合理审查
一、问题的提出：人工智能科技伦理的失控风险
　　在武汉市“萝卜快跑”之后，人工智能治理难题不仅仅表现为如何确保技术应用的安全可靠，还表现为自动驾驶在遭遇紧急情况时究竟如何做出利害选择等科技伦理争议。在国外，14岁少年因过度迷恋人工智能虚拟陪伴者而选择自杀，也被国外媒体称之为“首例AI聊天致死案”。这类科技伦理风险威胁到人类主体地位、人格尊严以及既有道德规范体系，尤其是人工智能技术被应用于就业市场、社会信誉评估、投保等领域，必然冲击社会公正等基本道德观念。
　　科技伦理风险问题早在生物医药领域就备受关注，并形成了科技伦理审查制度的基本框架。但是，人工智能的跃进式发展必将对既有的科技伦理审查制度产生冲击：一方面，审查目标有所变化。传统生物医疗领域的科技伦理审查制度是以更为迫切的人类生命健康保护为目标，而人工智能领域的科技伦理审查则是更加偏向科技创新、技术应用的合理性。另一方面，既有审查模式也难以继续沿用。传统生物医疗领域的科技伦理审查制度是以强制审查为核心，而人工智能领域的科技伦理审查显然并不能对涉及伦理风险事项一概采用强制审查，否则这将成为科技创新的巨大制度障碍。客观而言，人工智能创新应用的科技伦理风险属于科技创新过程“失控”风险，故需要经由科技伦理审查施加必要的限制，进而协调促进科技创新和控制科技伦理风险这两种不同的治理目标。
　　实际上，科技伦理审查制度实属制度舶来品，其最初目的是终止各种不道德、不合理的生命医学类的科研活动。例如，《纽伦堡法典》《赫尔辛基宣言》是为了终止以人类为试验对象的科学实验；美国国立卫生研究院（National Institutes of Health，NIH）发布科研指南，用以确保科学实验善待动物。〔1〕而我国科技伦理审查制度的确立可追溯至《药物临床试验质量管理规范》，目的同样是确保受试者的权益和安全；并且后续的《涉及人的生物医学研究伦理审查办法》《人类遗传资源管理条例》等规范性文件也是围绕生命医学科学实验展开。当这种以生命安全、人格尊严等伦理要求为基础的科技伦理审查制度拓展至人工智能等其他技术领域，就需要重新诠释科技伦理审查制度的功能定位，确保科技伦理审查在生命科学、医学、人工智能等领域遵循共通的治理逻辑。
　　从实践来看，科技伦理审查制度未能充分实现支持者们所推崇的“法律与伦理协同治理”理想效果，反而呈现科技伦理审查形式化、流程化的问题。更棘手的问题是，科技伦理委员会的运行机制面临着委员会日常如何运行、审查标准如何明确、审查流程如何规范、专家薪酬如何支付等现实障碍。虽然不少学者提出了诸多的制度完善建议，但相关研究还是缺乏对审查机制的理论剖析和实证考察。总结而言，人工智能科技伦理审查面临的核心问题是，该类伦理审查的制度模式和实施模式未能与生物医疗领域的传统制度予以区分，导致自身难以直接适用于人工智能技术治理领域。这种制度内容的“不完整性”主要表现为审查范围、审查标准和审查制度作用模式这三个方面的模糊性与笼统性。
二、人工智能科技伦理审查的功能与效果
　　虽然《科技伦理审查办法（试行）》第15条第5项明确了“涉及数据和算法的科技活动”为重点审查内容，但其作为“一般法”意义上的科技伦理审查规则，未能严格区分不同技术领域科技伦理审查模式的差异性。因此，在明确我国人工智能科技伦理审查制度建构模式之前，有必要重新评估和明确人工智能科技伦理审查功能失灵的核心原因。
　　（一）我国科技伦理审查制度的实践现状：虚置化状态
　　人工智能科技伦理审查制度的实际运行效果不佳，主要原因是科技伦理审查制度在实施过程中普遍存在虚置化问题，部分审查机构流于形式、审查过程敷衍了事，导致伦理审查的预设目标难以实现。
　　第一，科技伦理审查委员会的运行机制以及自身的法律性质始终存疑。《科技伦理审查办法（试行）》第4条虽然规定科研单位应当配备必要的工作人员、提供办公场所、经费等条件，用以确保委员会的独立性，但这仅仅只能确保形式上独立。首先，第4条规定从事生命科学、医学、人工智能等科技活动的单位应当设立科技伦理（审查）委员会，并且设立前提是“涉及科技伦理敏感领域”，但其本质上仍属于自我约束型的伦理审查机制。即便采用外聘专家、回避机制组成委员会，但审查委员会究竟能够在多大程度上实现独立审查、独立决策令人生疑。毕竟委员的薪酬支付、场所提供等物质支持条件还是由被审查单位提供。这也是部分研究者一直强调的伦理审查委员会极易出现“既当裁判员又当运动员”的问题，〔2〕并且根据部分学者统计，大部分科技机构的伦理审查委员会在进行审查时多次出现“直接盖章同意和批复”的情形，使得伦理审查这项制度呈现出“走过场”的特征。〔3〕
　　第二，科技伦理审查的“弱约束”效果如何通过法治化方式提高治理效果尚无定论。《科技伦理审查办法（试行）》第1条和第9条规定了科技伦理风险的评估和预防是科技伦理审查的立法目标，但相较于美欧等国外模式，我国的制度模式实际上是一种“弱伦理审查制度”，因而会导致科学研究通过率过高等问题。〔4〕甚至追溯我国科技伦理审查制度的发展历程，如部分学者所总结的，该制度设置之初就饱受争议：支持者认为科学研究不能等同于纯粹的科研自由，理应采取一定程度的外部约束；反对者则认为这无疑会增加科研创新活动的经济成本，所谓的伦理审查委员会更容易沦为“官僚主导的形式主义”。〔5〕伦理规制的基本架构是以行业性准则、少量的抽象原则以及机构层面的自我规制为主要内容，这也决定了伦理规制具有典型的“弱约束”效果。〔6〕无论是缺乏强制执行力的行业性准则，还是笼统模糊的伦理原则、自律主导的自我约束，均难以有效达成科技伦理风险预防和控制的治理目标。
　　第三，科技伦理审查的形式化问题是否能够通过法律责任承担予以解决值得商榷。《科技伦理审查办法（试行）》第47、48和49条规定了民事责任、行政责任和刑事责任的承担方式。但这些法律责任的承担往往存在着严格的适用条件。在民事责任方面，第47、48条规定“造成财产损失或者其他损害的”承担民事责任，实际上属于典型的侵权行为，即便不经过科技伦理审查，造成财产损失或其他损害的，权利人依据《中华人民共和国民法典》亦可主张承担民事责任。在行政责任方面，第48条所规定的弄虚作假、徇私舞弊等情形本质上属于实质性违反要求的行为，但是无法直接适用于形式化的科技伦理审查活动。相较于不审查、虚假审查等问题，形式化审查更容易弱化科技伦理审查机制的实际效果。由于《科技伦理审查办法（试行）》本身属于试行办法，且本质上属于一般性规定，伦理审查形式化问题可能更需要后续设置生命科学、医学、人工智能等领域专属性的科技伦理审查规则予以解决。
　　（二）人工智能科技伦理审查的特殊性
　　人工智能科技创新对于伦理审查制度最直接的影响便是审查范围、审查标准以及审查方式发生异化。过宽或过窄的审查范围均会使得科技伦理审查成为人工智能科技创新的“制度负担”。尤其是科技伦理本身作为社会伦理规范的一种，缺乏强制性，审查制度反而更容易置于“走过场”的尴尬地位。
　　在审查范围方面，存在法律风险与科技伦理风险混同的误区。在部分学者看来，人工智能技术应用所带来的伦理问题包括失业率上升、自动驾驶系统决策伦理风险和人工智能主体意识对人类的挑战等，〔7〕原因在于治理责任模糊和治理结果不公正。〔8〕同时，部分学者则将新兴技术伦理风险表现样态与法律风险、技术安全问题整合，总结为技术安全性问题、个人权益受侵犯问题、社会公平问题、生态系统受威胁问题。〔9〕这些观点不无道理，但问题在于，倘若构成侵犯个人信息权益、存在法律责任界定不明等问题时，完全可以通过适用法律规范予以解决，何必再设置冗余的科技伦理审查制度进行重复评估？这种法律问题伦理化的倾向也使得科技伦理审查制度本身被视为一种纯粹道德意义上的伦理规范机制。因此，需要澄清的是，尽管科技伦理不可避免地涉及个人权益的保护问题，但这里的“个人权益”更多地表现为一种抽象层面的法益。在伦理学与法学交叉视角下，人工智能技术应用侵害何种性质的法益存有疑义。以实践中利用人工智能技术复活死者为例：在法学视角下，未经近亲属同意，这种应用可能构成对个人信息、肖像权等具体权利的侵害；〔10〕在伦理学视角下，未经近亲属同意，这种应用损害的是近亲属对于逝者的怀念、不想被打扰等情感层面的利益。无论是生命医学领域的科技伦理，还是人工智能领域的科技伦理，均强调对人类主体地位的维护。科技创新活动不应当将人类作为技术规训的对象，科技伦理存在的目的也是避免过度追求科研自由而忽视人类主体尊严的情况出现。《中华人民共和国民法典》第990条作为《中华人民共和国宪法》第33条第3款“尊重和保障人权”的转介条款，其规定的“人格尊严”具有典型的伦理意义，〔11〕而这恰恰能够作为科技伦理与法律规范相对区隔的重要因素。因此，若以科技伦理审查为导向，人工智能科技伦理的基本范畴可以划定为涉及科技创新应当维护人类主体地位和人格尊严的伦理规范。
　　在审查标准方面，科技伦理本身并不是一个内涵和外延相当明确的概念，不同审查主体所遵循的伦理审查标准难以统一。从国内外科技伦理标准的差异现状来看，科技伦理标准化似乎是一个无解的问题：科技伦理本身就是一个不确定性的法律概念，其受到社会实践、科技发展、国家民族文化等诸多因素影响，还会随着时代发展产生新的意涵，科技伦理根本无法实现标准化。同时，即便立法机构明确了统一的科技伦理标准，并就此解决了制定主体资格问题，但立法机构所采用的伦理标准依旧难以完全避免受到参与立法过程的专家们主观意见的影响。然而，这个无解问题并不意味着只能暂时搁置，而是其本身就存在逻辑悖论：既然科技伦理属于人类伦理道德范畴，而人类伦理道德本身从来都不是标准化的，科技伦理又怎么可能存在客观化标准？进一步而言，既然该无解问题本身就是一个错误命题，那么科技伦理审查所依赖的伦理评判标准又应当如何确定呢？回归到科技伦理治理目标层面，无论是科技伦理审查，还是其他的科技伦理治理机制，其核心目的均是解决科技伦理风险问题。这种风险治理的内在逻辑并不是通过严格意义上的伦理评判标准预防和控制风险事件，而是侧重是否能够识别出潜在的科技伦理风险以及采取必要的预防措施。换言之，即便采用的伦理审查评断标准各不相同，但是只要这些伦理审查标准属于科技伦理的基本范畴，那么最后的治理效果并无实质差异。
　　在审查作用机制方面，“构建科技伦理相关的制度规范以实现相应的治理目标”等类似主张混淆了法律治理与伦理治理的作用机制。法律治理通过义务性条款作用于科研创新行为，而科技伦理审查则是作用于科研人员的伦理观念，并内化为科技创新活动的自我约束准则。两者在治理体系中互为补充的实践方式应当是“主体与行为”的治理逻辑衔接，而不是“行为与行为”的双重约束。相应地，基于这种作用机制，科技伦理审查机制的功能定位也会发生相应的变化。具体而言，科技伦理审查主要面向的是科技创新研发和应用，确保相关技术服务和产品的设计、生产和销售符合科技伦理；科研人员科技伦理培训则是融入科技工作者的教育经历和工作经历，推动科研人员形成尊重人格尊严的伦理观念；科技伦理商谈则是为了补足科技伦理模糊性内容，以社会公众网络评论、科研专家技术解释等方式，以商谈的形式促成符合社会共识的科技伦理观念形成。因此，在制度建构过程中，不宜将科技伦理审查的作用机制理解为宽泛意义上的科技伦理规范适用。
　　（三）人工智能科技伦理审查的功能再调整
　　言及科技伦理审查，必谈及欧美等国的域外制度。与我国精细化法治模式相比，欧美等国因为更加侧重科技自由和促进创新，故而选择通过科技伦理规范实现“软法治理”，提供更为灵活和原则性的监管要求。如英国上议院发布的《人工智能在英国：充分准备、意愿积极、能力凸显？》（Artificial Intelligence Select Committees Report on AI in the UK：Ready，Willing and Able？）将人工智能科技伦理解释为“服务于人类共同利益和价值”“遵循可理解性和公平性原则”“不能被应用于削弱个人、家庭和社区的数据权利或隐私”以及“不应当被赋予任何损害、毁灭或欺骗人类的自主能力”四个方面。〔12〕欧盟委员会人工智能高级专家组（AL HLEG）在《人工智能道德伦理准则》（AI Ethics Guidelines）提出的伦理目标是在发展、配置和使用人工智能时应当尊重基本权利、基本原则和基本价值。〔13〕新加坡个人数据保护委员会在其发布的两版《人工智能监管框架范例》（Model AI Governance Framework）中提及内部监管、人工智能应用决策时人工干预程度、运营管理、利益相关方互动与沟通四个方面的伦理规则。〔14〕不难发现，国外人工智能科技伦理标准在“保障人类主体地位和人格尊严”方面具有共通性，但由于受到本土文化影响，人工智能科技伦理标准难以达成统一。
　　此外，“负责任的研究与创新”（Responsible Innovation/Responsible Research and Innovation，RRI）逐渐成为欧美等国在科技伦理层面的普遍共识。这一观念的基本内涵被解释为综合“伦理上的可接受程度、发展的可持续性、社会满意度”等因素的全面考虑，〔15〕实现科研人员、政府、社会公众等主体相互尊重、信息透明、产品市场化的创新过程。欧盟委员会在《加强负责任研究与创新的选择：关于负责任研究与创新最新专家组报告（2013）》（Options for strengthening responsible research and innovation：Report of the Expert Group on the State of Art in Europe on Responsible Research and Innovation）中指出“负责任的创新”是使得受影响的利益相关方在创新初期就参与进来，具体包括“是否能够了解其行动后果和所面临选择范围的影响”“有效评估涉及社会需求和道德价值的结果和选择”以及“将前两个要素作为新型研究、产品和服务设计与开发的功能性需求”。〔16〕在国外学者看来，“负责任的研究与创新”是一个科学政策框架，囊括了公众参与、性别平等、科学教育、伦理和治理等多方面内容，其核心目标是将纯粹的科技创新解释为科研人员与受影响的社会群体相关互动的创新活动，以此实现创新的可接受性、可持续性和社会价值。〔17〕一方面，借由科研人员与社会公众的互动对话形成符合新兴技术的科技伦理观念；另一方面，将科技伦理观念以外部监督、内部自律的方式作用于科研人员本身，促使其在设计、研发和生产过程中，自觉地将科技伦理嵌入至创新活动中。
　　学界部分观点倾向于借鉴国外制度模式，但忽视了国外科技伦理审查与本国制度体系的内在冲突，导致其难以在国内监管实践中发挥相同水平的治理作用。更重要的是，国外的科技伦理审查制度主要还是适用于生命科学、医学等领域，在人工智能领域的延伸适用实际上仍然处于发展阶段。以英国为例，在医学领域，其科技伦理审查已经形成较为成熟的三层架构：第一层是由卫健委在2007年成立的全国伦理研究服务机构（NRES）进行全国范围内的伦理审查制度统筹规范；第二层是英国地方卫生行政机构建立的区域伦理委员会，针对本地区内非药物临床试验以及患者参与的药物临床试验开展伦理审查；第三层是高校、医院等机构自行设立的机构伦理委员会，负责内部的科技伦理审查。故而也有学者将之归结为分级分类的伦理委员会管理模式。〔18〕在人工智能领域，英国数据伦理和创新中心（CDEI）与人工智能办公室（OAI）主导引领科技伦理治理工作，CDEI将人工智能伦理界定为“一整套价值观、原则和技术，采用广泛接受的标准来指导人工智能系统开发和使用中的道德行为”。〔19〕。在伦理审查标准层面，英国人工智能办公室和政府数字服务局在2019年发布的《理解人工智能的伦理和安全》（Understanding artificial intelligence ethics and safety）提出SUM价值观和FAST伦理原则，前者建构了诸如人文关怀等人工智能伦理词汇体系，后者则是提出了更为具体的人工智能项目社会影响、可持续性的评估办法。〔20〕由此看来，英国模式同其他欧洲国家一样，依靠更加灵活的产业政策适配科技伦理治理的非强制性，并未选择通过成文法的方式建构人工智能科技伦理审查标准。
　　将始于医学领域的科技伦理审查制度适用于人工智能领域并不是简单的“制度套用”。诚然，这些领域的科技伦理风险具有同质性特征，但是相较于人工智能而言，生命医学领域的科技伦理审查更加偏重对人类生命健康的保护，这种差异性也决定了当下人工智能立法需要重新明确设置科技伦理审查制度的立法目的是什么。一方面，通说是将科技伦理审查视为法律、市场、伦理等治理工具彼此衔接的核心制度工具，但如果将科技伦理审查事项限定在权利侵害等法律风险方面，反而使得两种治理工具之间的差异性被淡化。另一方面，科技伦理审查的功能定位直接决定具体的制度和程序，现有研究却始终跳过这一基础问题的回答，前提依据的模糊性必然会导致后续的制度建构缺乏正当性基础，而这也是部分学者习惯性地将生命医学领域的科技伦理审查套用在人工智能领域的根源之一。
三、人工智能科技伦理审查制度的功能定位
　　基于人工智能科技伦理审查的功能缺失及其疏解方向研究，显然需要重新明确人工智能科技伦理审查的制度功能，进而作为伦理审查制度建构的价值指引和理论基础。
　　（一）风险识别功能