前言
AI技术的深入发展和广泛应用最终会否对人类有益？AI会否成为第二颗“原子弹”从而改变世界？AI会否产生“意识”从而超越人类、甚至毁灭人类？目前来看，一切还是未知数。但毋庸置疑，生成式AI（以ChatGPT为典型代表）是一项突破性的技术，它能够极大程度地解放人类的大脑，提高人工效率，深刻影响人们的生活和工作方式。生成式AI开启了AI时代的新纪元。
2023年4月21日，360集团创始人周鸿祎发布主题为“三六零人工智能总动员”的内部信，要求360每一位员工、每个产品和业务都要全面拥抱人工智能，适应人机协作，着手产品重塑。周鸿祎认为超级人工智能的时代已经到来，搭不上这班车的企业就会被淘汰，大语言模型是一场新的工业革命。
面对新兴技术所带来的风险与挑战，法律的滞后性已经显现，为此世界各国已开始加强立法，以规制AI技术所可能引发的各种应用风险。2023年4月11日，我国网信办发布《生成式人工智能服务管理办法（征求意见稿）》（以下简称“《征求意见稿》”），就生成式AI的应用制定了监管要求。本文拟结合生成式AI的应用风险对《征求意见稿》提出的规制规则进行简析。
一、 生成式AI的应用风险
每一枚硬币都有两面。生成式AI给人们生活工作带来便利的同时，也衍生出了一系列涉及法律、道德、伦理等领域的诸多问题和挑战，引起了人们的担忧和警惕。我们认为以下几类应用风险尤其值得关注。
(一) 生成内容可能不真实不准确并具有价值偏好
生成式AI之所以被认为具有革命性，在于其输出的内容有些情况下并不仅是简单的“东拼西凑”或者“移花接木”，其完全可以通过查重软件的审核，输出具有创造性的内容。也正因如此，在文本创作领域，生成式AI具有优异表现。例如使用生成式AI设计公关营销广告词、新闻稿件、各类软文等，可以极大程度地提高人工生产效率。然而，创作本身天然地可能包含不真实不准确的表达，特别是当使用者有意通过设置命令诱导其输出不真实或虚假信息时。例如，AI生成的新闻稿有可能是假新闻，进而扰乱社会秩序；AI生成的广告词有可能构成虚假宣传，进而违反《反不正当竞争法》等法律法规。另外，在诊疗领域，已有报道医生使用生成式AI给患者提供诊疗方案最终导致患者死亡，医生、医疗机构和生成式AI提供者三方的责任分担成为了争议焦点。
此外，由于生成式AI经算法输出内容后仍需要进一步经由人类标注员进行校正和优化，尽管此种纠正干预能够使得AI最终生成的内容更加贴近人类的思考和表达，但也会使得其生成内容附带人类标注员的价值取向。举例来说，有国内使用者指令ChatGPT绘制一副中国古代知名思想家的合成图，结果ChatGPT生成的图像将中国人进行了“丑化”，人物外形类似人教版教材插图对于中国小学生的描绘。我们很难定义此种“丑化”究竟是基于审美差异、算法歧视，抑或有意为之。
(二) 生成内容可能侵犯知识产权
投喂海量互联网语料库进行预训练是生成式AI算法运作的首要步骤。然而即便爬虫技术已被广泛运用在数据抓取领域，但其仍无法完全排除抓取到的数据不存在涉及第三方知识产权的情况出现。考虑到AI在基于算法生成内容的过程中确有存在拼接、复制在先数据的可能，因此，如果生成内容与在先作品、专利或者商标具有较高相似度或者实质相似，且未经权利人授权，则涉嫌构成对第三方著作权、专利权或者商标权的侵犯。此时，生成式AI提供者以及使用者都有可能因此承担法律责任。
此外，生成内容也可能侵犯商业秘密、数据权益。商业秘密一直以来属于我国《反不正当竞争法》保护的对象。根据该法规定，“商业秘密，是指不为公众所知悉、具有商业价值并经权利人采取相应保密措施的技术信息、经营信息等商业信息。”在商业秘密之外，2022年11月22日发布的《反不正当竞争法（修订草案征求意见稿）》引入了“商业数据”的概念。根据该草案第十八条，“商业数据，是指经营者依法收集、具有商业价值并采取相应技术管理措施的数据”，“经营者不得不正当获取或者使用其他经营者的商业数据，损害其他经营者和消费者的合法权益”。草案新增商业数据保护条款，拓宽了对虚拟、无形财产权益的保护范围。因此，生成式AI在预训练阶段使用的数据来源不仅可能侵犯第三方商业秘密，也有可能侵犯商业数据，构成不正当竞争。
(三) 生成内容可能引发著作权归属之争
AI生成的内容是否构成作品？如果构成作品，哪方享有著作权？对于前述两个问题的争论由来已久，目前法律和司法实践均没有提供明确的结论。主流观点认为：
(1) AI生成内容存在能够满足作品独创性的可能，这也是生成式AI技术令人惊讶之处，其并非简单的复制黏贴或者东拼西凑；
(2) AI并非人类，因此没有成为作品著作权人的主体资格；
(3) 如果人类在内容生成过程中投入了创造性智力成果，则人类有可能成为生成作品的著作权人。
具体个案中如何判定生成内容具有独创性以及人类的创造性投入或干预具有实质影响，需要根据案件不同情况加以分析。例如在(2019)粤0305民初14010号案件中，深圳南山法院认为，腾讯公司名为“Dreamwriter”的撰稿机器人所生成的财经新闻稿属于著作权保护的作品，原因是Dreamwriter软件生成的文章体现了软件主创团队的个性化选择和安排，软件开发者对于生成文章投入了智力成果，因此判定软件开发者是作品的作者。
需要特别说明的是，目前并没有案例支持生成式AI使用者成为生成作品的作者，究其原因可能是用户仅是下达了指令，生成的过程仍需要凭借AI提供者设计的算法以及人类标注员的干预才能完成。但尽管如此，AI服务提供者仍有可能通过约定方式将生成内容的权益转让给用户。例如，OpenAI在其平台《使用协议》中就明确约定，OpenAI向用户转让其对输出内容的所有权利、所有权和利益。如此安排使得用户可以正当地不受限制地使用输出内容，为广泛应用生成式AI作为生产工具提供了保障。
(四) 使用生成式AI可能导致用户数据、信息泄露
企业在大规模使用生成式AI作为生产工具时所面临的主要风险之一是上传的数据和信息有可能被泄露。为获取相对准确的输出结果，企业往往需要上传完整和详细的公司或员工信息，其中有可能包括公司的战略规划、技术信息等商业秘密以及企业员工的个人信息。该些数据在上传AI后有可能进入AI数据库成为新的预训练数据，继而披露给其他用户。
2023年3月，意大利成为首个禁用ChatGPT的国家，其认为OpenAI在收集用户数据时并未告知用户，并且OpenAI为了训练算法而大量收集并处理个人信息，缺乏法律依据。“请不要将敏感数据发送给OpenAI终端，因为他们可能会将其用于训练未来的模型。”微软的一位高级工程师如此说道。因此，对于企业而言，在利用AI技术提高工作效率的同时务必要防范泄密风险，采取必要脱敏措施，制定使用AI产品的规范制度。
(五) 使用境内垂直平台APP应用存在数据出境合规风险
在工业化时代，四大核心要素分别是土地、劳动力、资本和技术。进入数字经济时代，数据成为了第五要素。习近平总书记在党的二十大报告中指出，“加快发展数字经济，促进数字经济和实体经济深度融合”。数据作为生产要素分配，已经上升到国家的战略高度。近年来，我国连续出台《网络安全法》、《数据安全法》、《个人信息保护法》、《数据出境安全评估办法》等一系列关于数据安全和网络安全的法律法规，对数据网络安全制定了严格的保护措施。其中《数据出境安全评估办法》明确要求数据处理者向境外提供在我国境内运营中收集和产生的重要数据和个人信息时需要进行安全评估，根据数据的不同类型采取出境评估申报、签署数据跨境传输协议等措施。
鉴于国内生成式AI开发者（比如百度）目前所提供的产品服务（比如文言一心）智能化程度与境外AI（以ChatGPT为典型）仍存在较大差距，因此国内垂直应用运营商（比如某APP运营者）基本仍是通过可编程接口（API）调用境外AI面向国内企业和个人提供服务。在使用该类应用时，虽然表面上用户是向国内APP运营者传输数据，但实际上，由于AI的预训练语料库等均位于境外，因此用户数据会被传输至境外。根据《数据出境安全评估办法》等相关规定，数据出境应当进行安全评估，否则存在合规风险。
二、《征求意见稿》对应用风险的规制
《征求意见稿》对生成式AI的应用提出了严格的监管要求，总体上规制要求较高，体现出立法者对于新兴技术的谨慎开放态度。《征求意见稿》全文共21条，对生成内容、责任主体、训练数据、算法设计、用户管理等各方面均制定了监管要求。受限于篇幅，本文仅摘取个别条文进行简析。
(一) 对生成内容提出规范要求
生成内容是《征求意见稿》规制的主要对象。从输出内容的结果上进行规制可以有效防范生成式AI产品及服务的应用风险。《征求意见稿》第四条第(一)款规定，“利用生成式人工智能生成的内容应当体现社会主义核心价值观，不得含有颠覆国家政权、推翻社会主义制度，煽动分裂国家、破坏国家统一，宣扬恐怖主义、极端主义，宣扬民族仇恨、民族歧视，暴力、淫秽色情信息，虚假信息，以及可能扰乱经济秩序和社会秩序的内容。”该条规定体现了生成式AI在我国应用的价值取向，在意识形态层面设立红线。为落实该要求，我国已加大AI领域的自主研发，我们期待在不久的将来国内生成式AI开发者所提供的产品服务智能化程度能够赶超国外产品。
此外，《征求意见稿》第四条第(四)款规定，“利用生成式人工智能生成的内容应当真实准确，采取措施防止生成虚假信息。”该条规定饱受质疑。我们理解，立法者制定该条规定的目的是为了防止AI生成内容胡编乱造，扰乱社会秩序。但是，生成式AI的设计初衷本就是希望AI能够自主创作内容，而创作本身有时就属于“不真实内容”，例如虚构小说、杜撰文章、创制视频等。单纯限定生成内容必须真实准确可能过于苛刻，也不符合技术设定。为此，我们期待立法或司法将会对何种情形构成内容不真实、虚假作出进一步明确。
(二) 对预训练数据来源提出规范要求
如上文所述，生成式AI的应用风险很大程度上来源于预训练阶段对于互联网数据抓取时的不合规性，比如抓取的信息侵犯第三方知识产权、个人隐私。为此，《征求意见稿》第七条规定，“提供者应当对生成式人工智能产品的预训练数据、优化训练数据来源的合法性负责。用于生成式人工智能产品的预训练、优化训练数据，应满足以下要求：(1) 符合《中华人民共和国网络安全法》等法律法规的要求；(2) 不含有侵犯知识产权的内容；(3) 数据包含个人信息的，应当征得个人信息主体同意或者符合法律、行政法规规定的其他情形；(4) 能够保证数据的真实性、准确性、客观性、多样性；(5) 国家网信部门关于生成式人工智能服务的其他监管要求。
该条款对生成式AI提供者提出了极高的审核要求。实践中数据来源复杂、追溯难，数据的真实性、准确性、客观性可能难以完全保证，因此如果一刀切地对生成式AI提供者要求无过错责任也可能过于严格。尽管如此，考虑到数据的收集是最终内容生成的基础要素，归根溯源，我们认为提供者有义务采取一切必要手段确保数据来源的合规。
(三) 对算法、人工标注规则等提出规范要求
《征求意见稿》第十七条规定，“提供者应当根据国家网信部门和有关主管部门的要求，提供可以影响用户信任、选择的必要信息，包括预训练和优化训练数据的来源、规模、类型、质量等描述，人工标注规则，人工标注数据的规模和类型，基础算法和技术体系等。”《征求意见稿》第八条规定，“生成式人工智能产品研制中采用人工标注时，提供者应当制定符合本办法要求，清晰、具体、可操作的标注规则，对标注人员进行必要培训，抽样核验标注内容的正确性。”前述规定对于算法、人工标注规则等生成式AI开发技术提出了规范要求，包括技术透明、标注规则规范等。鉴于算法、人工标注规则等技术构成了生成式AI模型的核心，对该些技术步骤进行监管将能有效防范因技术缺陷导致的应用风险。
(四) 明确责任主体
根据《征求意见稿》第五条规定，“利用生成式人工智能产品提供聊天和文本、图像、声音生成等服务的组织和个人（“提供者”），包括通过提供可编程接口等方式支持他人自行生成文本、图像、声音等，承担该产品生成内容生产者的责任；涉及个人信息的，承担个人信息处理者的法定责任，履行个人信息保护义务。”该条规定将责任主体由生成式AI提供者（比如百度）扩大至亦包括通过可编程接口（API）调用平台服务的垂直应用运营商（比如某APP运营者）。有观点认为APP运营者并非AI产品的提供者，不参与数据预训练、算法设计等开发任务，因此要求APP运营者承担与AI产品提供者相同的责任似乎有点苛刻。另有观点认为由于APP运营者直面用户，要求其对AI生成内容负责并无不妥。
我们认为，生成式AI提供者与APP运营者间的关系可以类推产品生产者与销售者间的关系，对外而言两者应向消费者承担无过错连带责任，对内而言APP运营者承担责任的前提应是以其有过错为前提，即最终APP运营者承担的是过错责任。
此外需要强调的是，尽管《征求意见稿》没有对生成式AI使用者或用户的责任做出规定，我们建议用户在使用生成式AI服务的过程中仍要审慎辨别生成内容是否虚假或存在侵权等可能，尽到足够的注意义务。
(五) 其他规制要求
除上述提及的各项要求外，《征求意见稿》还提出了利用生成式AI向公众提供服务前的安全评估义务（第六条）、算法备案义务（第六条）、用户实名制管理（第九条）、防沉迷义务（第十条）、用户输入数据保护（第十一条）、用户投诉处理机制与侵权内容处理机制（第十三条）、服务稳定性义务（第十四条）、对生成内容举报采取措施义务（第十五条）、生成图片视频标识义务（第十六条）、用户指导义务（第十八条）、用户不当行为管理（第十九条）等要求。前述各条款全方位、多角度地对生成式AI产品和服务的提供者制定了监管要求，旨在促进AI技术健康发展，防止损害第三方合法权益的事件发生。
此外，需要注意的是，提供生成式AI产品或服务不仅要遵守生效后的《征求意见稿》的规范，同时还要遵守《网络安全法》、《数据安全法》、《个人信息保护法》等其他相关法律法规的规定，包括但不限于网络安全责任要求、数据出境合规要求等。
结语
关于ChatGPT，微软CEO纳德拉说：“这是我从未见过的技术扩散。我不认为它发生在曾经的工业革命中，也许这一次，对于知识型工作者来说，这就完全等于工业革命”。随着语料库预训练量的不断累积以及人类标注员纠正干预次数的不断增加，迭代后的生成式AI将会越来越接近人类的思考和表达方式，具备道德水平和情感偏好，最终可能连人类自身也无法区分生成的内容究竟是AI还是人类所为。
随着AI技术的不断革新，法律监管将会不断完善，对于技术开发者、产品提供者、服务使用者等各方主体的合规要求也会不断细化，这就要求AI领域的开发者、提供者、使用者需要对各项法律风险以及应对方案加以关注，必要时可就相关法律问题咨询专业人士的意见。我们期待《征求意见稿》尽快生效，我们也会持续关注生效后的法规以及法规在未来的落地执行情况。
本文已收录于律商《中国法律透视》月刊 2023年第146期
