《政法论坛》编辑部首发

编者按

   为了切实落实中共中央宣传部等部门《关于推动学术期刊繁荣发展的意见》，创新期刊传播形式和方法手段，有效发挥期刊在学术质量等方面的引领作用，加快融合发展、提升国内国际传播能力，推动学术期刊在数字经济时代的转型升级，《政法论坛》将秉持创新发展与严格把关并重的原则，探索实施网络首发制度，从2022年第1期于中国知网陆续推出网络首发文章，并于政法论坛微信公众号同步推出，敬请关注！

 提升计算机对人类知识的集成、意图的理解，扩展人类的智力边界，实现更顺畅的人机交互，一直是信息技术努力的重要方向。随着美国人工智能研究公司开放人工智能（OpenAI）推出的聊天生成预训练转换器（ChatGPT）爆火，多家科技巨头不断加码生成式人工智能竞赛。谷歌在聊天机器人巴德（Bard）之后又发布了能“看懂”和生成音视频内容的多模态“第二代通道语言模型”（PaLM 2），微软新必应（New Bing）搜索引擎集成了多模态“生成式预训练大模型4”（Generative Pretrained Transformer 4，以下简称GPT-4），亚马逊也通过发布泰坦（Titan）宣布加入战局。百度“文心一言”、华为“盘古”、腾讯“混元助手”、阿里“通义千问”、商汤“日日新”、昆仑万维“天工”、科大讯飞“星火认知”等源自中国的大模型更是不断涌现。各类生成式人工智能大语言模型（Large Language Model，以下简称LLM）井喷式爆发，技术应用热潮席卷全球。

 以大算力为基础，用强算法处理海量大数据，在大规模无标注数据上进行训练，学习一定特征或规律以预测未来结果的人工智能大模型，参数量已经从亿级提升到了数千亿级，实现了从支持图片、图像、文本、语音单一模态下的单一任务，到支持多种模态的多种任务飞跃，从而成为具有泛化能力和一定通用能力的模型库。大模型“大力出奇迹”，在自然语言处理、计算机视觉、语音处理等领域表现优异，已经能够提供内容创意生成、数字人、对话搜索、代码生成等服务，在自动驾驶、金融风控、医疗保健、物联网等领域也极富前景。

 大模型已经具有服务“千行百业”的能力。但作为一项互联网信息技术的重大变革，大模型的逻辑推理能力以及对人类的“理解能力”获得极大提升，在文本、图像、语音、视频等信息内容生成方面带来革命性变化，将真正把信息内容生产与传播带入人工智能内容生成（Artificial Intelligence Generated Content，以下简称AIGC）的新时代，正在引发人类社会的知识革命。通过从巨量数据中学习对象的特征，不再简单进行对比和匹配，而是尝试理解人们的想法，利用现有文本、图像或音频文件并基于大数据集生成内容的人工智能内容创作，将不仅成为人类生产创意性信息内容的强大工具，也可能极大地改变网络信息内容生态，给信息内容治理带来新风险新挑战。

 由于生成式人工智能大模型在信息内容生产与传播上高度的技术专业性已远离人们的既有常识，本文在第一部分将主要尽可能言简意赅地梳理出人工智能大模型在内容生成上的典型功能、应用场景与重要特征；在此基础上，文章第二部分将论证，由于大模型具有的重大影响及其本身难以克服的局限性，可能会给信息内容治理带来显著风险；进而，在对国内外信息内容治理作出简要梳理的情况下，尝试提出针对生成式人工智能信息内容的治理道路。

语言对人类具有特殊的意义。海德格尔提出，“语言是存在的家”；维特根斯坦直陈，“我的语言的诸界限意味着我的世界的诸界限”。在人工智能技术发展历程中，自然语言处理一直被誉为“人工智能皇冠上的明珠”。如何能让计算机理解并处理人类的语言，是人机交互的一个重要关键点。生成式人工智能大语言模型所采用的自然语言处理框架，在人机对话和内容生成能力上获得重大进步，可以对大量文本数据集进行学习和训练，以产生复杂且智能的写作，甚至可转化为图像或视频。

（一）信息内容生产与传播方式的革命性变革

一部人类史就是一部信息生产、交流与传播史。从原始社会的口耳相传，农业社会的简牍纸帛，到工业时代的广播、电视，再到互联网特别是移动通信技术的发展，人类信息内容的生产与传播主要以用户生成内容（UGC）和专业生成内容（PGC）两种模式展开。在互联网时代之前，无论是简帛、图书、报刊还是广播电视，最易于广泛传播和长久流传的主要是专业生成内容，其信息内容的生产者主要是知识分子、官员、某些领域的专业人士等。大众传媒时代，还出现了记者、编辑这样的内容生产者与把关人。整体而言，专业生成内容较为权威、可靠，质量较好。相对来说，口耳相传、街谈巷议的内容，主要是用户生产，生产者未必是专业人士，一般也不会有质量把关人。所谓“流言蜚语”，多是“自产自销”，其兴也忽，其亡也速。但到了互联网时代，特别是社交媒体技术广泛应用后，人人都有麦克风、人人都有摄像机，网络空间的“街谈巷议”也能够广泛传播和长久记录，短视频使得每一个人都有机会“被看见”。网络空间中，用户生成内容在数量上自然具有压倒性优势。仅微信平台，每天就有数亿次音视频通话，发送信息数百亿条。截至2022年底，我国网络视频（含短视频）用户规模达10.31亿，网络直播用户规模达7.51亿。人类社会信息内容生产与传播，实现了从以专业生产为主到用户生产为主的革命性转变。

生成式人工智能大语言模型的出现，开启了人工智能生成内容的新时代，是人类信息内容生产与传播方式的再一次革命性巨变。信息内容生产主体发生巨大变异，人工智能在信息收集、筛选和整合、推理的全过程都能替代人力，极大地解放人力资源。信息内容生产效率发生颠覆性变革，大算力驱动强算法处理大数据，在文本分类、情感分析、机器翻译、问答系统、文本生成等自然语言处理，图像分类、物体检测、图像分割、人脸识别、图像生成等计算机视觉，车辆控制、道路识别、交通流预测等自动驾驶，识别欺诈、评估风险、预测市场变化等金融风控，疾病诊断、病理分析、医学图像分析等医疗健康，以及智能家居、智能制造、环境监测等物联网各领域多种任务上，都能高质量作出结果判断，高效率进行内容生成。信息内容传播出现颠覆性变化，信息的生产、传播更加便利，尤其是降低了专业知识的获取门槛。信息内容的表现形态更加丰富，利用人工智能创生技术，图、文、代码等相互转换更加自由，可以一键生成“数字人”分身，“开启智能互联时代”。

（二）大模型的内容生成功能

大模型已经具备多模态、跨模态的信息内容生产能力。就目前国内外发布的大模型来看，在信息内容生成方面，主要是以自然语言处理为核心架构，利用转换器（Transformer）作为通用模块/接口，依靠自我注意机制的深度学习模型，来生成类似人类创作的文本或图像等内容。GPT-4通过在多模态语料库上以包括文本数据、任意交错的图像和文本在内的各种数据进行预训练，可以使模型获得原生支持多模态任务的能力。

基于人类反馈的强化学习技术（Reinforcement Learning from Human Feedback,RLHF），ChatGPT等大语言模型能够根据用户输入的信息来学习和改进输出内容，还可以实现将人工智能模型的表述、内在价值与人类常识、价值观进行“对齐”（Alignment）。ChatGPT还能够运用指令微调（Instruction Tuning）技术来更好地适应用户的语言习惯和交流方式，理解用户的问题，从而提高系统对特定任务和场景的适应性和性能。

在信息内容的输出形态上，生成式人工智能大模型已经可以实现文本、图像、视频、音频、数字人以及3D内容等多种模态。以商汤“日日新”大模型系列为例，“秒画SenseMirage”是文生图创作平台，可以文字生成光影真实、细节丰富、风格多变的图片，可支持6K高清图的生成。“商量SenseChat”是高效聊天助手，它能秒解复杂问题，提供定制化建议，还能辅助创作一流文本，具备不断学习进化的特性。“明眸MingMou”是数据标注平台，内置10余个通用大模型和行业专用大模型，支持智能驾驶、智慧交通、智慧城市等多种场景的2D分类、检测和3D检测的智能标注。“如影SenseAvatar”是人工智能数字人视频生成平台，仅需一段5分钟的真人视频素材，就可以生成出声音及动作自然、口型准确、多语种精通的数字人分身。场景生成平台“琼宇”、物体生成平台“格物”是3D内容生成平台，可以高效且低成本生成大规模三维场景和精细化的物件，为元宇宙、虚实融合应用打开新的想象空间。

生成式人工智能大模型正在开启“模型即服务”（Model as a Service, MaaS）时代。科技巨头打造通用的模型，向细分领域的B端客户（腾讯混元称也针对G端客户）提供模型，由客户来打磨模型，从而赋能各行各业。同时，对C端用户开启公测或付费使用接口，吸引对行业理解较深的玩家，打磨和训练模型。

生成式人工智能与用户深度交互生成海量信息，为用户在进行信息搜寻、产品消费和公共生活参与等方面提供便利条件。ChatGPT-3具有1750亿参数，接受了网络上收集的约5000亿条文本的训练，海量的数据和强大的计算能力造就了这个十分智能的公开可用人工智能。GPT-4的性能较其他生成式大语言模型相比又有更大提升，是迈向通用人工智能（AGI）的重要一步。其通用能力能够在抽象、理解、视觉、编码以及数学、医学、法律、对人类动机和情感的理解等各类型和各领域的场景中广泛应用，在某些领域任务完成上的表现达到或超越人类水平。

（三）人工智能大模型的应用场景

生成式人工智能可成为人类的聊天伴侣，它通过预训练技术支持模型产生流畅、符合上下文语境、具有一定常识的聊天内容，对话呈现出一定的“人格性”而不是生硬的机器话语，因此有成为虚拟陪伴机器人的潜质。在特定领域，通过学习专业知识并利用“微调”技术，大模型可以承担智能客服“工作”。在搜索服务中，大模型将更能领会人类意图，直接生成用户想要的“答案”，而不仅仅提供一系列网页链接。

大模型最典型的应用就是写作生成。根据主题、关键词要求，生成式人工智能可以“写作”故事、小说、诗歌、信件、新闻报道、时事评论、论文大纲等；进行文字修改和润色，如语法更正、文本翻译、关键字提取。大模型还可以写代码，根据OpenAI的技术研发人员介绍，通过对大型语言模型的训练，能从自然语言文档字符串中生成功能正确的代码体。曾有用户使用ChatGPT就2023上海车展“冰激凌事件”秒替涉事公司写道歉信，结果比该公司公关文案更迅速、措辞更得体，涉事公司被网友锐评其“公关水平不如ChatGPT”。GPT-4还能够根据图片识别内容，甚至可以理解背后有特定内涵的图片，也就是所谓“梗图”。商汤“日日新”大模型系列中的“秒画”，以及Stable Diffusion和Midjourney，都能利用文字提示，生成非常具有创造力的图像。

生成式人工智能大模型已经开始呈现出各领域“专家”的能力，可以在若干领域从事一定程度的基础医疗咨询、法律服务、教育问答等专业知识问答和分析。例如，商汤“日日新”能够“讲”专利法；GPT-4可以解答考题、分析图表，并已经可以像真正的人类老师一样逐步引导、鼓励用户思考并获得答案。ChatGPT可以帮助法律工作者集思广益，提升案例分析和文书写作水平，整理引文等等。

生成式人工智能大模型可以成为机灵的私人助理。在生活中，ChatGPT可以帮助订购餐馆、预定电影票、制定旅行计划、获得天气预报等，还可以根据用户的兴趣，推荐相关的新闻、音乐、电影、书籍等，也可以根据用户爱好、工作时间和地点等信息，为用户定制出行路线、日程安排、提醒等服务。例如，接入阿里巴巴的大模型通义千问后，应用程序“钉钉”可全面辅助办公，能够创作诗歌小说、撰写邮件、生成营销策划方案等；在钉钉会议中能够随时生成会议记录并自动总结会议纪要、生成待办事项。

生成式人工智能在产品设计、深度合成和制造领域也大有可为。在logo设计、服饰设计、互联网内容插画、电商配图等众多场景中，文生图、图生文等图文创意内容生成功能均可大展身手。大模型还可以根据描述性文字生成营销策划方案，根据功能草图生成应用小程序，教育、智慧商业、智慧城市等业务，打通多个领域、行业的应用闭环。此外，通过连接智慧生活、智慧根据文字描述进行AI换脸等等深度合成功能一键生成数字人分身，也较为强大。将其用于3D打印，可以直接制造工业产品。

（四）人工智能信息内容生成的特征

在专业生成内容（PGC）、用户生成内容（UGC）以及混合生成等互联网信息内容生产模式之外，人工智能生成内容（AIGC）模式影响日益显著，带来内容生产主体和生产方式的演化、内容交互方式和分发方式的改进、内容生产质量和生成效果的提升。人工智能生成内容具有一些极为显著的革命性特点。

信息内容获取实现了从展示到生成的转变。人工智能大模型能够很好地对人类已有知识进行总结归纳，根据海量数据精简高效输出，极大提高了人类生产和获取信息的能力。它可以编写或起草文本，代替部分人力。它改变了知识生成和传递的方式，极大地降低了专业知识的获取门槛，使得专业知识生成不再需要人类数十年的专业训练就可以得到。相比于从前媒体机构内部使用的人工智能工具，这一代生成式人工智能的应用面向所有用户开放，带来自我释放、自我创造的可能性，带来一种信息的普惠，从而缩小社会的知识鸿沟。

信息内容提供出现了从分散到集成的转变。在人工智能大模型之前，人们在互联网上获取的信息，主要来自各个分散的网页、知识社区、网络百科等。但生成式人工智能以整合信息、分析数据完成了对海量公开知识的整合，而且能与人对话交互，从而集搜索引擎、百科知识平台、知识社区、软件开源社区和部分社交媒体等各类功能于一身，根据其所继承的海量知识进行精简高效的归纳输出，极大提高了人类获取信息的能力。在一定程度上，大模型融合了信息的搜索、查找、整合和初步输出等环节，有利于推动知识的传递、传播和传承。

服务场景实现了从单一领域到通用性的转变。生成式人工智能大型语言模型具有更好的通用性、精度和效率，可以通过预训练或其他方式在大型数据集上进行学习，再通过微调高效地处理计算机视觉、自然语言处理等复杂任务。大语言模型在训练过程中使用了数量庞大、覆盖了各种主题领域的语料库，能在更广泛的应用领域中模仿人类智能。在“模型即服务”的实现过程中，作为“代码层的基石性模型（Foundational Model）”，生成式人工智能大语言模型拥有成为新一代基础设施的能力，可被应用于从搜索引擎、内容平台到应用软件等各类下游场景之中，包括日常工作、科研教育，乃至公共服务，影响各行各业。基石模型的开发者因此成为数字技术市场的“看门人”，拥有强大的市场支配力量。这是在人工智能发展历史上真正具有划时代意义的产品：如果说AlphaGo标志着狭义人工智能达到和超越了人类在专业领域的能力，那么ChatGPT则开启了通用人工智能时代——即人工智能具有广泛的学习能力并在大多数领域达到或超过普通人类能力的时代。

对话方式实现了从单向检索到智能交互的转变。如何让计算机不再是冷冰冰的机器，如何增强计算机对人类理解，如何让人类获取信息更加便捷，都是信息技术发展的重要驱动力。在生成式人工智能大语言模型之前，人类获取知识和信息，或者靠面对面交流，或者靠查询图书资料，或者靠互联网搜索引擎。在获取信息的方式上是单向的、枯燥的。除了人与人之间的交流外，人与书籍资料、电脑网络之间是冷冰冰的“主体-客体”关系。但生成式人工智能大语言模型极大地改变了人类获取知识和信息时的对话方式。以ChatGPT为例，通过海量数据的生成式预训练模型，基于大量的互联网文本进行训练，能够理解和回答各种主题的问题，能够以类人化而非机器化的话语体系进行自然语言表意。ChatGPT-3就已经具备上下文学习的显著能力，能够预测上下文词汇，学习或模仿数据中的模式，通过对应的关键信息匹配和模式模仿来输出对应情境下的回答。随着模型参数数量的增加，上下文学习能力不断增强，就能够保障人机对话的连续性，在无法理解指令时主动向用户发出追问。这就为人类通过大模型获取信息，覆盖了一层“人格化”交流的外表，使得计算机信息检索不再是冷冰冰的机器操作，而可能是具有“人情味”的智能交互。

某种意义上说，生成式人工智能大模型正在成为人类信息内容生产与传播的集合体。图书、报刊、广播、电视等信息内容载体，新闻媒体、搜索引擎、知识社区、网络百科、开源社区等信息提供工具，客服、作家、医生、教师、专家等特定职业身份，所有这些都融入生成式人工智能大模型一身。大模型成了教科书、知识源，成了“教学名师”“权威人士”，能够从源头“垄断知识”“影响判断”“塑造认知”。大语言模型拥有深入人类生产生活各个领域的潜力，但其技术本身存在的局限性和技术滥用问题，将给信息内容治理带来严峻挑战。

（一）技术局限性

训练数据存在瑕疵和局限。大模型预训练所需要的天文级数据，不可能全部进行准确性验证，而如果数据不准确或缺失，必然影响到结果的可靠性，导致“垃圾进，垃圾出”。如果数据有偏见、包含敏感信息，还可能使得生成结果出现歧视、错误认知。2017年，已有研究通过分析斯坦福自然语言推理（SNLI）语料库，证明了自然语言处理数据中的偏见和刻板印象。在不接入互联网或使用插件的情况下，大模型的知识往往是有时限的，比如GPT3.5所拥有的知识仅限于2021年前发生的事件；谷歌的巴德称可以联网搜索信息，但仍存在一定时间差。它们存在着算力受限、训练不足、研发和运作成本很高等问题。大模型训练堪称暴力美学，需要有大算力、大数据和大模型，每一次训练任务都耗资巨大。商汤公布的纪要显示，在云算力端，运行ChatGPT至少需要1万张A100芯片，而目前国内只有商汤、百度、腾讯、字节、阿里和幻方有超过1万张储备，算力缺口巨大，成本极高。

内容生成具有上限。高概率的组合未必真实，很难具备创造性。ChatGPT这样的人工智能模型只能根据接受过训练的信息做出反应，不能真正像人类一样访问实时事实或理解上下文。第一，人工智能内容生成实际上仍是知识重组，而不是知识生产或再生产。一方面，与人类的智力仍有差距，理解上下文的能力仍然有限，缺乏“人情味”，只能追求短时、大量，但无法生产出有意义的创新性内容。模型输出的答案是由其预训练的神经网络生成的，而神经网络中的参数是随机初始化的，并且训练过程中会根据输入数据进行随机梯度下降优化，这就使得该模型在面对同一个问题时可能会给出不同甚至相反的回答。给出的答案有时会表现得“言之凿凿”，有时会“一本正经地胡说八道”，而在被质疑时又会“随机应变”或“死不承认”，本质上是由于其输出结果是在多个备选答案中随机抽取的、概率化的和无法预测的。另一方面，输出内容的质量在很大程度上取决于用户提问（Prompt）的能力。对于专业领域的信息，在自然语言处理的过程中存在着通用化与专业化之间的矛盾，很难在保证结果易读的同时又不降低其专业性。第二，存在“幻觉”（Hallucination）通病，使内容“看起来正确，本质上错误”。模型训练集中的信息压缩所带来的必然偏差，在未给出多余指示词的情况下，模型生成的输出包含一些与输入不符合的信息，这些信息可能是错误的、无关的或者荒谬的，制造出语义扩张或无关的情景，而且无法避免。大模型人工智能具有人格化的表象，但仍不可能真正具备人格。在数字系统中，人工智能并无所谓的人性，不可避免会出现“幻觉”这种“自信反应”。第三，跨语言和跨文化难题，多语言的语料搜集，不一定能把握清楚语料的背后内涵。在OpenAI公布的GPT-3训练数据集中，英文语料高达92.65%之多，而排名第二位的法语只占1.92%。语料输入在很大程度上决定结果输出。大模型训练中，对中文语料的运用过少，将不仅极大地影响到大模型生成内容的质量，也极大地影响到以汉语言为主要表意工具的中华文明。

内容审核具有难以控制的复杂性。由于固有的算法黑箱及可解释性缺陷，人们很难理解模型预测背后的推理。ChatGPT在网站中也写明，这些模型生成的内容量之大，使得对生成内容的手动审查和审核非常困难。根据OpenAI的论文，尽管GPT-4同样具有这些技术局限性，但表面上“比早期GPT模型更有说服力和可信度”。这将带来更大问题。当用户对其过度依赖，在使用中很可能不警惕或忽视错误。

（二）生成式大语言模型应用的风险

由于生成式人工智能大模型需要海量的训练数据，以及其所具有的生成性、优先性、集成性、通用性特点，在其赋能千行百业的同时，也会产生各种巨大风险。

1.个人信息泄露风险

用户与生成式人工智能大语言模型对话的过程，就是个人信息被广泛收集的过程。当用户提问时，可能会暴露并不想公开的个人信息。但根据OpenAI的说明，用户只能删除个人账户，无法删除敏感个人信息。3月20日，ChatGPT的开源库曾出现漏洞，使部分用户能看到其他用户的对话内容、姓名、电子邮件地址甚至支付信息。OpenAI不得不在官网提示：“请不要在谈话中分享任何敏感信息。”实际上，在要求生成式人工智能回答问题或执行任务时，用户不经意提供的信息可能被用于模型的训练、学习和改进过程，从而被置于公共领域。这不仅可能会侵犯用户个人隐私，还可能泄露他人的信息。例如，当律师使用它审查草拟的离婚协议时，可能会泄露案件当事人的个人信息。特别是，大模型展示了强大的推理能力，它能够根据用户需求编写程序，这一方面将改善用户的产品体验，另一方面也可能带来个人信息泄露风险。

2.商业秘密泄露风险

已经有报道显示，三星半导体部门曾出现三次因使用ChatGPT泄露商业秘密的事件：一名员工要求其检查敏感数据库源代码是否有错误，一名员工利用其进行代码优化，另一名员工将录制的会议输入ChatGPT并要求其生成会议记录。无论是市场主体、学术机构还是政府机关，在使用大模型时，都不可避免要与其分享某些信息，从而存在巨大的泄露商业秘密甚至国家机密信息的风险。

3.数据安全风险

用于训练的数据可能存在不准确或倾向性，数据质量没有保证，甚至难以保证合法性，导致生成内容可能具有“毒性”。随着越来越多的行业和领域接入人工智能生成式大语言模型，数据泄露和合规风险日益突出，作为生产要素的数据一旦泄露，将给企业、行业带来巨大的经济和声誉损失。即使是片段性或零碎的信息，ChatGPT也可能将其与其他数据结合在一起进行挖掘分析，从而推断出关系国家安全、公共安全、个人和组织合法权益的情报信息。尤其是对于ChatGPT、巴德等服务器在海外的模型，如果在使用过程中输入敏感数据，可能引发数据跨境流动的安全问题，会带来数据安全甚至国家安全威胁。

4.网络安全风险

由于专业知识门槛降低、模型难以辨认用户的使用目的，生成式人工智能有可能为网络犯罪提供便利工具。通过编写网络攻击代码，它能够生成python、javascript等多种语言的代码，可以创建恶意软件来检测敏感的用户数据，还可以侵入目标的整个计算机系统或电子邮件账户以获取重要信息。有专家曾详细介绍如何使用ChatGPT创建多态恶意软件，绕过OpenAI建立的内容策略过滤器，创建恶意代码。犯罪分子只需要以母语要求模型撰写英文的营销电子邮件、购物通知或软件更新，就可以制作网络诈骗脚本，而且很少有拼写错误和语法错误迹象，难以被识别出是诈骗信息或钓鱼邮件。此外，大模型在用于账户信息训练过程中的信息可能被共享给服务提供商以及相关公司，在这一过程中可能导致数据泄露的风险，留下网络安全攻击的漏洞。

5.算法风险

生成式人工智能本质上是利用算法对海量数据进行处理，算法是其关键。但由于算法本身尚无法对训练数据进行核实，常常可能生成看似准确但本质错误的误导性内容，产生“幻觉”。模型生成内容的准确性有限，且模型自身无法辨认写作内容的真实性，容易导致虚假信息的生成和传播问题。而且，算法本身无法避免社会偏见和价值观倾向。自身存在问题的算法，可能被引导生成违反法律法规的内容。数据使用、算法训练中的价值判断，也可能产生“毒性”内容，固化社会偏见和歧视，不仅有基于种族的偏见，还有基于性别、信仰、政治立场、社会地位等的偏见。

（三）信息内容治理的新挑战

生成式人工智能大语言模型有潜力替代人类在信息收集、知识获取、内容评价、思考推理的思维全过程。特别是大模型在自然语言处理、计算机视觉等领域具备优势，它在生成图文内容、进行人机对话时，因其信息生产成本降低、专业知识门槛降低、应用功能更加聚合、使用领域更加广泛，可能会产生巨大的信息内容风险。

1.生成性造成劣质信息泛滥

生成式人工智能可以编写或起草文本，代替部分人力，生产成本将可以忽略不计，文本的数量将猛增。内容的巨大增长将不仅对可用的物理内存记录空间造成压力，带来信息爆炸式增长，更重要的是将造成有害或不良内容的高速膨胀和大量传播。

一是虚假信息恶化网络生态。生成式人工智能可能编造虚假信息，其输出真实信息与虚假信息相互掺杂的低质量信息，并使用流畅的句子对编造的虚假事实进行阐述，一本正经地胡说八道，对于信息来源受限的群体具有一定的迷惑性。“自动化偏见”使用户倾向于相信看似中立的模型输出的答案。如果将生成式人工智能强大的内容创生能力用于生成针对个人、企业的不实信息，将导致造谣、污蔑、侮辱、诽谤；特别是利用深度合成技术，生成假冒政治人物或者关键人物的发言文字、图片或视频，还可能会引发社会骚乱，产生更大危害后果。

二是误导性信息干扰个人决策和日常生活。生成式人工智能越来越显现出“知识权威”的面貌，在事务规划、法律服务、医疗健康等各种专业咨询服务中生产错误的或者误导性内容，将直接影响用户的日常生活。当用于事务规划，因存在“幻觉”、准确性有限、上下文理解能力有限，易出现“胡诌”的情形，规划出错误的行程、日程安排。当应用于医疗健康、法律服务等专业咨询，一旦知识回答错误，产生的信息可能对用户产生误导，干扰其医疗问诊或法律诉讼活动。

2.初始性信源污染

教科书、新闻媒体等传统知识来源日益被网络平台所取代。而作为集知识平台、搜索平台、生成平台功能于一身的大模型，既有可能成为垄断性的知识来源，也可能从源头产生信源污染。信息内容是在没有人工监督的情况下创建的，那么大规模制作恶意信息的能力就会变得更加容易和快速。在网络“回音室”和“过滤泡沫”的扩散中，大量未经证实的片面内容的产生，将产生一种错误的多数意见感，加剧意见的两极分化。

一是误导史观。历史是客观的，但对历史的认识却可能是主观的。特别是在国际社会，由于意识形态冲突和价值观偏见，歪曲历史的情况比比皆是。近年来，围绕对二战的认识，西方社会不断发生分歧；围绕抗日战争问题，中国、韩国等亚洲国家经常批评日本美化其侵略战争、歪曲历史的言行。大模型作为人类的创造物，较难避开人类所具有的偏见。事实上，在政治类问题的回答中，通过虚假或误导性信息等内容，放大政治偏见，操控用户认知，并不罕见，而一旦与网络空间中机器人账号结合，可能带来更大安全风险。不少测试发现，西方大模型在涉及与中国有关的问题上，常常体现出西方立场和价值观，甚至扭曲历史、歪曲事实。

二是意识形态和价值观偏见。大语言模型可能会具有各种社会偏见和世界观，而这些偏见和世界观可能并不代表用户的意图或广泛认同的价值观。现实社会并不是一个天下大同的理想国，不同国家、政治力量、利益团体，都具有相当不同的意识形态和价值观，并呈现出现实的权力结构，且反映在各类信息中。大模型训练所需要的数据集，往往将现实社会的意识形态和价值观进行了编码，可能导致对其进行加固的后果。研究表明，西方大模型训练集中的大部分数据主要是从白人、男性、西方人、说英语的人的角度产生的，所以数据可能会严重倾斜以反映这些结构。现实社会的权力结构被编码在大模型中，大模型输出体现现实权力机构的内容，产生权力的马太效应，结果往往是打造压迫的再生产系统，破坏信息生态系统。特别是在涉宗教、人权等意识形态与价值观问题的领域，国家利益冲突激烈的领域，甚至在关于人种、文明优劣等极端议题上，垄断了大模型相当于垄断了教科书、百科全书、图书馆。大模型将成为认知域作战、塑造公众认知、操纵国际舆论的利器。

三是语言霸权挑战。数字时代的规模效应，使得小语种面临非常大的挑战。语言是存在的家，是文化的载体，是文明的呈现。生成式人工智能虽然能够提供多语种、跨语种服务，但大模型训练需要巨大的语料库，即便是国内的文心一言等大模型，也是经过基于英文环境的代码训练，不仅可能存在价值观偏差，还会出现不同语言及其所代表的文明之间的激烈竞争。如果不能掌握大模型等集成性、垄断性平台，一个民族最后可能连它的语言都保不住，甚至走向泡沫化而逐渐消融。

3.通用性伦理风险

在一个原子式个人主义的社会中，生成式人工智能越来越成为人们的聊天伴侣、亲密“朋友”，由此带来一系列伦理挑战。

一是人类对什么是“人”可能产生更大困惑和错误认知。由于现实社会的过度竞争、内卷，且受到越来越原子式个人主义价值观的影响，现代社会的个人越来越孤独，人与人之间越来越疏离。生成式人工智能大模型可以支撑聊天机器人、陪伴机器人服务，甚至成为许多孤独个体的“伴侣”，但也会加剧人际关系的疏离，个人生活的孤僻。技术帮助人类，却可能让人类更不幸福。

二是限制个人决策能力，削弱人的主体地位。生成式人工智能呈现去身体、去真实、去开放和去隐私的趋势，隐藏着算法对人的主体性更为彻底的剥夺风险，其实质是人机驯化的异化表现。人机交流将挤占人际交流的空间，从而削弱具身主体在社会和心理层面的关联：社会关系不再要求身体“在场”，而“公共生活”也随之销声匿迹。换言之，人类创造了算法，但算法有可能反过来规训和重新格式化人类，潜移默化改变人的行为及价值观，进而侵蚀人的主体性。人们可能会将最终决定权委托给某些自动文本生成器，就像今天他们向谷歌询问存在主义问题一样。

三是阻滞内容创新和知识进步。当大语言模型应用于写作生成，可能产生洗稿、剽窃、学术不端等问题。国外一些大学已经开始禁止在校园使用ChatGPT，以避免学生在考试或论文写作中作弊。一些著名国际期刊也明确不接受将人工智能列为合作者。大模型可能是很好的家庭教师，但也可能被用作作弊神器。特别是未成年人，如果过度依赖生成式人工智能将会限制个人思维的成长，由此危害健全人格、学校教育和学术训练。由于大模型简化了答案或信息的获取，毫不费力生成的信息可能会对学生的批判性思维和解决问题的能力产生负面影响，放大懒惰并抵消学习者进行自己的调查并得出自己的结论或解决方案的兴趣。

四是助长虚假宣传和舆论操纵。在自媒体发展时代，舆论操纵成为更加严重的问题。在2008年伊朗总统大选纷争中，美国社交媒体推特（Twitter）就成为反对派的重要支撑工具。通过利用社交媒体，反对派极大地降低了动员成本，进而提高动员能力。美国政府在当年的《资助伊朗持不同政见者报告》中明确表示对“新媒体”的资助，甚至直接要求Twitter官方推迟系统维护，以免反对派失去联系渠道。而发源于Twitter的不实信息，也被CNN、BBC等传统媒体放大。但聪明反被聪明误，舆论操纵者往往会自食恶果。在剑桥分析事件之后，已经有美国学者预测，以ChatGPT为代表的大型生成性人工智能模型将会成为下一轮选举中针对候选人和影响公共舆论的有力工具。

人工智能带来巨大可能，也引发巨大担忧。人类必须提前为可能的风险失控做好防范，对通用人工智能研发的安全性和伦理性进行普适性立法已迫在眉睫。因规制对象高度确定，专域人工智能领域的相关立法日益成熟。例如，针对自动驾驶、智慧医疗、算法推送、人工智能投资顾问、人脸识别等不同领域的规范，均能在各个国家和地区不同层次的法律中找到对应。如何在最大程度上发挥生成式人工智能技术效能的同时，减少新兴技术对社会发展造成的负面冲击，就成为全球性的重要问题。

（一）大模型规制成为欧美重要议题

科技与产业界已经有不少人对生成式人工智能表现出警惕。他们认为，人工智能系统可能对人类社会构成深刻风险，先进的人工智能可能代表着地球生命史上的一场深刻变革，应该以相应的关心和资源进行规划和管理。而现在，AI实验室已经陷入了失控竞赛，没有人能够理解、预测或控制大模型，所以要按下开发暂停键，大幅加快人工智能治理，对人工智能研发做出监管。意大利数据保护机构一度对ChatGPT发布禁令，并调查其涉嫌违反欧洲隐私法规的行为。但由于生成式人工智能大模型尚属于小荷尖角，世界各国并未能形成系统的法规政策与监管体制。

欧盟在立法进展中拟作出调整，决定成立专门工作组来促进合作，并就数据保护机构可能采取的执法行动交换信息。部分欧盟国家的隐私监管机构表示将依据欧盟通用数据保护条例（GDPR）监控ChatGPT个人数据泄露的风险。欧洲消费者组织（BEUC）发起呼吁，要求欧盟和国家层面的欧洲监管机构对ChatGPT展开调查。欧盟正就生成式大语言模型这类通用人工智能的监管问题调整人工智能法案，考虑要求OpenAI接受系统性能、可预测性和安全性设置可解释性的外部审计。按照欧盟人工智能法案构想的监管框架，生成式大语言模型因有可能创造有害和误导性的内容，将被划入高风险范围内，受到严格监管。

美国政府也开始采取举措。2023年3月30日，美国联邦贸易委员会（FTC）收到了非营利性研究组织人工智能和数字政策中心（CAIDP）发起的投诉，认为GPT-4不满足任何FTC对AI使用“透明、可解释、公平和经验合理，同时促进问责制”的要求，且“有偏见、欺骗性，以及隐私和公共安全的风险”，要求对OpenAI及其产品GPT-4进行调查，确定是否遵守了美国联邦机构发布的指南。5月4日，拜登政府宣布要进一步推动美国在人工智能领域负责任的创新，将对现有生成型人工智能系统进行公开评估。按照人工智能负责任披露原则，谷歌、微软等一批领先的人工智能开发商需要在特定人工智能系统评估平台上进行公开评估，向研究人员和公众提供影响模型的关键信息，评估是否符合人工智能权利法案蓝图和人工智能风险管理框架中的原则和做法，以促进人工智能开发商及时采取措施解决问题。2021年1月，美国国会通过了《国家人工智能倡议法案》（NAIIA），旨在推动美国在人工智能领域的竞争力。

生成式人工智能作为技术竞争的最前沿，事实上已经成为少数国家的专利。大部分国家在技术开发、产业部署和监管治理上，尚难有作为。而且，国外的人工智能监管当前仍主要集中在传统人工智能领域，而不是生成式人工智能大语言模型。但由于社会上客观存在的对生成式大语言模型的担忧，欧盟存在一种要求生成式人工智能大模型遵守高风险义务的声音，可能会对地方政府、行业和企业目标的竞争环境产生重大不利影响。

（二）国内规制现状

我国已初步形成由法律、行政法规、司法解释、部门规章及一系列规范性文件组成的立体的、全方位的网络信息内容治理规范体系。生成式大语言模型的信息内容治理已经具备基础法律框架，具有使其在不损害国家安全、公共利益、个人权益的前提下发展的框架性制度约束。

在信息内容监管上，由《刑法》《民法典》《国家安全法》《反恐怖主义法》《治安管理处罚法》以及《网络安全法》《个人信息保护法》《互联网信息服务管理办法》等法律法规构成的信息内容安全监管框架，明确禁止危害国家安全、社会稳定和虚假信息等有害信息。《网络信息内容生态治理规定》将一直处于灰色地带的低俗信息、负面信息等也纳入立法规制，突出了治理主体和对象的多元化。《网络音视频信息服务管理规定》《互联网跟帖评论服务管理规定》等规范进一步构建了全平台覆盖的信息内容监管机制，为生成式大语言模型的内容规制提供了基础。

在人工智能算法的风险应对方面，《算法推荐管理规定》对算法推荐服务进行监管，开启了算法治理的法治化进程。《互联网信息服务深度合成管理规定》针对利用深度学习等生成合成类算法制作文本、图像等网络信息的技术，对篇章生成、文本风格转换、问答对话等生成或者编辑文本内容的技术进行监管，为生成式大语言模型的应用提供了基础性规则。

2023年5月10日结束征求意见的《生成式人工智能服务管理办法（征求意见稿）》，从数据使用、个人信息收集、内容生成、内容提示标注等全流程对生成式人工智能服务提出了一系列监管设想。但安全与发展的平衡并不易拿捏。规制先行，固然体现了监管部门的敏锐，但对产业发展造成的影响也要认真衡量。生成式人工智能代表的新一代信息技术是当前国际竞争领域的重要制高点，由于中国在这一技术领域处于起步阶段，产业基础不够雄厚，应用影响的经验积累不够充足，在本土生成式大语言模型技术研发初期，对开发者过于严苛的责任设定，也有可能限制产业的发展。比如，就服务提供者对生成式人工智能可能造成的损害问题应承担产品侵权责任，还是其他责任，应详加辨析。应坚持包容审慎的原则，在保障国家和社会安全的前提下，为技术和产业创新留下足够空间。

网络安全是相对的，不是绝对的，“零风险”并不是一个科学的目标。在模型开发过程中，研发者客观上很难预见到所有的潜在风险，需要在较为宽松的环境内、在合理限度内进行探索和实践。技术进步带来的风险只能去约束，无法完全避免。例如，大模型的“幻觉”带来的准确性不佳、算法黑箱带来的问责困难等问题，只能尽量控制，但无法完全消灭。

（一）激励相容：优化大模型开发法治环境

新一轮技术革命和产业革命蓬勃开展，每一次产业革命都会产生关系国家兴亡、民族盛衰、文明荣枯的重大影响。在中美博弈日趋炽烈，美国对我国极限打压、封锁围堵的情况下，有没有生成式人工智能大模型，我们的大模型是否足够先进、强大，才是更具根本性的问题。严格的监管，应该置于先进技术和强大产业的基础之上。

受传统计划经济体制的影响，也由于特定阶段严峻的国际环境，尽管国家一直坚持社会主义市场经济体制，提倡有为政府与有效市场的结合，但在具体的产业监管中，一些地方和部门仍然习惯于深度介入到市场之中。特别是在互联网领域，由于网络安全对国家安全具有极端重要性，互联网更是成为意识形态斗争的最前沿、主阵地，导致我国对互联网行业监管整体上较为严格。在信息内容治理领域，始终未曾通过全国人大常委会制定的法律，目前仍然只有已经实施20多年的《互联网信息服务管理办法》等行政法规，信息内容监管主要靠部门规章“小马拉大车”，导致产业监管法治化程度不够，刚性有余，柔性不足，自上而下命令式的单向监管情况较为明显。

但是，国内外大量经验事实证明，现代社会的法律与政策不仅仅有规制功能，更是国际制度竞争的重要方面。作为社会问题的综合性解决框架，法律与监管既非越严越好，亦非越松越好，而必须保持一个明智的平衡。如果命令式、压制式的自上而下的单向监管过于刚性，将导致法律难以落实，或选择性执法。监管部门由于权力过大，也会面临更大的监管俘获困境，最终抑制技术创新和产业发展，错失国家发展机遇。

在此背景下，晚近以来，发达国家更强调激励性监管。实践证明，如果监管措施与规则能够与被监管对象激励相容，则不仅更容易实现监管目标，也会极大地降低监管成本，提高合规与守法积极性。因此，坚持法治原则，实行激励相容的监管理念与思路，业已成为优化法治营商环境的重要内容。因其稳预期、利长远，法治更被誉为最佳营商环境。

面对处在快速发展阶段的生成式人工智能大模型，立法与监管部门必须以更大的谦抑，表达出对市场、创新和产业自主性的尊重，为新技术新应用的发展留下更广阔空间。考虑到算力是大模型发展的基础，而算力架构又极其昂贵，在立法和政策选择上，我国应该为新技术新产业融资提供更优良的政策空间。考虑到大模型训练需要用到海量的数据，在保护个人信息和数据安全的前提下，在监管上也应尽可能排除数据训练等方面的不合理障碍，促进数据要素的合理流通利用。法律必须符合规律，监管必须符合实际。应当直面生成式人工智能带来的风险和挑战，平衡创新和公众利益，确保生成式人工智能的有益应用，避免社会风险，最终建立发展与安全相统筹、符合客观规律和发展阶段的赋能型监管理念和监管模式。

（二）多元共治：构建企业社会责任与个人积极参与的治理机制

技术创新与产业跃升是国家的兴盛之源，而坚持法治、科学监管则是国家兴盛的制度保障。20世纪后半期以来，“管理型”立法与“治理型”立法的分野日益明确。“与高度复杂性和高度不确定性的时代相适应的社会治理模式应当是一种合作行动模式，只有多元社会治理主体在合作的意愿下共同开展社会治理活动，才能解决已出现的各种各样的社会问题，才能在社会治理方面取得优异的业绩。”

互联网行业因其本身技术复杂性而具有极强的专业性。互联网发展史表明，虽然政府和国家的支撑作用不能忽视，但科学社群、技术社群的作用也同样重要。秉持开源精神，科学家与专业技术人士的交流及其所达成的共识，极大地塑造了互联网协议、标准和规则，为国际互联网发展赋予了强大动力。特别是互联网作为新技术、新产业，背后复杂的代码世界和技术发展往往领先于日常生活世界，不可能立即被包括监管部门在内的社会大众所充分理解。它所蕴含的发展潜力，也并非一目了然。如果没有足够的耐心和包容，如果没有温和、理性的理念，很容易因为对风险的担心而扼杀至关重要的创新。在互联网新技术新应用领域，追求绝对安全，往往导致更大的不安全。在这个背景下，包括我国在内，互联网发达国家往往奉行多元治理、社会共治的理念，不仅动员企业和社会充分参与，也为新技术新应用发展预留广阔空间。

生成式人工智能大模型作为互联网信息技术发展的新趋势，已经展现出了爆炸性和革命性的潜力，通过作为生产力工具赋能千行百业，很可能为将来的技术创新、产业跃升、社会治理、个人福祉带来巨大益处，甚至成为国家综合竞争实力的一个重要因素。在这种情形下，首先应支持和扶持大模型开发与部署，同时强化企业社会责任，规范数据处理和个人信息保护，确保人工智能模型的开发和应用符合道德和伦理标准，促进算法向上向善。要强化风险识别和数据溯源，提升技术治理能力，明确数据来源和训练过程，通过数据集识别潜在偏差和其他风险，并通过人工审查或建立监测系统，监测内容输出，识别风险。建立反馈投诉机制，接收、监测和评估实时出现的风险，及时采取补救措施。

生成式人工智能大模型的应用和影响是全球性的，需要各国研发机构共同努力，协调技术标准。作为互联网第一大国，我们还要有参与国际互联网治理、为国际社会提供互联网公共产品的意识，支持我国大模型、大平台参与和组织全球技术社区，在技术、伦理和规则方面做出中国贡献。

当然，还要提升公民数字素养，避免生成式大语言模型的应用不平衡所带来的数字鸿沟。首先，提升用户对于新技术应用的全面认识，鼓励公众以科学严谨的态度看待和评价新技术，不盲目跟从或反对。其次，向公众普及有关神经网络、深度学习等技术的知识，帮助人们理解生成式人工智能的运作原理和局限性，避免技术依赖。最后，增强对真假信息的甄别能力，引导公众对生成式人工智能的输出保持一定理性态度和辨识能力。

（三）循法而治：构建生成式大语言模型法律框架

在互联网信息内容治理方面，我国以总体国家安全观统筹网络意识形态安全，在《国家安全法》《网络安全法》《反恐怖主义法》《互联网信息服务管理办法》等法律法规框架下，所有从事新闻信息服务、具有媒体属性和舆论动员功能的网络传播平台都被纳入管理范围，危害国家安全、破坏民族团结、扰乱社会稳定等内容被严厉禁止。我国坚持以信息化驱动现代化，第一，以网络强国建设统筹网络信息内容发展，有效促进了网络信息技术的迅猛发展和信息内容的极大丰富。第二，以网络文明建设统筹网络信息内容建设，塑造向上向善的网络风尚，促进社会公众自觉抵制违法和不良信息的侵蚀。第三，以网络法治建设统筹网络信息内容生态治理，有效遏制了违法和不良信息在网络空间的传播，优化网络生态。

生成式人工智能大模型作为一种全新的信息内容生产和传播平台，虽然尚未展现出全貌，但其生成性、集成性、通用性、智能交互性的特征，正在使其成为信息生产和传播的主要垄断者。因此，在立法和监管上，就必须尽可能准确识别其风险，在原有信息内容治理框架内，完善从数据到算法到内容的链条性规制。第一，规范用户数据的收集、存储与使用，防止用户数据被用于有害目的，生成虚假、错误或者误导性内容。第二，完善算法备案制，对于人工智能生成的文本、图像与视频等各种内容，要引导企业建立第三方审核或者自律机制。第三，在识别和监管有害信息的同时，兼顾个人进行知识获取和内容创作的自由。

一是建立科学、明晰的法律责任承担机制。对于生成式人工智能服务提供者，以立法要求其确保数据可靠性、准确性；履行内容审核义务，避免有害信息生成；履行特殊标识义务，以显著、醒目的方式对深度合成内容进行标识；建立预防、及时识别和停止有害和不良信息生成和传播的机制。对于用户，在服务提供者已承担安全管理责任、尽到审慎义务时，用户应当承担将模型当作网络犯罪工具的刑事责任。其他信息平台对模型所生成的虚假信息和其他有害信息、不良信息，应当及时甄别，禁止或限制平台上的信息传播。根据不同的行为性质、后果，确定不同的责任承担类型。

二是统筹国内法治和涉外法治。当前，主流的生成式人工智能大模型主要分布在中美两国，而美国在大模型上居于领先地位，具有极大优势。对外国使用生成式大语言模型来侵害我国利益，以政治操弄和意识形态偏见干涉我国内政等的行为，或者传输其他涉嫌违法犯罪的信息，网络安全法第50条规定要“采取技术措施和其他必要措施阻断传播”。实际上，对于来自境外政府或相关组织利用生成式人工智能大语言模型传输违反我国法律法规信息的行为，不仅仅在技术上采取阻却措施，还可以探索建立反制机制，以更好维护国家主权、安全、发展利益。