当AI遇上法律：聚焦技术应用风险，共探合规布局与立法进程

2025年第02期    作者:文字整理 许倩    阅读 15 次

主持人：朱培 上海律协数字科技与人工智能专业委员会委员、上海市汇业律师事务所合伙人

嘉宾：徐凯  上海律协青年律师工作委员会委员、数字科技与人工智能专业委员会副主任,上海市君悦律师事务所合伙人

王渝伟 上海律协数字科技与人工智能专业委员会委员、北京观韬(上海)律师事务所律师

翁冠星 上海律协对外宣传与联络委员会委员、仲裁专业委员会委员,上海功承瀛泰(临港新片区)律师事务所主任

朱培： 大家好！欢迎来到《上海律师》2025年第二期“法律咖吧”，我是本期咖吧的主持人朱培。近期，人工智能技术快速发展，与之相关的法律问题不断涌现，比如AI换脸拟声引发的侵权案件等。围绕着人工智能、数字经济、大数据等新兴领域，国家也已经在加强立法研究。在这一趋势下，当前人工智能应用中存在哪些突出的法律风险点？对于尚未完善的法律体系，法律从业者和相关企业应该如何提前布局，以应对未来可能出台的法律法规？

今天非常荣幸地邀请到了徐凯律师、王渝伟律师和翁冠星律师共同探讨分析人工智能法律问题。在当今时代，科技发展日新月异，人工智能技术作为前沿力量，正深刻改变着我们的生活与工作模式。从智能家居到自动驾驶，从医疗诊断到金融风控，人工智能无处不在。

首先请徐凯律师为我们分享一下，在日常工作还有案例研读的过程中，您认为当前人工智能应用中存在哪些突出的法律风险点？

 

徐凯：我本科就读计算机专业，后就读民商法学硕士，我更能感受到人工智能技术对法律行业的冲击。思维层面上，法律思维要从传统工业生产、传统服务业的思维转变为更加适应人工智能生产力的思维。例如，当下大数据和大数据算法对我们的影响其实已经不同于以往。以往的数据、算法是静态的，算法对计算机而言就是一系列的解决特定问题的代码。针对此类数据、算法产生的问题，已有著作权和知识产权法律法规能够妥善进行回应并解决，并没有特别大的争议及突出的问题。而当前的大数据和大数据算法（包括采集用户信息以及推测用户的行为）其实是一种动态的算法，其所涉及的大数据是一个实时的、动态的大数据。因此当前无论是消费者还是劳动者都比较关注算法问题。我认为，当下我们遇到的挑战实质上是动态的数据加上动态的算法所呈现出来的一种结果。所以，无论是从静态的角度看人工智能收集的数据，或者单纯从静态的角度看其实现商业行为的算法代码，我们很难去发现或者判断人工智能企业存在什么具体的算法歧视，所以我们更需要从动态的角度来理解数据收集给我们带来的影响，包括消费者的隐私、劳动者隐私等冲突。

以消费者隐私保护为例，人工智能企业可能涉及采集用户信息，并且不当存储以及不当用于促成商业成交的情况。针对这种情形，在权利救济机制层面，从平衡商业服务和用户感受的角度来看，如果通过诉讼，对人工智能企业某一个行为去起诉，对于消费者来说是很大的一个负担。我的建议是，特定社会公共机构应当参照环境保护维权制度，设立集体救济制度。因为无论是数据还是算法，对其需要具备较为专业性的判断，因此需要存在一个集体来代表消费者去对算法歧视或侵害不特定对象个人信息或者数据的行为进行专业判断。集体救济制度的优势在于可以降低消费者的维权成本，比如可以设计成针对有消费者的有代表性的批量投诉，该集体把共性问题整理后，以专门机构的角度，向人工智能企业或者互联网企业提出整改要求。从行政监管层面，建议网信部门及数据主管部门在现有网络综合治理体系基础上，进一步强化对算法运行过程的动态监管能力，也建议消费者、劳动者用普适性的角度去解决问题，以此能够让当前数据算法和用户隐私保护之间形成平衡，更好地维护消费者的利益。

 

翁冠星：我讲一些跟徐律师观点不一样的看法。我是做国际争议解决的，观察到的风险点主要有以下两点：第一，不加限制地使用，也就是主持人在引言里提到的一个很关键的点——换脸。换脸有一定的趣味性，我自己也会看手机里的一些视频，但是这种技术越好，如果应用在诈骗领域就越会引起严重后果。我们也碰到过许多案例，其不仅用在普通的民事领域，还用在一些商事领域。比如用AI换脸冒充公司老总，让财务打钱，从视频头像到签字到声音，可以做到一模一样。第二，在运用的时候，比如律师或者专业人员也面临着一个使用者道德的问题。刚才徐律师讲的算法，底层逻辑是什么？它一定绕不开大数据和概率统计，这是深度思考里面绝对绕不开的概念。设想一下，对于有些东西，在输入关键词的时候，就可能违反了道德。答案越是正确，越会造成一些道德冲突，但是这些东西往往又会被专业人士用作素材，我们把它归类为使用者道德陷阱。就可能会引发一些更为尖锐的矛盾。

 

朱培：正是因为新技术带来的法律风险点，才让我们法律人有机会为新质生产力提供法律供给。我们都知道在人工智能飞速发展以及商业化应用的关键时期，以智能驾驶汽车为例，从2022年全国首部自动驾驶法规——《深圳经济特区智能网联汽车管理条例》正式生效以来，多地也相继出台了与自动驾驶相关的地方性法规。社会上关于我国是否应该制定统一人工智能法，以统一当前的分散式立法方式。有请王律师结合自己的实务经验为我们分享一下，您认为当前人工智能法统一立法的时机和条件成熟了吗？

 

王渝伟：首先说说我的判断，我个人观点是觉得时机不成熟。关于国内是不是需要一部完整意义上的人工智能法案，大家讨论很多，而且特别关注。因为已经有欧盟的人工智能法在前，所以会不会出现与当年个人数据保护领域的GDPR一样，欧盟在人工智能领域首先立法之后全球开始效仿，即人工智能领域的“布鲁塞尔效应”。实际上这样的讨论是挺多的，业界也很关注，包括在法律研究和实务当中，我们也看到国内有一些研究机构或者专家已经在开始做了。比如我们看到出现了人工智能法专家稿、人工智能示范法等立法研究成果。但从我个人视角来看，我认为这两者存在显著差异，我们不能效仿之前的个人数据领域的欧盟立法，毕竟欧盟的先行立法，尤其是 GDPR 的出台，使其在全球个人数据治理格局中占据了举足轻重的地位，甚至有人说欧盟是因为GDRP的出台，享受到了数据治理中的政策红利。大家很关注，我们国家要不要效仿欧盟一样，要尽快出台一部人工智能领域的基础立法，我觉得是不太一样的。

我想澄清一个观点，不要一部完整的人工智能立法和要不要人工智能相关的立法，这是两个不同的概念，我支持的是目前我们可以有一些分散或者以风险为视角的相关人工智能治理、一些以风险治理为视角的立法，包括目前已经有了的。比如我们在算法领域当中可以看到，比较早期的《互联网信息服务算法推荐管理规定》，更多的是针对大数据杀熟这样一个风险比较大或者受到社会高度关注的问题点，以这个为视角去做了相应的立法。另外就是针对深度伪造的问题。实际上我们也有《互联网信息服务深度合成管理规定》，以及2023年8月15日发布的《生成式人工智能服务管理暂行办法》，也是针对当时逐步发展起来的生成式人工智能服务所伴生的相应风险而提出的人工智能治理文件。

所以在这个领域目前国内是有相关的立法，我觉得人工智能领域的立法与个人数据领域不太一样的地方就是数据或者个人隐私。它在欧盟乃至全球是一个已经有很长历史和立法研究以及治理沿革的领域，或者说是有一定立法基础的行业立法，欧盟在制定GDPR之前，实际上已经有针对个人数据和隐私保护相关立法的，所以它不是从头开始的。但是对于人工智能，特别是人工智能技术或者它的风险，目前来看，我觉得全球还处于一个比较早期的研究，包括对生成式人工智能等新技术的研究都是比较早期的。对于人工智能特别是新一代生成式人工智能技术发展以及技术可能造成的风险，在还没有完整理解的情况下，起草一部完整意义的人工智能立法，时机是不成熟的，它可能会限制我们在该领域的创新，并且也不一定会带来我们期望的风险防控。

 

翁冠星：我个人同意王律师的想法，我觉得统一立法和立法本身分开来看，立法很有必要，包括职业道德的问题，现有数据的提取、储存、传输使用的问题，现在我们已经有散见的规定在不同的法律里。如果一定要有建议，就是要把数字数据的不恰当运用造成侵权以及赔偿标准，包括是否要适用惩罚性赔偿、举证责任，以及举证责任倒置的问题，必须由法律来决定，不能由法官自由裁量权决定，我觉得这一块是必要的。至于统一立法，我个人的想法是，首先欧盟的GDPR并非善法。GDPR的存在导致欧盟法域以后很难出现任何形式的数据创新。为什么？因为数据本身一定要在使用中体现价值，就好像我今天打车去哪里，每天回到哪里，每天最频繁出现在哪里，这些信息对在座各位来说是没用的，但对一个卖车的人可能是有用的。也就是说数据的使用如果规定太严，就会失去商业价值；而如果要把它的商业价值发挥到最大化，一定会导致被滥用，法律可能要在发展过程当中寻找一个动态的平衡。因此我首先觉得统一立法还没有到时间点，但可以先守住最后一道关，即侵权。一旦侵权行为发生了，侵权结果怎么认定？举证责任的倒置形式，以及侵权结果即酌定标准是什么？然后就是过错的认定，这些可以先把它通过法律规定下来，让大家知道不能把技术用在不恰当的地方，否则可能会被罚得很重。甚至再往前一步，民诉法里面把长臂管辖也规定进去。如果侵权结果发生在境外，但是跟中国主体有关联，中国法院也可以管，那就是保护我们的企业走出去，这个事再进一步可以规定一些程序事项，包括级别管辖、地域管辖，甚至长臂管辖，我们可以规定进去，一步步来会比较好。

 

徐凯：我的观点是，目前发展较为成熟的大语言模型、以chatgpt为代表的技术路线也一直被挑战，技术路线也随可能被颠覆。未来在大模型、大语言模型发展过程，以及相关开源产业，中国企业也在为世界作出贡献。人工智能产业还在工程学上发展，其发展理论仍有太多需要完善。因此无论是大语言模型，还是未来的具身智能，包括自动驾驶的一些算法和数据发展过程中有太多的不确定性。我认为只有当在技术上、理论上有一个相对明确的阶段，我们才有基础去厘清各方的责任。所以，我认为统一立法的时机和条件远没有到来，如果强行做判断，不仅是对产业的伤害，可能在观念上也给整个社会带来一些不必要的负担。

 

朱培：对于人工智能的创新发展和法律合规方面，想先请教一下王律师，您有什么建议和提醒？对于尚没有完善的法律体系，您认为法律从业者和相关企业应该如何提前布局，以应对未来可能出台的法律法规？如何提前布局，以同时避免布局以后要推倒重来的重复建设，想听一下王律师对这个问题的看法。

 

王渝伟：我觉得企业应该还是以风险为视角整体分层建立和完善合规治理机制，或者内部风险治理机制。我们最近就碰到一个事，前段时间某省的卫健委组织了一个内部活动，现在有很多公共机构包括医院都在大量接入Deepseek等大语言模型来做一些应用创新，甚至有些会做本地化部署，在这过程中，可能潜在一些风险。当时卫健委的相关部门意识到，在做这个项目的时候，大量数据可能会在过程中传输给底层大模型，不管是做二次训练，还是直接作为知识库做调用，实际上都会存在潜在数据风险，但是里面到底有什么法律风险，实际上他们没有具体认识。

目前国内针对人工智能的一些法律法规，有框架也有一些具体规定，监管方面发展和安全并重。我认为企业不管从自身业务连续性发展视角，还是从规避法律风险视角出发，首先要搞清楚其在使用人工智能技术进行创新研发以及应用中到底面临了哪些风险。目前在我所处的行业里面，做底层大模型或具体在应用或者底层的研发方面，到底有什么风险，不仅仅要有具体的认识，还可以借助外部一些咨询机构或评估工具，对一些主要的法律合规以及技术的风险，比如我们常常提到的、备受关注的知识产权风险、数据安全风险、个人信息保护、模型幻觉等，包括数据跨境的问题，需要针对这些风险做完整评估，再来看哪些是最核心的风险，哪些是目前机构在现有的资源需要尽早进行合规风险治理的。我理解的风险治理是有一个时间先后顺序的，需要企业根据自身情况以及外部的监管要求做合理适时的安排。目前我们也做了全球人工智能领域相关立法的一些研究，看到了包括欧盟的人工智能法、美国以及其他经济体的立法动向，以及国内的生成式人工智能服务治理规定，实际上都有类似的安全风险评估或者类似的要求或规定，同时一些国际性组织和行业组织也在积极推动一些自发性风险评估工具。我的建议是：可以先从识别风险基础开始，根据企业本身的风险高低来做后面的一些合规工作。

 

翁冠星：法律合规方面，我还是建议先从负面清单开始做起。首先，这个行业刚起来，不能马上用一个法律规范去约束它发展。既然这个行业正在蓬勃发展，而且还涉及中国参与到国际博弈的一个弯道超车的重要途径，也可能是我们突破西方对我们进行技术封锁的一个非常重要的赛道。因此我觉得对于这个行业首先我们要以扶持为主，不能一上来就给太多限制，但是对于做法还是先以规定好底线为主，比如法律、侵权责任的拟定、举证责任、管辖等。我们律协可以先规定，律师在执业过程中，什么是绝对不能用人工智能技术的，或者人工智能产生的成果绝对不能对接到哪里。

这里要强调的是，有些内容，如果AI使用结果直接反馈到人，那是没有问题的。问题是如果这个结果继续给到机器，就会出大问题。这也是过完新年以后，我们发现Deepseek变笨的一个很重要的原因。因为它现在被“喂”的是被其他的人工AI产品“吐”出来的东西。我觉得可以先规定好底线。对于企业来说，有一个最基本的预期，可以在哪些地方用人工智能技术，比如可以用在内部汇报，最终结果谁可以看到，不能用的地方有哪些，企业就有预期了。在给它划定的一个范围里面，可以大胆用，这是第二个。

第三，就是标识。我知道现在很多媒体平台都有一定要强制的标识，这个强制标识现在仅限于媒体，比如这个视频是用AI制作，我觉得应该通过立法强制，或者通过法律解释、行业部门规章可以先做起来，可以使用AI，但是你必须标注这个产品是用人工智能生成的，人工智能生成的形式是什么。后期又经过了内部的一些加工，这等于是一个强制标记的要求，我觉得先把底线设好，让这个行业发展到一定程度后，然后像王律讲的，再慢慢往上加东西，因为数据方面已经有这样一些运用。

最后，我个人建议，从我们做后期争议解决的角度来说，在数据入表和数据产品的上市交易这一块可能需要谨慎一点。因为技术发展到一定程度，数据本身的估值可能有巨额浮动，无论是运用在目标还是运用在产品的挂牌交易上面，会导致它价值的不确定。在这样的情况下，考虑到整个人工智能行业的大发展，我觉得在数据这块是绝对的进步。在肯定它进步意义的前提下，入表也好，数据产品的交易也好，需谨慎处理。如果一定要做减法，在这两块可以有一些限制。

 

徐凯：我认为现在企业根据自己的经营业务，可以分为核心技术创新型的人工智能企业和服务商业应用类的企业。对于创新型企业，其实本身技术处于按周迭代、按天迭代的过程，它是输出一个技术服务，只要符合现在安全的审核情况，技术服务的合规风险不太突出。对于应用类的人工智能企业，在类似本地化部署过程中的问题，其本质上是一个数据安全的问题，是需要行业从安全理论、技术措施、人才保障多方面完善的问题。我们当下在“补课”数据安全，在于我们一直处于信息技术产业跟随状态，数据安全体系还做得不够好。其次，服务商业应用类企业要充分尊重现有的知识产权，保护他人的合法权益。做好以上两点，目前从政府到市场都是充分包容和鼓励的。

 

王渝伟：我补充一下，刚刚提到识别风险，我认为在识别风险的基础上，我们开展业务时，有时候会特别提醒客户，对于合规的相关工作，建议尽早规划并同步进行布局。因为识别风险后，存在一系列工作需要落实，例如项目中的应用是否需要后续进行算法备案；又如企业新近出台的标识相关规定，将于9月1日起正式实施。此类工作实际上应当在开发应用、构建底层大模型等前期筹备阶段就预先规划，而不是等到整个项目开发完成后再着手处理，这是我的观点。

第二个观点，虽然我前面提到，开展合规工作必然会产生成本，但我们也意识到，合规有时不仅是成本支出，它有时已然成为企业的特殊竞争优势。近期我们接触到一家从事数字人业务的企业，由于该业务链条较长，从基础大模型研发到应用落地，再到终端用户使用，涉及多个环节与多样主体。若企业提前完成合规布局，如为应用完成算法备案获取官方认可，同时妥善处理版权等相关事宜，就能助力客户在内部审批流程中更加顺畅；当客户尤为关注合规问题时，这些合规举措反而会成为该企业产品或服务的显著优势。由此可见，尽管前期合规工作会产生成本，但从长远来看，它极有可能转化为企业独一无二的竞争力。换言之，合规不仅是成本，更可能成为企业的核心竞争力。

 

朱培：在人工智能技术快速发展的当下，法律规范的重要性与紧迫性不言而喻。正如今天各位嘉宾分享的人工智能在应用过程中已经产生了相应的法律风险，当然在出现这些法律风险或问题后，我们需要发挥法律人的主观能动性，首先考量能否通过对现有法律进行解释从而有效解决人工智能带来的各类风险问题，如果可以解决则制定新的统一法律就无必要。如果现行法律法规穷尽其解释力仍无法有效解决上述问题，则再考虑分散立法进行补充，最后在条件必要时考虑制定统一的人工智能法，仍应考虑国家级产业战略以促进性立法为主基调。

其次，我们通常都说法律人是保守的，法律追求稳定性，但是在人工智能时代，技术不断更迭，我们法律人应当保持敏锐性，不断快速学习、努力适应快速发展的技术，及时调整自己的知识储备。感谢各位嘉宾的积极参与，期待未来能有更多类似的交流活动，持续关注人工智能法律问题，共同推动人工智能技术健康有序发展，为社会创造更大价值。

 

（本文内容根据录音整理，系嘉宾个人观点，整理时间：2025 年4月28日）