温哥华——在弗雷泽·麦克莱恩看来，这个判例是真实的。

那是 2023 年 12 月，这位驻温哥华的家庭法庭律师正在阅读对方律师 Chong Ke 的申请中的引文，Chong Ke 想要获得一项命令，允许她的当事人的孩子来中国探望他。

“我第一次在法庭上读到它，有两个案件谈论的是出国旅行和维持孩子的文化联系，”麦克莱恩说，最初他认为这个判例法很难反对。

但这些案例并不是真实的。

它们是由生成人工智能工具 ChatGPT 产生的所谓幻觉，柯承认曾使用该工具协助准备不列颠哥伦比亚省最高法院案件的申请。

“一开始，这些摘要看起来 100% 真实，”麦克莱恩说。“那天我在法庭上读到这些摘要时，我根本不知道它们是假的。”

张诉陈案导致柯某受到法官谴责，卑诗省律师协会也展开调查。该案随后在加拿大法律界引起强烈反响，因为它权衡了允许人工智能进入法庭的潜在隐患（例如伪造判例或深度伪造证据）与减少工作量和改善司法途径的承诺。

此后，更多疑似人工智能幻觉的案例在其他一系列法律场合被发现，其中包括不列颠哥伦比亚省人权法庭的案件、联邦商标异议委员会的两起纠纷以及不列颠哥伦比亚省民事解决法庭的一起小额索赔案件。

加拿大各地的法院和律师协会都发布了关于律师和法院工作人员使用人工智能的指令。但这些规则和指导方针并不一致，有人怀疑这些规则和指导方针是否得到了普遍遵守。

包括阿尔伯塔省和魁北克省在内的一些法院都有“人为干预”规则，即人工智能生成的意见书必须经过某人的验证，而许多法院则要求在使用人工智能准备意见书时提供声明。

2023 年 12 月，大约在麦克莱恩的办公室通知柯文哲无法找到她的人工智能生成的判例法一周后，联邦法院发布了一份通知，告知诉讼当事人，如果他们在法庭文件中使用人工智能“创建或生成新内容”，则必须进行声明。

法院还表示，“在没有首先进行公众咨询的情况下”，不会使用“自动决策工具”来帮助做出判决。

法院可能正在试图划定界限，但人工智能的好处表明，它可能无法阻止律师事务所内某些任务的完成。

温尼伯曼尼托巴大学法学助理教授凯蒂·西拉吉 (Katie Szilagyi) 表示，许多律师已经在使用生成式人工智能来简化起草备忘录等任务的效率。

“它们绝对会被广泛使用，而且已经得到了广泛应用。法律技术领域的投资额巨大，”她说。

去年秋天，加拿大律师协会发布了国家指导方针，敦促谨慎行事，并建议律师将人工智能“作为提供法律服务的工具，而不是拐杖”。

它表示律师“应该考虑披露他们是否打算使用生成性人工智能，并说明如何使用该技术”，例如研究、分析、文件审查或审判准备。

“重要的是确保律师负责任地使用技术，并清楚了解技术的局限性、优点和缺点，”Szilágyi 说。

她说，使用人工智能的律师还必须平衡对客户的道德义务，例如律师-客户特权。

她说：“你所分享的信息可能会以违背你的道德义务的方式存储在某个服务器上，并导致真正敏感信息的隐私泄露。”

不列颠哥伦比亚大学法学教授本杰明·佩林 (Benjamin Perrin) 已开始教授一门有关人工智能在刑事司法系统中的应用的课程。

他说，法律领域“风险很高”，因为人工智能有可能减少工作量，提高效率和获得司法公正的机会，但也引发了对公平性、偏见、透明度和司法独立性的担忧。

“确实有充分理由要谨慎行事，”佩林谈到在刑事司法系统中采用人工智能技术时说道。“坦率地说，将人工智能置于现有失败且有缺陷的系统之上，只会酿成灾难。”

是否有“人类在循环中”？

人工智能在法庭上最引人注目的失败发生在柯文哲犯下 BC 错误七个月前，即在美国发生的 Mata v. Avianca 诉讼案中。

乘客 Roberto Mata 起诉 Avianca 航空公司，称其在飞行期间受伤。但 Mata 律师提交的文件中充斥着 ChatGPT 编造的虚假判例。

此后，澳大利亚、英国等地也出现了类似情况。

Szilagyi 表示，使用人工智能可以帮助律师完成一些琐碎的任务，但他们必须始终警惕自动化偏见，即认为技术在智力上是准确的。

她说，一个解决方案是遵循“人机交互”原则来验证判例法。

但维多利亚州人工智能风险与监管实验室司法卓越中心的研究员丹尼尔·埃斯科特表示，需要加强制衡，以确保律师不会过度依赖人工智能而损害客户的利益。

他还怀疑律师是否遵守法院制定的严格规则。

今年 2 月，联邦法院首席大法官保罗·克兰普顿 (Paul Crampton) 告诉加拿大律师协会播客主持人，在人工智能申报规则实施后，法院在 2024 年收到的近 28,000 份法律文件中，“只有三四份”涉及使用人工智能。

埃斯科特说：“这不合逻辑。”

他说：“如果你看看联邦法院的申请，你会发现一些（小型律师事务所）提交的诉讼数量比规模为其十倍的律师事务所多出三到四倍。”

他还表示，自我辩护的诉讼当事人“更有可能声明他们已经使用过人工智能”。

他说：“在使用人工智能时，司法系统的用户似乎对透明度的质疑比为他们服务的律师要少得多。”

不过，他指出，人工智能的一个好处是它提供了改善司法途径的机会。

佩兰表示同意，并表示大多数加拿大人请不起律师，因此人工智能可能有助于起草法律论据，尽管存在被法官拒绝的风险。

但佩兰表示，法官“最担心”的是深度伪造证据。

他说，由于越来越难以区分照片、文件、音频和视频是真实的还是人工智能生成的，数字证据的保管链变得更加重要。

“我认为，在证据方面，我们正在进入一个新时代，”他说。“当你无法完全相信自己看到和听到的东西，因为它可能是由人工智能工具制造出来的时，你该如何证明呢？”

安大略省上诉法院法官兼民事规则委员会人工智能小组委员会主席 Peter Lauwers 表示，这是人工智能的主要担忧 ——“我们最终不会发现假的东西。”

“因此，这将包括幻觉判断，”他说，并补充说，安大略省正在制定规则，以解决对深度伪造破坏法庭的担忧。

他说，这些规则将包括确定用于创建人工智能生成内容的软件程序，并提供证明输出有效可靠的证据。

劳沃斯以事故重建作为人工智能在法庭上成功应用的一个例子。

“你可以利用这种软件和专业知识模拟某一特定时刻发生的事情，”他说。“因此，我们有理由相信，这些人工智能生成的展品是优质可靠的。”

但总体而言，劳沃斯表示，人们普遍认为，人工智能“尚未准备好在法庭上大显身手”。

“法律领域的人工智能被过度炒作了。它承诺过多，但兑现不足，”他总结道。

“巨大的警钟”

对于法官使用人工智能的问题，加拿大司法委员会表示，法官的决策权绝不应交给人工智能。

加拿大首席大法官理查德·瓦格纳 (Richard Wagner) 在 10 月份的新闻稿中表示，法官必须“对其判决负全部责任”。

“人工智能不能取代或委托司法决策，”瓦格纳说。“与此同时，该委员会的新指导方针承认，可能有机会负责任地利用人工智能来支持法官。”

指南指出，任何用于法庭应用的人工智能工具都应该能够对其决策输出提供可理解的解释，并且法庭应该定期跟踪人工智能使用的影响。

在 BC 省，麦克莱恩表示，张某诉陈某案起到了“巨大的警钟”，此后其他涉及人工智能幻觉的案件也引用了该案。

麦克莱恩说：“这些人工智能幻觉的可怕之处在于，它们不会创建模棱两可的引文和摘要，而是看起来 100％ 真实。”

“这就是为什么法官和律师需要警惕地仔细检查这些事情很重要。”

柯在判决书中引用的一封电子邮件中表示，她在准备提交的材料时没有检查就使用了 ChatGPT 判例法的建议，因为她“不知道这两个案例可能是错误的”。

卑诗省律师协会表示，对该案件的调查已经结束，“并且提出的问题已经与律师进行了讨论”。

记者未能联系到柯先生发表评论。

麦克莱恩表示，禁止人工智能并不是解决办法，相反，他建议律师事务所实施透明的政策，并培训律师如何识别人工智能的幻觉。

那么风险又如何呢？麦克莱恩表示，张某诉陈某一案的法官大卫·马苏哈拉（David Masuhara）的回答最为准确。

增原在 2024 年 2 月的裁决中写道：“在法庭文件和提交给法庭的其他材料中引用虚假案件是滥用程序，相当于向法庭做出虚假陈述。”

“如果不加以控制，它可能会导致误判。”