北大团队发布了首个中文法律大模型落地产品ChatLaw,为大众提供普惠法律服务。模型支持文件、语音输出,同时支持法律文书写作、法律建议、法律援助推荐。
法律大模型与幻觉
大语言模型为法律行业带来了技术奇点。语言模型能让复杂的知识能变好懂。用户通过多轮对话可以无限逼近事实,从模型里获取准确且专业的建议。但语言模型无法回避的问题,是幻觉。幻觉表现在模型上,是生成的内容具有偏误信息。例如对ChatGPT进行法律提问,往往会得到含糊,甚至不正确的回答。
这一现象的本质是,ChatGPT数据集中并未包含中国法律,它不具备中国法律知识。
模型幻觉是无法回避的问题,尤其在最为严肃的法律领域。作为科研工作者,我们对法律始终抱有敬畏。作为技术的提供者,我们必须为模型生成的内容负责。简单地用法律对话数据做微调,不足以支撑在真正法律场景落地。在涉及法律问题时,即使是像GPT4这样最先进的模型,也会出现幻觉和偏误。为了确保模型生成的稳健性,需要从模型训练阶段就开始介入和干预。我们基于大量的判例文书原始文本和法律法规、地方政策,构建了法律知识库。
同时,通过与北大国际法学院、行业知名律师事务所进行合作,我们确保知识库能及时更新,同时保证数据的专业性和可靠性。在训练阶段,我们将这些法律数据大规模注入模型,并对这些知识进行特殊处理和加强,以确保模型在后续推理中具备法律先验知识并保持稳健。同时,我们也在推理时引入多个模块,将通识模型、专业模型和知识库融为一体。通过在推理中进行约束,我们能够确保模型生成正确的法律法规,尽可能减少模型幻觉。
我们将这一整套的技术方案定义为“先验知识约束”。“先验知识约束”可以确保模型生成法律内容的准确性。团队另一位同学特地整理了过去十年的中国国家司法考试试题,并建立了一个包含2000个问题的测试集。通过ELO机制进行检验,ChatLaw模型在测试集上获得了最高分。这充分说明了“先验知识约束”的有效性,让百亿级参数量的模型也能在专业问题上保持一定的准确度。
“先验知识约束”可以确保模型提供的法律建议尽量不出错。而语言模型的特性,让用户即使使用朴素的自然语言提问,也能得到较为智能的回答。这使用户通过多轮对话,不断向大语言模型补充事实细节,最终得到具备指导意义的法律建议成为可能。
调度模型
但只是准确还不够。法律咨询是高度复杂的场景。其流程标准化,但当事人事实具有多变性。这意味着,模型的智能度是至关重要的要素。为了提升模型智能度,同时增强模型的延展性。我们用了一个“取巧”的办法。那就是“调度模型”的概念。我们用针对性微调,训练了一个专用调度模型。我们为调度模型准备了一个极其丰富的模型&插件库。调度模型通过对用户提问进行语义理解,来对子模型和插件进行调度并重组,最终呈现出多个模态的输入和输出。
基于这套体系,我们将文件、音频、文字整合在一起,同时支持法律援助、法律文书、思维导图等多样化输出。这使得我们的产品具有高度的延展性。例如,当模型判断用户的描述不够具体时,它会向用户要求上传文件,并根据用户提供的信息进行归纳和分析。
不仅仅是归纳事实,ChatLaw还会基于事实生成具体的法律建议、甚至是法律文书。当用户表露出需要人工服务的意图,模型还会向用户推荐周边的法律援助中心。
调度模型给予了产品更大的可能性。通过针对训练,我们可以接入市场上所有主流LLM,和符合规范的业务接口能力。我们计划在半年内,覆盖法律行业的主流工作场景和主流业务。
横向对比基于ChatGPT的AI法律咨询
直接关注“律需网”微信公众号,点击左下角键盘进入对话模式,输入您想问的问题即可。
感兴趣的用户,可以对比下两者AI法律咨询方面的区别。
律需法律平台,原文转载 ^_^
https://luexu.com/w/11723092197401
Luexu.com
以事释法请关注
原文链接:https://mp.weixin.qq.com/s?src=11×tamp=1700187592&ver=4901&signature=GHoPzqPe0wCEM5YhtZdV–S*LFKrmQkDkGUyqfC4YQ2JEo1ccc6ZVH48C*LThIsS2PNRz8qRpTGdYV6p68X2NfuGYvUDVv9deCMApl7QTYtXG0lsYm1*xDTPmq4yjPXF&new=1
Muchas gracias. ?Como puedo iniciar sesion?