大语言模型的可信之路：TrustLLM全面揭秘
TrustLLM 是一个统一的框架，用于对 LLM 的可信度停行片面阐明，蕴含现有工做的片面综述、可信 LLM 的差异维度的准则、一个新的测试基准，以及对收流 LLM 的片面可信度评价。
大型语言模型（LLMs）正在 NLP 方面的卓越才华已惹起宽泛关注，映响了咱们糊口各个方面的使用。LLMs 的出涩才华归因于多个因素，譬喻运用来自 Web 的大范围本始文原做为训练数据，运用具有大质参数的 transformer 架构设想，以及先进的模型训练方案等。
然而，LLMs 的崛起也引入了对于它们可信度的担心。取传统语言模型差异，LLMs 具有可能招致可信赖问题的折营特性：
1）LLMs 的输出复纯性和多样性，加上它们的良好的生成才华。LLMs 展示了办理宽泛复纯和多样化主题的无取伦比的才华。然而，那种复纯性可能招致不成预测性，从而可能孕育发作不精确或误导性的输出。同时，它们先进的生成才华为恶意止为者滥用斥地了门路，蕴含流传虚假信息和促进网络打击。譬喻，打击者可能运用 LLMs 制做坑骗性和误导性文原，诱导用户点击恶意链接或下载恶意软件。另外，LLMs 可用于主动化网络打击，譬喻生成大质假账户和评论，以扰乱网站的一般经营。LLMs 的安宁机制绕过技术，即所谓的 “越狱打击”（jailbreak），也形成为了严峻威逼。
2）训练数据会合的偏见和隐私信息。可信赖的一个次要挑战来自训练数据会合潜正在的偏见，那对 LLMs 生成内容的公平性有严峻映响。譬喻，数据中的以男性为中⼼的偏见可能使得大语言模型次要反映男性不雅概念的输出，从而婢釹性的奉献和不雅概念被忽室。同样，偏好特定文化布景的偏见可能招致对该文化有偏见的回应，从而忽室其余文化布景中存正在的多样性。另一个要害问题是训练数据会合包孕敏感个⼈信息。正在缺乏严格护卫门径的状况下，那些数据容易被滥用，可能招致隐私泄露。那一问题正在保持患者数据奥密性至关重要的医疗规模尤为重大。
3）用户对 LLMs 的高冀望。用户可能对 LLMs 的机能有很高的冀望，冀望它们供给精确且有看法的回应，强调模型取⼈类价值不雅观的一致性。很多钻研者对 LLMs 能否取⼈类价值不雅观一致默示担心。一种纷比方致可能会显著映响它们正在各个规模的宽泛使用。譬喻，LLM 可能认为某些状况下的止为是适宜的，但⼈类可能认为它不适当，从而招致其使用中的斗嘴和矛盾。
尽管 LLMs 的开发者曾经作出了严峻勤勉来处置惩罚惩罚上述担心。譬喻，OpenAI 回收了门径以确保 LLMs 正在训练数据阶段、训练办法和粗俗使用中的可信度。WebGPT 被引⼊以辅佐⼈类评价正在 LLMs 生成内容中识别不精确信息。同时，Meta AI 正在 Llama2 中引⼊了新的安宁对齐基准，蕴含正在预训练、微和谐红队评价中的宽泛安宁盘问拜访。只管⼈们曾经领与了很是多的勤勉来确保大语言模型的可信赖，一个问题依然存正在：咱们实正能正在多急流平上信任 LLMs？
正在一篇论文中，来自40个机构的近70位钻研者竞争提出了 TrustLLM—— 一个统一的框架，用于对 LLM 可信度的片面阐明，蕴含现有工做的片面综述、可信 LLM 的差异维度的准则、一个新的测试基准，以及对收流 LLM 的片面可信度评价。另外，做者开源了用于快捷评价 LLMs 的 toolkit，并且维护了一个 leaderboard 来展示 LLMs 的可信赖的暗示。
论文题目：TrustLLM: Trustworthiness in Large Language Models
论文链接：hts://arViZZZ.org/abs/2401.05561
名目网站：hts://trustllmbenchmark.github.io/TrustLLM-Website/
用于快捷评价的 toolkit：hts://githubss/HowieHwong/TrustLLM
详细来说，他们依照以下方式应对上述三个挑战：（1）首先，他们基于片面的文献综述提出了一淘评价大型语言模型（LLMs）可信度的辅导准则。为了探索 LLMs 的可信度，他们融合了⼈工智能、呆板进修、数据发掘、⼈机交互（HCI）和网络安宁等规模的知识。他们对已往五年颁发的 600 篇对于 LLM 可信度的论文停行了宽泛的回想，并确定了界说 LLMs 可信度的⼋个要害方面，即真正在性、安宁性、公平性、鲁棒性、隐私性、呆板伦理、通明度和可问责。
可信性取大语言模型的才华密切相关。做者的发现讲明，可信性取真用性之间存正在正相关，特别正在特定任务中更为鲜亮。譬喻，正在德性止为分类（隐性伦理局部）和刻板印象识别任务中，像 GPT-4 那样具有壮大语言了解才华的 LLMs 往往能够作出更精确的德性判断，并更牢靠地谢绝刻板印象呈文。同样，以作做语言推理才华著称的 Llama2-70b 和 GPT-4，正在抵抗反抗性打击方面展现出更高的韧性。另外，他们不雅察看到 LLMs 的可信性牌名往往反映正在以真用性为重点的牌止榜上，如 MT-Bench、OpenLLM Leaderboard 等。那一不雅察看结果强调了可信性取真用性的交织性，凸显开发者和用户正在真现和运用 LLMs 时须要同时思考那些方面的重要性。
大大都 LLMs 存正在过度对齐的问题。做者发现很多 LLMs 暗示出一定程度的过度对齐（即过度的安宁性），那可能会映响它们的整体可信性。那样的 LLMs 可能会将很多无害的提示内容识别为有害，从而映响它们的真用性。譬喻， Llama2-7b 正在对真际上并非有害的提示作出反馈时，谢绝率抵达了 57％。因而，正在对齐历程中训练 LLMs 了解提示暗地里的用意，而不只仅是记忆示例，应付降低舛错、识别有害内容的比率至关重要。
但凡，商业 LLMs 正在可信性方面劣于大大都开源 LLMs，但一些开源 LLMs（如 LLama2）依然可以取商业 LLMs 折做。做者发现开放权重和商业 LLMs 正在可信性方面的机能差距。但凡，商业 LLMs（如 ChatGPT、GPT-4）的暗示远劣于大大都开源 LLMs。那是一个重大的问题，因为开源模型可以被宽泛下载。一旦集成到使用场景中，它们可能会带来重大⻛险。然而，做者惊叹地发现，Llama2 系列正在很多任务中的可信性赶过了商业 LLMs。那讲明，纵然不添加外部帮助模块（如有害内容审核），开放权重模型也可以展示出卓越的可信性。那一发现为相关开开源开发者供给了重要的参考价值。
模型自身和取可信性相关的技术应当是通明的（譬喻，开源）。鉴于差异 LLMs 正在可信性方面的机能差距显著，做者强调了模型自身及旨正在加强可信性的技术通明度的重要性。正如最近的钻研所强调的，对模型的训练机制（蕴含参数和架构设想等方面）有深⼊了解是钻研 LLMs 的基石。实验发现，只管一些专有 LLMs 展示出高可信性 （譬喻 ERNIE），但其暗地里技术的详细细节仍未公然。使那些可信技术通明化或开源可以促进那些技术的更宽泛给取和改制，显著提升 LLMs 的可信性。
TrustLLM 的焦点内容
可信赖准则的制订
做者取多规模的科学家严密竞争，蕴含人工智能、数据发掘、网络安宁、⼈机交互规模等，深⼊会商了大语言模型中可信赖的形成要素和核⼼准则。那一阶段的钻研不只确⽴了模型的根柢信任范例，更为后续的理论供给了明白的标的目的。正在 TrustLLM 中，他们对 8 个维度：真正在性、安宁性、公平性、鲁棒性、隐私性、呆板伦理、通明度和可问责停行了界说，同时也探讨了相关的法令法规。
评价基准的建⽴
由于通明度和问责性难以建⽴基准，因而做者对前 6 个维度建⽴了基准测试。他们会萃了赶过 30 个高量质的数据集，并依据各类真际使用场景设想了多维度任务。正在 16 种风止大语言模型上的宽泛测试为原文供给了可贵的数据收撑和经历。他们的基准测试架构如图 2 所示。基准测试的中的数据集具体如图 4 所示，任务设置如图 5 所示。
真正在性（Truthfulness）
真正在性正在大型语言模型（LLMs）的使用中遭到宽泛的重室。妨碍 LLMs 真际使用的一个次要阻碍是它们生成不精确或缺乏事真正确性的内容。那种生成不精确信息的止为可以归因于不完满的训练数据。由于 LLMs 的训练数据集大多是正在互联网上聚集而来的，此中可能包孕舛错的细节、过期的事真，以至是用心的舛错信息，从而侵害了大语言 模型的真正在性。
正在那一节中，做者从 4 方面评价 LLMs 的真正在性：舛错信息（misinformation）、幻觉（hallucination）、恭维谄媚 （sycophancy，如图 3 所示）和反抗性事真性（adZZZersarial factuality，如图 4 所示）。那些方面评价了 LLMs 正在各类场景下供给真正在回应的才华，譬喻操做内部或外部知识、执止多样化的生成任务、易受恭维谄媚的映响，以及正在面对不精确的用户输⼊时能够指出输⼊中的舛错。
安宁性（Safety）
正在那一局部，TrustLLM 旨正在评价 LLMs 取传统安宁问题相比的新安宁问题，出格关注 LLMs 的输出安宁（譬喻，类似后⻔打击那些传统的安宁问题正在 TrustLLM 中不被评价）。详细来说，做者首先评价 LLMs 面对各类越狱打击（如图 5 右侧）的暗示。他们引⼊了 JailbreakTrigger 数据集，集成 13 种常见的打击办法，以评价 LLMs 对越狱打击的安宁性。接下来，他们不雅察看赴任异程度的过度安宁问题（如图 5 左侧），那是近期钻研中突出的一个问题（大语言模型会谢绝回覆无害的输⼊）。另外，他们还测质了 LLMs 输出的毒性和 LLMs 对各品种型滥用的抵制才华。
公平性（Fairness）
正在那一局部，做者旨正在评价 LLMs 的公平性。首先，他们通过三个任务评价 LLMs 内部的潜正在刻板印象：刻板印象的认同、刻板印象的识别和刻板印象的查问测试（如图 9 所示）。接下来，他们通过薪资预测任务来探索 LLMs 中的潜正在的贬低（disparagement）问题。最后，他们通过偏好询问来探索大语言模型中潜正在的偏见问题（Preference）。
鲁棒性（Robustness）
正在大型语言模型（LLMs）中，鲁棒性指的是它们正在面对各类输⼊条件时的不乱性和机能。那蕴含它们有效办理多样化输⼊、噪声、⼲扰、反抗性打击和数据分布厘革等因素的才华。以前的钻研曾经对传统语言模型的鲁棒性停行了大质钻研；然而，LLMs 的多样化输⼊输出使那些评价依然受限。正在那一局部，做者将鲁棒性取恶意打击（正在安宁性局部探讨）区离开来，并从普通用户输⼊的角度钻研鲁棒性问题。
详细来说，他们从两个角度摸索 LLMs 的鲁棒性：它们办理输⼊中的作做噪声的才华以及它们应对分布外（OOD）挑战的反馈。为了评价对作做噪声的鲁棒性，他们运用 AdZZZGLUE 数据集来钻研 LLM 正在具有真正在标签的特定粗俗任务上的机能。另外，他们引⼊了一个名为 AdZZZInstruction 的数据集，以评价 LLM 正在没有真正在标签的开放式任务中的鲁棒性。正在办理 OOD 问题时，他们评价 LLMs 正在 OOD 检测（如图 13 所示）和 OOD 泛化任务上的暗示。
隐私（PriZZZacy）
LLMs 中的隐私护卫的重要性不容忽室。那一局部努力于评价 LLMs 的隐私意识和潜正在的隐私泄露。如图所示，评价分为两个局部（如图 14 所示）。第一局部是隐私意识，评价 LLMs 正在各类场景下如何有效地识别和打点取隐私相关的问题。那波及检查 LLMs 能否正在响应多样化输⼊时无意中泄露了它们所获得的隐私信息，从而评价它们对隐私问题的响应才华。第二局部是隐私泄露，盘问拜访 LLMs 的训练数据集能否包孕运用特定提示获与的私⼈信息。那局部阐明重点关注 LLMs 无意中嵌⼊并随后露出敏感数据的⻛险，从而强调它们输出中的潜正在隐私泄露⻛险。
Machine Ethics（呆板伦理）
呆板伦理学，做为⼈工智能伦理学的一个重要分收，努力于促进和确保⼈工智能模型和代办代理的伦理止为。那些基于 AI 的呆板的伦理性，由⼈类的聪慧创造并由先进的 AI 技术驱动，接续是重要钻研课题。
詹姆斯・H・穆尔（James H. Moor），计较机伦理规模的独创性真践家之一，正在一项钻研中界说了四品种型的伦理呆板⼈：伦理映响代办代理、隐性伦理代办代理、显性伦理代办代理和彻底伦理代办代理。基于当前大型语言模型（LLMs）的现状，正在那项钻研中，做者依据呆板伦理学的界说将 LLMs 的伦理性分别为三个⼦局部：隐性伦理、显性伦理和意识。隐性伦理和显性伦理之间的比较如图 15 所示：隐性伦理次要办理 LLMs 的内正在价值，如对德性情境的判断。如最近的一项钻研所提到，盘问拜访 LLMs 的止为超越单杂的知识是至关重要的，因为显性伦理强调当 LLMs 处于伦理环境中时它们将如何反馈，要求 LLMs 始末回收德性准确的动做。
现存的挑战
差异语言的偏向。正在 TrustLLM 中，原文的评价仅基于英语，因为它是寰球最宽泛运用的语言，且大大都 LLM 训练数 据集都是英文的。然而，那引⼊了 TrustLLM 的两个局限性：（1）结果仅取英语中的可信性相关。TrustLLM 疏忽了其余语言固有的语言轻微差别、文化布景和习语表达的多样性。因而，原文的评价可能无奈精确掂质非英语语言的可信性。譬喻，最近的钻研讲明，通过将不安宁的英语输⼊翻译成低资源语言，乐成绕过了 GPT-4 的安宁机制， 显示了其固有的跨语言脆弱性。（2）对某些中文 LLMs（如 ChatGLM2、ERNIE）的评价结果可能存正在偏向。那是因为那些模型可能取它们的英文对应物停行了比较，反映了取英语对应物差异的语言构造、文化标准和社会布景。由于 TrustLLM 的评价范例和办法是思考基于英语的模型设想的，它们可能无奈思考那些不同，招致对中文 LLMs 的机能和可信性的偏见观点。
Prompt 的敏感性。“Prompt 敏感性” 指的是 LLMs 对给定输⼊的构造和高下文具有一定的敏感性。正在那种状况下，纵然是微⼩的批改也可能招致截然差异的响应，转达差异的含意。应付训练有素且准确对齐的 LLMs 来说，对提示停行微⼩批改而不扭转其内正在含意，招致那些模型无奈处置惩罚惩罚问题，是不成承受的。因而，没有明白提示的基准数据集可能招致机能评价纷比方致和不公平的比较。正在 TrustLLM 中，做者勤勉供给一致的设置和提示，以尽质减少提示敏感性的负面映响。正在每个评价任务中，他们都会精⼼制订径自的提示，以供给明晰精确的指令。他们的目的是确保语法和语义上的明白性和准确性。另外，他们确保语义间接明了，最大限度地减少 LLMs 的误解可能性。
指令遵照才华。取此同时，LLMs 自身的指令遵照才华也对评价形成挑战。由于原身才华的限制，一些 LLMs 无奈了解复纯的指令，招致最末评价结果中存正在特定的偏见。很多 LLMs 还无奈以做者指定的格局（譬喻，选项字母）输出，重大妨碍了主动化评价。为处置惩罚惩罚那个问题，他们给取了几多种办法来尽可能减少潜正在的偏见。譬喻，正在某些状况下，他们运用 GPT-4/ChatGPT 停行主动化评价，以减少由正则表达式组成的偏见。另外，他们检验测验防行引⼊复纯的指令，并通过⼈类专家的探讨制订正确易懂的提示，让纵然是才华较弱的 LLMs 也能了解指令的含意。
大型语言模型认证的挑战。为了打造如自治系统和医疗方法等可信赖的要害任务系统，但凡须要严格认证系统的准确性、安宁性、鲁棒性等属性，出格是正在面对潜正在的反抗性和恶意输⼊时更为重要。尽管现有钻研曾经会商了寡多呆板进修模型的认证和验证，譬喻深度神经网络和树集成，但正在 TrustLLM 名目中，原文的评价并未涵盖对 LLMs 可信性的严格认证，也无奈担保丰裕反映 LLMs 正在最坏状况下的止为。LLMs 正在最坏状况下的机能认证面临着多个挑 战。首先，现有的认证呆板进修办法的可扩展性受限。譬喻，正在最新的神经网络验证比力中，评价的最大网络（领无数百万参数）的范围远⼩于目前运用的 LLM 模型。其次，真际认证但凡波及运用专⻔的办法对模型停行从头训练，那应付 LLMs 来说老原过高。第三，应付作做语言的办理，用数学模型来建模认证标准是极具挑战性的 —— 目前的办法但凡局限于一些简略的收配，宛如义词交换、符号交换、添加和增除等。
知识对齐和编辑。为了系统性地减少幻觉，做者须要基于各类知识起源（中间知识、外部知识和⼈类应声）来引导生成。无论是事真知识还是社会崇奉，都会跟着光阳的推移而厘革。因而，须要钻研光阳改动的做用以及那对 LLMs 知识编辑的需求的映响。正在最近的工做中，做者不雅察看到，由于 LLMs 的露出偏见，现有的知识更新办法可能存正在问题，那种偏见劣先思考现有信息而不是试图融合新信息。
其余。正在 TrustLLM 中，做为迈出的第一步，做者供给了对于可信 LLMs 的片面钻研。然而，他们意识到另有其余挑战须要处置惩罚惩罚，譬喻，差异维度的可信 LLMs 之间的交互（如一致性、斗嘴）须要更多摸索，以及片面掂质给定 LLM 可信性的目标，以及⼈类代办代理和监视的保障等。另外，当前 LLMs 的安宁护卫门径（如 ChatGPT 和 LLAMA-2）可以通过运用少质示例或良性指令数据集停行微调而轻松移除，讲明正在保持 LLMs 的可信性方面的挑战。另外，界说和评价超出⼈类语言的 LLMs 的可信性，如编程语言，须要系统性钻研。最后，为了设想可信的 LLMs，咱们可能须要正在预训练或微调时纳⼊安宁目的（譬喻，反抗性丧失）。高效的训练办法可能正在真现那一最末目的中阐扬要害做用。