本文介绍: 为了让人们对 LLMs 有一个基本的了解，本调查从四个主要方面对 LLMs 的最新进展进行了文献综述，包括预训练（如何预训练一个有能力的 LLMs）、适配（如何有效地适配预训练的 LLMs 以更好地使用）、利用（如何使用 LLMs 解决各种下游任务）和能力评估（如何评估 LLMs 的能力和现有的实证研究成果）。我们对文献进行了全面梳理，总结了 LLM 的主要发现、技术和方法。
阅读笔记
模型选择：是否一定要选择参数量巨大的模型？如果需要更好的泛化能力，用于处理非单一的任务，例如对话，则可用选更大的模型；而对于单一明确的任务，则不一定越大越好，参数小一些的模型也能调教得很好。
接口交互：大语言模型可以使用网络请求接口获取其本身在预训练中没有的额外信息。
多模态：大语言模型展现出良好的多模态理解能力，特别是对于图片数据的处理能力。因此其对于一个网络中拓扑结构、流量矩阵等数据也是存在了可以理解和处理的可能的。
语言如何输入：自然语言首先需要被tokenize，从而将其用数字进行表示，使其可以正式输入模型。在输入模型后，还会进行词嵌入表示（或者是词的分布式表示），也就是进一步用多维向量表示一个词。词嵌入并非Transformer首创，此前的工作中已经在广泛使用词嵌入方法了，大名鼎鼎的Word2Vec就是其中一种。
“预训练和微调”学习范式：预训练是从CV兴起而后借鉴到NLP的一种训练方法，通常是无监督的。对于PLM，通常使用大量语料进行预训练，其过程无需人工标记，而是利用已有的词句信息对某一词进行预测。微调是指在PLM的基础上，进一步根据下游子任务的要求，对PLM进行更具针对性的有监督训练（包括对齐）并更新参数，使其适应子任务。微调主要分为指令微调和对齐微调。对于一些领域的子任务，PLM甚至无需微调也能依靠自身的上下文学习能力达到不错的效果。
与人类对齐：由于预训练数据不可避免参杂与主流价值观不符的内容，模型需要与人类价值观或偏好进行对齐，以减少危害并增加性能。相关工作利用带人类反馈的强化学习（RLHF）进行微调对齐。
个人感想
声明：本站所有文章，如无特殊说明或标注，均为本站原创发布。任何个人或组织，在未征得本站同意时，禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益，可联系我们进行处理。
