大语言模型时代的NLP

在大语言模型时代，自然语言处理（NLP）的处理范式已经发生了革命性的变化。

过去研究人员往往基于文本特点，精心设计出一种网络结构来完成NLP任务，如信息抽取、问答、摘要、翻译等待。而GPT等超大语言模型的出现改变了这些范式，大语言模型用文本到文本的形式统一了各种NLP任务，甚至不限于之前预先定义的任务，可以是任何能被建模为文本到文本的任务。仅仅使用写prompt的方式，GPT在传统任务上的表现就超过了之前精心训练的SOTA模型。

这让研究人员开始研究一些新式的任务，比如推理、代码相关任务。如何用有效的资源训出综合能力尽量强的大语言模型成为了大家追求的核心。而在实践中，大模型也可以是一个系统，研究人员也围绕大语言模型系统展开了很多新的研究话题，比如检索增强、多智能体等。