自 BERT 起，预训练语言模型沿着海量训练数据和庞大网络结构的方向在不断发展着。在12月落幕的 NeurIPS 2020 会议上，语言模型 GPT-3 荣膺最佳论文奖。OpenAI 的研究人员使用了多达 45TB 的文本数据来训练它的 1750 亿个参数。GPT-3 不仅仅是“变得更大”，它用“Few-Shot”学习替代了 FineTune，能够出色完成代码生成、领域问答、吉他谱曲等高难度的复合型 NLP 任务。