人工智能（AI）知识

自然语言处理（Natural Language Processing，简称NLP）

https://www.bmpi.dev/dev/deep-learning/nlp-language-models/

token

图片：@Maeiee https://weibo.com/1240212845/N374bxAgW

文本向量化(embedding)

NLP 中语言表示 (向量化) 的基本原理和历史演变综述

Transformers

《解析 Transformers：理解 GPT，BERT 和 T5 模型背后的原理》 基于 Transformers 的编码器 - 解码器模型

型语言模型（Large Language Models，LLMs）

大型语言模型是深度学习的一个子集，可以预训练并进行特定目的的微调。这些模型经过训练，可以解决诸如文本分类、问题回答、文档摘要、跨行业的文本生成等常见语言问题。然后，可以利用相对较小的领域数据集对这些模型进行定制，以解决零售、金融、娱乐等不同领域的特定问题。

大型语言模型的三个主要特征是：大型、通用性和预训练微调。"大型"既指训练数据集的巨大规模，也指参数的数量。"通用性"意味着这些模型足够解决常见问题。"预训练和微调"是指用大型数据集对大型语言模型进行一般性的预训练，然后用较小的数据集对其进行特定目的的微调。

使用大型语言模型的好处包括：一种模型可用于不同的任务；微调大型语言模型需要的领域训练数据较少；随着数据和参数的增加，大型语言模型的性能也在持续增长。

此外，视频还解释了传统编程、神经网络和生成模型的不同，以及预训练模型的LLM开发与传统的ML开发的区别。

在自然语言处理中，提示设计和提示工程是两个密切相关的概念，这两者都涉及创建清晰、简洁、富有信息的提示。视频中还提到了三种类型的大型语言模型：通用语言模型、指令调整模型和对话调整模型。每种模型都需要以不同的方式进行提示。

https://weibo.com/1727858283/N0QcoeQfv

提示工程指南: https://www.promptingguide.ai/zh

AI    AI  

有 0 条评论

发表评论

您的电子邮箱地址不会被公开。 必填项已用 * 标注