PyTorch 简单易懂的 Embedding 和 EmbeddingBag – 解析与实践

本文介绍: 本篇博客探讨了 PyTorch 中的和两个关键模块，它们是处理和表示离散数据特征的强大工具。提供了一种有效的方式来将单词或其他类型的标记映射到高维空间中，而以其独特的方式处理变长序列，通过聚合嵌入来提高计算效率。这两个模块不仅在自然语言处理中发挥关键作用，也适用于其他需要稠密特征表示的任务。此外，这些模块支持从预训练权重初始化，使其在迁移学习和复杂模型训练中极为重要。综上所述，和是理解和应用 PyTorch 中嵌入层的基础。

torch.nn子模块Sparse Layers详解

torch.nn.Embedding 是 PyTorch 中一个重要的模块，用于创建一个简单的查找表，它存储固定字典和大小的嵌入(embeddings)。这个模块通常用于存储单词嵌入并使用索引检索它们。接下来，我将详细解释 Embedding 模块的用途、用法、特点以及如何使用它。

import torch
import torch.nn as nn

# 创建一个包含10个大小为3的嵌入的Embedding模块
embedding = nn.Embedding(10, 3)

# 一个包含4个索引的2个样本的批次
input = torch.LongTensor([[1, 2, 4, 5], [4, 3, 2, 9]])

# 通过Embedding模块获取嵌入
output = embedding(input)

此示例创建了一个嵌入字典大小为10、每个嵌入维度为3的 Embedding 模块。然后它接受一个包含索引的输入张量，并返回对应的嵌入向量。

还可以使用from_pretrained类方法从预先训练的权重创建Embedding实例：

# 预训练的权重
weight = torch.FloatTensor([[1, 2.3, 3], [4, 5.1, 6.3]])

# 从预训练权重创建Embedding
embedding = nn.Embedding.from_pretrained(weight)

# 获取索引1的嵌入
input = torch.LongTensor([1])
output = embedding(input)

在这个示例中，Embedding 模块是从一个给定的预训练权重张量创建的。这种方法在迁移学习或使用预先训练好的嵌入时非常有用。

torch.nn.EmbeddingBag 是 PyTorch 中一个高效的模块，用于计算“bags”（即序列或集合）的嵌入的总和或平均值，而无需实例化中间的嵌入。这个模块特别适用于处理具有不同长度的序列，如在自然语言处理任务中处理不同长度的句子或文档。下面我将详细介绍 EmbeddingBag 的功能、用法以及特点。

import torch
import torch.nn as nn

# 创建一个包含10个大小为3的嵌入的EmbeddingBag模块
embedding_bag = nn.EmbeddingBag(10, 3, mode='mean')

# 一个示例包含4个索引的输入
input = torch.tensor([1, 2, 4, 5, 4, 3, 2, 9], dtype=torch.long)

# 指定每个包的开始索引
offsets = torch.tensor([0, 4], dtype=torch.long)

# 通过EmbeddingBag模块获取嵌入
output = embedding_bag(input, offsets)

在这个示例中，创建了一个嵌入字典大小为10、每个嵌入维度为3的 EmbeddingBag 模块，并设置为 “mean” 模式。输入是一个索引序列，offsets 指定了每个包的开始位置。EmbeddingBag 会计算每个包的平均嵌入向量。

EmbeddingBag 也可以从预训练的权重创建：

# 预训练的权重
weight = torch.FloatTensor([[1, 2.3, 3], [4, 5.1, 6.3]])

# 从预训练权重创建EmbeddingBag
embedding_bag = nn.EmbeddingBag.from_pretrained(weight)

# 获取索引1的嵌入
input = torch.LongTensor([[1, 0]])
output = embedding_bag(input)

这种方法在需要使用预先训练好的嵌入或在迁移学习中非常有用。EmbeddingBag 通过高效地处理不同长度的序列数据，在自然语言处理等领域中发挥着重要作用。

本篇博客探讨了 PyTorch 中的 nn.Embedding 和 nn.EmbeddingBag 两个关键模块，它们是处理和表示离散数据特征的强大工具。nn.Embedding 提供了一种有效的方式来将单词或其他类型的标记映射到高维空间中，而 nn.EmbeddingBag 以其独特的方式处理变长序列，通过聚合嵌入来提高计算效率。这两个模块不仅在自然语言处理中发挥关键作用，也适用于其他需要稠密特征表示的任务。此外，这些模块支持从预训练权重初始化，使其在迁移学习和复杂模型训练中极为重要。综上所述，nn.Embedding 和 nn.EmbeddingBag 是理解和应用 PyTorch 中嵌入层的基础。