Tensor 基本概念

支撑 PyTorch 的 ATen Tensor 库是一个简单的 Tensor 库，它直接在 C++17 中暴露了 Torch 的 Tensor 操作。ATen 的 API 是从 PyTorch 使用的相同声明自动生成的，因此这两个 API 将随着时间的推移而保持同步。

Tensor 类型是动态解析的，因此 API 是通用的，不包含模板。也就是说，只有一个 Tensor 类型。它可以包含 CPU Tensor 或 CUDA Tensor，并且 Tensor 可以是 Double、Float、Int 等类型。这种设计使得编写通用代码变得容易，而无需对所有内容进行模板化。

有关提供的 API，请参阅 https://pytorch.ac.cn/cppdocs/api/namespace_at.html#functions。节选

Tensor atan2(const Tensor & other) const;
Tensor & atan2_(const Tensor & other);
Tensor pow(Scalar exponent) const;
Tensor pow(const Tensor & exponent) const;
Tensor & pow_(Scalar exponent);
Tensor & pow_(const Tensor & exponent);
Tensor lerp(const Tensor & end, Scalar weight) const;
Tensor & lerp_(const Tensor & end, Scalar weight);
Tensor histc() const;
Tensor histc(int64_t bins) const;
Tensor histc(int64_t bins, Scalar min) const;
Tensor histc(int64_t bins, Scalar min, Scalar max) const;

还提供了原地操作，并且这些操作总是以 _ 作为后缀，以表明它们将修改 Tensor。

高效访问 Tensor 元素

在使用 Tensor 范围的操作时，动态分派的相对成本非常小。然而，在某些情况下，尤其是在您自己的内核中，需要高效的逐元素访问，而在逐元素循环中进行动态分派的成本非常高。ATen 提供了访问器，这些访问器通过一次动态检查来创建，以确保 Tensor 的类型和维度数量正确。然后，访问器公开了一个 API，用于高效地访问 Tensor 元素。

访问器是 Tensor 的临时视图。它们仅在其所视图的 Tensor 的生命周期内有效，因此应仅在函数内部局部使用，类似于迭代器。

请注意，访问器在内核函数中不兼容 CUDA Tensor。相反，您必须使用打包访问器，它的行为方式相同，但会复制 Tensor 元数据而不是指向它。

因此，建议对 CPU Tensor 使用访问器，对 CUDA Tensor 使用打包访问器。

CPU 访问器

torch::Tensor foo = torch::rand({12, 12});

// assert foo is 2-dimensional and holds floats.
auto foo_a = foo.accessor<float,2>();
float trace = 0;

for(int i = 0; i < foo_a.size(0); i++) {
  // use the accessor foo_a to get tensor data.
  trace += foo_a[i][i];
}

CUDA 访问器

__global__ void packed_accessor_kernel(
    torch::PackedTensorAccessor64<float, 2> foo,
    float* trace) {
  int i = threadIdx.x;
  gpuAtomicAdd(trace, foo[i][i]);
}

torch::Tensor foo = torch::rand({12, 12});

// assert foo is 2-dimensional and holds floats.
auto foo_a = foo.packed_accessor64<float,2>();
float trace = 0;

packed_accessor_kernel<<<1, 12>>>(foo_a, &trace);

除了 PackedTensorAccessor64 和 packed_accessor64 之外，还有相应的 PackedTensorAccessor32 和 packed_accessor32，它们使用 32 位整数进行索引。这在 CUDA 上可以更快，但可能会导致索引计算溢出。

请注意，模板可以包含其他参数，例如指针限制和用于索引的整数类型。有关访问器和打包访问器的完整模板描述，请参阅文档。

使用外部创建的数据

如果您已经在内存（CPU 或 CUDA）中分配了 Tensor 数据，可以在 ATen 中将该内存视为 Tensor。

float data[] = { 1, 2, 3,
                 4, 5, 6 };
torch::Tensor f = torch::from_blob(data, {2, 3});

这些 Tensor 不能调整大小，因为 ATen 不拥有内存，但否则它们的行为与普通 Tensor 相同。

标量和零维 Tensor

除了 Tensor 对象之外，ATen 还包括表示单个数字的 Scalar。与 Tensor 一样，Scalar 是动态类型的，并且可以包含 ATen 的任何一种数字类型。Scalar 可以从 C++ 数字类型隐式构造。需要 Scalar 是因为某些函数（如 addmm）接受数字和 Tensor，并期望这些数字与 Tensor 具有相同的动态类型。它们也用于 API 中，以指示函数将始终返回 Scalar 值的位置，例如 sum。

namespace torch {
Tensor addmm(Scalar beta, const Tensor & self,
             Scalar alpha, const Tensor & mat1,
             const Tensor & mat2);
Scalar sum(const Tensor & self);
} // namespace torch

// Usage.
torch::Tensor a = ...
torch::Tensor b = ...
torch::Tensor c = ...
torch::Tensor r = torch::addmm(1.0, a, .5, b, c);

除了 Scalar 之外，ATen 还允许 Tensor 对象为零维。这些 Tensor 包含一个单一值，并且它们可以是较大 Tensor 中单个元素的引用。它们可以被用在任何期望 Tensor 的地方。它们通常由 select 等操作创建，这些操作会减小 Tensor 的维度。

torch::Tensor two = torch::rand({10, 20});
two[1][2] = 4;
// ^^^^^^ <- zero-dimensional Tensor