Tensor 基本

支持 PyTorch 的 ATen Tensor 库是一个简单的 Tensor 库，它在 C++17 中直接公开了 Torch 中的 Tensor 操作。ATen 的 API 是从 PyTorch 使用的相同声明自动生成的，因此两个 API 将随着时间的推移而保持同步。

Tensor 类型是动态解析的，因此 API 是通用的，并且不包含模板。也就是说，只有一个 Tensor 类型。它可以包含 CPU 或 CUDA Tensor，并且 Tensor 可以是 Doubles、Float、Ints 等。这种设计使得编写通用代码而无需模板化一切变得容易。

有关提供的 API，请参阅 https://pytorch.ac.cn/cppdocs/api/namespace_at.html#functions。摘录

Tensor atan2(const Tensor & other) const;
Tensor & atan2_(const Tensor & other);
Tensor pow(Scalar exponent) const;
Tensor pow(const Tensor & exponent) const;
Tensor & pow_(Scalar exponent);
Tensor & pow_(const Tensor & exponent);
Tensor lerp(const Tensor & end, Scalar weight) const;
Tensor & lerp_(const Tensor & end, Scalar weight);
Tensor histc() const;
Tensor histc(int64_t bins) const;
Tensor histc(int64_t bins, Scalar min) const;
Tensor histc(int64_t bins, Scalar min, Scalar max) const;

还提供了原地操作，并且始终以 _ 作为后缀，以表示它们将修改 Tensor。

高效访问 Tensor 元素

在使用 Tensor 范围的操作时，动态分发的相对成本非常小。但是，在某些情况下，尤其是在您自己的内核中，需要高效的逐元素访问，并且逐元素循环中的动态分发成本非常高。ATen 提供了通过单个动态检查 Tensor 类型和维度数量来创建的 *访问器*。访问器然后公开一个 API，用于高效访问 Tensor 元素。

访问器是 Tensor 的临时视图。它们仅在它们视图的 Tensor 的生命周期内有效，因此应仅在函数（如迭代器）中本地使用。

请注意，访问器在内核函数中与 CUDA 张量不兼容。相反，您将不得不使用 *打包访问器*，它行为相同，但会复制张量元数据而不是指向它。

因此，建议对 CPU Tensor 使用 *访问器*，对 CUDA Tensor 使用 *打包访问器*。

CPU 访问器

torch::Tensor foo = torch::rand({12, 12});

// assert foo is 2-dimensional and holds floats.
auto foo_a = foo.accessor<float,2>();
float trace = 0;

for(int i = 0; i < foo_a.size(0); i++) {
  // use the accessor foo_a to get tensor data.
  trace += foo_a[i][i];
}

CUDA 访问器

__global__ void packed_accessor_kernel(
    torch::PackedTensorAccessor64<float, 2> foo,
    float* trace) {
  int i = threadIdx.x;
  gpuAtomicAdd(trace, foo[i][i]);
}

torch::Tensor foo = torch::rand({12, 12});

// assert foo is 2-dimensional and holds floats.
auto foo_a = foo.packed_accessor64<float,2>();
float trace = 0;

packed_accessor_kernel<<<1, 12>>>(foo_a, &trace);

除了 PackedTensorAccessor64 和 packed_accessor64 之外，还有相应的 PackedTensorAccessor32 和 packed_accessor32，它们使用 32 位整数进行索引。这在 CUDA 上可以快很多，但可能会导致索引计算溢出。

请注意，模板可以包含其他参数，例如指针限制和用于索引的整数类型。有关 *访问器* 和 *打包访问器* 的完整模板描述，请参阅文档。

使用外部创建的数据

如果您已经将 Tensor 数据分配在内存（CPU 或 CUDA）中，您可以将其内存视图为 ATen 中的 Tensor。

float data[] = { 1, 2, 3,
                 4, 5, 6 };
torch::Tensor f = torch::from_blob(data, {2, 3});

这些 Tensor 不能调整大小，因为 ATen 不拥有内存，但它们除了这点之外与其他 Tensor 的行为一样。

标量和零维 Tensor

除了 Tensor 对象之外，ATen 还包含代表单个数字的 Scalar。与 Tensor 一样，Scalar 是动态类型的，并且可以包含 ATen 的任何一种数字类型。Scalar 可以从 C++ 数字类型隐式构造。Scalar 是必需的，因为像 addmm 这样的某些函数会接受数字以及 Tensor，并期望这些数字与 Tensor 具有相同的动态类型。它们也用于 API 中，以指示函数将 *始终* 返回 Scalar 值的位置，例如 sum。

namespace torch {
Tensor addmm(Scalar beta, const Tensor & self,
             Scalar alpha, const Tensor & mat1,
             const Tensor & mat2);
Scalar sum(const Tensor & self);
} // namespace torch

// Usage.
torch::Tensor a = ...
torch::Tensor b = ...
torch::Tensor c = ...
torch::Tensor r = torch::addmm(1.0, a, .5, b, c);

除了 Scalar 之外，ATen 还允许 Tensor 对象为零维。这些 Tensor 包含单个值，并且它们可以是较大 Tensor 中单个元素的引用。它们可以在需要 Tensor 的任何地方使用。它们通常由 select 等运算符创建，这些运算符会减少 Tensor 的维度。

torch::Tensor two = torch::rand({10, 20});
two[1][2] = 4;
// ^^^^^^ <- zero-dimensional Tensor