PyTorchでは、テンソル操作において 降次（次元削減） や 非降次（次元保持） の集計処理、さらに ブロードキャスト を利用した演算が非常に重要な役割を果たします。本記事では、これらの基本概念を解説し、具体例を通じて理解を深めます。
降次集計の仕組み
降次集計とは、指定した軸（axis）に沿って値を集計し、その軸を出力のテンソルから削除する操作です。以下に具体例を示します。
import torch A = torch.tensor([[ 0., 1., 2., 3.], [ 4., 5., 6., 7.], [ 8., 9., 10., 11.], [12., 13., 14., 15.], [16., 17., 18., 19.]]) # 行方向（axis=1）で合計を計算 A_sum_axis1 = A.sum(axis=1) print(A_sum_axis1) # tensor([ 6., 22., 38., 54., 70.]) print(A_sum_axis1.shape) # torch.Size([5])
結果の形状 [5] から分かる通り、axis=1 が削除され、元の行数のみが保持されています。
非降次集計の仕組み
非降次集計では、keepdims=True を指定することで、軸を保持しつつ、その次元のサイズを1に変更します。
sum_A = A.sum(axis=1, keepdims=True) print(sum_A) # tensor([[ 6.], # [22.], # [38.], # [54.], # [70.]]) print(sum_A.shape) # torch.Size([5, 1])
この場合、axis=1 が保持されているため、出力の形状は [5, 1] になります。非降次集計は、ブロードキャストを利用する際に特に便利です。
ブロードキャストの応用例
PyTorchのブロードキャスト機能を活用することで、異なる形状のテンソル間での演算が容易に行えます。以下は具体的な例です。
例: 各行をその行の合計で正規化
A_normalized = A / sum_A print(A_normalized) # tensor([[0.0000, 0.1667, 0.3333, 0.5000], # [0.1818, 0.2273, 0.2727, 0.3182], # [0.2105, 0.2368, 0.2632, 0.2895], # [0.2222, 0.2407, 0.2593, 0.2778], # [0.2286, 0.2429, 0.2571, 0.2714]])
ブロードキャストを利用した応用シナリオ
- 確率分布の構築
深層学習の分類問題などでは、各行を確率分布として扱う必要があります。このとき、行方向で正規化を行い、各行の要素の合計を1にします。
probabilities = A / sum_A
print(probabilities.sum(axis=1)) # tensor([1., 1., 1., 1., 1.])
特徴量の正規化
データ前処理の段階で、特徴量の値を0～1の範囲に収める正規化を行うことで、モデルの収束速度や性能を向上させます。注意機構の重み計算
深層学習の注意機構（Attention Mechanism）では、行方向で正規化することで重み行列のスコアを確率分布として解釈可能にします。
まとめ
- 降次集計: 指定軸を削除し、次元を減少させる。
- 非降次集計:
keepdims=Trueによって軸を保持し、後続のブロードキャスト演算に対応。 - ブロードキャスト: 異なる形状のテンソル間の演算を効率的に実現し、正規化や確率分布構築などに活用。
PyTorchのテンソル操作機能をマスターすることで、より簡潔で効率的なコードを書けるようになります。テンソル操作を活用して、深層学習の可能性をさらに広げましょう！
