PyTorch 1.7 がリリース、CUDA 11 と Windows 分散トレーニングをサポート

昨日、PyTorch チームは PyTorch 1.7 をリリースしました。このバージョンでは、CUDA 11 のサポート、Windows 分散トレーニング、高速フーリエ変換 (FFT) をサポートする新しい API など、多くの新機能が追加されています。

PyTorch 1.7 バージョンには、NumPy 互換の FFT 操作のサポート、パフォーマンス分析ツール、分散データ並列処理 (DDP) およびリモート プロシージャ コール (RPC) ベースの分散トレーニングへの重要な更新など、多くの新しい API が含まれています。

さらに、カスタム C++ クラス、メモリ プロファイラー、カスタム テンソルのようなオブジェクトによる拡張性、RPC のユーザー非同期関数、torch.distributed のその他の多くの機能 (RPC ごとのタイムアウト、DDP 動的バケット化、RRef ヘルパーなど) を含むいくつかの機能が安定版に更新されました。

このアップデートのハイライトは次のとおりです。

（1）CUDA 11はPyTorchによって公式にサポートされています。

（2）RPC、TorchScript、およびautogradアナライザーのスタックトレースの分析とパフォーマンスを更新および追加しました。

（3）（ベータ）torch.fftを介してNumPy互換のFFT演算をサポートします。

（4）プロトタイプ版は、NVIDIA A100 GPUとネイティブTF32フォーマットをサポートします。

（５）プロトタイプはWindowsシステム上での分散トレーニングをサポートします。

（6）トーチビジョン

• (安定版) 変換はテンソル入力、バッチコンピューティング、GPU、TorchScript をサポートします。
• (安定) JPEG および PNG 形式のネイティブ画像 I/O
• (ベータ版) 新しいビデオリーダー API

(7) トーチオーディオ

• (安定版) 音声録音 (wav2letter)、テキスト読み上げ (WaveRNN)、ソース分離 (ConvTasNet) のサポートを追加しました

(注: PyTorch 1.6 以降、PyTorch の機能は安定版、ベータ版、プロトタイプに分かれています。

新機能

以前のバージョンと比較して、PyTorch 1.7 には、Python API、C++ API、Autograd、CUDA、量子化など、多くの新しい機能が追加されました。

たとえば、Python API には複数の新しい名前空間、演算子、API 拡張が追加され、CUDA には TF32 サポートが追加され、量子化に関しては、新しい量子化操作が追加され、FP16 量子化のサポートなどが追加されました。

PyTorch 1.7 の新機能の詳細については、https://github.com/pytorch/pytorch/releases/tag/v1.7.0 を参照してください。

PyTorch 1.7に対する開発者の姿勢

一部の開発者は、PyTorch 1.7 の新機能「Windows での分散トレーニングのサポート」を称賛しました。

そして、「PyTorch が CUDA 11 をサポート」と表示されるのは嬉しいことです。

それでも、一部の人々は PyTorch への愛着を表現する機会を得て、読みやすいエラー レポート、直感的なコード、実験のしやすさなど、PyTorch を好む理由を挙げました。

もちろん、バージョンアップの道は終わりがないようです。一部の開発者は、TensorFlow にはあって PyTorch にはない fp32 畳み込みやセマンティック バージョニングなど、独自の要件を提示しています。

PyTorch 1.6 がリリースされてからわずか 3 か月が経ちました。 PyTorch の次のバージョンではどんな驚きがもたらされるのだろうか。

参考リンク:

• https://pytorch.org/blog/pytorch-1.7-release/
• https://github.com/pytorch/pytorch/releases/tag/v1.7.0
• https://www.reddit.com/r/MachineLearning/comments/jj4sr7/d_pytorch_17_published_w_cuda_11_new_apis_for_ffts/

[この記事は51CTOコラム「Machine Heart」、WeChatパブリックアカウント「Machine Heart（id:almosthuman2014）」によるオリジナル翻訳です]

この著者の他の記事を読むにはここをクリックしてください