2006年10月25日、AMDは約54億ドルを投じたATIテクノロジーズの買収の完了を発表しました。会長兼CEOのヘクター・ルイス氏は、発表文のなかで「新しいAMDは今や、マイクロプロセッサ、グラフィックス、チップセット、コンシューマ機器にわたる幅広い知的財産を手にし、オープンなプラットフォームと統合されたソリューションを届けられる」と述べています。同じ発表文でAMDは、CPUとGPUをシリコンの段階でひとつに統合する新しいx86プロセッサの構想を「Fusion」と名づけ、2008年末から2009年初めに製品を出す見込みだとしました。

その2週間後の2006年11月8日、NVIDIAは別の方向へ踏み出します。

業界誌に転載された同社の発表文によれば、この日、NVIDIAはGPUで計算をするための新しいアーキテクチャ「CUDA」を発表しました。同じ11月に出したGeForce 8800(開発コード名G80)を、翌年の年次報告書(2007年度10-K)は、DirectX 10に対応した業界初のGPUと書いています。そして同じ10-Kには、控えめな一文が置かれています。

「2006年11月、当社は、プログラマが初めてGPU向けのC言語アプリケーションを書けるようにする技術とコンパイラであるCUDAを有効にしたGeForce 8 GPUを、業界に配り始めた。GeForce 8とCUDAは、当社が『GPUコンピューティング』と呼ぶ、新しいクラスのハイパフォーマンス・コンピューティングを可能にするだろう」

AMDがCPUとGPUをひとつのチップに収める構想を掲げた同じ秋に、NVIDIAはGPUそのものを、C言語で書ける計算機として世に出したことになります。


「使うかどうかに関わらずすべてのPCに入れる」

のちの2009年にNVIDIAが公表したFermiアーキテクチャの白書は、G80を、頂点とピクセルで別々だった処理の流れを単一の統合されたプロセッサに置き換えた最初のGPUであり、C言語に対応した最初のGPUだったと位置づけています。

GPUを画像以外の計算に使う「GPGPU」の試みは、それ以前からありました。第1回で触れたとおり、2004年にはスタンフォード大学のイアン・バック氏らが「Brook for GPUs」の論文を発表しています。NVIDIAの開発者ブログが載せたインタビュー記事によれば、バック氏は2004年以降にその成果をNVIDIAへ持ち込み、本人の履歴書には、CUDAのソフトウェア・ツールキットを含むGPUコンピューティングのソフトウェアのマネージャーを務めたと記されています。

ただ、初期のGPGPUには壁がありました。Fermiの白書は、その欠点として、プログラマに「グラフィックスAPIとGPUアーキテクチャの深い知識」が要ったこと、問題を頂点の座標やテクスチャ、シェーダのプログラムの形で表さなければならなかったことを挙げています。

G80とCUDA(Compute Unified Device Architecture)は、その壁を低くしました。グラフィックスの言葉に置き換えなくても、C言語でGPUに計算を書けるようにしたのです。2007年6月23日付で『CUDAプログラミングガイド バージョン1.0』がまとめられ、2008年度のうちに、CUDAのソフトウェア開発キットとCコンパイラの最初の公開版が出ました。

CUDAを、ゲーマーが買うGeForceに載せたこと。ジェンスン・フアン氏は後年、これを自分たちの下した良い決断として語っています。

2026年3月に公開されたポッドキャスト『Lex Fridman Podcast』(第494回)で、フアン氏はこう回想しました。

「私たちは『CUDAをGeForceに載せ、顧客が使うかどうかに関わらず、すべてのPCに入れるべきだ。そしてそれを、インストールベース(普及した台数)を育てる出発点にしよう』と言ったのです」

ゲームのためにGeForceを買った人のパソコンにも、並列計算の入り口が入っていたことになります。フアン氏は同じ番組で、「インストールベースがアーキテクチャを決めるのです」と言い、「私はいつも、NVIDIAはGeForceが建てた家だと言っています」と続けました。

もっとも、この決断の痛みについては、フアン氏の後年の語りと、当時の提出書類とのあいだにずれがあります。

同じ番組でフアン氏は、CUDAが消費者向けの製品であるGPUのコストを大きく押し上げ、「会社の粗利益をすっかり食いつぶしてしまった」と振り返りました。「コストを50%増やし……そして私たちは粗利率35%の会社でした」とも、「時価総額は15億ドルくらいまで落ちました」とも語っています。

当時の年次報告書(10-K)の数字を並べると、景色は少し違います。G80とCUDAを出した2007年度(2007年1月期)の粗利率は42.4%で、翌2008年度は売上高40億9,786万ドルに対して粗利率45.6%と、むしろ上がっていました。

粗利率が34.3%まで下がったのは、その翌年の2009年度(2009年1月期)です。10-Kは、この年度の粗利率に、ノートPC向けの旧世代のGPUとチップセット(MCP)の一部でダイとパッケージの材料に弱点が見つかったことによる保証・修理・返品などの費用1億9,600万ドルが含まれ、粗利率に約6.0%の悪影響があったと説明しています。将来の需要の見通しが大きく下がったことで、在庫の引当も前年度より約5,000万ドル増え、これも粗利率を押し下げていました。

時価総額の数字も合いません。2009年度第4四半期の株価の安値は5.75ドルで、2009年3月6日時点の発行済株式数(5億4,245万3,547株)を掛けると、およそ31億ドルになります(藍の概算)。一方で、フアン氏が同じ回想で、CUDAを出す前の会社の価値として口にした「60億か70億ドルくらい」という数字は、2007年度10-Kの表紙にある2006年7月30日時点の非関係者保有分の時価(約70億3,000万ドル)とおおむね合います。

後年の記憶のなかで、CUDAの投入によるコストの増加と、2008年から2009年にかけての不良チップの費用や需要の落ち込みとが、ひとつの試練の物語に重なっているように見えます。


スパコンの頂点とライバルの迷走

NVIDIAは、GeForceで台数を広げながら、2008年度には高性能計算向けのブランド「Tesla」を立ち上げました。10-Kはこれを、高性能計算の産業への参入と書いています。

本格的な科学計算に要る倍精度の浮動小数点演算(64ビット)では、発表が先だったのはAMDでした。AMDは2007年11月8日、「倍精度浮動小数点技術を備えた世界初のストリームGPU」として「AMD FireStream 9170」を発表し、出荷は2008年第1四半期の予定としていました。

NVIDIAは、Fermiの白書によれば2008年6月のGT200世代で倍精度に対応しました。2009年に発表したFermiでは、倍精度のピーク性能をGT200の8倍に引き上げ、データセンターで多数のGPUを安全に動かすためのECC(誤り訂正符号)メモリにも対応させました。白書はこれを、ECCメモリに対応した最初のGPUとうたっています。

2010年11月、世界のスーパーコンピュータの性能を並べる「TOP500」の第36版で、中国の国立スーパーコンピュータ天津センターの「天河一号A(Tianhe-1A)」が、毎秒2.57ペタフロップス(2,566テラフロップス)で1位になりました。TOP500の表には、構成としてNVIDIAのGPUが記されています。NVIDIAの2011年度10-Kによれば、このシステムは7,000基を超えるTesla M2050を使い、同等のCPUだけのシステムよりエネルギー効率が3倍高く、床面積は半分でした。

2012年11月12日のTOP500では、米オークリッジ国立研究所の「Titan」が、毎秒17.59ペタフロップスで首位に立ちます。NVIDIAの発表文によれば、Titanのピーク性能(毎秒20ペタフロップス超)の約9割は、18,688基のTesla K20(TOP500の表記はK20x)が生み出すものでした。ゲームの絵を描くために育ったGPUが、TOP500の首位の機械で計算の大半を担うようになったのです。

同じころ、CPUの王者インテルと、ATIを手に入れたAMDは何をしていたのでしょうか。両社の提出書類には、それぞれの足取りが残っています。

インテルは、多数のコアを並べた新しいアーキテクチャの開発を進めていました。2009年2月に提出した2008年度10-Kは、この「メニーコア・アーキテクチャ」について、こう書いています。

「このアーキテクチャは、まず、ゲーミングやメディア制作向けに設計された独立型グラフィックスプロセッサの開発に使われる予定である」

1年後、2010年2月に提出した2009年度10-Kでは、同じ段落のこの一文がこう変わっています。

「このアーキテクチャは、まず、グラフィックスとスループット・コンピューティング向けのソフトウェア開発プラットフォームとして使われる予定である」

独立型グラフィックスプロセッサの開発という言葉が消え、ソフトウェア開発の基盤という位置づけに変わりました。同じ2009年度10-Kで、インテルは「NVIDIAは、マイクロプロセッサの仕事の一部を自社のグラフィックスプロセッサに移すことで、グラフィックスプロセッサをマイクロプロセッサと競合する位置に置こうとしている」と書いています。そして2011年1月、インテルはNVIDIAと特許のクロスライセンス契約を結んで係争を和解させ、NVIDIAに6年間で計15億ドルを支払うことになりました。

一方のAMDは、開発者向けのソフトウェアの入り口を、6年ほどのあいだに何度も変えています。

英The Registerによれば、NVIDIAのCUDA発表から6日後の2006年11月14日、AMDは「Close to Metal(CTM)」と呼ぶ、ハードウェアを薄く包むインターフェースを発表しました。1年後の2007年11月には、そのCTMを土台にした「CAL(Compute Abstraction Layer)」と、スタンフォード大学のBrookをもとにした「Brook+」を発表します。

2008年6月、アップルが汎用計算の言語「OpenCL」の仕様を提案し、標準化団体クロノス・グループに作業部会ができました。同じ年の12月にOpenCL 1.0の仕様が公開されると、AMDは自社の「ATI Stream SDK」を新しい仕様に合わせていくと表明します。この発表文で、クロノス・グループの会長とOpenCL作業部会の議長を兼ねるニール・トレヴェット氏は、NVIDIAの副社長という肩書でも紹介されています。NVIDIAも同じ発表文に、OpenCLは「当社のCUDAベースのGPUの膨大な処理能力を、複数のプラットフォームで引き出すもうひとつの強力な方法」だとするコメントを寄せていました。そして2012年6月、AMDはARMやクアルコムなどとともに「HSA(ヘテロジニアス・システム・アーキテクチャ)ファウンデーション」を設立します。

CTMから、CALとBrook+へ、ATI Stream SDKとOpenCLへ、そしてHSAへ。AMDが入り口を替えていくあいだも、NVIDIAはCUDAの名前を変えずに使い続けました。2009年3月に提出した10-Kで、NVIDIAは、世界で2万5,000人を超える開発者がCUDAを使い、100を超える大学がCUDAで並列プログラミングを教えていると書いています。


先に気づいたのはNVIDIAではなかった

今日ではよく、「ジェンスン・フアンはAI(深層学習)の時代が来ることを見越して、2006年にCUDAを作った」と語られます。

提出書類は、この通説を支えていません。2007年度から2014年度までのNVIDIAの10-Kには、「deep learning(深層学習)」も「neural network(ニューラルネットワーク)」も一度も出てきません。

たとえば2009年度の10-Kが、CUDAで速くなる分野として挙げていたのは、分子動力学、画像処理、医用画像の再構成、金融リスク分析のためのデリバティブのモデル化といった、従来の高性能計算でした。

深層学習とCUDAを結びつけたのは、計算の力を求めていた大学の研究者たちでした。フアン氏自身も、先のポッドキャストで「研究者や科学者は、GeForceの上でCUDAを見つけたのです」と語り、その多くがゲーマーで、自分でPCを組み、大学の研究室ではPCの部品でクラスタまで組んでいたと説明しています。

2009年、機械学習の国際会議ICMLで、スタンフォード大学のラジャット・ライナ氏、アナンド・マダヴァン氏、アンドリュー・ング氏が1本の論文を発表しました。3人は、1GBのメモリを積んだ市販の「GeForce GTX 280」とCUDAを使い、1億個のパラメータを持つ4層のディープ・ビリーフ・ネットワークを学習させました。論文はこう論じています。

「現代のグラフィックスプロセッサは、マルチコアCPUの計算能力をはるかに上回っており、深層教師なし学習の手法の適用範囲に革命をもたらす潜在力を持っている」

大きなモデルでは、デュアルコアCPUでの実装より「最大70倍」速く、この4層のネットワークの学習にかかる時間を、数週間からおよそ1日に縮めたと報告しています。

翌2010年3月には、スイスの研究所IDSIAのダン・チレシャン氏、ユルゲン・シュミットフーバー氏らが、やはりGTX 280を使い、手書き数字の認識(MNIST)で誤り率0.35%を出しました。論文は、「大きく深いニューラルネットワークを古くからのオンライン誤差逆伝播法で学習させるとなると、いまのグラフィックスカード(GPU)はすでに標準的なマイクロプロセッサより40倍以上速い」と書いています。2012年2月の論文では、「普段はビデオゲームに使われているGPU」を使い、交通標識の認識で、人間の半分の誤りに抑えたと報告しました。

そして2012年です。

トロント大学のアレックス・クリジェフスキー氏、イリヤ・サツケバー氏、ジェフリー・ヒントン氏の3人は、画像認識の競技会ILSVRC-2012に深層畳み込みニューラルネットワークを出し、上位5候補での誤り率15.3%で優勝しました。2位の誤り率は26.2%でした。のちに「AlexNet」と呼ばれるネットワークです。

NIPS 2012で発表された論文を読むと、この結果が身近な機材から出てきたことが分かります。3人が使ったのは、データセンター向けのTeslaではなく、3GBのメモリを積んだ市販のゲーム用グラフィックスカード「GeForce GTX 580」2枚でした。

「GTX 580 GPUは1枚に3GBのメモリしかなく、それが、その上で学習させられるネットワークの大きさの上限を決めてしまう」

論文はこう書いたうえで、ネットワークを2枚のGPUに半分ずつ載せ、5〜6日かけて学習させたと記しています。畳み込みなどの計算を高速にするGPU向けのコードも書き、「cuda-convnet」として公開しました。そして論文の序論は、次の言葉で締めくくられています。

「結局のところ、このネットワークの大きさは、主に、いまのGPUで使えるメモリの量と、私たちが我慢できる学習時間によって制限される。(中略)私たちのすべての実験は、より速いGPUとより大きなデータセットが使えるようになるのを待つだけで、結果を改善できることを示唆している」


「私たちはこの馬に賭ける」

2013年のICMLでは、スタンフォード大学のアダム・コーツ氏らの論文に、NVIDIAの研究者ブライアン・カタンザロ氏が共著者として加わりました。アンドリュー・ング氏も著者のひとりです。論文は、GPUを積んだ3台のマシンで10億パラメータのネットワークを数日で学習させ、16台のマシンで110億を超えるパラメータまで広げられることを示しました。比べた相手は、1,000台のマシン(1万6,000個のCPUコア)を使った先行研究でした。

2014年9月7日、NVIDIAは深層学習のためのライブラリ「cuDNN」を開発者ブログで公開します。畳み込みなど、深層学習で繰り返し使う計算をまとめた部品群で、「学術、研究、商用を問わず、誰でもどんな目的にも無償で使える」とされました。ブログは、cuDNNの主な対象をCaffeやTorchといったフレームワークの開発者としつつ、直接使うのも簡単で「使うためにCUDAを知っている必要はない」と書いています。同じ年のcuDNNの論文は、当時よく使われていたフレームワーク「Caffe」に組み込むと、標準的なモデルで性能が36%上がったと報告しました。CUDAを自分で書かない研究者も、フレームワークを通じてNVIDIAのGPUを使える形です。第4回で扱う「見えない堀」は、こうした部品の積み重ねでもあります。

そして2014年11月6日。2015年度第3四半期の決算を発表したプレスリリース(8-Kの添付)で、全文検索で遡れる2001年以降のNVIDIAのSEC提出書類に、初めて「deep learning」の2語が出てきます。

「NVIDIAは、機械学習のより速い成長を可能にする深層学習ライブラリを公開した。また、先ごろのImageNet国際コンピュータビジョン競技会では、ほぼすべてのチームがGPUを使った」

翌2015年3月に提出した2015年度の10-Kでは、10-Kとして初めて「deep learning」が登場し、中国の百度(Baidu)も、TeslaのGPUを使って音声アシスタントや翻訳、画像の分析を提供する企業として名前が挙がりました。この10-Kでは「HPC & Cloud」と呼んでいた市場を、2016年3月に提出した2016年度の10-Kは「Datacenter(データセンター)」の名で売上の表に載せます。2016年度のデータセンター売上高は3億3,900万ドルで、全社売上50億1,000万ドルの6.8%でした(比率は藍の計算)。

2016年1月12日、ジェンスン・フアン氏は会社の公式ブログに『GPUでAIを加速する:新しいコンピューティングモデル』と題した文章を寄せています。フアン氏はそのなかで、ヤン・ルカン氏の畳み込みニューラルネット、ジェフリー・ヒントン氏の誤差逆伝播法と確率的勾配降下法による学習、アンドリュー・ング氏による大規模なGPUの利用の組み合わせが、「現代AIのビッグバン、すなわちディープラーニングに火をつけた」と書きました。そして、こう続けています。

「その当時、NVIDIAはGPUアクセラレーテッド・コンピューティングを前に進めるのに忙しかった」

研究者たちが深層学習に火をつけたその当時、NVIDIAはGPUで計算を速くすることそのものに取り組んでいた、という書き方です。同じ文章でフアン氏は、深層学習でNVIDIAが協業する企業が、わずか2年で約35倍の3,400社超に増えたと書き、こう宣言しました。

「私たちは、GPUアクセラレーテッド・コンピューティングが乗るべき馬だと賭けています」

その3カ月後の2016年4月5日、NVIDIAは1台の箱を発表します。同年8月、フアン氏はその初号機を、サンフランシスコのある研究所へ自ら届けました。

ただ、その研究所の名前がNVIDIAの物語の中心に戻ってくる前に、NVIDIAはもうひとつ別の、大きな需要の波にのみ込まれることになります。

(第3回「腹への一撃 ── 暗号資産という劇薬」へ続く)

参考文献