気がつけば早4月半ば. 大学では3月24日に卒業式が挙行され, 当研究室の4年生6人もそれぞれの道に旅立っていきました😭 さらに4月5日には入学式. 約980人の大学1年生が新たに学生生活をスタートさせました.
AIブームの真の勝者はNVIDIA
少し前になりますが, 3月に開催されたNVIDIAの恒例イベント, GTC (GPU Technology Conference)は話題性抜群で, 今のこの会社の強さを物語っていました. GoogleやらFacebookやらのテック企業は次々と新しいAI技術を発表していますが, それらが生み出される基盤は高価な汎用GPUを核とするコンピューティングハードウェアであり, GPU市場で圧倒的なシェアを握るNVIDIAは第3次AIブームの真の勝者と言われます.
絶対王者と思われたGoogleも今年で創業25年. ポスト・コロナの不況の波をかぶっている間にOpenAIにお株を奪われ, すっかりふつうの会社になってしまった感があります. あのGoogleすら安泰ではない, それくらい今の開発競争は熾烈です. そんな競争の外側にいて, 莫大な利益を上げて巨大企業に成長したNVIDIAは笑いが止まらないのではないでしょうか.
19世紀アメリカのゴールドラッシュでは, 本当に儲けたのは金鉱で金を掘った人々ではなく, 金を掘る道具を売った人々だと言われます. 例えば現在もよく知られるジーンズメーカー, リーバイスは19世紀にサンフランシスコで創業し, 金鉱で働く人々のために丈夫な作業ズボン(後のジーンズ)を考案して大きく成長しました. NVIDIAは21世紀のリーバイスです.
GTC2023の目玉企画
何と言っても注目は, "Fireside Chat with Ilya Sutskever and Jensen Huang"と題された, ジェンスン・ファン(NVIDIA CEO)とイリヤ・サツケバー(OpenAIチーフサイエンティスト)の対談. サツケバーといえば, 大規模言語モデルGPTシリーズの立役者で, 現在のAI業界の最重要人物の一人(過去記事). 驚異の会話型AI, ChatGPT (過去記事)の能力をさらに上回ると言われるGPT-4の発表直後というタイミングだったこともあり, この対談には全世界が注目したはず.
別枠ではOpenAIの競合, 囲碁AIのAlphaGoなどで知られるDeepMindの創業CEO, デミス・ハサビスのトークもありましたが, それがかすんで見えるほど. ただこの人も早熟の天才で才能の塊みたいな人物. そもそもOpenAIとDeepMindの顔である二人を同時に召喚するなど贅沢この上ないのですが, 今はChatGPTが世間を騒がせすぎていて, ハサビスが少し地味に見えたのも事実.
炉辺談話(Fireside Chat)
OpenAIの技術責任者が, リリース間もない話題の言語モデルGPT-4について語る…必見の対談. 日本時間で深夜1時からの50分間は総じて興味深いものでしたが, 中でも一番の見どころは, 聞き手のジェンスン・ファンが「GPT-4はChatGPTと何が違うのか?」という核心的な問いを投げかけた場面. サツケバーの答えは「次の単語をいかに正確に予測するか, この性能を飛躍的に高めた」.
これまでのGPTシリーズはすべて, 文の途中までを見て次に来る単語を予測するという非常にシンプルな学習目標で訓練されています(最近のモデルは強化学習を組み合わせているが, ベースは一貫してコレ). 要するに今回のGPT-4も, 「言語モデルとしての基礎体力」をさらに高めたということです.
しかしこの答え, ほぼ何も言ってませんね(苦笑). 5年前のGPT-1の頃からやっていることを続けていますと言っているだけ. あえてメッセージ性を見出すなら, 「次の単語の予測」というシンプルな課題を極めると, ChatGPTのような驚くべき知性が獲得できるということ. GPT-3の登場から3年, この現象のメカニズムはいまだに謎です. メッセージがもう一つあるとするなら, Googleが好んで採用するMLM (Masked Language Model; 文中の隠された単語の予測)やNSP (Next Sentence Prediction; 2つの文が連続し得るかどうかの予測)のように「次の単語の予測」よりも凝った学習目標は, さほど意味がないということ.
サツケバーの答えに話を戻すと, 人々が知りたいのはそういうことではなくて, Model, Data, Computeの3点です.
- Model: Transformerアーキテクチャなのはおそらく間違いないが, その構造(いわゆるL, H, A)は? つまるところモデルのパラメタ数は? (巷では100 trillionという法外な数字が一人歩きしているが)
- Data: どれだけの量のデータを学習したのか? 公開データのみなのか, プライベートなデータも使ったのか?
- Compute: どんなコンピュータを使ってどんな計算をしたのか? GPT-3よりもはるかに巨大なモデルだとすると実装からして難題だが, 可能なのか? また, ChatGPTでも用いられた人間のフィードバックからの学習(Reinforcement Learning from Human Feedback; RLHF)はどう使したのか?
サツケバーはこれらのポイントについて一切話しませんでした. 大方の予想通り….
オープン戦略は間違っていた?
サツケバーのこの「ゼロ回答」は予想されたことです. 1週間前のGPT-4発表時, OpenAIはそれを明言していました. 「大規模言語モデル(LLM)に関する昨今の競争的な状況と安全性への影響を考慮して, 技術の詳細は開示しない」と. さらにGPT-4発表の翌日, サツケバーはメディアのインタビューに対して「我々は間違っていた」と言い切り, 研究開発のオープン戦略を否定しています.
GPT-4に関してOpenAIが公開した技術報告書(Technical Report)は, これまで彼らが公開してきた論文(Paper)と比べるとかなり異質です. まず1ページ目には, この研究に貢献した論文著者たちが並ぶはずですが, 企業名のみが記され, 個人名は一切ありません. また, 従来モデル(GPT-3.5)と比べて様々なタスクで大幅な性能向上があったと言いつつ, どうやってそれを達成したのかがまったく説明されていません. (まあGPT-4の前のChatGPTやその前のInstructGPTでも, 何か大事なことを隠している雰囲気はあったのですが)
OpenAIに対する批判
これに対して世間は当然ネガティブな反応を見せます. まず「こんなの研究論文じゃない」と. そりゃそうです. 再現性を重んじるアカデミアの世界で, どうやったら結果が再現できるかが書いてない論文はあり得ません. この「論文」はあくまで技術報告書であって, 論文ではありません. 受理してくれる学会などありません.
もう一つは, 技術内容を開示せず自社で独占することに対する批判. この10年くらい, つまり深層学習以降のAIコミュニティには, GitHubの普及も相まって, コード, モデル, データなどの研究成果を公開してコミュニティの発展に貢献しようという全体奉仕の精神があります(加えて, 公開しないとトップカンファレンスで論文が採択されにくいという事情も). OpenAIもこれまでその恩恵に預かってきたはずで, 今さら「離脱」は許されないと.
同じような批判の中には, AI技術の「公共性」を指摘する声もあります. 私たちの社会を変革する可能性のある重要技術を一私企業が独占することに対する危機感です. 確かに, GPT-4の訓練に使われたデータが公開されていないということは, このモデルは何を知っていて何を知らないのかがわからない, 得体の知れない存在だということ. また, 誰かのプライバシーを侵害するようなデータが混ざっているのではないかという懸念もあります. 今時は誰だってネットにプライベートな画像を上げたことがあるでしょうから, 自分は大丈夫ということはまずありません.
そんなこんなで, OpenAIは名ばかりだからClosedAIに改名すべしという皮肉が方々から出ているのは無理もありません.
クローズド戦略は悪なのか?
OpenAIを批判する勢力に乗っかるのは簡単ですが, 果たしてそれが正義かというと, 私は違うと思います. ChatGPTリリース以来, 確かにこの分野は極めて競争的な状況です. 巨人Googleは自身の基幹事業である検索サービスが崩壊するかもしれないという危機感を隠さず, 本気でOpenAIを潰そうとしています. (その反撃は必ずしもうまくいっていないのですが…)
研究の世界, 特に大学にはお花畑的な素朴リベラリストが多いのでこういう世論になるのはわかりますが, OpenAIにしてみればこれはやるかやられるかの戦争です. おそらく, 勝って生き残るためにはこれしか選択肢はない! くらいの決意でやっているのでしょう.
LINE HyperCLOVAの場合
2020年のGPT-3発表から間もない頃, LINEの研究部門が日本語版GPT-3を開発すると宣言して, HyperCLOVAという名前で開発を続けていますが, あれなどは最初からクローズドです. 企業の研究開発は本来そういうもの.
1年ほど前, LINEがHyperCLOVAのハンズオン(体験)セミナーを開催するというので参加させていただいたことがあります. 様々な質問に答えることができ, 紙飛行機や色鉛筆になりきって会話するというシュールな芸当もできる大規模ニューラル言語モデルの実力が体感できる貴重な機会でした. 無料でこのようなセミナーを開催されたHyperCLOVAチームの皆さんには感謝するばかりです.
このセミナーの参加者に大学の先生らしき年配の男性がいました. 質疑応答でこの方が「HyperCLOVAは公開しないのか? いつ公開するんだ?」と質問しました. 「今のところ公開予定はない」というのがLINE側の回答でした. 男性はこの回答に不満だったらしく不機嫌そうで, 「企業は儲けてるんだからこれくらい公開しろ」と言いたげな態度でした.
大学の先生の多くはこの男性と似たような考え方なのかもしれません. 確かに大企業の予算規模は大学とは桁違いです. ただ, それと同時に事業規模も桁違いで, 限られた資金をやりくりして様々な活動に配分しています. 企業は企業なりに, お金には常に困っています. HyperCLOVAのような大型プロジェクトのマネージャーは, 投資と回収の計画を練って, 会社の幹部に何度も説明して, 苦労して予算を獲得しているはずです. もちろん予算獲得はゴールではなく, 事業を成功させなければならないので予算を取った後も必死です. 慈善事業をやっているのではありません.
クローズド戦略へのシフト
OpenAIの方針転換は, AI技術の発展が行きつくところまで行って, いずれは成熟期に入ることを意味しているような気がします. 仮にこれが発展の途上で, まだまだ開拓の余地がいたるところにあるとすれば, 今回のOpenAIとGoogleのような競合は起こりにくいので. もしこの仮説が正しいとすると, GoogleやMetaのような他のプレイヤーもそのうちOpenAIに追随して, 業界全体がクローズドに傾く…!?
現在のAIコミュニティでは, TensorFlowやPyTorchなどのソフトウェア, BERTやResNet-Xなどの訓練済みモデル, そしてGoogle Colaboratoryのようなクラウドコンピューティングサービスが無償で利用できることが非常に大きく, これらが仮になくなった場合のダメージは計り知れません. そうならないことを祈ります.
おまけ
今週, OpenAIのサム・アルトマンCEOが来日し, 官邸で岸田首相と会談, さらには自民党本部で「AIの進化と実装に関するPT」なる部会に出席して日本重視の姿勢を打ち出したそうです.
OpenAI社のサム・アルトマンCEOが来日し、自民党・AIの進化と実装に関するPTに出席。日本での活発なChatGPTの利用などを引き合いに「日本がAIの利活用を通じて世界で大きな存在感とリーダーシップを発揮してほしい」と同氏。日本への期待を込めて、以下の7点の提案がありました。
— 塩崎あきひさ 【衆議院議員・愛媛1区】 (@AkihisaShiozaki) April 10, 2023
1… pic.twitter.com/ZH0KZCDxEa
これに対して政治家やマスコミは何やら歓迎ムードのようですが, 欧州ではイタリアがChatGPTを使用禁止にするなど警戒感を示しているのに, 我が国は大丈夫なのですかね?
イタリアの使用禁止は個人情報保護の法令違反と説明されていますが, たぶんAI技術で米国を独走させたくないというのがEU諸国の本音でしょう. 今やAI技術は軍事技術と同じくらい重要で, 外資に過度に依存するのは危険です(大金を払って多くの兵器を米国から購入している我が国の安全保障は極めて脆弱です). このことを政治家たちはどこまで理解しているのでしょうか? 結局, 江戸時代にペリーが黒船でやってきたときの幕府の侍たちと, 今の自民党の政治家たちのメンタリティはあまり違わないのかもしれません.
0 件のコメント:
コメントを投稿