2022年のAI業界でもっともホットなトピックといえば, 任意のプロンプト(説明文)からそれに沿った画像を生成する, いわゆる「画像生成AI」の流行でしょう. OpenAIが4月に発表したDALL·E 2 (ダリ2)は衝撃的でした. 2021年初頭に発表された初代DALL·Eも相当すごかった(アボカド風の肘掛け椅子とか)ですが, それがかすんで見えるほど. DALL·E 2が出て間もなく, Googleが同様の技術2種(Imagen, Parti)を相次いで発表, さらにDALL·E 2相当のアルゴリズムを実装したオープンソースソフトウェアも多数公開されたこと(Disco Diffusion, Stable Diffusion, Midjourney, …)が契機となり, 世界中の人々が画像生成AIに絵を描かせて公開する大喜利状態に. その一方で, アーティストの職が脅かされるとか, AIが描いた絵がコンテストで優勝してしまうとか, 物議を醸した事案も多数. 技術面では, 拡散モデルの有用性が明らかとなり, 5年前のTransformerモデルの登場以来のイノベーションと言ってもよい気がします.
"OpenAI砲"再び
さて, 画像生成AIの話はこのくらいにして, 今回取り上げるトピックはチャットボット. DALL·E 2で世界を驚かせたばかりのOpenAIが先月末に発表したChatGPTで, また世間がざわついているようです. ChatGPTは話題を限定せずどんな問いかけにも対応できるオープンドメインチャットボット. 今回素晴らしいのは, 最初から多言語をサポートしていて日本語でも会話できる点で, すでに日本のニュースサイトでも多数のレポートが出ていますね.
人間の質問に答えるAI「ChatGPT」がすごいと話題に 自然な文章に「やばい」と驚きの声 https://t.co/Cov0CPYqJh pic.twitter.com/orJKEfXOkG
— ねとらぼ (@itm_nlab) December 2, 2022
というかね, 国営放送が取り上げるレベルなので尋常ではありません.
“衝撃”のAI「ChatGPT」が話題です
— NHKニュース (@nhk_news) December 9, 2022
ひとりディベートもできるし、難しそうな哲学的概念をもっともらしく解説したりもする
でも「生きた化石」と呼ばれる魚シーラカンスをカニの一種と説明することも…
このAIって本当にすごいの？調べてみましたhttps://t.co/1AEt2teTLR
世間の反応
ネット上には驚きや賞賛も含めて様々な意見があるようで, OpenAIとしてはしてやったりでしょう. これなんかはわりとネガティブな意見.
チャットできるAI、ChatGPTが｢そこまですごくない｣理由。見えてしまった限界 - Business Insider Japan https://t.co/2r8YmHHfY8
— 人工知能・機械学習ニュース [公式] (@A_I_News) December 8, 2022
最近のAI業界は, 研究者から事業家までいろんな人がいるからおもしろいのですが, さすがにこれは暴論かと.
ただ、この程度のことは実はGPT-2（2019年発表）でもできていた。これでビックリする人というのは、AI研究者からすると感覚が3年遅れだ。
「実は」って…へ～そうだったんですか～😑 うちの学生がGPT-2でチャットボットを作っていますが, 目的のアプリケーションに合わせたファインチューニングが必須. チューニングなしのゼロショットでChatGPTのように振る舞うのは無理です. そもそも, 膨大なテキストデータをひたすら読んで, 次にどんな語が来るかを予測するという自己教師付き学習で作られたGPT-2と, 強化学習によって人間のフィードバックを採り入れたChatGPTは技術内容もまったく違うわけで. それを英語ならまだしも日本語の少量のテスト(粗探し?)で比較できると考えるのは無理があります. 筆者はAI研究者だそうですが, 研究者というよりは, テレビのワイドショーに出ているような人の意見. まあね, 世間を騒がせるホットな話題をこんなふうに上から目線で批評すると, 一見わかっている人風に見えますし, 出来高(クリック数)も上昇するのでやってらっしゃるんでしょうけど.
まあそれはいいとして, すでにChatGPTを使って様々な試みがなされていて, 世の中にはクリエイティブな人がいるものだなと感心させられます. 例えば
- ChatGPTにLinux OSのように振る舞わせることでバーチャルマシンを作り出したり: An attempt to create a virtual machine inside the chat AI 'ChatGPT', there is a virtual Internet inside and ChatGPT exists in the world created by ChatGPT
- ChatGPTとの共同作業で「スライム語」なる新たな言語を生み出したり: An attempt to invent an unknown language 'slime language' using the dialogue AI 'ChatGPT'
- 有害な質問をブロックするコンテンツフィルタを巧みな会話で解除させて, 火炎瓶の製造方法を答えさせたり: An AI chatbot went viral. Some say it’s better than Google; others worry it's problematic.
- 本学大学院の「自然言語処理特論」を受講している学生さんの一人が「さっそく使ってみました」と担当教員に報告してくれました. 講義の感想と抱負を1000字でまとめよというお題をChatGPTに与えたところ, RNNからTransformer, BERTに至るまでを簡潔に説明し, 最後は抱負で締めるという完璧な出来栄えでした.
ChatGPTがあったら, 大学でレポート課題を出す意味がなくなるかも(苦笑)
人間から学ぶ
すでに触れましたがChatGPTの技術の核心は, 人間からのフィードバックを用いた強化学習. 強化学習といえば, 2016年に囲碁の世界チャンピオンを下したDeepMindのAlphaGoなどで注目された技術です. OpenAIのプレスリリースに載っている説明図がこちら
この図は見覚えがあるなと思ったら, 2022年1月に発表されたInstructGPTとほぼ同じですね.
最初は人間が書いた望ましい応答文を学習(Step 1: Supervised Fine-Tuning; SFT), 次にAIが生成した複数の応答文を人間が順位付け(Step 2: Reward Model; RM), 最後にRMを規範としてSFTを再学習(Step 3: Proximal Policy Optimization; PPO). InstructGPTの論文では, 選び抜かれた40人の人間がこのプロセスを担ったとあります(ChatGPTの論文は未発表). GPT-3級の巨大言語モデルのトレーニングに必要な大量のデータを高々40人でまかなえるとはちょっと考え難いのですが, 成果物であるChatGPTのパフォーマンスは巷で伝えられている通り. やればできるのかな?
チャットボットブームでもあった
毎日のように画像生成AIの話題を目にした2022年. 思えばチャットボットもかなり盛り上がっていました.
- Google LaMDA: CEO Sundar Pichaiが恒例イベントGoogle I/Oで披露したのは2021年5月のこと. しかしこの夏, 同社ソフトウェアエンジニアとしてLaMDAのテストを担当するBlake Lemoine氏が「LaMDAには意識がある」と主張して社外秘であるLaMDAの会話記録を暴露し, 解雇されたという事件がありました. 最新チャットボットの能力の高さを示すエピソードでした.
EXCLUSIVE: Google engineer Blake Lemoine says he is more concerned about the risks of Artificial Intelligence "politically influencing people" than he is about violent scenarios.@tnewtondunn | @cajundiscordian pic.twitter.com/tPDvMg0at0
— First Edition (@FirstEdition) June 29, 2022 - DeepMind Sparrow: OpenAIの最大のライバル(?)が9月に発表. こいつもInstructGPTやChatGPTと同じく, 人間からのフィードバックによる強化学習を採用. さらにグーグル検索を使って発言の根拠を示す能力も. 有害な言葉を発しない安全なAIを指向した研究成果ですが, まだ不完全な研究試作品だとして, 一般公開はしない模様. OpenAIとは対照的な慎重姿勢です.
Large language models can exhibit falsehoods, discriminatory language, and other unsafe behaviour. Introducing Sparrow: a dialogue agent that can search the internet and is trained to be more helpful, correct, and harmless using RL from human feedback: https://t.co/8VtsFjuGcm 1/ pic.twitter.com/Ia4zCg7oPL
— DeepMind (@DeepMind) September 22, 2022 - Meta Galactica: ChatGPTが出るほんの少し前. 科学文書4,800万件を学習し, 科学に関する質問に答えられるAIとして発表された巨大言語モデル. 科学論文の執筆にも役立つと話題になるも, 存在するはずのない「宇宙熊」の生態をまことしやかに語り, ガラス食が健康によいなどとフェイクをまき散らしたことで炎上. チーフAIサイエンティスト, Yann LeCunの苦々しいツイートとともに, 発表からわずか3日でデモサイトをクローズ.
Galactica demo is off line for now.
— Yann LeCun (@ylecun) November 17, 2022
It's no longer possible to have some fun by casually misusing it.
Happy? https://t.co/K56r2LpvFD
ChatGPTはGalacticaと同じようにウソをまき散らす可能性があり, それは多くの人々がすでに指摘していますが, 炎上や閉鎖のような事態には至っていません. 人間からのフィードバックを利用する強化学習技術が奏功したのか, 単にOpenAIの「見せ方」が巧かったのか…? そういえば2020年のGPT-3も, 今思えば相当に(間違いなくGalactica以上に)ヤバい言語モデルだったわけですが, 世間には総じてポジティブに受け止められています. いずれにせよ, 今後もChatGPTの動向から目が離せません.
最後までお読みいただきありがとうございました.
0 件のコメント:
コメントを投稿