「AIにノーベル賞」が意味するところ

半年ぶりくらいで記事を書きます. 大学教員になって4年が経ちましたが, 同じ場所に4年もいるといろいろと仕事が増えて多忙になります. 学部運営などで重要な役割を任せていただけるのはありがたいことであり, 4年前にこの大学に拾ってもらった恩返しの意味でも大学に献身する所存ですが, 教員の本分である教育と研究に思うように時間が取れないのはもどかしいところです.

チャットボットもここまで来たか

ついこの間, 夏休みが終わって気分はブルーですと言っていたのに, 気がつけばもう師走. めったに更新されない当ブログにお越しくださりにありがとうございます.

今年も美しく色づいた金沢八景キャンパスのシンボル, イチョウ並木 (11月27日撮影)

AI業界の経済格差は悪か?

大学の長い夏休みもあっという間に終わり, 学生も教員も気分はブルーです(笑) 夏休み中, 大学教員は研究に専念できるかというとそうでもなくて, 前期の成績評価, 大学院入試, 学位審査, その他いろいろな学内業務があります. まあ給料もらってるんだから仕事するのは当たり前ですけどね😌 この夏は私に代わって4年生たちが卒業研究をコツコツと進めてくれました.

データ中心のAI

ゴールデンウィーク.  暑くも寒くもない, 実に快適な一週間がまるまる休みであることは, 神様が日本人に与えた最大のギフトでしょう.  もっとも, 公立大学の仕事は基本的に暦通りで, 私が以前いた民間企業のように全社的に9連休になったりはしないのですが.

とはいえせっかくのゴールデンウィークなので昼間から飲んだくれてみる(5月5日午後2時過ぎ, 金沢八景駅前の焼鳥日高).  ちなみにホッピーの右隣の黒い物体は, メニューに触れると注文が通る, 微妙にハイテクなタッチペン.

教育系YouTube動画恐るべし

新型コロナウィルスの影響もあって, ネット界隈では教育系コンテンツの再生数が伸びているそうです.  で, たまたま見かけたYouTubeチャンネル, ヨビノリ(予備校のノリで学ぶ「大学の数学・物理」)のこの動画が素晴らしくて, 大学教育の存在意義が問われそうなレベル. (苦笑)

高校数学からはじめる深層学習入門(畳み込みニューラルネットワークの理解)

ディープラーニング詐欺に注意

外見がよい人は得をする…誰もが感じることと思います.  スタイルがよい人ほど高収入を得ることがディープラーニング(深層学習)によって証明されたそうです.  例えば男性なら身長の1cmは年収1000ドルに相当するんだとか.  本当かなぁ?

Deep machine learning study finds that body shape is associated with income

文字を知らなくても言語は習得できる

Facebook AIが最近発表したこれ, おもしろいです.  Textless NLP … 文字を使わない自然言語処理って何それ!?

Textless NLP: Generating expressive speech from raw audio

万物は共通の文法で記述されている…かもしれない

UCB, Facebook AI, Google Brainから今年の春に発表された論文. 

Pretrained Transformers as Universal Computation Engines (事前学習されたTransformerは万能計算エンジン)

あらまし

大量のテキストデータで事前学習されたTransformer言語モデルは各種の自然言語処理タスク(質問応答, 要約, 読解など)で有効性が確認されている. そんな言語モデルの一つ, GPT-2の中身はほぼそのままに, 入力層と出力層だけ付け替えて, 画像認識, 論理演算, タンパク質分類など, 言語とはまったく異なるタスクをこなすように訓練した(Frozen Pretrained Transformer; FPT).

"Multi-Head Attention"と"Feed Forward"を固定して残りの"Positional Embeedings", "Imput Embeddings", "Output Layer", "Add & Layer Norm"を更新.  更新されるパラメタはモデル全体の0.1%未満.