大学の長い夏休みもあっという間に終わり, 学生も教員も気分はブルーです(笑) 夏休み中, 大学教員は研究に専念できるかというとそうでもなくて, 前期の成績評価, 大学院入試, 学位審査, その他いろいろな学内業務があります. まあ給料もらってるんだから仕事するのは当たり前ですけどね😌 この夏は私に代わって4年生たちが卒業研究をコツコツと進めてくれました.
2022年9月30日金曜日
2021年9月21日火曜日
2021年8月21日土曜日
万物は共通の文法で記述されている…かもしれない
UCB, Facebook AI, Google Brainから今年の春に発表された論文.
Pretrained Transformers as Universal Computation Engines (事前学習されたTransformerは万能計算エンジン)
あらまし
大量のテキストデータで事前学習されたTransformer言語モデルは各種の自然言語処理タスク(質問応答, 要約, 読解など)で有効性が確認されている. そんな言語モデルの一つ, GPT-2の中身はほぼそのままに, 入力層と出力層だけ付け替えて, 画像認識, 論理演算, タンパク質分類など, 言語とはまったく異なるタスクをこなすように訓練した(Frozen Pretrained Transformer; FPT).
"Multi-Head Attention"と"Feed Forward"を固定して残りの"Positional Embeedings", "Imput Embeddings", "Output Layer", "Add & Layer Norm"を更新. 更新されるパラメタはモデル全体の0.1%未満.
登録:
投稿 (Atom)
-
世間では(少なくとも大企業やIT業界では)すっかりテレワークが定着しましたね. あのNTTですら, コロナ後もテレワーク主体の働き方を継続して, 転勤や単身赴任をなくすというのだから時代は変わったものです. NTT、転勤・単身赴任を廃止へ コロナ後もテレワーク
-
旅立ちの季節, 本学では今年も3月25日に卒業式が行われ, 学部・大学院の卒業生に学位記が授与されました. いや～, 毎年のことながら本当にめでたい!! 八景キャンパスの体育館で行われる卒業式. 学生による混声合唱や管弦楽の生演奏も素晴らしい. 以前 にも書いたかもしれませんが本... -
半年ぶりくらいで記事を書きます. 大学教員になって4年が経ちましたが, 同じ場所に4年もいるといろいろと仕事が増えて多忙になります. 学部運営などで重要な役割を任せていただけるのはありがたいことであり, 4年前にこの大学に拾ってもらった恩返しの意味でも大学に献身する所存ですが, ...
