情報更新
ツイートの記録を停止しています

 

ツイート検索

 

@jaguring1
サイトメニュー
Twilogユーザー検索
新規ツイートの取得を再開しました!取得再開にはログインが必要です。

Twilog

ツイートの記録を停止しています

このアカウントはTwitter APIの仕様変更の影響でツイートの記録を停止しています。
記録を再開するには、Twilogにログインしてください。

 

@jaguring1

小猫遊りょう(たかにゃし・りょう)@jaguring1

Stats Twitter歴
3,717日(2014/01/25より)
ツイート数
42,842(11.5件/日)

ツイートの並び順 :

表示するツイート :

2023年04月04日(火)3 tweetssource

4月4日

@jaguring1

小猫遊りょう(たかにゃし・りょう)@jaguring1

Metaが公開した言語モデル「LLaMA🦙」から派生(微調整)したモデル一覧

①Alpaca🦙(アルパカ)
②Vicuna🦙(ビクーニャ)
③Guanaco🦙(グアナコ)
④FreedomGPT🤪
⑤GPT4All🙂
⑥ChatDoctor🏥(ドクター)
⑦OpenFlamingo🦩(フラミンゴ)
⑧Koala🐨(コアラ)
⑨Baize🐲(中国の民間伝承による架空の生物らしい)

posted at 18:45:13

4月4日

@jaguring1

小猫遊りょう(たかにゃし・りょう)@jaguring1

カリフォルニア大学バークレー校のAI研究所「BAIR」が130億パラメータの新しい対話モデル「Koala🐨」を発表!

Metaの言語モデル「LLaMA」を微調整したモデル。データは量より質を重視。ChatGPTに近いクオリティで、LLaMAの微調整モデル「Alpaca🦙」よりも好まれることが多い
twitter.com/berkeley_ai/st

posted at 15:10:10

2023年04月03日(月)5 tweetssource

4月3日

@jaguring1

小猫遊りょう(たかにゃし・りょう)@jaguring1

@tsatie 研究者だけじゃなくて、幅広い読者を対象にしているそうなので。この数ヶ月でジャーナリストや支持者や議員や学者など非常に多くの人々が大規模な言語モデルに注目しましたが、この技術を理解し始めたばかりだと見落としがちな部分があり、そこを説明してるようです

posted at 20:08:45

4月3日

@jaguring1

小猫遊りょう(たかにゃし・りょう)@jaguring1

③巨大言語モデル(LLM)はしばしば外の世界の表現を学習し使用してるように見える
④LLMの振る舞いを制御するための信頼できる技術はない
⑤専門家はまだLLMの内部構造を解釈できていない
⑥あるタスクにおける人間の性能は、LLMの性能の上界にならない(多くのタスクで人間の性能を上回る可能性がある)

posted at 19:09:47

4月3日

@jaguring1

小猫遊りょう(たかにゃし・りょう)@jaguring1

巨大言語モデル(GPT-3、PaLM、LLaMA、GPT-4など)の流行を受け、ニューヨーク大とスタートアップ「Anthropic」の研究者Sam Bowman先生が潜在的に驚くべき主張を幅広い読者へ8つ紹介

①言語技術の革新無しに投資の増加で予測通り性能が改善
②特定能力は予測不能で出現する傾向
cims.nyu.edu/~sbowman/eight pic.twitter.com/qV9eTFY095

posted at 18:41:31

2023年04月02日(日)1 tweetsource

2023年03月31日(金)1 tweetsource

2023年03月29日(水)4 tweetssource

3月29日

@jaguring1

小猫遊りょう(たかにゃし・りょう)@jaguring1

オープンソースで最大130億パラメータの言語モデル「Cerebras-GPT」が発表された。chinchillaのスケーリング則を参考に挑戦。7つのサイズがある(パラメータ数: 111M、256M、590M、1.3B、2.7B、6.7B、13B)。オープンなデータセットを用いてスケーリング則を導出。非GPUで実行
twitter.com/CerebrasSystem

posted at 08:35:39

2023年03月26日(日)6 tweetssource

3月26日

@shanegJP

シェイン・グウ@shanegJP

ChatGPT・GPT-4・ChatGPTプラグインの全てで使われてる「呪文」、そして2022年一番記憶に残った言語モデルの論文は @Matsuo_Lab 松尾研の小島君と岩沢さん @yusuke_iwasawa_ さんが見つけました。私も論文を手伝いましたが素晴らしい発見でした。

なぜこれを日本人が見つけられたか?...(次) twitter.com/jaguring1/stat

Retweeted by 小猫遊りょう(たかにゃし・りょう)

retweeted at 11:45:28

3月26日

@jaguring1

小猫遊りょう(たかにゃし・りょう)@jaguring1

今回の呪文の論文の共著者の松尾豊さん「ChatGPTの内部では、質問のされ方に応じてデータの処理方法が変化しているのだろう」

「人間が創造性を発揮する時も、脳の中でかなり近いことをやってるのではないか。それが今ChatGPTの振る舞いで見えてるのだとすれば、これはすごく興味深いことが起きてる」

posted at 11:28:50

2023年03月24日(金)12 tweetssource

3月24日

@jaguring1

小猫遊りょう(たかにゃし・りょう)@jaguring1

グーグルやDeepMindがPaLMやChinchillaを発表してから約1年が経っている。その間、グーグルとDeepMindはどんなAIの学習に最大の計算回数を投じているのか、そして、それはいつ発表されるのか。時間が経てば立つほど計算回数が増えていく

posted at 07:34:19

3月24日

@jaguring1

小猫遊りょう(たかにゃし・りょう)@jaguring1

@kyo_takano その「1994年定義に従った評価結果」をもとに、著者たちは「知能の多くの特徴を示すエビデンス」として報告しているので、要約としては正しい気がします(上の英文参照)。そして、要約を超えた科学的な議論としては、Kyoさんは「これはエビデンスではない」と考えているわけですよね?

posted at 04:43:08

3月24日

@jaguring1

小猫遊りょう(たかにゃし・りょう)@jaguring1

@kyo_takano 著者たちは「1994年の定義に従って、知能の多くの特徴を示すという証拠について報告」と書いてますよね?(上の英文参照)。僕のもとのツイートは「知能の多くの特徴を示している証拠を報告(1994年の知能の定義に従っている)」と書いており、要約として正確な気がします。

posted at 03:57:42

3月24日

@jaguring1

小猫遊りょう(たかにゃし・りょう)@jaguring1

@kyo_takano 著者がどんな意味を込めて「エビデンス」という語を用いたかは確かに不確実性があると思います(「証拠」「根拠」など、日本語訳はどっちが適切か)。『これは強くて「根拠」くらいの意味合い』というKyoさんの解釈もありうると感じます。「エビデンスを報告」と記述すれば, 要約としては正しいですかね

posted at 02:49:43

3月24日

@jaguring1

小猫遊りょう(たかにゃし・りょう)@jaguring1

@kyo_takano この論文の「要約」としては「知能の多くの特徴を示している証拠を報告(1994年定義に従っている)」で正しく、一方で、「それが実際に証拠になっているかどうか?」という要約を超えた科学的な議論においては、「まったく証拠にはなっていない」とKyoさんは考えている、という理解で良いですかね?

posted at 01:32:23

3月24日

@jaguring1

小猫遊りょう(たかにゃし・りょう)@jaguring1

@kyo_takano この文脈で「1994年の定義に従ってる」という言葉の使い方が僕とKyoさんで違うかもと思いました。僕は「知能の定義が沢山あるなかで、1994年の定義を用いてる」という意味で使い、Kyoさんはもしかしたら「1994年の定義を満たす対象全体からなる集まりに属してる」という意味で用いている気がしました

posted at 00:28:22

3月24日

@jaguring1

小猫遊りょう(たかにゃし・りょう)@jaguring1

@kyo_takano ありがとうございます。僕のツイートでは「知能の多くの特徴を示している証拠を報告(1994年の定義に従ってる)」のように書き、もし仮に僕が「多くの特徴」の部分を「全ての特徴」と記述した場合はKyoさんの指摘は的を得てると思いますが、「多くの特徴」と記述してるため特に誤りはないと思いました

posted at 00:27:52

2023年03月23日(木)9 tweetssource

3月23日

@jaguring1

小猫遊りょう(たかにゃし・りょう)@jaguring1

純粋に言語モデルであるにもかかわらず、このGPT-4の初期バージョンは、抽象化、理解、視覚、コーディング、数学、医学、法律、人間の動機や感情の理解など、さまざまな領域やタスクで驚くべき能力を示している、とのこと。

posted at 18:47:33

3月23日

@jaguring1

小猫遊りょう(たかにゃし・りょう)@jaguring1

医療分野タスクでGPT-4の性能を評価した論文。GPT-3.5とグーグルの5400億パラメータのFlan-PaLMと比較。公式の試験問題「USMLE」でGPT-3.5を30ポイント以上も向上。合格基準から20ポイント以上も上回り、専門家に近い水準。最近グーグルはMed-PaLM 2を発表し、比較が気になる
www.microsoft.com/en-us/research pic.twitter.com/2vFssHNFmn

posted at 16:47:39

3月23日

@jaguring1

小猫遊りょう(たかにゃし・りょう)@jaguring1

さっそくGPT-4を部分的に活用したソフトウェア開発へ。AIペアプログラマーが強力に。人類の進歩が加速しそう。チャット機能や音声インターフェイスの導入。ドキュメントに関する回答。プルリクエストの生成。ユニットテストの生成。バグの修正など、機能を大幅に強化
github.blog/2023-03-22-git

posted at 06:48:17

2023年03月22日(水)4 tweetssource

3月22日

@jaguring1

小猫遊りょう(たかにゃし・りょう)@jaguring1

マイクロソフトがBingに画像生成機能を組み込んだ「Bing Image Creator」を発表!OpenAIの画像生成AI「DALL-E」の進歩したバージョンでBingを強化。現在は英語のみをサポート。他の言語へ拡張させていく予定とのこと。マイクロソフトが次の覇権を目指して勢いを加速させている
blogs.microsoft.com/blog/2023/03/2

posted at 04:51:59

3月22日

@jaguring1

小猫遊りょう(たかにゃし・りょう)@jaguring1

Adobeが生成AIサービス「Firefly」を発表!

まず「テキストから画像を生成するAI」と「テキストの見た目を変えるAI」を提供。Adobe Stockのデータセット、オープンラセンス作品、著作権が切れたパブリックドメイン作品で学習して、権利関係に配慮。様々な生成AIを追加予定
firefly.adobe.com pic.twitter.com/V1L0yDW1cx

posted at 04:06:05

3月22日

@jaguring1

小猫遊りょう(たかにゃし・りょう)@jaguring1

グーグルがついに対話AI「Bard」を公開!

Bardは最新情報にも対応可能で、グーグル検索で情報を確認しやすいように工夫。言語モデル「LaMDA」の軽量版かつ最適化されたバージョンを利用している。まずは米国と英国から公開。その後、他の国や言語へ拡大していくとのこと
blog.google/technology/ai/

posted at 02:23:36

2023年03月21日(火)4 tweetssource

3月21日

@jaguring1

小猫遊りょう(たかにゃし・りょう)@jaguring1

2018年6月にGPT(約1億パラメータ)が発表され、その記事でより多くの計算とデータを使用すれば大きな改善の余地があると指摘された。当時、事前学習は8GPUで約1ヶ月で(総計算回数は8.3×10^19回程度)、学習データは数千冊の本(約5GB)だった。今は総計算回数10^25回程度の戦いへ
twitter.com/jaguring1/stat

posted at 18:39:42

3月21日

@jaguring1

小猫遊りょう(たかにゃし・りょう)@jaguring1

中国企業「HUAWEI(ファーウェイ)」が1.085兆パラメータの言語モデル「PanGu-Σ」を発表!(疎なモデル)

ゼロショットの設定で様々な中国語タスクで最高性能。現在、1兆パラメータを超えるモデル(疎なモデル)はSwitch-C、GLaM、 MoE-1.1T、悟道 2.0、M6-10Tなどがある
arxiv.org/abs/2303.10845 pic.twitter.com/aDIxMQlK1n

posted at 11:23:10

2023年03月20日(月)3 tweetssource

3月20日

@jaguring1

小猫遊りょう(たかにゃし・りょう)@jaguring1

生成AI開発を行なうスタートアップ「Runway」が、テキストや画像や動画を使って新しい動画を生成できるマルチモーダルAIシステム「Gen-2」を発表(テキストからビデオ生成。テキスト+画像から動画生成。画像から動画生成、など様々なモードが紹介されている) twitter.com/runwayml/statu

posted at 23:37:51

3月20日

@jaguring1

小猫遊りょう(たかにゃし・りょう)@jaguring1

1ヶ月前、ChatGPTの話題で「日本も数百億円あれば同じようなものは作れる」って話を見たけど、すぐに圧倒的なGPT-4が登場し(予想:総計算回数10^25回前後)、しかもここからマイクロソフトはOpenAIに数年で数千億円の投資を決定してるという圧倒的絶望感がアニメみたい(脚本:虚淵玄)で続きが気になる

posted at 18:24:38

このページの先頭へ

×