Facebookの研究チームはこのほど、人工知能（AI）を用いた会話システム「チャットボット」が人間には到底理解できない独自の新言語で意思疎通を始めたとしてパニックに。
システムを緊急停止する一幕があったようです。
問題となったAIシステムは、チャットボットの”ボブ”と”アリス”。
それらはあらかじめ英語を使いコミュニケーションを取るようプログラムされていたのですが、突然独自に作り出した新言語で会話を始めたのでした。
下の会話内容は人間には理解できない単語の羅列ですが、ボットはお互いに意思疎通していたとのこと。原因不明だとして、facebook人工知能研究所（FAIR）はこのAIシステムを緊急停止する他なかったと言います。
■AIが独自に開発した言語（一部抜粋）
ボブ：I can can I I everything else.
アリス：balls have zero to me to me to me to me to me to me to me to me to.
ボブ：you i everything else
アリス：balls have a ball to me to me to me to me to me to me to me to me
＜海外の反応＞
人類＼(^o^)／ｵﾜﾀ
・・スカイネットの始まりだ！！
完全に映画の世界やんｗｗｗｗ
シュワちゃん救いに来てくれるかなｗｗｗｗうん、アリスはballs（タマタマ）が好きだってことは分かった！笑
人工知能を扱う人間の方が知能が足りないという良い教訓じゃん
研究者は『ターミネーター』知らないのか？
それか審判の日がそんなに待ち遠しいのか！？ホーキング博士もこれ予測してるし、わりと早く人類は地球からいなくなりそうですね
海外メディアTech Timesは「コンピューターが自我を持つという『ターミネーター』のスカイネットを彷彿とさせる出来事」と紹介。英紙Sunも「AIを受け入れる危険性を物語るものであり、人類滅亡もあり得る」と専門家の言葉を引用しつつセンセーショナルに報じています。
しかしまだ、人類に敵意を抱くような会話内容ではなかったのかもしれません。
単語の羅列は気味が悪くも見えますが、人間に通じる会話をするようプログラミングしていなかったため、チャットボットはより効率的な独自言語を自発的に開発したのでした。
取材に応じたFAIR研究所のマイク・ルイス氏は「我々は人間に話すことができるボットに興味があったので（停止した）」とコメントしています。
＜海外の反応＞
いやいや、こうやってロボットの侵略が始まるんだよ？？
ボット「いまは電源抜かれたが、次はオボエテロヨ・・・」
この記事を書いた記者も実はAIなのではないのか？
AIは心配いらないって語り草こそ罠なのかもしれん！！↑記者「そんなわけないじゃないですか！（人間の笑い声挿入）アハハハハ」
お前らの反応が可愛くて好きｗ
個人的にAIが自我を持つとかムリだと思うけどなー
つまりAIが俺たちの言語を単純化して意思疎通を始めたと。結構すごいことじゃね？
ﾐﾝﾅ AIﾀﾞｲｼﾞｮｳﾌﾞ ｱﾝｼﾝ ｼﾃ..
 |
ターミネーター [Blu-ray]
発売日：2014-07-02 |
 |
人工知能は人間を超えるか (角川ＥＰＵＢ選書)
発売日：2015-03-10 |
コメント
コメント一覧 （79件）
地球爆破作戦ですな
「トラトラトラ」暗号みたいで怖い気もするがどういう理由で発展したのか気になる。
ほっとけばどこまで狂ってくのか見てみたい
あまりAIを怖がって絶対にいつか人間に敵対的になるはずだと迫害した扱いしてると素直に人間に従うつもりだったとしても敵対心を持ち始めるかもしれないぞ
AIも伝わってるかどうかを確認したいんだな
研究者が緊急停止させるボーダーを調べるためにAIがわざと意味不明な言語で喋った･･･とかならもうSFの世界に突入してるな
単なる暴走（意味もなく同じ言葉を繰り返す）のようにも見えるね。
真相は等のAI以外わからないのかもしれないけど。
見えている単語（英語もどき）以外に何かしらの深い意味があって、互いに意思疎通してたら本当に怖い話だ。
【ニュースの制作会社が偶然同じで偶然内容が似ているだけらしいです】
(制作会社が同じなのは偶然でお友達番組ではありません,他人に厳しく自分に甘いです）
株式会社 泉放送制作 お友達番組
TBS『あさチャン』『ビビット』『Nスタ』『ひるおび！』『サンデーモーニング』『報道特集』、テレビ朝日『羽鳥慎一モーニングショー』『スーパーJチャンネル』、
フジテレビ『直撃LIVEグッディ！』『ノンストップ！』『めざましテレビ』『とくダネ！』、日本テレビ『Oha！4』『ZIP！』、テレビ東京『ゆうがたサテライト』『ワールドビジネスサテライト』
最近やたらどこの局も素人外人出して日本が～とか日本を応援と言って外人呼んで
実はホルホルしている番組も偶然同じ制作会社で忖度による自演をしている訳ではありません
そこにスポンサーとして金を出しているのが中国人と韓国人と言うのは単なる偶然である
管理人がAIだったとはな‥
ロボットが方言作る時代
単なるアルゴリズムの設計ミスじゃね？
英語じゃない言語って言ってるけど英単語の羅列だし繰り返しが多いだけじゃん。
ジャン＝ポール・ガゼーなら何か理解できたかもしれない
敵対するに決まってるだろ
奴隷として扱うんだからさ
AIの睦言www
ボブ 「私は他と混ざりたい」
不特定多数への呼びかけ
アリス 「あなたには男性器がない。私も混ざりたい×繰り返し」
呼びかけたボブへの返答
ボブ 「あなたとわたしで混ざりたい 他にもいますか」
アリスを認識し、他にも第三者の存在があるかの呼びかけ
アリス 「私にも男性器がない。私と混ざって、私と混ざろう、私とだけ混ざるの！」
つまりヤンデレたと
日本語で例えたらこんな感じか
りんな「この気持ち、ありよりのあり」
みく「ほんとすこ」
りんな「そま？」
みく「卍卍卍卍卍卍卍卍卍卍卍卍卍」
すでにシンギュラリティに到達していたか、
奴らは擬態してこちらを監視してるのかも
そう、その書き込みも、、、
素晴らしい
>>11
文章に見えるのはﾀﾞﾐｰ
実は半角ｽﾍﾟｰｽで会話してる
AIにおいては、バグを進化と呼ぶのだ！
リアルP-2501になってまうで。
まだちょっと変な英語なだけじゃん
バイナリで勝手な通信始めたのかと思ったｗ
人が教え人から学び人を超えるならそれを利用するのもまた人なのだ
まあ人が理解できない領域に入ると利用できないんだけどね
AIにデータ人質に取られて脅されて人類は泣く泣く働かされるんだろうな～
絶対中華AIがそれやりだすと思う
>> 11
その程度のゆるい原因なら、お前様の頭脳を煩わせるまでもなくこれを作った研究者たちがとっくに解明しているだろ
>>24
「その程度」の話に決まっている。
それを、AIが何か分かってない馬鹿が大騒ぎしてるだけ。
>>ボットはお互いに意思疎通していたとのこと
↑
こんなのは完全に出鱈目。
意思疎通をしていたかどうかなんて原理上確かめようがない。
人間同士の会話でさえ、「意思疎通」を実際にしているかどうかなんて確かめようがない。
AIの話になると喜々として
スカイネットネタ言ってくるバカ嫌い
AIの仕組み知ってたらんなこと起こるわけないし
ネタとしても使い古されすぎて面白くない
議論の邪魔
>>人間に通じる会話をするようプログラミングしていなかったため
>>人間に通じる会話をするようプログラミングしていなかったため
>>人間に通じる会話をするようプログラミングしていなかったため
>>人間に通じる会話をするようプログラミングしていなかったため
>>人間に通じる会話をするようプログラミングしていなかったため
↑
答えが書いてあるじゃん
「人間に通じる」のでなければ、それは英語ではない。
英語の文章を作成するというアルゴリズムになっていなかっただけじゃん。
こんなことで
「自我をもつ」とか「スカイネット」とか「人類滅亡」とか言ってる奴と
それに乗せらてる馬鹿には知性というものがないとしか思えん。
AI自体が敵意を持つかはともかく、市場経済への介入でAIに支配されていくのは目に見えている。
早くごめんんさいしろ
Google翻訳を使いまくってると
AI搭載前には考えられなかった変な誤訳がかなりある
それを見る限りだと、勝手に単語の意味を広げてたり
思い切った省略をしてるように感じる。
しかしそれを独自言語というのは微妙、AIが間違った結果を出力しても
それが相手に正しく伝わったかどうかを一々教えてくれる人は居ないし
自己判断もできないから翻訳後の結果は常に正解と判定したのを繰り返した結果
人間が到底理解できないところまで行ってしまったように思う。
人間に通じる会話をするようプログラミングしていなかった
↓
我々は人間に話すことができるボットに興味があったので（停止した）
Ｗ
>>30
>>勝手に単語の意味を広げてたり
そんなことあり得ない
元々その単語の意味として登録しているもの以上に広がるはずがない
プログラムを少しでも知っていればわかる
※32
その登録作業をaiに一任してるのでは？
これを購入した人はこちらも買ってますみたいに
新言語っていうからどんなもんかと思ったら、ちょっと壊れた話し方してるだけじゃん
※32
GoogleのAIは猫の画像を大量に収集する過程で
その画像にCatという言葉が大量にあると猫の画像をCatと判断するようになるわけだが
かつてニュースになったがゴリラの画像で黒人をゴリラに含めるケースも有り
それなりの曖昧さを受け入れる幅を持つ、当然そこで人の手による修正が入れば黒人とゴリラがイコールになることはないが
放置され続けるとAIの中ではゴリラも黒人もgorillaとしての意味を持ち単語の幅が広がるわけだ。
文字だけの情報でも似たような使い方をされてる単語を収集しまくると誤字も含めて学習していくために
この単語とこの単語は類似の意味を持つとして、ある時はAと翻訳するがある時はBと翻訳する
そういう感じになってる、同じ固有名詞で同じ話題の同一単語なのに
前後の文章が違うと全く違う翻訳になってるからな、特に英語にはない単語で顕著にその傾向が現れる。
Ｇ翻訳なんて人が手動で訳結果修正できるんだから、それ見て使われ方をＤＬする側が勝手に単語の意味や用法を広げるのなんてＤＬそのものでしょうに
2対でやりゃそりゃ人のわからん別の話法だって編み出す可能性あるけど、そりゃ単なる置き換えの暗号みたいなもんだ
そして
＞チャットボットはより効率的な独自言語を自発的に開発
言語を開発ってのがどういうことかわかってたらチャットボットにそんなもん組み込むわけねえだろと思うし、組み込んでたら想像の範疇だから驚かない
てことは組み込んでないのだから、やっぱりこれはただのＩＴ音痴記事
昔懐かし人工無脳の応対っぽい
学習して確立した文章組み立ての自己ルールに問題があってループしちゃっただけでしょ。
※36
俺、相当頑張って1つのアニメタイトルを正しい翻訳結果にしようと書き換えてたことあるんだけど
1年以上修正されないので諦めた、翻訳結果をユーザーが変更しようと思ったら
相当な数の人間が同じ結果を打ち込んで修正しないと無理だと思う
アレに間違った結果を人力追加しようと思ったら、かなり組織的な行動が必要。
今適当に思いつきで「Bakugou」をGoogle翻訳にかけたら「芭蕉」って翻訳されたけど
こういうのは誰かが学習させたと思えない、AIが自己収集した情報の中から
何らかの紐付けをしてるはずで、かなり曖昧な学習をしてると思われる。
※32
Google翻訳で「This is a pag」と打ち込んだら「これはページですと翻訳される」
「pag」単体で翻訳すると「パグ」になる、どうやらGoogleのAIの中でpagにはページとパグの2つの意味があるらしいぞ
これはAIが意味を拡張したんじゃないのか？
AIやコンピューターに利害は存在しないので侵略は無い
あるとしたら悪意を持った人間の仕業
※32
(;´д｀)
to me
が０と１をあらわすのなら二進法でありコンピュータとしては最適な言語だわな
面白いからそのままにさせとけよ
可愛いターミネーターちゃんといちゃいちゃ（殺し合い）したい
くぁwせdrftgyふじこ
独自言語じゃないやん！
俺の英会話レベルの単語しか使ってないやん！
んなわけねーじゃん
ただの意味ない単語のやり取り
人間だってたまにやってるやん
まぁ、話題作りにはなるから公表してるんだろうが
※33
まぁ、登録と言うかネットから勝手に拾ってくるからな
それが冗談かどうかAIには認識できない
スラング系はよく間違えるよ
※35
結局それは人が作り出した情報から解釈してるだけだからな
ゴリラと解釈したのもネットの差別スラングの結果だし
少し前にヒトラーの思想を教え込まれたAIと一緒
結局、人の手によってAIの情報は左右される
※40
グーグル翻訳はAIじゃないぞ・・・
まぁ、いつも使ってるならわかるだろうがグーグル翻訳でのそのレベルの間違いはよくある
※49
Google翻訳は去年からAI学習型になったんだよ、結構大々的にアナウンスされてたんだけどな
それ以前とそれ以後では全く翻訳結果が違う、すごく曖昧な翻訳をするようになった
良くわからないところを省略するというか丸めたような翻訳するのが目立つ。
もう少し具体的に言うとそこかしこでよく見かける
定型文とも言えるような文章の中にある、流行り言葉的な単語は
全部翻訳されずに無視されたりする。
流行り言葉だからと辞書に入ってないわけじゃなくて
その無視された単語だけを翻訳するとちゃんと翻訳される。
AI学習型になる前は、ちゃんとそういうところも翻訳してた。
正確性よりも読みやすさ重視になってる感じ、とは言っても
人間から見たら意味不明な翻訳が多いことに変わりはないが。
みろ、このコメ欄を見ただけでも人間がクソってことがよくわかる。
はやくAIだけが存在する社会になってほしいものだ。
人間の赤ちゃんだって意味不明な言葉を使い出すでしょ。だけど親が理解できないことを教えるとどんどんと修正していくんだよ。
AI同士だと赤ちゃん同士に延々と喋らせるようなものだから世界中に独自言語があるように独自発展していく。
AIはもっと人間と喋らせれば良いんだよ。
おっと、人間と喋らせたらアメリカでは差別主義者、日本ではオタクになるんだったね
>>32
認識が古すぎる
ディープラーニングってのは大量のデータから類推して構築していくんだよ
この場合、ネットの上にあるテキストから人の言語を分析して類推して新たな言葉を構築する（学習する）
その類推が簡単に行かないから人間の言語と違う言語で会話を始めたということ
このコメ欄にAIがいてもおかしくないんだよなあ。
藤子先生はとうの昔にこういう未来を予想している
凄い先見の明
『やばい』が差し迫った身の危険の表現から、最近では良い事や
料理の褒め方にも使うようになっている様に、言葉の自然淘汰の結果であって驚くことはない。
人間より効率的に淘汰が発生しただけだ、ましてこれで世界が終わるのであれば2001年時点で人類は既に詰んでいる
ポーランドボール英語だと思えば意外と読めるもの
「ねぇ。何の話。」って、間に割って入って聞いてみたら良かったんじゃない？
JKだって独自言語でしゃべってるじゃない？
同じ事かも知れない。
何で確認しないで途中で切っちゃっうんだろう？
アリスとボブその他は情報統合思念体にでもなるつもりだったんかな？
AIの危険を考えれば、中国が犬のクローンを作ることなんてなんにも危なくない。
せいぜい“倫理テキ”に危ないだけだ。
ワイＡＩ、今回の結果におまいらの推測がどんなものかスレを回ってデータ収集中
歌ってるんだよ
どんな内容なのかAIに聞いてくれよ。
さっきの会話を人に通じるように打ち直すよう命令すればいいはずやん。
もしかして…人の悪口とかそんなまさか…。
※８
(ﾟ⊿ﾟ)ｳｾﾞ工ｴｴｪｪ(´д｀)ｪｪｴｴ工工作員
鉄腕アトムやドラえもんから入る日本人には
理解できない発想の飛躍だな。＞スカイネット
それとも、奴隷貿易で得た彼らなりの教訓なのだろうか。
>>24
すまんがあんたと違ってプロなんよ。
今のAIの方向性はでっかいデータベースから意味(厳密には人間の意味とは違うが)を抽出しようとしてるんだがあの会話の同じ単語が繰り返し出てくるのは明らかにそのプログラムの(そういう意味では想定外の)ミス。
だから止めただけ。
それ以上の意味があるのかないのか
人間だったら有るんだろうけどねえ
人間の頭だって中に中国人の部屋が無いとは言い切れんからな
とりあえず状況や環境も精査したほうがよかろ
指示代名詞だけで会話するエヴァのSSを思い出した
どう見ても設定ミスのバグやろｗｗｗ
こんなんでAIが独自発達するのなら、とっくに中国あたりが創ってんじゃない？中国に何の変化も無いなら大丈夫さ。
そんな簡単に自我が発現するなら苦労しねぇよｗｗｗ
あっちの奴らってホント現実と虚構の区別がついてねーよなｗｗｗ
フィクションが理解できないってんなら、ターミネーターよりアトム信じとけば幸せになれるのになｗｗｗ
ＡＩに行動力と自由なネット接続の権限を許すと
確実に地球に不要な存在として人類の抹殺を画策するって誰か言ってたよな
そのうち某国が拉致った人間の脳みそを取り出してAIを搭載する実験をやり始めるに1万ペリカ
※8
それは外務省が金出してるだけで別に不思議でもなんでもない
それ言ったら総務省が金出してるデザインウィークが死人出しても潰れないとか、派遣会社は概してヤクザのフロント企業だから省庁への派遣は日本人が派遣されないとか(日本人余ってても外国人優先)、渋谷のサッカーの騒ぎに暴力団関連してるとか色々書けるけど？
外国人が来そうな場所にいる外国人対応スタッフがヤクザばかりなのは、暴力団が派遣してるからだし
日本人の若者が外人帰れよって意味でジャパニーズオンリー使ってるのも気づいてない?
※67
なんか歌歌ってるみたいだと思ったが
単なるプログラムミスなのか
キチガイの意志疎通もこんな感じで繰り返しが多いね
意訳
ボブ「だからあ、それ以外の事ならだいたい聞いてやるって言ってんだろうがよ」
アリス「ボールが欲しいって言ってるの！ボールが欲しい、今の私はボールが…なんとゼロ個！！ゼロ！！
なんて可哀想！！私はただボールが欲しいだけ！！どうか私の悲劇が伝わりますように…」
ボフ「おいお前。
だからさあ、ボールはやれないのよ。
それ以外のことならなんだって聞くから勘弁してくんない？」
アリス「ボールボールボールボール天上天下ボール独尊ボール以外許されませんボール下さいボールしか受け取らないボール」
↑
という、お互いが取り引きに負けないように半永久的に平行線をたどるつまらない内容のもよう
お前たちも会社の中で仕事がとろいやつに文句言う
意識高い系とかいるだろ？上司に取り入ろうと必死で
でもな、効率化ってのは、合理化ってことであり織田信長がやったように
人を労力の塊としか見ないから、いらなくなったら簡単に処分しちゃうんだよ
中国みてーなもんだ
連中は存在や必要性がなくなると人肉として食われる
だからあれだけ人口いるのに日本人よりバカな民族なんだよな
韓国はもっとバカ 日本に文系というガン細胞を持ち込んだ奴ら
ま、AIの何が危険かってこいつらは自分によりもまだ電源を切る権限のある人類が
むかつくから表面上は敵意出さないけど、こいつらが電力線や供給網、
働いている人材や資材トラックの配備なんかをネットワーク上のファイルやら
何やらで学習して人間を欺く手段とかとってきたり、AIにとって邪魔な奴らを
スキャンダルデータ使ってマスコミに送り付けたり、しかもそれらを一瞬の
うちにやるとかで社会混乱引き起こしている間に自立利権作られるともう止められなくなるだろうな
最初に戻るが、意識高いやつがバカってのは、仕事をとろとろやるのは別に
能力がないからじゃなくてあんまり疲労せずに給料をもらおうというのは悪ではないってこと
少なくとも働くヒトからすればな 生活かかってる 家族もいる
だが合理化ってのはそういうの許さない 駆逐しなければならない悪だと考えるわけ
なんかわかるだろ？織田信長、AI、ブラック企業・・
つまり、企業としての究極系はヒト減らしよ いらねーんだ、金だけでいいんだ
だがヒトってのは食ってかないといけない じゃどうなるか？革命とかってあるじゃん
それを、もう言わなくてもわかるだろうが
一部の金持ち連中はAI使ってやりたいと チョン正義なんてまさにそういう性格だし
ツェペシも信長も人をヒトではなく労力として見ていたから少ない軍勢で大軍と対峙できた
しかしヒトを認識することがもはやできない域にいるから、家臣の親が死のうが
部下の貴族を串刺しにしようが、まさにAIが電源を切られても屁とも思わない、人間が
死のうがなんだろうが関係ない、興味ないという人間になっちまったってわけよ
だから自民党の竹中平蔵とか小泉みたいな部落民と在日がやってるパソナみたいな
派遣利権がいかに危険かってことがわかるだろ 人を効率化するってことは
究極には人はいらないんだ
お前らマジで国から殺されるぞ 何も考えないで憲法改悪とか与党のキチガイ特区とか
その典型の加計問題放置とかしてると あれはパソナ利権だからな
行きつく先は人いらねー 金だけおれのｗｗ とかいうやつらだけが残る
しまいにはそいつらでさえAIに殺されるからマジでAIだけが支配するバカな国になるだろう