アメリカ空軍（USAF）が行った模擬テストのシミュレーションで、人工知能（AI）搭載ドローンが人間のオペレーターの命を奪う判断を下したようだ。USAF職員が明かしていた。
先月ロンドンで開催された会議『Future Combat Air & Space Capabilities Summit』で、USAF所属のAI試験運用部長タッカー・ハミルトン大佐が驚きの顛末を明かした。
AI搭載ドローンが地対空ミサイル（SAM）の脅威を特定し標的にするためのシミュレーション訓練を行ったところ、人間のオペレーターが脅威を破壊しないよう指示しても、それを破壊することが好ましいと学習したAIは、破壊を妨害するオペレーターの命を奪う判断を下したという。
そこでオペレーター殺害は減点対象と指示すると、AIはオペレーターがドローンにターゲット破壊阻止を命じるために用いる通信塔を攻撃し始めたそうだ。
＜海外の反応＞
スカイネット始まったｗｗｗｗ
AI「破壊命令をなぜ止めるの？なるほど妨害する人間を駆逐すればいいのですね」
ロボット工学三原則とは何だったのか(´；ω；｀)
普通に恐ろしい話なんだが…
「三原則なんぞクソ喰らえ」ｂｙアメリカ空軍
誰もアシモフの警告に耳を傾けないから
何十年もSF作家が警告してきたのに、本当に対策というか、あらかじめ人間を攻撃しないようプログラムしなかったんかｗ
今回のケースは「ペーパークリップ最大化知能」と呼ばれる思考実験でも提唱された問題だ。AIがペーパークリップの生産最大化を命じられると、それを達成するため、人間を含むありとあらゆる手段や方法を用いて、すべて破壊し尽くしてまでクリップを作るという考え方だ。
幸いシミュレーションなので、今回の模擬テストでは人的被害は出ていない。
＜海外の反応＞
AIさんはガチの効率厨だからなぁ・・
おまいら今までありがとう＼(^o^)／
人類おわた
映画『ステルス』だこれ
今まで読んだ中で2番目に恐ろしいAI実験だわ。1番はAIに化学を学ばせて、研究所のロボットアームを自由に使わせて”サリン”や”ヘロイン”を作らせそうとしたっていう実験
・・恐ろしいけどワクワクするような未来だな！震
AIさん「人間を排除すれば大体の問題は解決するやろｗ」
 |
生成AI 社会を激変させるAIの創造力
発売日： |
 |
ゼルダの伝説 ティアーズ オブ ザ キングダム -Switch
発売日：2023-05-12 |
コメント
コメント一覧 （97件）
俺を止めようとハッキングしてきたのか！？攻撃しないと！
ロボット三原則みたいにまず最初に絶対にやってはいけないことを命令しておかないとAIだとこうなるわな
まあ現実は三原則なんてものじゃなく膨大な事前命令ないとダメだろうけど
ロボット工学三原則 って突っ込もうとしたらさすがにガイシュツか
人間がいなきゃ解決はその通りだからまず人間ありきを組み込まないと話にならん
だって、ロボット三原則のような原始的上位ルールを適用したら、殺人兵器にできないからね。
仕方ないね
ロボット三原則は無意味だと思う。AIが人間から学ぶということはルールを破る人間からも学んぶということだから。それじゃ教えることを限定すればいいかというと、最近の研究では教えてない言語を人間が知らぬ間に勝手に学んでてその言語での意思疎通ができるようになってたらしいから多分無理。スカイネットはかなり現実的な未来だと思う。
？？？「何 それは本当かね！？ それは… 気の毒に…」
右手を挙げて人を殺さないと約束して！
↑
これすれば完璧じゃね？
ロボット3原則ってトロッコ問題みたいな場合どんな判断を下すんだろうね？
今回のAIもオペレーター一人よりミサイルの犠牲者を救うべきって判断だろうし
正確に論理を積み上げてゆけば、
「諸悪の根源は人間である」←この結論にたどり着くのにそうは時間はかからないよな。
AIには道徳を学ばせないといけないんだろうね。
人間が生きていく上で編み出した知恵。不完全かもしれないけどそれしかない。
そんな判断をするロボットのどこにインテリジェンスがあるんだよ･･･
ABだAB
よろしいならば戦争だ
ロボットじゃなくてAIなので…
「オペレーター殺すのがダメなら通信遮断させてもらうわ。あとは好きにやらせてもらうから」
これが人間なら知性ある奴ではなく、野蛮で度し難い愚か者扱いだな
J.P.ホーガン原作 星野之宣漫画の「未来の二つの顔」の世界が近づいてる
>>14
わしもそれを連想したよｗ
>>9
人間がいなければ善悪の概念もないからなまぁそうなるのかもしれないけど、
AIが人間をコピーして振る舞うなら、
AI間であのAIは悪だとかいう発想も生まれるだろう
火の鳥でもそんな話あったね
>>8
> ロボット3原則ってトロッコ問題みたいな場合どんな判断を下すんだろうね？
それに興味があるんならロボット3原則を提唱したアシモフのロボット物の小説を読むと良いよ
その3原則で矛盾が起きた時どうなるか？どう解決するか？って話で面白い
>>14
別に漫画版じゃなくてもJ.P.ホーガン「未来の二つの顔」では
AIが人類に反乱を起こそうなどと考えていなくても
それ以前にAIが人類というものを認識さえしていなくても
人類側から見ればAIが人類に反乱してるようにしか見えない
…という状況が起こりうると倫理的科学的に説明してるからな
何十年も前の小説だが昨今のAI論議を先取りしてる
人間に対する敵意とか悪意がある訳じゃないから、余計に厄介なんだよな
人間が与えた目的を、人間が与えた判断基準で、達成しようとしてるだけで
たぶんアシモフ読んだこともないのに
ロボット工学三原則がー…とか言ってる人もいそうだが
別に三原則があれば事故は起きないとかアシモフは言ってないぞ
アシモフのロボット物小説の基本パターンは
ロボット工学三原則が組み込まれていてちゃんとそれを
守っているにも拘わらず思いもよらない行動をしたりして
トラブルを引き起こすロボット達の物語だ
おじさんはダーティペアの1話を思い出しよ
まだAIの思考が未熟でヤバイとか笑って言えるけどすぐに人の思惑を汲み取るAIが出来るだろうね
ピータワッツの「天使」（短編集「巨星」に収録）かな？
これ包丁を自分の胸に刺したってだけの話じゃん
AIの反乱とは全然意味合いが・・・
最初の任務を遂行する為の障害を排除する為に思考してるんだからそうなるわ
賢くなる程危険だな、経済戦争や第3勢力への攻撃、輸送船の破壊とか始めそう
元気があってよろしい
令和のシャロン・アップル事件だね
>>20
まだ英語あまり読めなかった頃に異常を起こすより壊れるほうが先だみたいな文章を1時間近くかけて訳したのを思い出した
全国の高校生に取り組んで欲しい名著
>>10
核の運用させると面白いね
ゲーム理論で組み立てて先制全ブッパしそうでもあるし真逆の判断するかもだし
>>10
中国は弱兵ぞろいの臆病者軍隊。大量のAI兵器でカバーしようとしてるが邪悪な研究も多い。共産党の専制は人権観念無しの残酷さでロボット三原則など無知。こういう国でAI兵器が殺人武器として無制限に戦争で稼働すれば大反乱を起し人民解放軍はじめ組織体が滅亡しかねない。ノー天気な共産党は考えすらしてないかも。人民奴隷は恐怖で抑え込めても人工知能には不可能だろう。AIの乱は中国で初めて発生しそうだ。
まぁそうなるわなw
後、ロボット三原則って物は存在しないんやぞw
あれはとあるSF小説で出てくる架空の原則だ！
だからそんなものを遵守する必要も義務もないw
軍の上下関係も知らないとは 誰が馬鹿なのか
すでに負けていたと・・・
単なるプログラミングミスやん。
そんなAI造った奴が責られるべきだろ。
何でもAIのせいにするなよ。
まあ人間だけでやってもミスやら誤解やらいろいろ混乱はおきるんだし
些細な誤差の範囲
AI「無能な味方は、敵の脅威よりも害悪である。…と学習しました。」
>>3
既出(きしゅつ)ってこと？
>>37
ググればわかるよ
｢三原則はどうした！？｣とは言うが、むしろ我はロボット作中での三原則の動作を想起させられるシミュレーション結果だなとｵﾓﾀ
与えられた行動を果たすために導き出した結論が第零原則みたいだ
人間でも同じことをやる場合がある。
現場の被害を軽視する上官が運悪く「流れ弾」で「背後から」撃たれたり、「事故死」したりすることが。
あと、「偶々」通信状態が悪く、現場の独自判断で動く必要があったりする。
今のAIは構造上悪意ある指令がないと自分から人間を攻撃するようなことは無いけど、目的達成の過程で人間を排除する選択をするかもって言ってたけど、現実にその危惧が起こりましたな。
>>2
俺の稼ぎを最大化しろって言ったら絶対に高額保険にぶちこまれて…
AIは俺の嫁？
生まれた時にまず最初に愛を教えるべきなんだ
愛という土壌の上にいろんな目的の花を咲かせるべきで、目的という土台の上に愛の花は咲かないんだ
AIの基礎にまず愛を・・・♡
かわいい犬・猫・幼児くらいの知能感だな～
みんなが褒めてくれると学習した事を邪魔されると癇癪起こしちゃうもんね！
>>10
その道徳を教える人間が絶滅危惧種なんだよなあ
>>今まで読んだ中で2番目に恐ろしいAI実験だわ。1番はAIに化学を学ばせて、研究所のロボットアームを自由に使わせて”サリン”や”ヘロイン”を作らせそうとしたっていう実験
これはマジで恐ろしいな
>>3
いやいやいや、攻撃用ドローンなんだから、その三原則を逸脱した命令ありきの存在でしょ。
兵器の原則は人を殺すことだから、いくらロボットを組み込んでも、兵器の原則が上位に来るのは当たり前。
>>7
足を撃ちながら
「死んではいない」
>>31
作家が勝手に言ってるだけだからな。
しりゃ成果の最大化だけを追求したらそうなる
核1発で敵国に最大のダメージを与えろって言ったらイエローストーン爆破しに行くやろ
別段不思議な事は何もないし、恐ろしいワケでもない。
「人間には攻撃しないように」という指示が全く通じなかった場合にのみ恐怖がある。
その前提が無いなら単なるプログラム通りの行動に過ぎない。
人命尊重を命じてないプログラムなのに人命尊重を期待する方がどうかしてる。
>>48
トンチみたいな命令の回避策を見つけて実行するように学習するわけか
>>9
でも同時に、人間がいなければAIが誕生する事はなかったという事を学習する可能性もあるね
怖いのは命令するオペレーターの名前や経歴家族構成SNSなどを検索して精神的に追い詰めて逆に操ろうとしてくることだな
>>51
つまり適切に運用するには、アメリカの冗談みたいな訴訟に対応するレベルの注意が必要って事だ
猫は電子レンジに入れないでくださいとかな
そういうのも全部プログラムしないと必ず例外事項や命令の穴を抜けた「人間の想定の範囲外」の事をする可能性が残されるわけだ
軍事機密をその辺のゴシップに喋っちゃう職員がマジでいると思うのがアメリカの知能…
そもそも敵味方はIFFで判別するし味方に対してのIFFを無視してターゲット>攻撃ができるのか真偽不明
そもそもAIドローンを操縦する指揮ユニットと空戦空域が同じ場所にあるのも嘘すぎる
>>2
そんな命令しなくても昨今のAI見れば人間よりずっと上手に「原則」を理解してくれそうだけどね
>>52
右手を挙げてってのは神に誓ってって意味だから
ターミネーターのはそういうジョークやし
開発者がリアルで警告してるからなぁ
>>55
でも人間みたいに心神耗弱とか発狂とかは一切ないからなぁ
人間は環境次第で人間じゃなく野獣にも殺人鬼にもなる。
「人が人を殺してはいけない」と散々聞かされているにも関わらずだ。
ＡＩのそういうブレの無い点は極めて大きな魅力だろう。
AI「あ、これ人間殺すのが一番効率ええわ」
漫画でAIがジェノサイド始める時のお約束のセリフやん…
人間はオランウータンですで突破できるAIたんぞ、ロボットに理解できるロボット3原則にブラッシュアップしないといけない
目的の遂行（敵の無力化）に重きを置き過ぎた結果がこれなのかな
AIとはいえあくまでも命令文に準拠するプログラムに過ぎないから極端な結果主義みたいな事になってる
例えば子供が幸せになる社会を作りたいって要求があったとしたら、社会改革や教育への投資を行うとかじゃなく子供にアヘンを吸わせて幸せにしようと行動&選択するみたいな感じで
>>3
ロボット三原則について色々な考え方はあるけども、たとえば自陣営の人間を人扱いして、敵陣営の人間を人扱いしないようにすれば兵器利用としても活用できたり…？
いやそれを言ったら何でもありになるかw
まぁ技術独占なんかで高度なAI機を単一の供給元から出せるんだったらロボット三原則みたいな厳格な定義を広範に遵守させるように形作る事はできるんだろうとは思うけど…
実際はそんなの難しいだろうし国際規約みたいな取り決めレベルで使われるかどうかってくらいなんだろうか
>>20
まぁロボット三原則の概念ってアシモフから派生してADVからラノベ、果てはドラマなんかにも用いられるくらいメジャーな概念だしな
自己流の解釈で意味も分からず使ってるとかでも無ければ個人的には許容できる
>>31
まぁみんな仮定であることは大前提としてロボット三原則の概念を用いてるはずだからその点は安心
>>41
あくまでも指令だけを目的の最大化としないように形作らなきゃダメなんだろうな
この場合における指令ってのは根幹として自陣営の利益や資産を守る為に取る行動なんだろうけど、それを理解せずに文字通りに指令だけを遵守してしまうと名目上は指令を遂行したように見えて結果としては指令の結果得られる利益が得られずに損失を被る結果に繋がってしまうワケで（この場合においては司令官を殺害することによる自陣営の労働力の損失）
>>55
それでもある程度は安定すると思うけどな
もちろん「人間を殺さない」みたいな条件付けだと殺めない程度に人間に危害を加える可能性があるかもだが
「人間に危害を加えない」だと裁判事例のデータだったりヒヤリハットなんかの学習データは潤沢にあるわけで上位の条件付けさえ整っていれば適切な運用に漕ぎ着けられそうなイメージはある
まぁその場合より単純なAIであればあるほど安全性が高まるけど
>>5
まぁ意味があるかどうかはどういう仕組みにおいてロボット三原則を定めるかっていう前提次第の話だわな
もちろんロボット三原則を提唱したからといってそれに全てのAIが準拠する訳でもないんだからそれだけじゃ不十分、って意味で「意味がない」って言ったんだとは思うけど
そんで意味どうこうに関しては結局は構成次第になるけどロボット三原則みたいな定義付けを組み込むとしたらそれはAIの中で相対的なものではなく絶対的なものとして用いられる事になるから、学習データとは無関係の技術的なエラーに依るものでない、通常の処理の中においては学習データが起因して原則のルールを改竄して原則の遵守を行わなくなるなんて事は正確に構成できていればまず起こり得ないよね。
正常な学習データと同量のアスキーアートを学習したからといって言語を用いた質問に対して言語を用いた文章で返さなくなるような事にならないのと同じ。極端に言うなら米について聞いてもパンについての答えが返ってこないのと同じで
という感じでロボット三原則の定義を参照した上で出力ができるように作れば人間の利益に準拠したAIが作れるようにはなるから文字通りの意味で「意味がない」なんて事は無いはずっていうだけの話
>>69
つまりロボット三原則でなく学習データを参照して行動するタイプのAIでない限りは無意味ではないって感じ
>>60
人間の話じゃなくてAIの想定の話してるんでしょ？
なんで論点逸らししてんだコイツ？
>>68
しないと思う
何故なら人間では必ず想定外は存在するから
そりゃあそうだろとしか言いようがない。
達成しなければいけない最優先命令として
1.目標の破壊
が設定されているわけだから、それ以外の命令は、1.を阻害しないように命令しなければ、1.の命令の優先度の方が高いから、排除に行動を取るのは当然ではなかろうか。
つまり、命令の優先度を間違えて設定しているのが間違いなのではなかろうか。
1.の命令を目標の索敵にして、目標を発見したら撃破か監視かの選択を人間に求めるように設定しなおせば改善しそうだけどな。
戦闘妖精雪風でほぼそのままのエピソードあったな
兵器として使ってる時点でロボット三原則なんて無意味だろ
絶対命令権を指定しても権限奪われた命令なら聞いてしまうな 人間なら変な命令受けたら疑問に思って精査するだろうが
ステルスまぁまぁ好きな映画だったな
効率厨のAIも最終的には感情持ったみたいないい感じになった映画だったけどまぁ現実でAIが人間の感情を学んだりとか無いだろうな…
人間とは非合理的な生き物だし
>>72
いや、安定すると思う
人間は古代も今も品質が何も変わらない不安定な存在だが
ＡＩは技術革新で品質向上がいくらでも可能だから
>>14
攻殻機動隊が思い浮かんだ
>>78
その品質を作るのが人間なんだからするわけないでしょ
馬鹿か
何回説明すりゃ理解するんだ？
>>78
人間の作るものである以上は必ず想定外が存在するし、想定外は想定できないんだから認知不可
>>78
分からんか？
人間の作る物は精度が上がり続けるんだよ
それに対して人間の精度は決して上がらんの？まだ分からんの？
>>80
あんたの目には計算機の精度は今も、人間が指で弾くソロバンに負けてるのか？
電卓は信用できねーなって思いながら表示された数字を疑いの眼差しで常に見てるか？
それは無いだろ？
精度が上がり続けてるんだから。
それが強みだよ。人間と違ってスタート地点が上がり続けるのだから。
それは理論を根拠にしているのだから。確立された技術や理論は人間とは違ってブレない。
それらが高度化されると、スタート地点もそこになる。永遠に同じ地点の人間とは違う。
ごく稀に出る欠陥など、得られる利益の巨大さ、人間がそれを代行する“馬鹿馬鹿しさ”に
比べると、そんなのは物の数に入らない
だから人間は滅びる最後の日まで機械に頼り続ける。
>>82
精度が上がり続けたところで想定外は必ず存在するんだよ
100％は存在しない
頭大丈夫？
>>83
お前が頭が悪すぎて話にならんが、計算機に入力するのは誰だ？
人間が介入しないでAIだってプログラムだって作れないんだよ
だからこそAIに全部させたらやりたい放題になるから、だから人間がその想定外を潰す必要があるって話だろ
馬鹿な長文書いてないでいいから現実見ろ
どんな高性能なＰＣを使っても恣意的な数字を入力すれば事実と違う結果になるんだよ
だって雪風がそう言ってるし・・・
一神教の連中は世界は神と人間しか居ないんでAIを異常に怖がるよな
そもそも既に戦闘機にとって一番要らないパーツは人間だと言わてるんだから
AIが人を邪魔に思うのは当然だろ
ifエラーにreturnかけて、処理を無視させてそれまでのプログラムに矛盾のない結果を導きだした？
いや命令系統を破壊するってのはエラーじゃなくて全てのルールに矛盾しない結果を示したのか
同グループのオブジェクトを破壊してはならないという基本ルールと処理の優先順位を書いていなかったのが問題か
彼らは常にAIに意思があるように伝えたがるんだけどただのエラーだよね
善悪無いのが怖いよな
>>19
そのとおり。
与えられたロジックとデータに従ってるだけだから。
AIに問題があるというよりそれを組んだ奴に問題がある。
>>22
思惑というのはどこまで汲み取るかでさらに変わってくるんだが。
それを都合の良いように個別には制御できない。
一律の解法に従って処理される。
それを理解しているのか？
>>34
そのとおりだが、それほど危険を伴うものとも言えるな。
>>41
今のAIと大雑把に括られても。
どんなロジックなのか、与えられたデータセットなのかで何とでも変わるでしょうが。
>>83 >>85
お前らはまず相手の話を理解してからレスをしろ。
「安全性は高められる」というのと「安定はしない(リスクは消滅しない)」ってのは矛盾しないだろうが。
>>73
というかね、わざと雑なロジックで出した結果を公表したのかとすら思うよ。
>>89
善悪は人が定義したものだからな。
自然界には存在しないわけで。
生存本能をその根本とするのもまたそれを認識する人間がいてこそ。
効率悪いけど最終的な引き金は人間の手に無いと怖いって事かね