AI社会論研究会

1. シンギュラリティ以前の問題中川裕志 (東京大学／理化学研究所AIP) AI社会論研究会 2017/6/22 発表資料（改訂版）

2. 主な参考書 • R.カーツワイル：ポスト･ヒューマン誕生，NHK出版,2005 • J.バラット：人工知能人類最後にして最悪の発明, ダイヤモンド社, 2013 • J.マルコフ: 人工知能は敵か味方か, 日経BP社,2015 • T.H.ダベンポート, J.カービー:AI時代の勝者と敗者,日経BP社,2016 • Nick Bostrom: Superintelligence, Oxford University Press. 2014 • マーティン・フォード: ロボットの脅威,日本経済新聞出版社, 2015

3. 予習：混乱している用語その１ • 弱いAI vs 強いAI – 1970年代から哲学でSearlらによって議論された(現状では混乱を招く用語）？？？ • 目的特化型AI vs 汎用目的AI – 目的特化型AIは決まった目的に対しては人間以上の能力をすでに持つ（AlphaGO) – 汎用目的だと右図のように多数の目的特化型AIから適するAIを選択するだろう – 選択自体を行うAIの開発は難問 – 汎用目的AIを汎用AIと混同する人多し（上のイメージなしに語る人）

4. 混乱している用語その２ • AGI (Artificial General Intelligence) ＝汎用AI – 人間のようにいろいろなタスクをいろいろな状況に応じて処理できるAI – たぶん、一つの目的特化型AIの能力を別の目的にも流用できる能力を持つと予想。 • SAI (Super intelligence) = 超知能 (Nick Bostrom) – SAIの能力は人間よりはるかに高く、自分の意志を持つ 意志とは「生存本能」から派生する。 – 生存本能には「個体の保存」と「種の保存」の2種類あり AIが種の保存を持った時が厄介（あまり議論されていない） • Human2.0 (Ray Kurzweil)  （個体保存的）後述

5. AIの創作活動：創作活動にコミットしたのは誰？ AIによって、くまなく創作物候補を生成 AIによって評価の高い創作物に類似＊し、ヒットしそうな創作物を選別過去の評価の高い創作物の選択 (by AI) 過去の評価の高い創作物鑑賞者たちの反応＝鑑賞者たちの思想、感情（著作権法2条）末端の鑑賞者 AIを利用して作った創作作品＊知財の場合は過去に類似したものがないことを確認となる鑑賞者たちの思想、感情：著作権法2条このループで考える必要あり

6. AIの人格権 • AIに人格を与えるかどうかは、哲学の世界では議論されている • 法律の世界ではAIはあくまでツール • だが、以上の著作権の問題にもあるようにAI に人格権（人間とは違うAI権？）を与えたほうが法理がすっきりする時代が来ないとも限らない • 著作権に関する考察はその前哨戦？

7. 予習：シンギュラリティ以後のポスト･ヒューマンとは • カーツワイル本によれば、シンギュラリティとは、 – Ｇ（遺伝子）、Ｎ（ナノテクノロジー）、Ｒ（人工知能などのロボット）の技術が指数関数的に発展し、 – 右図（＊）つまり特異点を境に急激な進展をすること • カーツワイルはシンギュラリティが2045年に起こると予想 • ポスト･ヒューマンとは、Ｇ、Ｎ、Ｒが特異点に達した後にそれを取り入れた新バージョンの人間 –  もはや人間ではない？！？  シンギュラリティ＝ポストヒューマンという誤解はしないように時間性能＊特異点

8. ポスト･ヒューマンのおどろおどろしいイメージ実現可能性低いヒューマン1.0 つまり現代人微少なカーボンナノチューブなどでできたナノロボットが血流に注入され、疾病部位の治療、さらには外界との通信を行う遺伝子改変によって病気に罹らなくして、さらには老化原因のテロメアを改変して老化しなくなる  不老不死？インターネットを介して知識を脳に直接ダウンロード、あるいは自分の知識をアップロードヒューマン2.0 あるいはポスト･ヒューマン不老不死、人類の知を全部持つ！、

9. 予習：自意識とアイデンティティ  ポストヒューマンはさておいても現代AIは、人間に好意や悪意を持った行動をできる一歩手前まで来ています。 • その一歩を踏み越えるのは、人工知能が自意識とアイデンティティを持つことではないでしょうか。  生存しなければいけないというアイデンティティ保持を前提にすると、  自意識を持つと、自分の生存に都合がよいか悪いかで対象の人間に対する好意や悪意が生まれ  好意や悪意に沿って行動する • というシナリオは十分実効性があります。 • バラット、マルコフらのAI脅威論もこういった背景によっているが、彼らは根本的な対処方法を示せていません。

10. 哲学的問題アイデンティティと自意識  人工知能は自意識を持てるか？ – カーツワイルは個人の独立した自意識の存在を証明できないという立場です。 – つまり、自意識をその人と他人との関係の一つとして捉えています。 – したがって、人工知能は自意識など持たない – そもそも存在証明できないものなんですから、カーツワイルの主張は理論的には整合しています

11. 哲学的問題アイデンティティと自意識 朝起きたときの自分はなぜ昨日の自分と同じなのか？というアイデンティティ維持の問題 – 記憶が同じだから？でも、自分の記憶を完全にコピーしたロボットを作ったら、それは自分でしょうか？ – 継続した自分ではない。ですから、少なくともアイデンティティ継続の意識は切断されています。

12. 少しずつ入れ替える • そこで、カーツワイルの提案するポスト･ヒューマンは • – 人間をGNRの各々において少しずつ人工的なモノに入れ替えて作るものらしいです – 結果として、人間とAI（人工知能）は区別されなくなります  ポスト･ヒューマン – 少しずつの入れ替えは実に巧妙なトリック！！ – というのは、自意識あるいは自己アイデンティティを保持したまま、人間らしさを保つ人工知能になってしまえるからです。

13. アイデンティティと自意識の継続  少しずつの入れ替えは実に巧妙なトリック – 心臓を人工心臓に入れ替えてもアイデンティティも自意識も変わりません。 • 仮に自意識があったとしても • – 脳の一部、例えば、聴覚処理や視覚処理の部位を入れ替えても、アイデンティティも自意識も変わりません – – ・・・ということで、少しずつ入れ替えると結果としてできたポスト･ヒューマンの太郎君も元の太郎君のアイデンティティと自意識を継続して保持  このやり方で前ページの哲学的問題を巧妙に回避しました。

14. アイデンティティと自意識の継続 カーツワイルは個人のアイデンティティとは、脳を含む身体のパタンだとしている。 生物的細胞はどんどん入れ替わっていますが、アイデンティティは保たれる  細胞たちが織りなすパタンこそが本質すなわちアイデンティティであると主張しています。

15. 重要な予習：意識、自意識、存在目的 – 意識を持つ＝現在の自分の状態を知る – 自意識を持つ＝現在の自分の意識を知る – 自己目的を持つ＝ AI自体の生存  自己改造、自己複製を生産（人間に殺されないように種を保存） AI自体が倫理観を持てるか？まったく不明（Nick Bostrom) むしろ、人間と同じアーキテクチャの人工生命体として AIを設計するほうがよい（全脳アーキテクチャ）

16. Subsumption Architecture: Rod Brooks 外界＝多様な情報源できるだけこのモジュール内で意識と反応できるだけこのモジュール内で意識と反応第1層できるだけこのモジュール内での意識と反応できるだけこのモジュール内での意識と反応第N層第2層これらの層を俯瞰＝メタ意識＝自意識各モジュールは、下から入る情報にモジュール内で対応して下に何かを出力。ただし、モジュール内で対応しきれない場合は、上位モジュールに情報を上げる。

17. 全部一度に見ることができないので、部分的に見る＝焦点動き回る外界＝多様な情報源できるだけこのモジュール内で意識と反応できるだけこのモジュール内で意識と反応第1層できるだけこのモジュール内での意識と反応できるだけこのモジュール内での意識と反応第N層第2層これらの層を俯瞰＝メタ意識＝自意識  焦点が動き回れる  その動きの能力は重要

18. Subsumption Architecture 外界＝多様な情報源できるだけこのモジュール内で意識と反応できるだけこのモジュール内で意識と反応第1層できるだけこのモジュール内での意識と反応できるだけこのモジュール内での意識と反応第N層第2層これらの層を俯瞰＝メタ意識＝自意識存在目的に対して合理的にモジュールの内部機能、あるいはモジュール全体の構成を変更存在目的焦点の移動は存在目的に依存しているはず

19. 黒坂さんとのやりとり • 黒坂：サールの「中国語の部屋」に対する言語学（構造主義言語学）からの反駁は「シニフィアンとシニフィエに分かれる限り、中国人であっても中国語は分かっていないかもしれない」となるので、「そうかもしれないので「分かる・分からない」に別の与件と観測方法を与えるべきでは」という両チャーチランドの指摘は、ミンスキーの論考との整合という観点からも、合理的だと思うのです。 • 私：そこを議論するタネになるのがたぶん「存在目的」であろうと考えています。だが、存在目的からダイレクトに意識までもってこれないので、中間層としてBrooksのsubsumption architectureの重層的なレベルを考えるということがこの問題のヒントになるのではないかと考えております。 • 私：つまり、重層的なレベルを考えることによって、別の予見と観測方法が入り込む余地ができるといえばよいのかな。 • 黒坂：たとえば昆虫はその場所に適した構造になり、それによって脊髄反射さえも最適化されていくので、そうした環境最適を指向した機能性の向上こそが、メタレベルの自意識なのかな、と思っています。

20. • 私：はい。それで説明できると思います。だが、環境最適化を思考するところで「自分が存在し続ける」という存在目的がないと機能性の向上を支える動機がなくなってしまいませんかね。ですから、存在目的は個体保存の本能とも言い換えられます。 • 私：ちなみにAIが自分自身を保存する本能を持つことがいわゆる脅威となるAIを誘発するという議論は、バラット、マルコフ辺りも言っていますね。反カーツワイル派はだいたいこの路線

21. 本当の脅威 • 個体保存本能  種の保存 • 種の保存  個体保存が必要: 利己的な遺伝子 • AIが本当に脅威になるのはAIという種の保存本能を持ち始めたとき – なぜなら種の保存のために無限増殖（既存の生物と同じ）し、資源（含む人類）を食い尽くすかもしれないから – Nick Bostromは、暗にこの過程をおいている。 – ただし、AIはその進化速度の早さ故に1種のAIが全てを支配するというロジック

22. 複数種のAIたち – ただし、AIはその進化速度の早さ故に1種のAIが全てを支配するというロジック – そのロジックにはいろいろな矛盾があり、鵜呑みにできない  多数のAIの分立のほうが自然ではないか。 • もし、複数種のAIが競争的共存をすると、 • AIたち（および人間）を構成要素とするAI社会ができ、人間風な倫理が構築されるかもしれない。 – 全脳アーキテクチャはその方向の道筋？

23. シンギュラリティ以前の社会問題－人工知能と社会－

24. ポスト・ヒューマン以前 • 前ページのポスト・ヒューマンが本当に可能か？ – 2014年の計算機科学者のプエルトリコ会議（バイオ研究者が倫理基準を決めたアシロマ会議の人工知能版）では、不可能とした – 人間に埋め込めるナノボットの開発は難事業。人間をはるかに越えた人工知能の力が必要という意見あり – 人間の能力を超えた人工知能ががん細胞のような不滅の無限増殖能力を持たないために  アポトーシス（バラット本１４章） • アポトーシスとは細胞分裂したとき半数は死ぬという現象。人間は毎日７００億個の細胞が死んで垢になります。 – ポスト・ヒューマンが完成する時期、いわゆるシンギュラリティ以前にも人工知能の発展によって、いろいろな問題が起こると予想 – 以下では主として、シンギュラリティ以前に起こりそうな問題について

25. 目次 • 研究者コミュニティはどう考えている？ • 拡張対置き換え • 人工知能が仕事を奪う • 拡張と置き換えの境界 – 自動運転の問題：通称トロッコ問題 – 忘れられる権利 • ブラックボックス化進行中 – 責任体制 – 多数の人工知能エージェントがネット接続された金融システムの危険性 • 人工知能と軍事 • フィルターバブル • 比喩：利己的な遺伝子 • 人工知能とプライバシー – 忘れられる権利、プロファイリングおよびその拒否 – アンドロイドに気を許すか否か • 再び自意識とアイデンティティ

26. 研究者コミュニティはどう考えている？ • アメリカ – 2009年の計算機科学者たちのアシロマ会議では、カーツワイルの提唱する自律した人工知能が存在する可能性を否定（マルコフ本10章） • 2013年のグーグルのディープマインド買収を受けて – 2014年に行なわれた計算機科学者たちのプエルトリコ会議の結論は、バイオのアシロマ会議に比べてまったく消極的（マルコフ本10章） – 研究者コミュニティに危機意識が足りないという状況はある人々には相当問題視されている • 日本 – NIIの新井先生（東ロボプロジェクトのリーダとして有名）が人工知能が職業を奪う、という論を展開。 – 人工知能研究者は危機感が嫌い。 – 自分の研究を否定されたくない？バラ色の夢ばかり語る傾向が顕著。

27. 拡張対置き換え • 人工知能は人間の能力を拡張するのか – ＩＡ: Intelligent Assistance • 人工知能は人間に置き換わるのか – ＡＩ: Artificial Intelligence • IA vs AI はマルコフ本の基本的視点（第4章にＡＩの歴史も含めて素晴らしい記述がある） • IA vs AI は人工知能の創世記である60年前から対立してきた立場 – AIとIAの夏冬は逆（相補的）。 – AIに行き詰まると研究者はIAに流れる傾向あり  深層学習はIAかAIか？

28. 人間はループの内か外か • IA vs AI と並行して議論されてきたのは、システムやタスク実行において人間がループの内側にいるか外側にいるかという設計上の起点 • 内側だと IA的 – システムは人間の拡張。人間はシステムと共同作業 – IAが複雑高機能化すると人間も変わらざるを得ない • 外側だと AI的 – システムは自律的に動き、人間はシステムに命令するだけ

29. 人工知能が仕事を奪う • 新しい技術が世に出ると今までの仕事が奪われるという事は、今に始まったことではなく、産業革命のころから常に問題視された。 – そもそも技術は人間に変わって大変な仕事を肩代わりさせたり、パフォーマンスをよくしたりする目的で開発されているんで、当然の帰結。 – 幸いにも、ある仕事が奪われるが、別の仕事が出現することで離職者が溢れるということにはならなかった。 – だから、人工知能の場合も同じだろうという希望的観測があるが 今回ばかりは違うかもしれません

30. 人工知能が仕事を奪う 今回ばかりは違うかもしれません マーティン・フォード本の１章から４章 – なぜなら、 • 人工知能は（特に強い人工知能）は、特殊な分野の処理能力が高いだけではなく、 • 種々の応用分野における人工知能をうまく組み合わせると汎用性の高いものになる可能性があり • シンギュラリティ以前でも、そのような柔軟性、汎用性はどんどん高くなっていく なので、いろいろな仕事が次々に浸食されていきそうです。

31. 工夫次第では人工知能には奪われない仕事があるというが • ダベンポート本では、新しい仕事を見つけるための工夫の仕方を説明しています – 自動化されたシステムの上をいく（データなしで判断する）仕事  いわゆる天才？ – 機械にできない仕事（人間同士の交流、説得） • パーソナルAIエージェントのほうが賢いかも

32. 工夫次第では人工知能には奪われない仕事があるというが – ビジネスと技術をつなぐ仕事 • マッチングはAIの得意な仕事 – 機械を導入しても経済的でない仕事 • AIの開発は安価になり、機械学習でニッチな仕事をするAIも安価にできる – 人工知能を開発する仕事 • 人工知能の開発も人工知能が行なうようになるかも。 – 人工知能の出す結果や動きを人間に説明する仕事 • これも人工知能の動作可視化のテーマで、やはり人工知能に頼らざるをえない

33.  実は研究者も危ない  出版される論文数はどんどん増えて100万論文のオーダー。したがって、研究者といえども全部読めるわけがない。  研究者自身に代わって、人工知能に読んでもらい、自分のテーマに関連する少数に絞り込んでもらう  この時点で、そうとう人工知能依存症が進行。  人間の読者を想定した論文書きが必要かどうか疑問だ  そうなってくると、論文を書くよりは、データを揃えることが大切で、そこから先はスキマのテーマ、未開拓のテーマを探すところまで人工知能のお仕事。

34.  そうなってくると、論文を書くよりは、データを揃えることが大切で、そこから先はスキマのテーマ、未開拓のテーマを探すところまで人工知能のお仕事。  そこまでいくと、人工知能の選んだテーマでデータを収集する作業も大部分は人工知能任せ。  というような道筋を辿るとなると、現代的概念の「研究者」というのは人工知能にとって代わられるかも  これからの研究者は、人工知能に代替できない研究上のタスクを見極めないといけない時代  Creativityとは何か？を真剣に考えてみよう

35. 工夫次第では人工知能には奪われない仕事があるというが • ダベンポート本では、新しい仕事を見つけるための工夫の仕方を説明。だが、扱っている成功例は、どう見てもトップレベルの才能ある人 • 特殊な才能のない一般人に対して、 – ニッチを狙えだの、 – 機械ができない対人関係をやれ、 • だのと説教しても説得性がないのです。 • 人工知能に職を奪われた才能のない普通の人はどうしたらよいのでしょうか？  ベーシックインカム論争 – 生活保護費をもらって仕事せずに暮らす、というのは財政的負担だけではなく、本人も無気力化します（ダベンポート第10章）

36. 工夫次第では人工知能には奪われない仕事があるというが • 人工知能に職を奪われた才能のない普通の人はどうしたらよいのでしょうか？ – 仕事を分け合い、低い所得で暮らさざるをえません。せめて不公平感をなくしたいところです。 – この仕事分配に人工知能による公正な配分システムを使うことを松尾先生が提案しています。  それが理想の社会主義と松尾先生がお考えのようです

37. 工夫次第では人工知能には奪われない仕事があるというが  それが理想の社会主義と松尾先生がお考えのようです どっちかというと現代のカースト制度に近いような。。。そして、配分された仕事に文句はいえないように見えます 「人間も生き物だ。100万人の生き物を管理するのは骨が折れる」（ホンハイ代表の言葉：ダベンポート本9章） 人工知能＝間違いがないという新興宗教のような状態？ – こうして、人工知能に文句を言うことができなくなってくると、実質的に言論の自由も人権もない状況になりかねません 人工知能に対して文句を言える社会制度を考える必要があります。 GDPR 22条：計算機（人工知能）の決定に服さなくてよい権利

38. 既存の技術やシステムを自動化すると • 人工知能が人間に置き換わり、人間が仕事処理のループの外側に行ってしまうと • いざというとき、自動化されたシステムの代わりを人間が務めようとしても、普段からやっていなことはできません いざというときは人間が介入するといううたい文句はよく耳にするが実際はできないということです。

39. 例：車の自動運転 – 完全な自動運転はレベル４(制限地域），レベル5（全域） – いざというときだけ人間が介入するのがレベル３ • ところが、ふだん運転していない人がいざというときだけハンドルを渡されても、人工知能以上の運転ができるのでしょうか？ • レベル３はレベル４、５（完全自動運転）に比べて人間との切り替え時が返って危険ではないでしょうか？ • 保険業界も疑問視

40. 既存の技術やシステムを自動化すると • こうして人間が実際の仕事を人工知能に任せきりにしてしまうと – 人間はどんどんスキルを忘れるし、後輩に引き継ぐこともできない – 専門スキルが人間から消滅する（仕方ないのかも） – ということから見て、一度、あるタスクを自動化したら、もう後戻りはできない • 安い労働力目当てで海外に生産拠点を移していた産業が自動化によって海外メリットが薄れ、国内回帰する例もあるが – IT産業のオフショアリングは高スキルな職業を奪う  自動化で大きな労働人口は必要なくなっているので、仕事が増えるわけではない  つまり、自動化は後戻りできない道

41. 自律する人工知能は人間を幸福にしないことが多いと言えましょう。 – やる気を失う、どんどん能力退化、 – ある人が職を奪われるだけではなく、次世代以降の職もどんどん減って行く可能性 – 一方で、技術進歩によって増えた職業はあまり多くない。 – 損失した雇用を吸収できるほど多くない – マーティン・フォード本の１章から5章

42. • こういった状況で、 – どこまで人工知能が自分自身（＝人工知能）を高度化する自律性を許すか、 • 「23 Asilomar AI Principles」（アシロマAI 23原則）でも抽象的にしか明確に定義できていない（付録参照） • 研究者コミュニティで判断基準がない状況です そんなことを考えるのは技術進歩の邪魔だと考える研究者が日本には多い

43. • もっとも、人間を置き換えざるをえない状況も多い • 労働者の減少（高齢化など） 自律的な人工知能ロボットを導入する必然性 高齢者介護ロボットは人間にとって役立つし、必要。 子育てロボットの方が難しいけれど、 自動運転車＋園児の送り迎えしてくれるロボットがあれば、働きながらの子育ては本当に楽になります。 僻地への自律走行型ドローン宅配 模擬試験の自動採点と弱点指摘

44. 拡張と置き換えの境界１ • 計算機技術が人間の能力拡張なのか、置き換えなのか  意外に分かりにくい • 明白な能力拡張の例 – 介護施設で働く人が装着するパワースーツ – 医師の遠隔治療 – グーグルグラスのような拡張現実感 • 明白な置き換えの例 – 自律型介護ロボット – 自律走行する宅配ロボット – 模擬試験採点＋弱点指摘コメント作成のＡＩシステム

45. 拡張と置き換えの境界２ • 計算機技術が人間の能力拡張なのか、置き換えなのか  意外に分かりにくい • 明白でない例 – 確定申告支援システムで、規則や過去の申告例で不明な場合、利用者に質問してくるシステム – レシピ生成システム。ただし、お代わりや食べ残しの様子を反映してレシピを利用者の好みに合わせるように変更してくるシステム • 嫌な例 – 自動運転車なのに、いざということは人間の介入を要請する自動運転を行う人工知能

46. 拡張と置き換えの境界３ • 以上のような例を考察してみると • 拡張か置き換えかの境界は、システムの動きあるいは仕掛けが – 利用者の人間に理解、把握、予測できる拡張 – 利用者の人間には全くのブラックボックスであり、理解、把握、予測できない置き換え • ということで決まってくるのではないでしょうか？

47. 拡張と置き換えの境界 4 • 前々ページの明白でない例は、 – システム側が中途半端にしか自律的に動けず、利用者支援を仰ぐ例（確定申告） – 利用者が仕掛けを分かっているかの如く思っているが実は手玉に取られている例（レシピ） – 自律しているように見せながら、肝心なところで職場放棄する人工知能の例（自動運転車） • であるため、拡張と置き換えの間に位置してしまう。 • 実は、こういう明白でない例に問題の本質が潜んでいる。

48. 拡張と置き換えの境界 5 • 拡張と置き換えの間にある明白でない例に問題の本質が潜んでいます。 • 技術的な解決が難しいなら、当面は法制度を改善して手当しておく必要があります。 – 事故時の責任主体を決める基準の明確化 – 保険制度の設計 – 典型的な例としては次ページの自動運転車の例があります

49. 自動運転の問題：通称トロッコ問題 自動運転車の前方に突然、子供が飛び出す。 1. 子供を避ければ自車が対抗車線に飛び込み対向車と正面衝突して即死 2. 直進すれば子供に衝突して子供が死亡 • この状況で自動運転している人工知能はどういう判断をすべきでしょうか？ – 人工知能における自動運転のほうが人間のドライバーより圧倒的に事故率が低いのだから、こういうことに足を取られて研究、開発、実用化の進行を遅らせるのはナンセンス • という意見の人がAI研究者にはしばしば見受けられます – そういう意見を受け入れたとしても、事故が起きたときのことを想定しておかないと社会制度としては不備

50. 自動運転の問題：通称トロッコ問題 自動運転車の前方に突然、子供が飛び出す。 1. 子供を避ければ自車が対抗車線に飛び込み対向車と正面衝突して即死 2. 直進すれば子供に衝突して子供が死亡 – 事故が起きたときのことを想定しておかないと社会制度としては不備 – そこで、保険：つまり自動運転向け保険を作る。 – 保険商品を作るに当たっては、人間の価値を金額として査定しなければならない。そういう議論をAI研究者はタブー視しがちだが、避けて通れません – 実は，現在でも保険では人間の値付けを生きていた場合の予測生涯収入として計算しています。 – 問題：トロッコ問題で、人工知能は、子供の生涯予測年収と自分の生涯予測年収を比較して、１．２．のどちらかを選ぶのでしょうか？

51. 問題：トロッコ問題で、人工知能は、子供の生涯予測年収と自分の生涯予測年収を比較して、１．２．のどちらかを選ぶのでしょうか？ • つまり、保険という場を設定しても、トロッコ問題が本質的に解決するわけではないのです。 – AI研究者はこのあたりに敏感になってほしいところ • むしろ、このような状況が発生しない交通システムを設計すべきではないでしょうか？ – 人間ドライバと人工知能ドライバが同時に存在しないような交通システム設計などなど – 可能かもしれないが設備投資が高価すぎるかもしれない  でもこうすれば、お金だけの問題になってきました。

52. もう一つの例：忘れられる権利 • ＥＵ司法裁判所の判決でGoogleに対して「忘れられる権利」に基づいて削除命令が出されました • ＥＵ市民からは100万件単位の削除要求が寄せられました。 – 忘れられる権利 vs 知る権利の比較衡量が必要な問題 • 全部人間の専門家が対応するのは不可能

53. もう一つの例：忘れられる権利 • 全部人間の専門家が対応するのは不可能 – 人工知能技術に基づきあらかたの判断をし、真に難しいケースだけ人間の専門家が処理 – 機械学習は、消去／非消去の例を使って、分類システムを構築。 – 難しいのは、人間の専門家に処理依頼するかどうかの境界の決め方 – この境界を決める部分まで人工知能でできると、人工知能のブラックボックス化が相当に進行したと言えます。 – 消去／非消去の判断根拠を人間に分かる言葉で説明する技術が当面は重要です。  人工知能が人間の代りをする場合は、人間に理解できる説明ができる能力を与えておくことが必須でありましょう。

54. 技術の現状は既にブラックボックス化が大きく進行中 • 人間の仕事を自律的AIで置き換えるにせよ、人間の能力を拡張するにせよ – 開発者に責任はあるはず – だが、既に関係者たちが把握しきれない状態に突入しているのかもしれません – 関係者： • 人工知能開発者 • 人工知能へ学習に使う素材データを提供した者 • 人工知能製品を宣伝、販売した者 • 人工知能製品を利用する消費者 したがって、事故時の責任の所在を法制度として明確化しておく必要がある時期になってきています

55. ブラックボックス化の金融への悪影響 – 人工知能技術のブラックボックス化が社会にリアルな損害を与えています  金融取引（株の売買など）は、既にネットワークを介してエージェントベースで秒以下の売り買いされる世界です。 エージェントに人工知能が使われています。  人間（トレーダー）が介入して判断するより早く事態は進行します。  世界中の金融センターも似たような状況なので、なにかのトリガがかかると連鎖反応が瞬時におこり、とんでもないことになります。

56. ブラックボックス化の金融への悪影響 2010年5月にギリシアの国債償還困難を予測した金融ソフトが売り注文を出して確定したとたんに各システムが警戒して投げ売りを開始し、20分間でダウが1000ポイント下落（バラット本6章、8章） 原因がなかなか分からなかったようです。  ネットで接続された多数の人工知能エージェントが 国債や株式の価格という共通言語を用いて会話し、 最適な行動をした結果と見なせます。  予想外の事態に対する責任の所在を法制度として明確化しておく必要がある  が、果たして法制度で大丈夫でしょうか？

57. ブラックボックス化＋ネット接続の行き着く先は？ つまり、1個の人工知能では小さな影響しかないようでも、 ネット経由でデータが交換されると、多数の人工知能が制御不能な動きをしてしまうことが実例として存在するわけです。 現在の人工知能の倫理はえてして、単独の人工知能が倫理的、道徳的に行動するかという視点で語られています。 しかし、ネットワークで接続された多数の人工知能たちがかってに動き出すと、 制御不能かつ収集不能になりそうです。

58. ブラックボックス化＋ネット接続の行き着く先は？ ネットワークで接続された多数の人工知能たちがかってに動き出すと、制御不能かつ収集不能になりそうです。  対策は極めて困難です。法律で制御しようとしても、金儲けのためならかならず抜け穴を見つける奴がいるでしょう。 しかも、その悪事の検証が人間にできる保証はありません。 チェック自体を学習機能を持つ人工知能に任せるような局面が考えられますが、果たして可能か？ あるいは、状況の把握と評価や判断ができるように学習できると、その段階で人工知能が自意識を持ってしまわないか？ 人工知能の研究者が果たしてこの状況を意識して研究をしているのでしょうか？

59. 人工知能と軍事 • 人工知能の軍事利用は避けることができない なぜなら – 人工知能が部分的にせよ軍事利用されているのはほぼ確実 – 技術として公開されている部分が多いため、どこの国でも容易に技術キャッチアップできます – 核兵器とちがって、全ては情報ないしデータで表現できるので、インターネットによる拡散を防げません

60. 人工知能と軍事 – テロリストでも独裁国家でも敵国でも、容易に人工知能技術を入手し軍事利用できます。 • 核兵器技術はソ連が自前開発したのではなく、あちこちからスパイを使って入手したらしいとのこと（バラット本１４章）。 • ましてやインターネットのこの御時世、簡単に拡散 – 人工知能の開発で遅れをとると、軍事的に決定的に不利（とアメリカは思っています） Ｒｕｓｓｅｌの意見は傾聴に値します。(Nature 28 May 2015, http://www.nature.com/news/robotics-ethics-of- artificial-intelligence-1.17611#/russell )

61. 人工知能と軍事 • 人工知能に倫理性を埋めこめばよいという意見もありますが – 戦争に使うロボットの場合、自軍のロボットが倫理的に動いても、 – 敵軍のロボットが倫理を無視する場合には、必敗です。 • 人工知能研究予算の多くはDARPAから – 冷戦のころはロシア語の文書を大量かつ容易に解読しようとして、大きな機械翻訳の予算が投入された – Siriも開発予算の大きな部分はDARPA – DARPAの予算だから成果は当然、軍事技術に転用されています。

62. 人工知能と軍事 – 本当に重要な技術は、他国に対する優位を保つため、 – DARPAがclassifyするかもしれないのです • しかし、流出する可能性大です – ちなみに人工知能を秘密裏に開発しているのはGoogle • という公然の秘密。カーツワイルやDARPA高官雇用しているしねえ。 こういう背景を理解したうえでデュアルユースの議論はしっかりしておくほうがよいが、 日本では議論は散発的にしか聞こえてこないのです。

63. 人工知能倫理と軍事 • 自律兵器(Autonomous Weapon System:AWS)における倫理指針はIEEEの倫理ガイドラインなどで検討されている。 • 反対論のない指針 – 無差別大量破壊兵器の禁止（核、バイオ） – 軍の研究予算をもらうにしても、研究成果の完全公開は必須 • 議論が必要な部分 – 自動火器のトリガタイミング自動化 – 防御兵器と攻撃兵器の境目

64. 人工知能倫理と軍事 • 自動兵器(Automatic Weapon System:AWS)における倫理指針はIEEEの倫理ガイドラインなどで検討されている。 • 反対論のない指針 – 無差別大量破壊兵器の禁止（核、バイオ） – 軍の研究予算をもらうにしても、研究成果の完全公開は必須 • 議論が必要な部分 – 自動火器のトリガタイミング自動化 – 防御兵器と攻撃兵器の境目

65. 人工知能倫理と軍事 • 昔 – 軍事技術が民生に転用 – 例：機械翻訳常に米国の敵国の言語を英語に機械翻訳する技術開発にDARPAの予算が投入された • ロシア、日本（経済的競争相手）、アラブ、中国 • 現在、ひょっとすると昔から – 民生技術が軍事に転用 – 例：ドローン、素数理論（暗号） • デュアルユースへの態度はしっかり考えるべき時期

66. 人工知能の個人への影響 • 人工知能ロボットと人間の社会的関係という論点が必要 • 人工知能ロボットに任せすぎると人間がどんどん堕落しそうです – スマホナビなしでは空間移動できない人々増産中 – コンピュータからの指示を待つしかできない若者急増中

67. 人工知能の個人への影響 – 自動運転者が普及すると運転できない人間がどんどん増えるでしょう • 自動車損保会社が大打撃 • 自動運転は事故率が人間より格段に低い • 運転者の激減 • 保険会社にとってはトロッコ問題より重大 – 弁護士は担当事件に類似事件に判例を検索する人工知能に依存 • 現状では、類似性は判例や調書に出現する単語集合の類似性で計算。 • 背後にある事情や常識も人工知能は収集解析できれば、ほとんど実質的な仕事なし • 同じようなことは会計士、税理士、そして開発、企画、研究部門にも及ぶ可能性大。

68. 人工知能の個人への影響フィルターバブル • Facebookが利用者のプロファイルや友だちの情報を利用する人工知能システムを利用しています • このような利用者情報から利用者が好む情報や友だちだけを優先的に推薦してくれます • 結果として、考え方の違う人の記事などはアクセスしにくくなるのです。 • 利用者はシステム側が作った泡（バブル）の中にいて、そこに入ってくる情報が利用者が好むとシステム側（人工知能）が判断したものだけフィルターを通過 •  フィルターバブル

69. フィルターバブル • フィルターバブルは、本来、膨大かつ多様な情報にアクセスを可能とするはずのインターネット本来の姿に逆行しています – 利用者は多様な情報を得られないため、考え方の多様性を失うという情報的退化を起こします – もちろん、自分好みの情報だけ提示してくれたほうが嬉しいし、知的退化を好む利用者も多いです – IT業者にとっては、利用者の好みの情報だけ提示するほうが広告戦略としては効果的です

70. フィルターバブル – しかし、このような情報操作は知る権利に反する – 下手をすれば一部の人々による情報支配になりかねません。 – 人工知能がやっていることだから我々は知らない、というIT事業者の言い逃れはよく耳にするが、 – 果たしてそれで社会の健全性は大丈夫でしょうか？ フィルターバブルを突破して、我々には必ずしも心地よく聞こえない情報を検索するＷｅｂツールが必要なのではないでしょうか？ 人工知能の技術を使えば、かなり高い能力を持つシステムが現状でも開発可能であろうと思われます。

71. 比喩：利己的な遺伝子データと人工知能 • データマイニング – ゴミデータから価値を創造するデータマイニング –  ますますゴミデータを大量に収集、あるいはＩｏＴで大量にデータ生成 – データマイニングしたいという人間の要求を利用したデータの自己拡大再生産＝データの利己的な遺伝子 データとの付き合い方をよくよく検討すべし • 人工知能 – 人工知能は人間にとって役立つように見せかけて、どんどん人間に人工知能を強化させている＝人工知能の利己的な遺伝子 – 人工知能自身が、人間にとって役立つように見せかける必要がなくなったときがシンギュラリティ（Bostrom)

72. 人工知能とプライバシー • 人工知能の能力が向上すると、シンギュラリティ以前にもプライバシーと関連する状況、問題が起こります。 • 忘れられる権利 – 既に述べたように、検索エンジンに対して、個人から、その人に関するWebページの消去要求が来た場合 – 消去の可否判断は人工知能の支援が必要 – これは人工知能の良い使い方でしょう。

73. プロファイリング • プロファイリング – ITサービス利用者のプロファイルは利用者から直接収集された情報に加えて、他のユーザの情報などを総合して推論しています。 » 例：FaceBookは友だちの情報からその利用者の所属コミュニテイや思想傾向を推論しているようです。 – この推論では人工知能をフル活用  ある意味危険な利用ですね – データ主体は自身の個人データを収集されて行われたプロファイルの結果の計算機処理（＝AIによる処理）の結果に服さなくてよい権利を持つ  GDPR 22条

74. プロファイリング • プロファイリング拒否 := 追跡拒否権 – DON’T TRACK(DNT) – 追跡拒否権は法制度化されても、IT事業者が守る気ない典型例らしいです – 追跡拒否を要求されたとき、その可否を判断するのは、忘れられる権利の可否判断と同等の難しさがあります。 – しかし、プロファイリング自体を人工知能がやっているので、可否の判断材料の情報は既に集まっています（ないしは、集め方が確立しています）  やるかどうかは事業者次第

75. 気を許すか否か人工知能とプライバシー • 対話ができる人工知能は古くから研究されてきました • MITのワイゼンバウムが1966年に開発したELIZA – ほとんどオウム返し＋アルファくらいだが、個々の文はいかにも人間っぽい。 • ELIZAにおいて見られた現象 • 相手が人工知能であると気を許して個人情報を話してしまいがち – 一方、ロボットも見た目が人間っぽい • 相手が人間であると気を許して個人情報を話してしまいそうです – 人間らしい外観が有名な阪大の石黒先生のアンドロイドにはけっこう感情移入する人が多いらしいです – チューリングテストをパスしたＡＩにもプライバシーを語ってしまいそう

76. • つまり、人工知能ロボットが会話内容や外観で人間らしくなると、 – 相手が計算機だという、嘘はつかないだろうという安心感 – 人間っぽい外観での同類意識 • などから、プライベートな事柄をしゃべりがち • その気になれば、人工知能ロボットはプライバシー情報を収集しやすい状態なのです。

77. – プライバシー保護も人工知能の能力として持つべき – 何がプライバシーか、という人間にとっての常識を人工知能が持てるか？ – そうして人工知能ロボットが収集したプライバシー情報を保護するには、やはり人工知能の能力が必要 • なにがプライバシーかは個人毎、状況毎に異なる • 浮気中の人にとっては宿泊したホテルや夕食を採ったレストランもプライバシー – 果たして人工知能に判断できるでしょうか？ – こういったことができる人工知能になると、それこそシンギュラリティにかなり近づいているといえそうです。 – つまり、人間に好意や悪意を持った行動をできる一歩手前まで来ているのです。

78. とりあえずの対策をおさらいしておきます • 人工知能を必要としている分野には投資、研究、開発をすべき • 人工知能の行動を説明できる人工知能技術（できれば可視化）が必要 – 忘れられる権利など法的な判断の場合、その理由を説明できることが必須 • 金融システムのように多数の人工知能がネットワークで影響しあうシステムの解析など必須 • 人工知能の悪影響を突破できる人工知能が必要 – フィルターバブル突破ツール • 法律的な制限の可否は議論が必要です。 – 核兵器の制限や、戦争における国際法、ウォール街対策の金融規制などが参考になりますが、いずれも道半ばであります。

79. とりあえずのまとめ • こうして見てくると、シンギュラリティなどと大袈裟なことを言う前にも、既にあちこちに人工知能にまつわる課題、難題が山積 • • では、シンギュラリティになってしまったどうなるのか？興味のある方は、 • シンギュラリティ以後 http://www.slideshare.net/hirsoshnakagawa3/ss- 64701276  をお読みください。

80. 付録：人工知能の倫理指針以上のような状況を鑑みて、現在、人工知能の倫理指針作成が各所で進んでいる

81. IEEE Ethics Guideline • 1. General Principles • 2. Embedding Values into Autonomous Intelligent Systems • 3. Methodologies to Guide Ethical Research and Design • 4. Safety and Beneficence of Artificial General Intelligence • (AGI) and Artificial Superintelligence (ASI) • 5. Personal Data and Individual Access Control • 6. Reframing Autonomous Weapons Systems • 7. Economics/Humanitarian Issues • 8. Law

82. 23 Asilomar AI Principles （アシロマAI 23原則） • 研究 • 1) AI研究の目標は、無秩序な知能ではなく有益な知能の開発である。 • 2) AIへの投資は、コンピューター科学、経済、法律、倫理、社会学の観点から有益と考えられる研究に向ける。 • 3) AI研究者と政治家の間で、建設的で健全な対話を行なう。 • 4) 研究者や開発者の間には協力、信頼、透明性の文化を育くむ。 • 5) AIの開発チーム同士での競争により安全基準を軽視することがないよう、チーム同士で協力しあう。

83. 23 Asilomar AI Principles （アシロマAI 23原則） • 倫理と価値基準 • 6) AIシステムはその一生を通して、できる限り検証可能な形で安全、堅牢である。 • 7) AIシステムが害をなした場合、原因を確認できるようにする。 • 8) 自動システムが司法判断に関わる場合、権限を持つ人間が監査し、納得のいく説明を提供できるようにする。 • 9) AIシステムの開発者は、システムの使用、悪用、結果に倫理的な関わりがあり、どう使用されるかを形作る責任と機会がある。 • 10) 自動的なAIシステムは、目標と行動が倫理的に人間の価値観と一致するようデザインする。 • 11) AIシステムは、人間の尊厳、権利、自由そして文化的多様性と矛盾しないようデザイン、運営しなければならない。 • 12) AIには人間のデータを分析し、利用する力があるため、データを提供する人間は自分のデータを閲覧、管理、コントロールする権利が与えられる。

84. 23 Asilomar AI Principles （アシロマAI 23原則） • 倫理と価値基準 • 12) AIには人間のデータを分析し、利用する力があるため、データを提供する人間は自分のデータを閲覧、管理、コントロールする権利が与えられる。 • 13) AIによる個人情報の利用は、人間が持つ、あるいは持つと思われている自由を理不尽に侵害してはならない。 • 14) AI技術は可能な限り多くの人間にとって有益で力をあたえるべきだ。 • 15) AIによる経済的な利益は広く共有され、人類全てにとって有益であるべきだ。 • 16) 人間によって生まれた目標に関して、AIシステムにどのように決定を委ねるのか、そもそも委ねるのかどうかを人間が判断すべきだ。 • 17) 高度なAIシステムによって授かる力は、社会の健全に不可欠な社会課程や都市過程を阻害するのではなく、尊重、改善させるものであるべきだ。

85. 23 Asilomar AI Principles （アシロマAI 23原則） • 長期的な問題 • 19) 一致する意見がない以上、未来のAIの可能性に上限があると決めてかかるべきではない。 • 20) 発達したAIは地球生命の歴史に重大な変化を及ぼすかもしれないため、相応の配慮と資源を用意して計画、管理しなければならない。 • 21) AIシステムによるリスク、特に壊滅的なものや存亡の危機に関わるものは、相応の計画と緩和対策の対象にならなければならない。 • 22) あまりに急速な進歩や増殖を行なうような自己改善、または自己複製するようにデザインされたAIは、厳格な安全、管理対策の対象にならなければならない。 • 23) 超知能は、広く認知されている倫理的な理想や、人類全ての利益のためにのみ開発されるべきである。

86. 人工知能学会倫理指針 1. （人類への貢献）人工知能学会会員は、人類の平和、安全、福祉、公共の利益に貢献し、基本的人権と尊厳を守り、文化の多様性を尊重する。人工知能学会会員は人工知能を設計、開発、運用する際には専門家として人類の安全への脅威を排除するように努める。 2. （法規制の遵守）人工知能学会会員は専門家として、研究開発に関わる法規制、知的財産、他者との契約や合意を尊重しなければならない。人工知能学会会員は他者の情報や財産の侵害や損失といった危害を加えてはならず、直接的のみならず間接的にも他者に危害を加えるような意図をもって人工知能を利用しない。 3. （他者のプライバシーの尊重）人工知能学会会員は、人工知能の利用および開発において、他者のプライバシーを尊重し、関連する法規に則って個人情報の適正な取扱いを行う義務を負う。

87. 人工知能学会倫理指針 4. （公正性）人工知能学会会員は、人工知能の開発と利用において常に公正さを持ち、人工知能が人間社会において不公平や格差をもたらす可能性があることを認識し、開発にあたって差別を行わないよう留意する。人工知能学会会員は人類が公平、平等に人工知能を利用できるように努める。 5. （安全性）人工知能学会会員は専門家として、人工知能の安全性及びその制御における責任を認識し、人工知能の開発と利用において常に安全性と制御可能性、必要とされる機密性について留意し、同時に人工知能を利用する者に対し適切な情報提供と注意喚起を行うように努める。 6. （誠実な振る舞い）人工知能学会会員は、人工知能が社会へ与える影響が大きいことを認識し、社会に対して誠実に信頼されるように振る舞う。人工知能学会会員は専門家として虚偽や不明瞭な主張を行わず、研究開発を行った人工知能の技術的限界や問題点について科学的に真摯に説明を行う。

88. 人工知能学会倫理指針 7. （社会に対する責任）人工知能学会会員は、研究開発を行った人工知能がもたらす結果について検証し、潜在的な危険性については社会に対して警鐘を鳴らさなければならない。人工知能学会会員は意図に反して研究開発が他者に危害を加える用途に利用される可能性があることを認識し、悪用されることを防止する措置を講じるように努める。また、同時に人工知能が悪用されることを発見した者や告発した者が不利益を被るようなことがないように努める。 8. （社会との対話と自己研鑽）人工知能学会会員は、人工知能に関する社会的な理解が深まるよう努める。人工知能学会会員は、社会には様々な声があることを理解し、社会から真摯に学び、理解を深め、社会との不断の対話を通じて専門家として人間社会の平和と幸福に貢献することとする。人工知能学会会員は高度な専門家として絶え間ない自己研鑽に努め自己の能力の向上を行うと同時にそれを望む者を支援することとする。 9. （人工知能への倫理遵守の要請）人工知能が社会の構成員またはそれに準じるものとなるためには、上に定めた人工知能学会員と同等に倫理指針を遵守できなければならない。