1.
人工知能倫理指針における
プライバシーの扱い
中川裕志
東京大学 情報基盤センター／
理化学研究所 革新知能総合研究センター
社会における人工知能研究グループ長
情報ネットワーク法学会 大会
2017/11/12 第8分科会 発表資料

2.
人工知能倫理指針における
プライバシーの扱い
中川裕志
東京大学 情報基盤センター／
理化学研究所 革新知能総合研究センター
社会における人工知能研究グループ長
法律の一歩手前でグダグダ
としている状況
以下のスライドの画像はPowerPoint2016で
検索した Creative Commonsである。

3.
人工知能の倫理においてプライバ
シーを取り上げている組織
• 総務省 AIネットワーク社会推進委員会
• AI開発ガイドライン OECDに提案 9項目
• 人工知能学会 倫理委員会 9項目
• Future of Life Intsitute
• ASILOMAR AI PRINCIPLES 23項目
• IEEE
• Global Initiative for Ethical Considerations in Artificial Intelligence and
Autonomous Systems
• 第1版 8章、  第2版 13章
• EU
• GDPR22条

4.
総務省
国際的な議論のためのＡＩ開発ガイドライン
• ⑥プライバシーの原則
• 開発者は、AIシステムにより利用者及び第三者のプライバシーが侵害さ
れないよう配慮する。
• AIシステムのプライバシー侵害のリスクについて、あ
らかじめ影響評価を行うよう努めるとともに、
• 開発の過程を通じて、採用する技術の特性に照らし可能な
範囲で措置を講ずるよう努めることが望ましい（プライバ
シー・バイ・デザイン）。

5.
AIには人間では対応できない。
AIにはAIで対応するしかない
AIAI

6.
総務省
国際的な議論のためのＡＩ開発ガイドライン
• ⑥プライバシーの原則
• 開発者は、AIシステムにより利用者及び第三者のプライバシーが侵害さ
れないよう配慮する。
• AIシステムのプライバシー侵害のリスクについて、あ
らかじめ影響評価を行うよう努めるとともに、
• 開発の過程を通じて、採用する技術の特性に照らし可能な
範囲で措置を講ずるよう努めることが望ましい（プライバ
シー・バイ・デザイン）。
人間にはできない。AIにAIを
評価させるような難しい話

7.
総務省
国際的な議論のためのＡＩ開発ガイドライン
• 関連記述
• データ・情報の流通と個人情報保護・プライバシーとのバラ
ンス
• 例えば、価値の高いデータ（カメラが撮影した画像等）の
取得や利活用に当たっての
• 本人同意の在り方等が問題となる可能性
• ＡＩシステムが取り扱うデータ・情報の性質
• 例えば、プライバシー性や機密性が高いデータ・情報に
ついては、特に慎重な取扱いが必要
• 例えば、ＡＩ生成物や学習用データ等に関し、知財制度
上の取扱いが問題となる可能性

8.
総務省
国際的な議論のためのＡＩ開発ガイドライン
• 関連記述
• データ・情報の流通と個人情報保護・プライバシーとのバラ
ンス
• 例えば、価値の高いデータ（カメラが撮影した画像等）の
取得や利活用に当たっての
• 本人同意の在り方等が問題となる可能性
• ＡＩシステムが取り扱うデータ・情報の性質
• 例えば、プライバシー性や機密性が高いデータ・情報に
ついては、特に慎重な取扱いが必要
• 例えば、ＡＩ生成物や学習用データ等に関し、知財制度
上の取扱いが問題となる可能性
将来課題を捉えている
将来課題を捉えている

9.
人工知能学会 倫理指針
• （他者のプライバシーの尊重）
• 人工知能学会会員は、人工知能の利用および開
発において、他者のプライバシーを尊重し、関連
する法規に則って個人情報の適正な取扱いを行う
義務を負う

10.
FLI: ASILOMAR AI PRINCIPLES
• 12) 個人のプライバシー： 人々は、人工知能システム
が個人のデータ分析し利用して生み出したデータに対
し、自らアクセスし、管理し、制御する権利を持つべき
である。
• 13) 自由とプライバシー：個人のデータに対する人工知
能の適用を通じて、個人が本来持つまたは持つはず
の自由を不合理に侵害してはならない。
日本の組織の基準に比べて具体的
GDPR22条の「プロファイリングに対抗する権利」の強
化版

11.
FLI: ASILOMAR AI PRINCIPLES
• 12) 個人のプライバシー： 人々は、人工知能システム
が個人のデータ分析し利用して生み出したデータに対
し、自らアクセスし、管理し、制御する権利を持つべき
である。
• 13) 自由とプライバシー：個人のデータに対する人工知
能の適用を通じて、個人が本来持つまたは持つはず
の自由を不合理に侵害してはならない。
日本の組織の基準に比べて具体的
GDPR22条の「プロファイリングに対抗する権利」の強
化版
AIの恣意的な悪用を禁じてい
る。日本人のAI性善説じゃこ
の発想は出てこない！！！

12.
AIの悪用
AIAIの判断に従わない
権利を持つ社会が必
要
 実際はどう実装？
AIがお前
にやれと
判断した
んだよ。こんな無理な
仕事、なんで私
がしなきゃいけ
ないの？

13.
IEEE Global Initiative for Ethical
Considerations in Artificial Intelligence and
Autonomous Systems
• Personal Data and Individual Access Control
•
• Digital Personas
• Regional Jurisdiction
• Agency and Control
• Transparency and Access
• Symmetry
• Children’s Issues
• Appendices

14.
特徴 ： 具体的
• IEEEの人工知能倫理基準は、次ページ以降に述
べるように、さらに具体的。
• 開発目的も明確で、AIが実現する機能も見えやす
い。
• 別の項目でも抽象的概念ではなく、技術的な具体
性が高い。

15.
• 以下のようなWGが基準つくり作業をしている
•
• IEEE P7002: Data Privacy Process
• IEEE P7004: Standard on Child and Student Data
Governance
• IEEE P7005: Standard on Employer Data
Governance
• IEEE P7006: Standard on Personal Data AI Agent
Working Group
•

16.
Digital Persona:
妊娠から墓場までカバーするAI代理人
• 出産以前のヘルスケアレコード
• 誕生における市民権（ディジタル市民権） 政府データ
• 就学
• 移動
• 国境を超える場合 (immigration data)
• 消費行動
• IoT and wearables (telecommunications data)
• SNS、ディジタルメディア
• 職業訓練
• 社会参加
• 契約、事故対応、保険、金融
• 死亡（ディジタル遺産の処理）

17.
Regional Jurisdiction
• 法律は国ごとに違うが
• 基本的人権（プライバシー権）を確実にするために
• 自分のデータに対するアクセスと制御が
国境を越えてできなくてはならない。

18.
Agency and Control
• Agency(代理人）の仕事の範囲を決めるために、
personally identifiable information (PII)の定義の
明確化が必要。
• 個人データの収集と転移に対して、GDPRの精神に
則ったポリシーに依拠すべき

19.
個人は信頼できるID認証にアク
セスできること
• 認証されたIDで金融、政府、通信などのサービス
を受けることを保証するAI

20.
Transparency and Access
• データ主体は自分の個人データがどう収集され、
利用され、蓄積され、ないし廃棄されるかを知る権
利
• 訂正する権利と簡便なインタフェースが必要
• これをAI技術で実現すべき
•

21.
PIAを分析、確認するツールを
AIで実現
• GDPR Privacy Impact assessmentsを参考にする
• AIによるPIAアセスメントツールは企業に供給され、製品
やサービスの安全性を確保
• 個人データの収集と利活用が法制度を守っていること
を保証する AI を開発

22.
同意の取り方
• AIを理解しないデータ主体からデータ収集するにあ
たって、有効な同意をとるAIの開発
• 同意は1回取ればおしまいではなく、状況変化におい
て随時とれるようなAIシステム
• 被雇用者＜＜雇用者
という力関係をバランスさせるような同意とためのAIシ
ステムが必要
• 労使関係では、明確な同意のない場合を多数見られるので、
それを改善すべき

23.
同意の取り方：情報弱者対応
• 高齢者や非健常者などの情報弱者がプライバ
シー保護で置いてけぼりを食わないような
同意ないし利用監視システムをAIを利用して構築
• 子供は親が代理するにしても、それ以外の情報弱
者対策は喫緊の課題  AIの出番

24.
まとめ
• 以上は倫理指針なので、個人情報保護法のような
法制度とは趣が違う
• 個人情報とAIの関係には、法制度の側からも着目
しておく必要あり。
• 将来の立法措置、ガイドライン、政令などの中にど
う位置付けていくかが課題

25.
付録：原文資料

26.
Digital Persona: Birth to Death
• Pre-birth to post life digital records (health data)
• Birth and the right to claim citizenship (government data)
• Enrolment in school (education data)
• Travel and services (transport data)
• Cross border access and visas (immigration data)
• Consumption of goods and services (consumer and loyalty data)
• Connected devices, IoT and wearables (telecommunications data)
• Social and news networks (media and content data)
• Professional training, internship and work (tax and employment data)
• Societal participation (online forums, voting and party affiliation data)
• Contracts, assets and accidents (insurance and legal data)
• Financial participation (banking and finance data)
• Death (digital inheritance data).

27.
• Issue:
• How can AI interact with government authorities to facilitate law enforcement and intelligence collection while respecting rule of law
and transparency for users?
•
Background:
• Government mass surveillance has been a major issue since allegations of collaboration between technology firms and signals intelligence
agencies such as the US National Security Agency and the UK Government Communications Headquarters were revealed. Further
attempts to acquire personal data by law enforcement agencies such as the US Federal Bureau of Investigation have complicated settled
legal methods of search and seizure. A major source of the problem concerns the current framework of data collection and storage, which
puts corporate organizations in custody of personal data and detached from the generators of that information. Further complicating this
concern is the legitimate interest that security services have in trying to deter and defeat criminal and national security threats.
•
Candidate Recommendations:
• Personal privacy AIs have the potential to change the data paradigm and put the generators of personal information at the centre of
collection. This would re-define the security services’ investigative methods to pre-Internet approaches wherein individuals would be able
to control their information while providing custody to corporate entities under defined and transparent policies. (Note – applications as
described below could also be performed by an AI agent or Guardian as described above, and will be assessed for efficacy by the IEEE P7006
working group.
•
Such a construct would mirror pre-Internet days in which individuals would deposit information in narrow circumstances such as banking,
healthcare, or in transactions.
•
The personal privacy AI agent would include root-level settings that would automatically provide data to authorities after they have
satisfied sufficiently specific warrants, subpoenas, or other court issued orders, unless authority has been vested in other agencies by local
or national law. Further, since corporately held information would be used under the negotiated terms that the AI agent facilitates,
authorities would not have access unless legal exceptions were satisfied. This would force authorities to avoid mass collection in favor of
particularized efforts:
•

28.
Symmetry and Consequences
• Issue:
• Could a person have a personalized privacy AI or
algorithmic Agent or Guardian?
• Candidate Recommendations:
• Algorithmic guardian platforms should be
developed for individuals to curate and share their
personal data.
•

29.
• Issue:
• Consent is vital to information exchange and innovation in the
digital age. How can we redefine consent regarding personal
data so it respects individual autonomy and dignity?
• Candidate Recommendations:
• The asymmetric power of institutions (including public interest)
over individuals should not force use of personal data when
alternatives such as personal guardians, personal agents, law-
enforcement-restricted registries, and other designs that are not
dependent on loss of agency. When loss of agency is required by
technical expedience, transparency needs to be stressed in order
to mitigate the asymmetric power relationship.
•

30.
• Issue:
• Data that is shared easily or haphazardly can be used to make
inferences that an individual may not wish to share.
•
Candidate Recommendation:
• The same AI/AS that parses and analyzes data should also help
individuals understand how personal information can be used. AI can
prove granular-level consent in real-time. Specific information must be
provided at or near the point (or time) of initial data collection to
provide individuals with the knowledge to gauge potential privacy risks
in the long-term. When the user has direct contact with a system: data
controllers, platform operators, and system designers must monitor for
consequences. Positive, negative, and unpredictable impacts of
accessing and collecting data should be made explicitly known to an
individual to provide meaningful consent ahead of collection.
•

31.
Agency and Control
• Agency(代理人）の仕事の範囲を決めるために、
personally identifiable information (PII)の定義の
明確化が必要。
• 個人データの収集と転移に対して、GDPRの精神に
則ったポリシーに依拠すべき
• Most of the Western Hemisphere is expected to
rely indirectly on GDPR compliance requirements to
correct corporate policy contrary to consent ethics
in collection and transfer process of personal data.

32.
個人は信頼できるID認証にアク
セスできること
• 認証されたIDで金融、政府、通信などのサービス
を受けることを保証するAI
• Individuals should have access to trusted identity
verification services to validate, prove and support
the context specific use of their identity. Regulated
industries and sectors such as banking, government,
telecommunications should provide data
verification services to citizens and consumers to
provide greatest usage and control for individuals.

33.
Transparency and Access
• Issue:
• It is often difficult for users to determine what information
a service provider collects about them and the time of
such aggregation/collection (at the time of installation,
during usage, even when not in use, after deletion) and for
them to correct, amend or manage the information.
•
Candidate Recommendation:
• Service providers should ensure that personal data
management tools are easy to find and use within their
service interface.
•

34.
同意の取り方
• Issue:
• Many AI/AS systems will collect data from individuals that
do not have a direct relationship with, or are not
interacting directly towards said system. How can
meaningful consent be provided in these situations?
•
Candidate Recommendations:
• Where the subject does not have a direct relationship with
the system, consent should be dynamic and must not rely
entirely on initial Terms of Service or other instruction
provided by the data collector to someone other than the
subject. We recommend AI/AS systems be designed to
interpret the data preferences, verbal or otherwise, of all
users signalling limitations on collection and use, discussed
further below.

35.
• Issue:
• How do we make better User Experience and consent education
available to consumers as standard to express meaningful
consent?
•
Candidate Recommendation:
• Tools, settings or consumer education are increasingly available to
be utilized now to develop, apply, and enforce consumer consent.
• Provide ‘Privacy Offsets’ as business alternative to the personal
data exchange –
• Apply ‘Consent’ to further certify Artificial Intelligence legal and
as ethics doctrine

36.
• Issue:
• In most corporate settings, employees do not have clear consent
on how their personal information (including health and other
data) is used by employers. Given the power differential
between employees and employers, this is an area in need of
clear best-practice.
•
Candidate Recommendation:
In the same way that companies are doing Privacy Impact
Assessments for how individual data is used, companies need to
create Employee Data Impact Assessments to deal with the
specific nuances of corporate specific situations. It should be clear
that no data is collected without the consent of the employee.
•

37.
• Issue:
• People who may be losing their ability to understand what kinds of processing
are done in server side computers of IT services on their private data are
unable to meaningfully consent to online terms. The elderly and mentally
impaired adults are vulnerable in terms of consent, presenting consequence to
data privacy.
•
Candidate Recommendations:
• Researchers or developers of AI/AS have to take into account this issue of
vulnerable people and try to work out an AI/AS which alleviates their helpless
situation to prevent possible damage caused by misuse of their personal data.
• Build an AI advisory commission, comprised of elder advocacy and mental
health self-advocacy groups, to help developers produce a level of tools and
comprehension metrics to manifest meaningful and pragmatic consent
applications.

38.
総務省AIガイドライン 全体
• ①連携の原則
• 開発者は、AIシステムの相互接続性と相互運用性に留意する。 ・相互接続性と相互運用性を確保するため、①有効な関連情報の共有に向けた協力、②国際的な標準や規格への準拠、③データ形
式の標準化及びインターフェイスやプロトコルのオープン化への対応、④標準必須特許等のライセンス契約及びその条件についてのオープン・公平な取扱い、などに留意することが望ましい。
• ②透明性の原則-
• 開発者は、AIシステムの入出力の検証可能性及び判断結果の説明可能性に留意する。 ・採用する技術の特性や用途に照らし合理的な範囲で、AIシステムの入出力の検証可能性及び判断結果の
説明可能性に留意することが望ましい。
• （※アルゴリズム、ソースコード、学習データの開示を想定するものではない。）
• ③制御可能性の原則
• 開発者は、AIシステムの制御可能性に留意する。 ・AIシステムの制御可能性について、あらかじめ検証及び妥当性の確認をするよう努めるとともに、採用する技術の特性に照らし合理
的な可能な範囲において、人間や信頼できる他のAIによる監督・対処の実効性に留意することが望ましい。
• ④安全の原則
• 開発者は、AIシステムがアクチュエータ等を通じて利用者及び第三者の生命・身体・財産に危害を及ぼすことがないよう配慮する。 ・AIシステムの安全性について、あらかじめ検証及び妥当性
の確認をするよう努めるとともに、AIシステムの本質安全や機能安全に資するよう、開発の過程を通じて、採用する技術との特性に照らし可能な範囲で措置を講ずるよう努めることが望ましい。
• ・利用者及び第三者の生命・身体・財産の安全に関する判断を行うAIシステムについては、利用者等ステークホルダに対して設計の趣旨などを説明するよう努めることが望ましい。
• ⑤セキュリティの原則
• 開発者は、AIシステムのセキュリティに留意する。 ・AIシステムのセキュリティについて、あらかじめ検証及び妥当性の確認をするよう努めるとともに、開発の過程を通じて、採用する技
術の特性に照らし可能な範囲で対策を講ずるよう努めることが望ましい（セキュリティ・バイ・デザイン）。
• ⑥プライバシーの原則
• 開発者は、AIシステムにより利用者及び第三者のプライバシーが侵害されないよう配慮する。 ・AIシステムのプライバシー侵害のリスクについて、あらかじめ影響評価を行うよう努
めるとともに、開発の過程を通じて、採用する技術の特性に照らし可能な範囲で措置を講ずるよう努めることが望ましい（プライバシー・バイ・デザイン）。
• ⑦倫理の原則
• 開発者は、AIシステムの開発において、人間の尊厳と個人の自律を尊重する。 ・AIシステムの学習データに含まれる偏見などに起因して不当な差別が生じないよう、採用する技術の特性に
照らし可能な範囲で所要の措置を講ずるよう努めることが望ましい。
• ・国際人権法や国際人道法を踏まえ、AIシステムが人間性の価値を不当に毀損することがないよう留意することが望ましい。
• ⑧利用者支援の原則
• 開発者は、AIシステムが利用者を支援し、利用者に選択の機会を適切に提供することが可能となるよう配慮する。 ・AIシステムの利用者のために、①利用者の判断に資する情報を適時適切に提供し、
かつ利用者にとって操作しやすいインターフェースが利用可能となるよう配慮、②利用者に選択の機会を適時適切に提供する機能が利用可能となるよう配慮、③社会的弱者の利用を容易にするための
取組、に留意することが望ましい。
• ⑨アカウンタビリティの原則
• 開発者は、利用者を含むステークホルダに対しアカウンタビリティを果たすよう努める。 ・開発原則①～⑧の趣旨に鑑み、利用者等に対しＡＩシステムの技術的特性について情報提供や説明を行う
ほか、ステークホルダとの対話を通じた意見聴取や、ステークホルダの積極的な関与を得るよう努めることが望ましい。
• ・AIシステムによりサービスを提供するプロバイダなどとの情報共有・協力に努めることが望ましい。

39.
FLI: ASILOMAR AI PRINCIPLES
• 1) 研究目標：研究の目標となる人工知能は、無秩序な知能ではなく、有益な知能とすべきであ
る。
• 2) 研究資金：コンピュータサイエンスだけでなく、経済、法律、倫理、および社会学における困
難な問題を孕む有益な人工知能研究にも投資すべきである。そこにおける課題として、以下の
ようなものがある。
• 将来の人工知能システムに高度なロバスト性をもたせることで、不具合を起こしたりハッキング
されたりせずに、私たちの望むことを行えるようにする方法。
• 人的資源および人々の目的を維持しながら、様々な自動化によって私たちをより繁栄させるた
めの方法。
• 人工知能に関わるリスクを公平に管理する法制度を、その技術進展に遅れることなく効果的に
更新する方法。
• 人工知能自身が持つべき価値観や、人工知能が占めるべき法的および倫理的な地位につい
ての研究。
• 3) 科学と政策の連携：人工知能研究者と政策立案者の間では、建設的かつ健全な交流がなさ
れるべきである。

40.
FLI: ASILOMAR AI PRINCIPLES
• 4) 研究文化：人工知能の研究者と開発者の間では、協力、信頼、透明性の文化を育むべきである。
• 5) 競争の回避：安全基準が軽視されないように、人工知能システムを開発するチーム同士は積極的に協力するべきである。
• 倫理と価値
• 6) 安全性：人工知能システムは、運用寿命を通じて安全かつロバストであるべきで、適用可能かつ現実的な範囲で検証されるべ
きである。
• 7) 障害の透明性：人工知能システムが何らかの被害を生じさせた場合に、その理由を確認できるべきである。
• 8) 司法の透明性：司法の場においては、意思決定における自律システムのいかなる関与についても、権限を持つ人間によって
監査を可能としうる十分な説明を提供すべきである。
• 9) 責任：高度な人工知能システムの設計者および構築者は、その利用、悪用、結果がもたらす道徳的影響に責任を負いかつ、
そうした影響の形成に関わるステークホルダーである。
• 10) 価値観の調和：高度な自律的人工知能システムは、その目的と振る舞いが確実に人間の価値観と調和するよう設計されるべ
きである。
• 11) 人間の価値観：人工知能システムは、人間の尊厳、権利、自由、そして文化的多様性に適合するように設計され、運用される
べきである。

41.
FLI: ASILOMAR AI PRINCIPLES
• 12) 個人のプライバシー： 人々は、人工知能システムが個人のデータ分析し利用して生み出したデータに対し、
自らアクセスし、管理し、制御する権利を持つべきである。
• 13) 自由とプライバシー：個人のデータに対する人工知能の適用を通じて、個人が本来持つまたは持つはず
の自由を不合理に侵害してはならない。
• 14) 利益の共有：人工知能技術は、できる限り多くの人々に利益をもたらし、また力を与えるべきである。
• 15) 繁栄の共有：人工知能によって作り出される経済的繁栄は、広く共有され、人類すべての利益となるべき
である。
• 16) 人間による制御：人間が実現しようとする目的の達成を人工知能システムに任せようとする場合、その方
法と、それ以前に判断を委ねるか否かについての判断を人間が行うべきである。
• 17) 非破壊：高度な人工知能システムがもたらす制御の力は、既存の健全な社会の基盤となっている社会的
および市民的プロセスを尊重した形での改善に資するべきであり、既存のプロセスを覆すものであってはなら
ない。
• 18) 人工知能軍拡競争：自律型致死兵器の軍拡競争は避けるべきである。

42.
FLI: ASILOMAR AI PRINCIPLES
• 長期的な課題
• 19) 能力に対する警戒： コンセンサスが存在しない以上、将来の人工知能が持ちうる能力の上
限について強い仮定をおくことは避けるべきである。
• 20) 重要性：高度な人工知能は、地球上の生命の歴史に重大な変化をもたらす可能性がある
ため、相応の配慮や資源によって計画され、管理されるべきである。
• 21) リスク： 人工知能システムによって人類を壊滅もしくは絶滅させうるリスクに対しては、夫々
の影響の程度に応じたリスク緩和の努力を計画的に行う必要がある。
• 22) 再帰的に自己改善する人工知能：再帰的に自己改善もしくは自己複製を行える人工知能
システムは、進歩や増殖が急進しうるため、安全管理を厳格化すべきである。
• 23) 公益：広く共有される倫理的理想のため、および、特定の組織ではなく全人類の利益のた
めに超知能は開発されるべきである。