#1 2016年のFacebookと1981年の川崎重工の以外な共通点

これはサイバー犯罪というよりは、まずは人工知能全般の話でもあります。まず、アメリカの住宅ローンのスコアの算出の話があります。日本でもブックオフで不正がありましたが、要するに数字を操作するということです。住宅ローンの審査をする際に、FICOというスコアを使うらしいのですが、これがどういうふうに算出されているかわからないので、仮にアルゴリズムやデータが不正に書き換えられた場合、それがわからないということです。

これが民主主義や権力の非対称性の問題にもなります。アルゴリズムを説明可能にしないと犯罪に使われる可能性が高いということだと思います。

次に「フェイスブックの実験」の話があります。2014年半ばにフェイスブックが利用者を70万人サンプリングして、新着の更新情報を悲しいニュースと楽しいニュースに完全に分けました。悲しいニュースしか見ない利用者と楽しいニュースしか見ない利用者に分けると、その後の投稿を見ると、悲しいニュースを見た人は悲しい投稿をし、楽しいニュースを見た人は楽しい投稿をするようになりました。

450ページに書いてありますが、感情の状態は他人に転移し、人々に自覚がないまま同じ感情を抱かせるため、感情をコントロールすることができます。民主主義は人がどう考えるかではなく、人がどう感じるかによって政治的な決定がなされるので、この実験が広範囲に発表されると、人間の感情がコントロールできるため、民主主義の決定にも影響を与えます。

これはロシアによる選挙妨害にも言えます。結局、民主主義はどう考えるかではなく、どう感じるかということなので、SNSやアルゴリズムを悪用すると民主主義が壊れるということです。

「1981年の日本の川崎重工の話」

1981年の日本の川崎重工の話では、AIが誤認識したらしいのです。当時は人工知能と呼んでいたかわかりませんが、従業員を障害物と認識して、従業員が亡くなってしまったということです。自動化や機械化が進むと、アルゴリズムに全面的に依存するようになり、誤認識が起きた場合、システム全体が脆くなり、ダメージが大きくなります。

最近は敵対的データの話もあり、これが犯罪に利用されると、民主主義やロシアの選挙妨害などの問題に繋がります。今後はIoTや工業ネットワーク、工場のネットワークでも、制御ソフトウェアが悪意を持って書き換えられると、ランサムウェアなどに悪用される可能性があります。