我々は「画面を信じる」 - データの次元が低くなるとどうなるか 2024年8月20日

我々は「画面を信じる」という標語があります。これはもともと「我々は神を信じる」という、アメリカかどこかの昔の標語を言い換えたものです。要するに、画面を信じきってしまうということなんですよね。

これはいつくか弊害があって、まず、インターネットやサイバー空間ではなりすましがしやすいんですよね。なぜかというと、個人や通信・認証単位のエンティティと通信する前に、視覚と聴覚の情報しかなく、しかもそれが機械を通した視覚・聴覚情報しかないので、どうしても特徴の次元が低くなるんです。

よくセキュリティの中心は人であるとか、過度な自動化や機械化が危ないと言われるのは、プロファイルの次元が低くなってしまうからです。例えば、AIが導入された兵器やセキュリティ全般において、機械化や自動化を過度に進めるとプロファイルの次元が低くなり、人間が持っている直感や怪しさを嗅ぎ取る能力が失われます。低次元のデータで認証や異常検知を行わざるを得なくなるため、なりすましに弱くなってしまうんですよね。

いくつかの例があります。だいぶ前に、25歳のアメリカの海軍の分析官がSNS上ででっち上げた「ロビン・セージ」という架空の女性の話があります。「MITで学位を取っている」と設定し、不幸に訪れた場所で「ロビン・セージ」をでっち上げたところ、軍人や防衛産業の要職に就いている人たちが300人以上友達申請をしてきました。例えば、統合参謀本部議長や情報管理責任者などが含まれていました。

男性は特に女性には自慢したくなるもので、彼らは秘密基地のデータやコンフィデンシャルなドキュメントを送ってしまったようです。実際には「ロビン・セージ」という人物はいませんでしたが、画面しか見ていないため、次元の低い情報で騙されてしまったんですよね。

また、「スタックスネット」のケースも有名です。スタックスネットは、イランの核開発施設に使われていた遠心分離機にダメージを与えるために作られたマルウェアです。このマルウェアは、施設内のコンピュータシステムに侵入し、遠心分離機の操作を狂わせる一方で、オペレーターには異常が発生していないかのように画面上で表示させました。実際には、遠心分離機が破壊されていたにもかかわらず、画面上では正常に稼働しているように見えていたため、オペレーターたちは異変に気づくのが遅れました。これも、画面上の情報に依存しすぎた結果と言えるでしょう。

さらに、「フラッシュクラッシュ」という事例もあります。2010年5月6日、アメリカの株式市場で突然、株価が急落し、その後すぐに回復するという現象が発生しました。このフラッシュクラッシュは、高頻度取引（HFT）によって引き起こされました。HFTは、株式の売買を超高速で行うアルゴリズム取引の一種で、株価のわずかな変動に反応して大量の取引を行います。この日は、ある売り注文が市場に出された際、アルゴリズムが一斉に反応して売りを加速させ、市場全体がパニック状態に陥りました。結果として、機械では致命的なバグを検知できなかったのです。

自動化が進むと、低次元の視覚情報しか認証や検知に使えなくなるため、なりすましや視覚を騙すような行為に引っかかりやすくなります。これにより、人間が中心でなくなると、高次元の細かいデータの検知ができなくなるということです。