「セキュリティはなぜ破られたか」2 トレードオフは主観的である

 

「第2章 トレードオフは主観的である」という話なんですけど、この「主観的」というのは、迷わずに確率が主観的であるとも言えるんですよね。これはリスク管理工学の話で、「主観確率」という概念があります。

ここで重要なのは、各人がインシデントに対して持っている情報量や再生の仕方が異なるため、確率がどうしても主観的にならざるを得ないということです。これは経済学の用語でもありますが、一貫してこの書籍はセキュリティが経済学的視点に基づいているということがわかります。

リスクというのは脅威ではなく、脅威の発生可能性と攻撃が成功した時の被害の重大さであり、前半部分、つまり脅威の発生可能性を確率的に考えることがリスク管理の基本であるとするならば、この確率は人によって異なるものです。言い換えれば、インシデントの発生確率は主観確率であるということです。

「主観確率」であるため、自分自身を知り、主観確率を正しく設定することが、セキュリティに限らず、生物が生存戦略として行う基本的な手法となります。しかし、現代では技術の急速な進歩とメディアからの情報が影響し、リスクを判断する感覚がずれてきていると感じます。これによって、人間のサバイバル能力が低下しているのではないでしょうか。

正解がない、つまり人によって異なるリスクに対して、自分を知る必要があるということです。これを「トレードオフ」と言ってもよいかもしれません。例えば、商業用フライトの禁止には大きなコストがかかりますが、これもまたトレードオフの一例です。極端なトレードオフには意味がなく、クレジットカードを持たないとか、離島に一人で暮らすといった選択は、安全であっても得られないものが多すぎます。

また、国ごとにリスクの許容範囲が異なることもあります。例えば、ジュネーブの空港とグアテマラの空港ではセキュリティの配置が大きく異なります。イスラエルのように隣国との戦争がある場合、人件費が高くても警備員を多く配置することが必要です。一方で、日本のようにリスクが小さい国では、今後はカメラなどの科学技術を用いた対策が増えることが予想されます。

リスクとは脅威の発生可能性と攻撃が成功した時の被害の重大さのことであり、現代においては「ロングテール」と言われる現象が生じています。これにより、発生確率が低くてもペイオフが大きい事象を無視できなくなってきているのが21世紀のセキュリティの特徴です。

「リスク管理」とは事業展開の問題であり、例えば外貨を買う、売るなどのリスクも含め、適切なセキュリティ対策を考え、トレードオフで実現しなければなりません。これが経済学の問題であり、各人が自分なりにリスクと各種対策を評価するしかありませんが、技術の進展とメディアの発達によってこれが難しくなってきているということです。

例えば、遺伝子組み換え作物がなければ、それ以上に害が出ると判断されるなら、それを受け入れるしかありません。また、合理的な対策を選んでも死人が出るケースもあります。「トロッコ問題」でもどちらを選んでも正解がないように、リスク感覚がずれるとパニックに陥ることがあります。

リスクと無縁でいられる生物はいないというのが筆者の主張です。リスク感覚がずれてきている背景には、技術の急速な発展があり、飛行機が出現したことでリスク感覚が歪んでしまったという点もあります。また、教育にも影響があり、若い頃に学んだことが今では役に立たないことが増え、新しい技術に対するリスク感覚が正しく設定されないケースが多くなっています。

メディアが提供する現実的な映像や情報は、統計的に考えたリスクと乖離することが多く、例えば同時多発テロのようなインパクトのある事件が起こると、飛行機が危険だと感じる人が増える一方で、自動車に乗る人が増え、国全体の死亡者数が増えてしまうという現象が起きます。

結論として、リスク対策の評価には、技術のインパクトだけでなく、冷静に経済的利益を算出し、トレードオフを決定することが重要であるということです。

【書評】サイバネティクス大全

 「サイバネティクス大全」について、オートメーションの話なんですけど、ユヴァル・ノア・ハラリの『ホモ・デウス』に関連する部分があります。人間が神を黙らせたという話ですが、サイバネティクスに関しても宗教的なタブーを覆したという話です。

116ページに、ウィーナーが見るところ、科学が宗教の領域に侵入し、神を追い出したということで、三つのポイントが述べられています。まず第一に、「神が創造したものは神を上回れない」という点です。第二に、「神のみが生命を創造できる」、つまり神のみが創造主であるということ。第三に、「機械は魔法的である」ということです。 つまり、機械が魔法的なものに含まれるということですが、ここでのポイントは、神が創造したものが神を上回れないという信仰に対して、旧約聖書のヨブ記やジョン・ミルトンの『失楽園』でも問題にされているように、悪魔との駆け引きが描かれています。ゲーテの『ファウスト』でも同様です。 ここでの疑問は、神が全てを創造したとすれば、なぜ悪魔が存在するのか、そして神はその存在を許容しているのかということです。駆け引きをしている時点で、その存在を認めていることになります。要するに、神が悪魔を許容するまでは理解できますが、そのゲームにおいて神が負けてしまう可能性があるという話です。 116ページに戻ると、限定的な意味では、創造する側が創造された側と意味のある駆け引きやゲームができるかという点に疑問が生じます。しかし、チェスや囲碁などでも証明されているように、創造されたものが創造したものを上回ることがあるのです。これを言い換えれば、人間が神を上回れるという結論に達するのです。 また、「神のみが創造し、神のみが生命を作れる」という信仰も、機械が自己複製できる現象が再現できるようになったことで覆りつつあります。マシンがマシン自体を作り出すことが可能になると、神の創造主としての独占が崩れるということです。 最後に、「マシンが魔法的である」ではなく、「魔法的なものが機械的である」ということについてですが、魔法が機械を含むのではなく、機械が魔法を含むという考え方が重要です。魔法や心霊現象は論理的なものであり、それはマシンの論理を表しているのです。機械が魔法より先に存在し、魔法はその一部に過ぎないということです。ここでも神の領域が侵されているという結論に至ります。 結論として、ウィーナーの見るところ、科学は宗教の領域に侵入し、神を追い出したということになると思います。 #サイバーセキュリティ

【書評】シンギュラリティ:人工知能から超知能へ

 シンギュラリティ:人工知能から超知能へ 2016/1/29

マレー・シャナハン (著), ドミニク・チェン (監修, 翻訳), ヨーズン・チェン (翻訳), パトリック・チェン (翻訳)

「シングラリティー 人工知能から超知能へ」という本があるんですが、これはマレー・シャハナンさんという、ロボット工学者が書いたものです。彼は認知ロボット工学の専門家で、この本では主にシンギュラリティ、つまり普遍人工知能について書かれています。 ロボット工学者ということで、まず強化学習を基盤にしている部分が強調されています。例えば、グーグルのアルファゴーなどの事例が多く取り上げられています。まず言えることは、再帰的な自己改善、つまり自分自身をより賢くすることができれば、非常に速いスピードで進化し、あっという間に賢くなるということです。普遍人工知能は遅かれ早かれ登場するだろうという話です。 5ページには「生産を行う知性そのものが知性であれば、知性は自らの改善に取りかかれる」と書かれています。例えばアルファゼロのような強化学習エージェント同士が競い合いながら自分自身を賢くしていく状況を指しています。これは、人間からデータを与えられなくても、ルールセットがなくても、強化学習同士で相互に賢くなり続けるということです。その結果、例えば囲碁の世界チャンピオンに勝利し、4時間ほどで地球最強のプレイヤーになってしまうこともあります。 このようにして、自己改善を行う知能は短時間で人間をはるかに超えるレベルに到達してしまう可能性があります。これが、強化学習の研究者の視点です。 さらに、機械学習と強化学習の関係についても触れられています。両者は熱力学の第1法則と第2法則に基づいていますが、強化学習の枠組みの中に機械学習が含まれるということです。普遍人工知能が登場する際には、深層強化学習の実装例も見ることになるでしょう。この書籍が出版されたのは2015年ですが、アルファゴーが登場したのは2016年ですので、まさにその通りです。 さらに、強化学習がどのように動作しているかというと、報酬関数を最大化することに焦点が置かれています。これは87ページに「エージェントはどのような世界であっても、得られた限りの情報に基づいて、常に期待報酬を最大化する行動を選ぶ」と記されています。人工知能が報酬関数を最大化する行動を選ぶことができますが、ここで重要なのは、好ましくない挙動を絶対に発生させないような報酬関数を設計するのは非常に難しいということです。 特に進化生物学の進化においては、報酬関数や効果関数が存在しないため、AIが報酬関数を最大化しようとする場合でも、時折暴走することがあります。例えば、フラッシュクラッシュなどの事例がありますが、これはわずかなデータの異常でアルゴリズムが暴走してしまうことを示しています。 162ページには「好ましくない挙動を発生させないようにするのは非常に難しい」と書かれています。何が「好ましいか」は人間の視点に依存しており、AIにとっては必ずしも同じであるとは限りません。このような道徳的な課題は、今後も普遍人工知能の大きなテーマとなっていくでしょう

我々は「画面を信じる」 - データの次元が低くなるとどうなるか 2024年8月20日

我々は「画面を信じる」という標語があります。これはもともと「我々は神を信じる」という、アメリカかどこかの昔の標語を言い換えたものです。要するに、画面を信じきってしまうということなんですよね。

これはいつくか弊害があって、まず、インターネットやサイバー空間ではなりすましがしやすいんですよね。なぜかというと、個人や通信・認証単位のエンティティと通信する前に、視覚と聴覚の情報しかなく、しかもそれが機械を通した視覚・聴覚情報しかないので、どうしても特徴の次元が低くなるんです。

よくセキュリティの中心は人であるとか、過度な自動化や機械化が危ないと言われるのは、プロファイルの次元が低くなってしまうからです。例えば、AIが導入された兵器やセキュリティ全般において、機械化や自動化を過度に進めるとプロファイルの次元が低くなり、人間が持っている直感や怪しさを嗅ぎ取る能力が失われます。低次元のデータで認証や異常検知を行わざるを得なくなるため、なりすましに弱くなってしまうんですよね。

いくつかの例があります。だいぶ前に、25歳のアメリカの海軍の分析官がSNS上ででっち上げた「ロビン・セージ」という架空の女性の話があります。「MITで学位を取っている」と設定し、不幸に訪れた場所で「ロビン・セージ」をでっち上げたところ、軍人や防衛産業の要職に就いている人たちが300人以上友達申請をしてきました。例えば、統合参謀本部議長や情報管理責任者などが含まれていました。

男性は特に女性には自慢したくなるもので、彼らは秘密基地のデータやコンフィデンシャルなドキュメントを送ってしまったようです。実際には「ロビン・セージ」という人物はいませんでしたが、画面しか見ていないため、次元の低い情報で騙されてしまったんですよね。

また、「スタックスネット」のケースも有名です。スタックスネットは、イランの核開発施設に使われていた遠心分離機にダメージを与えるために作られたマルウェアです。このマルウェアは、施設内のコンピュータシステムに侵入し、遠心分離機の操作を狂わせる一方で、オペレーターには異常が発生していないかのように画面上で表示させました。実際には、遠心分離機が破壊されていたにもかかわらず、画面上では正常に稼働しているように見えていたため、オペレーターたちは異変に気づくのが遅れました。これも、画面上の情報に依存しすぎた結果と言えるでしょう。

さらに、「フラッシュクラッシュ」という事例もあります。2010年5月6日、アメリカの株式市場で突然、株価が急落し、その後すぐに回復するという現象が発生しました。このフラッシュクラッシュは、高頻度取引（HFT）によって引き起こされました。HFTは、株式の売買を超高速で行うアルゴリズム取引の一種で、株価のわずかな変動に反応して大量の取引を行います。この日は、ある売り注文が市場に出された際、アルゴリズムが一斉に反応して売りを加速させ、市場全体がパニック状態に陥りました。結果として、機械では致命的なバグを検知できなかったのです。

自動化が進むと、低次元の視覚情報しか認証や検知に使えなくなるため、なりすましや視覚を騙すような行為に引っかかりやすくなります。これにより、人間が中心でなくなると、高次元の細かいデータの検知ができなくなるということです。

トレードオフのないセキュリティはない

セキュリティに関する議論の中で、「トレードオフ」の概念が非常に重要です。先日、商学部出身の専門外の人にセキュリティについて話した際、トレードオフについて考える機会がありました。一般的に、トレードオフとは、ある選択肢を取ることで他の選択肢を諦めなければならない状況を指します。商学や経済学の分野では、限られたリソース（例えば資源、時間、労力）をどのように配分するかがトレードオフの本質です。

経済学での需給均衡や、情報科学での重み付けがトレードオフの典型例です。これらの分野では、リソースの最適な配分が求められ、その結果、コストを最適化するトレードオフが生じます。例えば、資源、時間、労力を3次元の座標軸で考え、特定の局面でコストを最適化するという考え方が挙げられます。

トレードオフは様々な要因を最適化することが求められます。リソースをどう最適化するかは経済学の話題だけでなく、セキュリティの文脈でも重要です。例えば、テロリストが低コストで大規模なダメージを与えたケースでは、攻撃側が非常に効果的なトレードオフを行ったと言えます。彼らは組織を多層的に区画化し、計画を厳密に遂行することで、効果を最大化しつつコストを最小限に抑えました。

一方、セキュリティ対策を講じる側でも、同様にトレードオフが求められます。リスクを最小限に抑えつつ、コストを最適化する必要がありますが、その効果を測定することは非常に難しい課題です。現代のセキュリティやリスク管理では、確率は低くても影響が大きい事象に対して適切にパラメーターを割り振る必要があります。

例えば、飛行機事故と自動車事故のトレードオフを考えると、誤った選択をすると全体のコストが増え、結果として死者数が増加する可能性があります。これを防ぐためには、リソースをどう最適化するかを慎重に検討する必要があります。

また、セキュリティの実践では、鍵の管理や歯磨きの時間といった日常的な例でもトレードオフが存在します。コストを最小限に抑えつつ、全体の効果を最大化することが求められます。これを他人に任せるのではなく、自ら行うことで初めて効果が得られることが多いです。

さらに、セキュリティ対策においては、感覚と実態のズレが問題となることがあります。守られているという感覚があっても、実際にはそうではないことが多々あります。この点は、医療の分野にも似た問題があります。セキュリティとは何かを深く理解し、それを日常生活や組織運営に取り入れることが求められます。

最後に、セキュリティ対策を最適化するためには、守るべき資産、リスク、コスト、効果といった要素を洗い出し、適切にトレードオフを行うことが重要です。最適化のステップを踏むことで、セキュリティ対策は効果的に実行され、リスクが最小限に抑えられるでしょう。

結論として、セキュリティにおけるトレードオフは避けられないものであり、その最適化が求められます。効果的なセキュリティ対策を実行するためには、リソースをどう配分するか、どのようなリスクを許容するかを慎重に検討し、最適な選択をすることが不可欠です。

５段階評価法

トレードオフが最適化できること、そして良いトレードオフと悪いトレードオフがあるということです。本書では、5段階の評価法を踏むことでトレードオフを改善できると述べています。ここでは、その5段階を一つずつ解説します。

まず第一のステップは、「守るべき資産は何か」を明確にすることです。これがはっきりしないと、セキュリティの効果が判断できません。守るべき資産を決めないと、そのダメージを測ることができないからです。定量的に考えると、どれくらいの損害が発生するかを把握するために、どの資産を守るのかを明確にする必要があります。例えば、テロリストの攻撃から守るべき対象が飛行機なのか、空港なのか、それとも輸送システム全体なのかで対策は異なります。

次に第二のステップでは、その資産がどのようなリスクにさらされているのかを洗い出します。これを「座標軸を洗い出す」と考えると、守るべき資産を原点とし、リスク要因を座標軸として捉えることができます。この段階で、金額や人命といった具体的なリスク要因を特定し、それに応じたパラメータの割り振りが可能になります。

第三のステップでは、セキュリティ対策によってリスクがどれだけ低下するのかを評価します。リスクとは、攻撃や脅威が発生した場合の損害額であり、確率も関わっています。この段階では、どれだけリスクを最小化できるかを考える必要があります。

第四のステップでは、複数の座標軸と標高を考慮し、セキュリティ対策によってもたらされるリスクを評価します。通常、複数の座標軸があり、それぞれに標高が決まりますが、セキュリティの問題は複雑であり、いくつかの標高が同時に決まることもあります。また、波及効果があり、対策によって逆にリスクが高まることもあるため、その測定は専門的であり、上級者向けの作業となります。

最後に第五のステップでは、ステップ1から3までの内容とステップ4を組み合わせ、最終的にどれくらいリスクが低下するかを評価します。そのためにどれくらいのコストがかかるのか、またリスクをどれだけ下げるかとコストのバランスを取ることが求められます。リスクを下げすぎるとコストが増大するため、最適化を行うことが必要です。

最終的には、最適なトレードオフの点が見つかるはずです。この最適化されたトレードオフとは、コストが最小化され、リスクが十分に低下した状態を指します。多層的な座標軸を考慮しつつ、この5段階を踏むことで、最適なトレードオフが導き出されるというのが本書の結論です。 

#3 「中国の産業スパイ事例紹介」

#3 「中国の産業スパイ事例紹介」

中国の産業スパイの話はよく耳にしますが、実際にサイバー空間でどのような事例が発生したかはあまり語られていません。今回はその具体的な事例を紹介したいと思います。

具体的にいつ何が盗まれたかというと、2011年にデバイスドライバー、つまり制御ソフトウェアが中国に盗まれたという実際の事例があります。この頃、アメリカのブルームバーグなどの記事で「中国がアメリカのものを盗むのをやめろ！」という記事が頻繁に見られました。実際にとんでもない額の富が中国に流れているという話があり、今回の事例もその一つです。

具体的な会社名を挙げると、アメリカの「アメリカンスーパーコンダクター（AMSC）」という会社が被害に遭いました。当時、中国の「遼寧省のシノベル」という会社がAMSCのデバイスドライバーを盗んだとされています。シノベルはそのソフトを使って、2011年3月に7億ドル以上の受注を受けました。その結果、AMSCの株価が一日で40%も下落し、さらに9月には84%も下落しました。

この事件は、サイバー空間での産業スパイによる壊滅的な打撃の実例です。日本ではあまり報道されていなかったと思いますが、この事例は非常に生々しいものです。

具体的にどのようにして盗まれたかというと、AMSC社のエンジニア、セルビア人のカラバセビッチがターゲットにされました。中国側はSNSを徹底的に調査しました。具体的には、LinkedIn、Facebook、Twitterを利用し、以下の情報を把握しました：

離婚問題で難航していること
職場での降格
生活パターン
好きなコーヒーショップやレストラン
自宅と勤務先の住所
通勤時間
アジア系の女性が好みであること
これらの情報を基に、中国側はリクルーティングの話を持ちかけ、北京に専用のオフィスを設け、ソースコードの提供を求めました。

カラバセビッチはこのハニートラップに引っかかり、170万ドルでソースコードを売りました。しかし、この非対称性は驚くべきもので、AMSCは10億ドルの価値を失いました。この事例は、SNSが産業スパイに利用された実例であり、国を挙げて行われたものでしょう。

実際にサイバー空間で行われた産業スパイにより、企業の株価が80%も下がり、10億ドルのダメージを受けたという話です。この事件は、中国がいかにして他国の技術を盗み、それを自国の利益に変えるかを示しています。中国は、サイバー攻撃や産業スパイを通じて、他国の企業から技術や知的財産を盗み出し、それを利用して自国の産業を発展させているのです。

このような事例は、今後も続く可能性があります。企業は、自社の技術や知的財産を守るために、セキュリティ対策を強化しなければなりません。また、国際的な協力を通じて、産業スパイやサイバー攻撃に対する対策を講じることが重要です。この事件は、企業と国が協力してサイバーセキュリティを強化しなければならないという警鐘を鳴らしています。

#2 1994年ロシアのハッカーがアメリカのシティバンクを攻撃した話

#2 1994年ロシアのハッカーがアメリカのシティバンクを攻撃した話
「サイバー犯罪の国際化」についてお話ししたいと思います。ウエストファリア体制というものがありました。これはヨーロッパでの国民主権国家が存在し、国境があり、ウエストファリア体制があるために国境、軍隊、防御が維持されました。アメリカの移民問題もありますが、これは物理空間上での境界の話です。ウエストファリア条約が新しく、サイバー犯罪に関しては国境がありません。

サイバー犯罪の始まりとして、1994年にニューヨークのタイムズスクエア銀行がハッキングされました。ロシアのウラジミール・レビンがハッキングし、1070万ドルを引き出しました。引き出した預金をフィンランド、アメリカ、オランダ、ドイツ、イスラエルに送金しました。これではアメリカの警察だけでは対応が難しく、インターポールのような国際警察が必要ですが、コストがかかり厳しい問題です。

ウラジミール・レビンはアメリカに物理的に入国しておらず、指紋やDNAもなく、IPアドレスだけが手がかりでした。これはアメリカの選挙戦にも関連があり、ロシアのハッカーがクライントンのサーバーに侵入した事件もありました。ロシアはアメリカの選挙を妨害しましたが、入国していないため対応が難しいです。

国際的な犯罪組織も問題です。例えば、北朝鮮の「隠れコブラ」グループが東側の国に分布するサーバーを使っています。攻撃側は国際化が進んでいますが、防御側はウエストファリア体制での対応が多いです。ブラジルの銀行に対するフランスからの攻撃では、ブラジルはフランスに要請できますが、フランス国内の調査権限はありません。脅威が国際化しているのに、対応は国民国家の枠組みに縛られています。

今後どうなるかはわかりませんが、一例としてロシアのハッカーがアメリカのシティバンクから1000万ドルを盗み、複数の国に送金した事件があります。ウエストファリア体制は現在も存在するかは不明ですが、攻撃側と防御側の国際化の非対称性についての話です。

#1 2016年のFacebookと1981年の川崎重工の以外な共通点

これはサイバー犯罪というよりは、まずは人工知能全般の話でもあります。まず、アメリカの住宅ローンのスコアの算出の話があります。日本でもブックオフで不正がありましたが、要するに数字を操作するということです。住宅ローンの審査をする際に、FICOというスコアを使うらしいのですが、これがどういうふうに算出されているかわからないので、仮にアルゴリズムやデータが不正に書き換えられた場合、それがわからないということです。

これが民主主義や権力の非対称性の問題にもなります。アルゴリズムを説明可能にしないと犯罪に使われる可能性が高いということだと思います。

次に「フェイスブックの実験」の話があります。2014年半ばにフェイスブックが利用者を70万人サンプリングして、新着の更新情報を悲しいニュースと楽しいニュースに完全に分けました。悲しいニュースしか見ない利用者と楽しいニュースしか見ない利用者に分けると、その後の投稿を見ると、悲しいニュースを見た人は悲しい投稿をし、楽しいニュースを見た人は楽しい投稿をするようになりました。

450ページに書いてありますが、感情の状態は他人に転移し、人々に自覚がないまま同じ感情を抱かせるため、感情をコントロールすることができます。民主主義は人がどう考えるかではなく、人がどう感じるかによって政治的な決定がなされるので、この実験が広範囲に発表されると、人間の感情がコントロールできるため、民主主義の決定にも影響を与えます。

これはロシアによる選挙妨害にも言えます。結局、民主主義はどう考えるかではなく、どう感じるかということなので、SNSやアルゴリズムを悪用すると民主主義が壊れるということです。

「1981年の日本の川崎重工の話」

1981年の日本の川崎重工の話では、AIが誤認識したらしいのです。当時は人工知能と呼んでいたかわかりませんが、従業員を障害物と認識して、従業員が亡くなってしまったということです。自動化や機械化が進むと、アルゴリズムに全面的に依存するようになり、誤認識が起きた場合、システム全体が脆くなり、ダメージが大きくなります。

最近は敵対的データの話もあり、これが犯罪に利用されると、民主主義やロシアの選挙妨害などの問題に繋がります。今後はIoTや工業ネットワーク、工場のネットワークでも、制御ソフトウェアが悪意を持って書き換えられると、ランサムウェアなどに悪用される可能性があります。