ウェブサイトのデータ分析: 説明できないデータの異常

データを分析すると、適切に説明できないデータの異常が必ず発生します。おそらく、これらの異常を別の視点から見ることができるでしょう。データに大きな変動があるにもかかわらず、なぜ合理的な理由が見つからないのでしょうか。これはどのような異常なのでしょうか。共通点はあるのでしょうか。これらの異常は、通常異常と呼んでいるものでしょうか、それとも他のカテゴリに分類すべきでしょうか。とりあえず「説明のつかない異常」と呼んでもよいでしょう。

最近、「ファスト＆スロー」という本を読んでいるのですが、著者のカーネマン氏の見解が私たちにいくつかの答えを与えているように思えます。カーネマンは心理学と意思決定の達人です。彼は、より合理的に認識し、意思決定を行えるように、脳の思考エラーを回避する方法を教えてくれます。本書では、上記の「説明のつかない異常」の問題に関連して、次の 2 つの点を指摘しています。

平均への回帰効果: 物事は良いときも悪いときもランダムに変動しますが、最終的には平均に戻ります。

因果関係に基づいてランダムなイベントを説明する: 人々は常に何らかの変化について説明可能な理由を見つけようとします。

ディ・マッテオとベニテス

平均回帰効果に関して、カーネマンはスポーツに関連した例をいくつか挙げました。実際、この現象はスポーツ競技では非常に一般的です。ゴルファーが前日と同じ好成績を翌日に達成できないのはなぜか、選手が前シーズンの栄光を2シーズン目に再現できないのはなぜか...これはチェルシーの最近の監督交代を思い出させます。

実際、ディ・マッテオとベニテスの間には興味深い類似点がいくつかある。1) 両者ともチャンピオンズリーグ優勝経験のある監督であり、2) 彼らの能力はまだ十分に認められていない。ディ・マッテオが自身の指導能力を証明するのに十分な時間がなかったことは理解できるが、外の世界に彼の能力を疑問視させたのは明らかにベニテス自身の選択である。

ディ・マッテオは昨シーズン中盤から後半にかけてアシスタントコーチからチェルシーの指揮を執り、暫定監督として最後まで指揮を執り、ついにチャンピオンズリーグ優勝を果たした。チーム史上初のチャンピオンズリーグ優勝トロフィーを持ち帰った功績は、シーズン末に監督に昇格するのに十分だったが、監督経験の不足により、うるさいボスは彼を十分に信頼できなかった。そのため、ファンとクラブが昨シーズンのチャンピオンズリーグの栄光に浸りきっているときに、チームのパフォーマンスが「当然の」栄光を継続できなかったため、ディ・マッテオは解任される運命にあった。競争の激しいプレミアリーグでは、チェルシーは回帰効果から逃れられない。昨シーズン、チェルシーがチャンピオンズリーグで優勝できたのは、多くの有利な要素と多少の幸運が重なったおかげだが、今シーズンはこれらの有利な要素が集中しなくなり、幸運が「使い果たされた」ようだ。成績が以前の平均レベルに戻るのは普通だが、過去の栄光に浸るファンやクラブは明らかにこれを「異常な出来事」と捉えており、ディ・マッテオは回帰効果の犠牲者となった。

実際、このような事件はサッカー界ではよくあることだ。1998年のフランス、2002年のブラジル、2006年のイタリアはいずれも退行効果から逃れられなかった。優勝後に成績が落ち、多くの監督が優勝後に辞任した。栄光を継続すること（退行効果をなくすこと）がいかに難しいかを理解したからだ。スコラーリ、リッピらは賢明な選択をしたが、これらの優勝チームの後任監督は往々にして最も困難な運命をたどる。結局のところ、スペインに栄光を継続させることができるボスケのような監督は多くなく、ベニテスはたまたま悲劇的な後任だっただけなのだ。

2010年、ベニテスはモウリーニョの後を継ぎ、三冠を達成したインテル・ミラノの監督に就任した。三冠の輝きはあまりにも輝かしく、選手層の老朽化と不利な契約により、インテル・ミラノは衰退の道を歩む運命にあったため、ベニテスはシーズンの半分も経たないうちに解雇された。実際、ベニテスのこれまでの監督としての記録はそれほど悪くなかった。彼は狂気の「イスタンブールの夜」で有名になったが、この伝説的な戦いこそが、乗り越えられない記念碑となったのだ。彼はリバプールがその後多くのチャンピオンシップで優勝し、大会で準優勝するのを助けたにもかかわらず、クラブとファンを本当に満足させることはできなかった。ベニテスの意思決定の誤りは、栄光の瞬間、または栄光に近い瞬間に退任することを選ばなかったことだ（2007年にアテネでミランに復讐されたが、少なくともチャンピオンズリーグでは準優勝していた）。彼はリバプールの記録に耐えられなくなるまで、敗者として退任した。ベニテス監督は、成功を収めた後に引退することがどういうことかを、経験豊富で抜け目ないリッピ監督やモウリーニョ監督から学ぶべきだ。

今回、ベニテス監督は再びチャンピオンズリーグ優勝の栄光を背負うチェルシーを選んだ。栄光は徐々に薄れつつあるが、彼に幸運を祈るしかない。

崩落した橋と突然静かになった教室

共鳴によって宇宙が誕生し、星、太陽、月、そしてこの世のあらゆるものが形作られました。共鳴は自然界で最も一般的な現象の 1 つです。フランスのアンジェで兵士たちが馬に乗って橋を渡っていたとき、共鳴現象で橋が崩壊したという事例があります。この事例は中学校の物理の教科書にも紹介され、共鳴の原理を理解するための啓蒙的な記憶となりました。しかし、共鳴と、橋が崩壊するという異常な出来事を引き起こす原因は何でしょうか? 通常の状況では、同じ兵士のグループが同じ橋を渡った場合、橋が崩壊するのは何万回に1回だけです。兵士は普通の兵士であり、橋は普通の橋です。共鳴は完全にランダムなイベントです。しかし、そのようなイベントの確率が小さすぎるため、人々は常に兵士または橋に原因を見つけようとします (ただし、実際には橋に問題がある場合もあります;-))。

それから、私が知乎で見た質問があります。なぜ、もともと騒々しく、みんなが議論していた教室は、突然静かになるのでしょうか？ おそらく誰もがこれに遭遇したことがあり、これも同様に低確率の出来事です。教室の全員が断続的に話しています。通常の状況では、声の大きさは常に一定のレベルで変動していますが、突然、同時に話している人の数が減る瞬間があり、声もランダムに最小点まで変動することがあります。このとき、誰もが何かが起こったと思うでしょう。先生がここにいるのですか？それで彼らは話すのをやめ、教室は突然静かになります。みんなは教室内の音の「異常さ」を感じ、その原因を探ろうとしました。

これらの「異常」の原因は何なのか

まず、平均への回帰効果を見てみましょう。これは通常、一定期間にわたって物事が非常にうまく機能し、その後通常のレベルに戻るプロセスとして現れます。これは正常なプロセスであるはずです。なぜなら、物事は常に多くの要因の影響を受けてランダムに変動するからです。重要なのは、人々が常に良い状態が続くことを望んでいることです。物事が非常に良い状態から悪化すると、ギャップが大きいため、平均回帰後の状態を「異常」と見なすことは簡単です。以下のように表示されます。

セグメント A の曲線が上下に変動していても、通常は異常とはみなされません。ただし、セグメント C の曲線は、セグメント A の平均レベルではなくセグメント B と簡単に比較できるため、異常と間違われる可能性があります (緑の線で示されているように、セグメント C とセグメント A の平均差は大きくありません)。ここでは完全な曲線の変化傾向が示されているため、この間違いを犯す可能性は低くなりますが、短期間でのデータの変化を比較したり、単純に前年比でデータを見たりする場合、平均への回帰を異常と間違えやすくなります。したがって、データ分析は長期的な傾向と組み合わせる必要があります。物事の状態が質的に変化していないが、データが明らかに高いレベルに上昇している場合、良好なデータ パフォーマンスが常に継続すると想定しないでください。良好なデータ パフォーマンスは通常のランダムな変動によってのみ発生するためです。

平均への回帰効果について説明しましたが、ほとんどの場合、物事は小さなランダムな変動をしますが、時折、より大きな変動、つまり、上図のセグメント B の状態のように、非常に良い状態または非常に悪い状態が発生することを理解する必要があります。この状態もランダムであり、異常ではないと判断するにはどうすればよいですか? 過度のデータ変動は、説明が難しいという理由だけで異常として扱うことはできないのでしょうか?

この問題は物理学の観点からも説明できます。まずは波の重ね合わせの原理を見てみましょう。

左の写真の下部にある 2 つの波は重ね合わせた後に合成されてより大きな振幅になりますが、右の写真の下部にある 2 つの波は互いに干渉し、合成後に振幅がゼロになります。データの変化のコンテキストにまで拡張すると、一般的に指標は複数の要因の影響を受けます。たとえば、Web サイトへのアクセス数は、複数のチャネルからのデータの変動の影響を受けます。検索エンジン、外部リンク、ソーシャル メディア、有料広告などの外部チャネルによってもたらされるトラフィックは、次の図に示すように常に変化しています。

特定のチャネルのトラフィックが A 線で示すように異常な場合、または春節や休日などの外部要因により、すべてのチャネルのトラフィックが B 線で示すように全体的に減少する場合があります。これにより、全体的な訪問量の異常が発生する可能性がありますが、これらの異常は説明できます。ラインCの各チャネルのデータには明らかな異常はありません。しかし、ランダムな変動により、複数のチャネルのトラフィックが同時に低いポイントに達するため、全体の訪問数も通常レベルよりも大幅に低くなります。そのため、「説明のつかない異常」が発生します。

したがって、これらの「説明のつかない異常」の謎を解明することができます。多くの要因が同時に特定の指標に作用する場合、すべての影響要因が顕著な異常を示さなくても、指標データに異常が現れることがあります。確率は非常に低いですが、実際に起こります。これは、複数の要因の重ね合わせ効果によるものです。指標の影響要因を細分化しても明らかな異常が見つからない場合は、この「説明のつかない異常」について、一見説明できそうな理由を見つけようとしないでください。

» この記事はBY-NC-SA契約を採用しています。転載の際は出典を明記してください: ウェブサイトデータ分析 » 「説明できないデータ異常」

元記事: http://webdataanalysis.net/personal-view/unexplained-anomaly/

元のタイトル: ウェブサイトのデータ分析: データの異常を説明するのは難しい

キーワード: ウェブサイト、説明、異常、分析、時間、それら、いくつか、できない、適切、ウェブマスター、ウェブサイトの宣伝、お金を稼ぐ