評価システムにおけるスコアリング評価または2次元評価の使用の影響要因の分析

[コアヒント] さまざまなタイプの評価オブジェクトにはどの評価方法を使用する必要がありますか?

ソーシャル、アプリダウンロード、eコマースのウェブサイトでは、さまざまな評価システムがよく見られます。評価の対象はそれぞれ異なります。たとえば、Douban の評価は音楽、書籍、映画に対するものであり、Taobao の評価は顧客が購入した商品に対するものであり、Wandoujia の評価はユーザーがダウンロードしたアプリに対するものです。しかし、一般的に言えば、評価方法には、スコア評価と2次元評価（好き/嫌い、親指のアップ/ダウン、承認/不承認など）の2つの主要な種類があります。

では、評価対象の種類に応じてどのような評価方法を採用すればよいのでしょうか?

この論文では、Taobao、Amazon、JD.com、Jumei、Dianping、Zhongguancun Online、Douban、Youku、Qiushibaike、Zhihu、Google Play、Wandoujiaの評価方法について研究しています。上記のWebサイトに含まれる評価対象には、アプリ、音楽、映画、書籍、ビデオ、電子製品、一般商品、ケータリング、回答、ジョークなどがあります。

著者は、評価対象の複雑さ、評価対象の価値、評価に関与する人数、評価操作の利便性、評価システムの本来の意図という次元から分析を実行できることを発見しました。

評価対象の複雑さ

評価対象の複雑さは比較的理解しやすいはずですが、主に評価基準の複雑さです。たとえば、求是百科のジョークを評価することは、映画を評価するよりもはるかに簡単です（下の図1と2を参照）。これは、ジョークの場合、面白い場合は親指を立て、面白くない場合は親指を下げるためです。評価基準は比較的単純で直接的です。映画の場合、映画の物語スタイル、俳優の演技力、ストーリーの興奮などが含まれます。特に、Jumei のような垂直型電子商取引企業の場合、ユーザーのニーズはより具体的で、参照する必要がある情報はより専門的で詳細であるため、製品の種類ごとに異なる評価次元が設定されています。下の図 3 と 4 に示すように、これらは Jumei が特定のアイケア製品と特定の健康食品に対して設定した評価軸です。

図1 求世百家におけるユーザーによるあるジョークの評価結果。選択肢は「いいね」と「親指を立てる」の2つだけ。

図2 Doubanユーザーの映画評価結果（スコアと詳細な分布を含む）

図3 Jumei.comユーザーによるアイケア製品の評価結果

図4: Jumei.comユーザーの健康食品に対する評価結果

明らかに、複雑度の低いオブジェクトは 2 次元評価に適しており、複雑度の高いオブジェクトはスコアリング評価に適しています。評価者にとって、5 点評価や 10 点評価の方法では、評価対象に対する評価者の総合的な印象を反映する余地が広がり、白黒はっきりした評価結果を避けることができるからです。

評価対象の価値

評価対象の価値は通常、その価格と購入頻度に反映されます。例えば、アプリは無料であることが多く、有料であっても書籍の値段より高くないことがほとんどであるため、アプリの価値は書籍の価値より低いと考えられます。また、電子製品の使用サイクルは一般的に電子製品の方が長く、購入頻度も低いため、一般商品（日用品など）の価値は電子製品の価値より低いと考えられます。

高価値商品、つまり価格が高く購入頻度が低い商品の場合、ユーザーは評価に時間と労力を費やす意欲が強いため、評価形式はスコアリング、多次元スコアリング、さらにはテキスト評価など、より多様化できます。そのため、Wandoujia は 2 次元評価方式を使用してアプリを評価しますが、Amazon、JD.com、Zhongguancun Online はすべてスコアリング評価方式を使用しています (下図を参照)。

図5 ワンドゥジアのユーザーによる特定のアプリの評価結果

図6 書籍に対するAmazonユーザー評価結果

図7 JD.comのユーザーによるある電子製品の評価結果

図8 中関村オンラインにおけるユーザーによるある電子製品の評価結果

評価に参加した人数

一般的に、2 つの評価方法の評価者の数が同じ場合、特に数が少ない場合は、2 次元評価結果によって生成される識別力と信頼性は、スコアリング評価の結果よりも優れています。スコアリング評価方法では複数の評価レベルが生成され、評価者によっては中間のスコア（5 点システムで「3 点」など）を選択するため、識別力のある信頼性の高い結果を得るには、より多くの評価が必要になります。たとえば、下の図 9 に評価結果を示します。5 段階評価方式を使用した場合、アプリの平均スコアは 3.6 点です。分布グラフから見ても平均スコアから見ても判別性は高くありません。 2次元の評価方法を使用すると、5点と4点を付けたユーザーが「好き」を選択し、2点と1点を付けたユーザーが「嫌い」を選択したと仮定すると、評価結果は120人が好き、46人が嫌いとなり、明らかに差別化が進みます。

図9: Google Play でのアプリのユーザーレビューの結果

そのため、評価に参加する人数が少ない場合や、製品が発売されたばかりの場合は、2次元評価方式の採用を検討できます。一方では、評価の難易度を下げ、より多くのユーザーに評価に参加してもらうことができます。他方では、評価に参加する人数が少ない場合に、評価結果をより正確に反映させることができます。

使いやすさ

灰色の五芒星のグループを表示してユーザーに評価を促すよりも、インターフェースに「いいね」と「嫌い」の 2 つのボタンを表示する方が直感的であるはずです。特に、モバイル端末のインタラクティブ特性の影響により、ユーザの評価操作の難易度を低減し、ユーザの評価操作の利便性を向上させることは、ユーザによる評価を促すことにつながる。例えば、Wandoujia はモバイル アプリケーションのダウンロード製品です。ユーザーは主に携帯電話でこのタイプの製品を使用するため、「好き」と「嫌い」の 2 次元評価方法を採用しています (上図 5 を参照)。

評価制度の本来の目的

評価システムを設計する本来の目的が、ユーザーをダウンロードまたは購入に導くことである場合は、2 次元の評価方法の使用を避けることを検討できます。なぜなら、2次元評価における「嫌い」や「嫌い」などの言葉は、ユーザーに無意識のうちに抵抗感を与え、ダウンロードや購入をさせないように誘導する一方、スコア評価における「良い」と「悪い」の境界は比較的曖昧であり、ユーザーへの心理的影響は小さいからです。ユーザーは、5点満点中「3点」を肯定的な評価として数えることさえできます。

同時に、多段階多次元のスコアリングと評価方法は、評価システムが属する製品に対して、より詳細で包括的かつ正確な統計データを提供することもできます。たとえば、Taobaoの製品、サービス、物流のスコアリングと評価（下の図10を参照）は、Taobaoのこれら3つの側面のデータを収集し、統計分析を実施して、より大きな価値を引き出すことができます。

図10 タオバオの商品・サービス・物流の採点と評価結果

原題: 評価システムにおけるスコアリング評価と2次元評価の使用の影響要因の分析

キーワード: 評価、システム、中財、スコアリング、2 次元、影響、因子スコア、コア、プロンプト、ウェブマスター、ウェブサイト、ウェブサイトのプロモーション、収益化