【ブートキャンプDay２①】気象データアナリスト講座【データミックス】

本記事では、(株)データミックスの「気象データアナリスト養成講座」を受けた感想や、講義メモをまとめます。

今回は、2023年2月4日に受けた、ブートキャンプステップ２日目の内容です。

講義後半にはRでの演習もありましたが、Rでの演習の内容は以下の記事にまとめています。

講義２日目の内容：統計的・確率的アプローチ

講義２日目の内容は、統計的・確率的な手法の導入でした。

ある課題をデータで解決しようとするとき、すべてのデータを取得するのは難しいです。

たとえば「マクドナルドの客単価」を正確に調べようと思ったら、世界中のすべての店舗の来客数や購入額を調査しなければいけません。

全調査は⾮現実的なので、統計的に"推定"することで、課題を解決していきます。

母集団とサンプル

全データを得ることは難しいので、全データのなかから代表的なデータをいくつか取ってきて、全データの傾向を推定していきます。

「母集団」から「サンプル」を取得することを、サンプリングといいます。

サンプリング手法

サンプルを使って推定するときは、「母集団の"本当に知りたいこと"」を知れるかどうか、つねに気にする必要があります。

そのため、目的に応じてサンプリング手法を変えなければいけません。

サンプリング手法は、おもに５つあります。

それぞれ、詳しくみていきます。

単純無作為抽出は、母集団からランダムに抽出する方法です。

たとえば、１００万あるデータから１％（＝１万）のデータを適当に取ってくるのは、単純無作為抽出になります。

単純無作為抽出のデメリットとして、不均衡なデータが反映できないがあります。

たとえば、全国チェーン店の来客者からサンプリングすることを考えます。

もし九州の店舗数が少なければ、サンプリングしたときに九州のお客さんのデータ数が０になるかもしれません。

このように、"九州の店舗数が少ない"といった「不均衡なデータ」があると、単純無作為抽出が上手くいかない場合があります。

また、本当にランダムかわからない場合もあるというデメリットもあります。

たとえば、商品の購入者にアンケートを配って回答を得ることを考えます。

そもそもアンケートに回答してくれる人は、「商品のファン」あるいは「クレーマー」の可能性があります。

商品に対して特別な感情がない人の意見は、わかりません。

層化抽出は、母集団をグループにわけてから、グループ内でランダムにサンプルする方法です。

たとえば、デパートの利用者を「ブラックカード」「ゴールドカード」「その他のカード」を持つ人でわけてから、購入データを適当に取ってくるのは、層化抽出になります。

クラスター抽出は、母集団をグループにわけてから、グループごとサンプルする方法です。

グループ内のデータは、すべて調査対象となります。

たとえば、全国展開のチェーン店で「新宿店」「難波店」「博多店」のデータを取ってくるのは、クラスター抽出になります。

多段抽出は、クラスター抽出を、段階的におこなっていく方法です。

たとえば、東京２３区のなかから「港区」を抽出して、さらに港区から「六本木」を抽出して、六本木に住む人からランダムにサンプリングするのは、多段抽出になります。

系統抽出は、母集団のデータに通し番号を振り、ある番号から一定の間隔で抽出する方法です。

たとえば、来客者に通し番号がついたポイントカードを渡して、１０番目の人から５つ飛ばし（１０，１５，２０...）で抽出するのは、系統抽出になります。

系統抽出のデメリットとして、通し番号の並び順に何かの規則があると、偏ってしまうがあります。

たとえば、１０の倍数の顧客には特典を付けている、という前提があると、サンプルデータに偏りが生じてしまいます。

EDAと統計量

EDA（Explanatory Data Analysis）とは、探索的データ解析のこと。

データの特徴を探したり、どんなデータ構造になっているか確認したりする作業を指すようです。

EDAを進めるにあたり、要約統計量の知識が必要になります。

要約統計量には、最小値・最大値・平均値・中央値・標準偏差などがあります。

講義では、中央値と標準偏差について、詳しく解説されました。

中央値

データを小さい順に並べたとき、ちょうど真ん中にあたるデータが中央値です。

データの個数が奇数のときは、ちょうど真ん中の１つが中央値になります。

データの個数が偶数のときは、真ん中の前後２つの平均値が中央値になります。

分位数

データを小さい順に並べたとき、２等分したものを二分位数（＝中央値）、４等分したものを四分位数といいます。

分位数をパーセントであらわしたものを、パーセンタイルといいます。

７５パーセンタイルから２５パーセンタイルを引いた値を、四分位範囲（IQR / Interquartile range）といいます。

IQRが大きければ大きいほど、データの散らばり具合は大きくなります。

箱ひげ図

パーセンタイルを可視化した図として、箱ひげ図があります。

箱ひげ図は、分布の大まかな傾向を把握したいときに役立ちます。

スケーリング

スケールのちがう２つのデータを比べたいとき、一定のルールに基づいてデータを変換処理することをスケーリングといいます。

たとえば、「100点満点の数学テスト」と「200点満点の英語テスト」の偏差値を出したいとき、スケーリングをおこないます。

分散と標準偏差

分散は、データのバラつきをあらわす指標です。

たとえば、テストの点数の分散を考えてみます。

上記の例では、物理の分散よりも、国語の分散のほうが大きいです。

よって国語のほうが、バラつきが大きいことがわかります。

標準偏差は、分散の平方根を取った値です。

不偏分散

実際に分散を求めるときは、ふつうの分散（標本分散）ではなく、不偏分散を使います。

不偏分散は、標本分散の式で「1/n」を「1/(n-1)」に変えたものです。

共分散

２つのデータの分散をかけあわせたものを、共分散といいます。

たとえば、テストの点数の分散を考えてみます。

上記の例では、Ａさんは理科が得意、Ｂさんは理科が苦手、というような状況をイメージしています。

他の生徒も、同じような傾向があるはずです。

よって、物理と化学の共分散では、右肩上がりの傾向があると考えられます。

共分散では、正負の関係を把握することができます。

しかし、関係の強さを把握することはできません。

関係の強さを把握したいときは、相関係数を使います。

相関係数は、共分散をそれぞれの標準偏差で割ってスケーリングしたものです。

EDAの可視化

EDA（探索的データ解析）でグラフを作っていくにあたり、変数の種類を把握しておく必要があります。

変数が「離散変数（カテゴリ値）」か「連続変数（連続値）」かによって、要約方法が変わります。

離散変数の基本的な要約方法は、「カウント」や「割合の算出」です。

男女別の人数をカウントしたり、満足度の高い人が何％いるか算出したりします。

連続変数の基本的な要約方法は、要約統計量です。

平均値や中央値、最大値、最小値、標準偏差などを求めます。

まとめ：統計的・確率的アプローチを理解する

今回は、(株)データミックス「気象データアナリスト養成講座」の、講義２日目の内容をまとめました。

データ分析を進めるうえで必要な、データの確認方法や確率的な考え方を学びました。

講義後半のR演習は、以下の記事をご参照ください。