pandas.DataFrameのcorr関数について - より良いエンジニアを目指して

pandas.DataFrameのcorr関数は、相関係数を求める関数です。

pandas.pydata.org

ここから、seabornでヒートマップで表示というのは私はよくやるのですが、相関を求めるとはいえ、具体的に何をやっているのかはよく理解してませんでした。

相関係数にもいくつか方法がある

www.monotalk.xyz

上記サイトにまとめてあり、pandas.DataFrame.corrを今後も使っていけば良さそうです。

この関数はmethod引数の指定で、３種類の相関関数を算出することができます。

ピアソンの積立相関係数　pandasDataFrame.corr(method="pearson") もしくは method引数を省略
スピアマンの順位相関係数　pandasDataFrame.corr(method="spearman")
ケンドールの順位相関係数　pandasDataFrame.corr(method="kendall")

実際にピアソンの積率相関係数を実装してみる

Pythonで実装しようとすると甘えが出てコピペで終わりそうなので、C#で実装することにします。

f:id:rimever:20190114170529p:plain

Wikipediaより

数式だけ見ると、「うわっ」という感じですね。

/// <summary>
/// ピアソンの積率相関係数を計算します。
/// </summary>
/// <param name="x"></param>
/// <param name="y"></param>
/// <returns></returns>
public static double SampleCorrelationCoefficient(IList<double> x, IList<double> y)
{
    var averageX = x.Average();
    var averageY = y.Average();

    var numerator = Enumerable.Range(0, x.Count).Sum(i => (x[i] - averageX) * (y[i] - averageY));
    var denominator = Math.Pow(x.Sum(i => Math.Pow(i - averageX, 2)) * y.Sum(i => Math.Pow(i - averageY, 2)), 0.5);
    return numerator / denominator;
}