Engineering Skills

製品開発エンジニアがデータ解析のノウハウを垂れ流します

相関係数

実験計画の相関マップとグラデーション色

実験計画の相関マップについてこちら で説明しましたが、相関マップのグラデーション色について気になり模様替えしてみました。 相関マップ 実験計画の相関マップは一部の統計ソフトに実装されています。実験水準の各変数間の相関係数を可視化したもので、よ…

実験計画の相関マップ

実験計画の各因子間の関係(交絡)を可視化する手法の一つとして相関マップがあります。各実験計画でマップ作成してみます。 相関マップ 実験計画の相関マップは一部の統計ソフトに実装されています。実験水準の各変数間の相関係数を可視化したものです。よ…

Distance correlation

2変数間の関係性の強さを測る指標に相関係数があります。通常の相関係数の他、順位統計に基づいたPeasonやKendallの順位相関係数もあります。残念ながら、これらは単調増加、単調減少の挙動しか捉えることが出来ません。今回は非線形な相関関係を捉えられるd…

自己相関関数と周期性解析(2)

こちらでは自己相関関数について簡単な紹介を書きました。実装してみたのと、スピアマンやケンドールの順位相関係数でも自己相関関数(コレオグラム)ライクな表示をしてみています。 順位相関係数で自己相関 自己相関関数とはこちらに示すように、時系列デ…

相関関係と因果関係、あるいは疑似相関

XとYに相関関係が見られたとして、直ちにXとYに因果関係(原因と結果の関係)があると見なすのは危険です。問題意識を持っている人はともかく、コミュニティの全員になかなかリスクは伝わらないと感じます。 相関がある場合に考えられるケース AとBに相関が…

順位相関係数

一般的に使われる(ピアソンの積率)相関係数のほかに、スピアマンの順位相関係数とケンドールの順位相関係数があります。 ピアソンの積率相関係数はデータが正規分布していることが前提で、外れ値がある場合なども誤った結果になります。このような仮定を置…

正規確率プロット/回帰分析/相関分析 可視化ツール

これまで正規確率プロット、各種相関分析、回帰分析を述べました。これらは統計分析フリーソフト「R」などを用いれば容易に計算、分析できます。それすら面倒な方と自身のために簡単なツールを作ってみたので公開します。こちらになります。正規確率プロット…

共分散と相関係数

(そういえば書いていなかったので)相関係数について書きます。相関係数は共分散の改良版です。まずは共分散から入り、相関係数を説明します。 共分散から相関係数 (xi,yi)のデータ群があった時、共分散は下記のように定義されます。 ただし、xiとyiの平均…

自己相関関数と周期性解析

製品開発においては不具合、不良をつぶしていかなければなりません。そういったものの中には設計に起因して規則性を持つ場合があります。逆に言えば、規則性が理解できると設計との対応から不具合箇所を特定できる可能性があります。今回は規則性を持つデー…