Engineering Skills

製品開発エンジニアがデータ解析のノウハウを垂れ流します

外れ値

DFFITS

回帰分析の診断方法の一つに、てこ比というものがあります。これをさらに拡張するとCookの距離やDFFITSといった指標に繋がります。 Cookの距離(Cook’s distance) Cook の距離はアメリカの統計学者 R. Dennis Cookの名にちなみます。彼は1977年にこの概念を導…

クックの距離(Cook’s distance)

回帰分析の診断方法の一つに、てこ比というものがあります。これをさらに拡張するとCook の距離やDFFITSといった指標に繋がります。今回はCookの距離について。 Cook の距離(Cook’s distance) Cook の距離はアメリカの統計学者 R. Dennis Cookの名にちなみま…

てこ比

今回はてこ比について。各観測値が推定値に与える影響、および全体の平均からどの程度ずれているかを示す指標で、0 から 1 までの値をとります。 モデル式(最小二乗法) まずはモデル式の多項式近似パラメータ推定について、最小二乗法で求めます。モデルは…

外れ値(3)ー 外れ値との付き合い方

外れ値は解析を行う上で、障害以外の何物でもありません。しかし外れ値の中でも意味のあるものとないものがあります。外れ値から有益な情報を取り出せるかはエンジニアの経験に大きく依存するのではないかと思います。そのあたり思う所を書きます。 外れ値と…

外れ値(2)ー Thompson/Masuyamaの棄却検定

外れ値検定としてはSmirnoff-Grubbsの検定を知っていれば十分な気がしますが、ThompsonとMasuyamaの棄却検定も勉強を兼ねて紹介、実装してみます。 Thompsonの棄却検定 [math] \bar{x} [/math]を標本平均、[math] \displaystyle {V}^2 [/math]を標本分散(不…

外れ値(1)ー Smirnoff-Grubbs検定

外れ値検定について書きます。得られたデータの飛び値が外れ値なのかどうかは、よく検討課題になります。統計検定では主観を交えず数値として結果を得ることが出来ます。盲目的に検定結果を懐に携えておくと、実験計画を立てた時の思い入れを跳ねのける力を…