Engineering Skills

製品開発エンジニアがデータ解析のノウハウを垂れ流します

標準主軸回帰(幾何平均回帰)

通常の回帰分析において、XとYを入れ替えた場合結果が変わってしまいます。これはX軸に誤差を仮定していないためです。XとYそれぞれ誤差を含みバラツキを等しく扱う標準主軸回帰と呼ばれる手法があります。

標準主軸回帰の定義

通常の回帰分析(OLS, Ordinary Leaset Square)ではFig.1に示すようにY軸方向の誤差Δyを最小化する直線を求めます。このためX軸方向の誤差、バラツキは仮定されていません。

f:id:OceanOne:20200325023140j:plain

Fig.1 OLS

標準主軸回帰(SMA, Standardizes Major Axis regression)ではFig.2に示すようにΔx、Δy、回帰直線に囲まれた三角形の面積を最小化するように直線を求めます。

f:id:OceanOne:20200325023527j:plain

Fig.2 SMA

OLSの場合には次式により回帰直線を求めました。

f:id:OceanOne:20200325024019j:plain

SMAの場合、Δx、Δy、回帰直線に囲まれた三角形の面積は、データ点が回帰直線より下にあれば

f:id:OceanOne:20200325024136j:plain

データ点が回帰直線より上にあれば

f:id:OceanOne:20200325024217j:plain

となります。この二つの式は等価なので常に正となるので、結局のところ次式を最小化すればよいことになります。

f:id:OceanOne:20200325024344j:plain

標準主軸回帰における回帰係数の導出

通常の回帰分析における回帰係数の計算方法と同じように傾きa、切片bで偏微分

ていきます。まずは式を展開します。

f:id:OceanOne:20200325024722j:plainf:id:OceanOne:20200325024736j:plain

これを切片bについて偏微分します。

f:id:OceanOne:20200325025034j:plain

f:id:OceanOne:20200325025054j:plain

右辺を0と置いて式変形すると

f:id:OceanOne:20200325025105j:plain

f:id:OceanOne:20200325025142j:plain

となり、

f:id:OceanOne:20200325025431j:plain

f:id:OceanOne:20200325025439j:plain

と置くと、下記になります。
f:id:OceanOne:20200325025150j:plain

結局この式は通常の最小二乗回帰の場合と同じです。xとyの平均を必ず通る直線となるので、傾きaを求めれば切片bは上式から計算できます。

次に傾きaで偏微分します。

f:id:OceanOne:20200325030246j:plain

右辺を0として、a2を掛けると

f:id:OceanOne:20200325030305j:plain

f:id:OceanOne:20200325030428j:plain

となります。次式の省略記号を導入します。

f:id:OceanOne:20200325030519j:plain

f:id:OceanOne:20200325030534j:plain

これらで置き換えると
f:id:OceanOne:20200325030439j:plain

切片bを先ほど求めた式で置き換えます。

f:id:OceanOne:20200325030651j:plain

f:id:OceanOne:20200325030736j:plain

f:id:OceanOne:20200325030918j:plain

f:id:OceanOne:20200325031033j:plain

この式を分散公式を使って置き換えると

f:id:OceanOne:20200325032024j:plain

f:id:OceanOne:20200325032031j:plain


となります。正負が定まりませんが、相関係数が正の場合はプラス、府の場合はマイナスになります。

幾何平均回帰

標準主軸回帰は幾何平均回帰とも呼ばれます。通常の最小二乗回帰(OLS)では傾きは下記の通りでした。

f:id:OceanOne:20200325032453j:plain

通常のOLSはY軸方向の誤差を最小化するものでした。別のアプローチとしてX軸方向の誤差最小化が考えられます。これに関してはOLSでXとYを入れ替えて回帰し、傾きの逆数をとれば良いので、下記のようになります。

f:id:OceanOne:20200325032544j:plain

標準主軸回帰の傾きのは、これら二つの傾きの幾何平均になっています。このため標準主軸回帰は幾何平均回帰とも呼ばれます。

f:id:OceanOne:20200325032704j:plain

まとめ

標準主軸回帰を適用しようと思った場合でも特殊なツールを使う必要はなく、エクセルでXに対するY、Yに対するXの単回帰直線の傾きを求め幾何平均をとれば良いことになります。

解析対象の性質を考慮し、是非適切な解析を試みてください。