通常の回帰分析においてXとYを入れ替えると結果が変わってしまいますが、これを避ける手法がいくつかあります。今回は2変数の場合の主成分回帰（Principal Compornent Regression, PCR）を示します。 主成分回帰の定義 主成分回帰のベースは主成分分析（Prin…

通常の最小二乗回帰において、原点を通る場合の計算方法です。 原点を通る場合 原点を通る場合のモデル式は切片なしで下記の通りです。 通常の最小二乗回帰と同じようにyに関する誤差最小化を考えると、下記のようになります。 傾きaに関して偏微分します。 …

通常の回帰分析において、XとYを入れ替えた場合結果が変わってしまいます。これはX軸に誤差を仮定していないためです。XとYそれぞれ誤差を含みバラツキを等しく扱う標準主軸回帰と呼ばれる手法があります。 標準主軸回帰の定義 通常の回帰分析(OLS, Ordinary…

XとYの関係を回帰分析で探っていると、あれ？と思うことがあります。XとYを入れ替えると結果が変わります。 XとYの入れ替え Fig.1 (a)にXを[0,1]の乱数で、Y=XとしてYに平均0、標準偏差0.2のノイズを加えた結果を示します。Fig.1 (b)はXとYを入れ替えたもの…

回帰分析において決定係数R2（coefficient of determination）とはパラメータ（独立変数、説明変数、設計変数）が応答（従属変数、目的変数）をどのくらい説明できるかを表します。通常の回帰分析はR2の値を見ながら、必要な調整を行います。 決定係数につい…

少し唐突ですが、分散公式を書き下します（回帰分析での式変形に使います）。分散を計算する上では2通りの方法があります。下記の2式です。一つ目が通常の定義、二つ目が等価な分散公式です。 分散公式 分散公式の式変形をなるべく丁寧に追います。 まず二乗…

技術開発に関わっていると原因Xから結果Yを精度良く予測しなければならない機会は多いです。また製品開発の立場から次の製品でどのような不具合が発生するか予測することも重要です。最も基本的な予測手法は入力Xに対して応答Yをを線形近似することです。線…