Python 数学、統計、機械学習：散布図と相関分析(2) 単回帰分析
1.単回帰分析
- 単回帰分析とは、2つのデータ群を「原因」と「結果」でとらえたときに、その関係を「回帰直線」であらわすことのできる分析手法
- 単回帰式 y = ax + b を求めることで、値を予測できる
| 項目 | 内容 |
| 説明変数(x) | 原因系のデータ |
| 目的変数(y) | 結果系のデータ |
| 回帰係数(a) | 最小二乗法による傾き |
| 切片(b) | 最小二乗法によるy切片 |
| 決定係数 | 回帰式の精度判断基準として一般的に「単相関係数」を二乗した値が使われる。(決定係数、寄与率などと呼ばれる）0 から 1の値をとり、1に近いほど回帰式の精度がよい(xとyの関係が強い) |
2.試してみる
Python 数学、統計、機械学習：散布図と相関分析(1) で描いた散布図に回帰直線を重ねる
scikit-learn に含まれる、線形回帰モデルを利用する。
from sklearn import datasets
from sklearn import linear_model
import pandas as pd
import matplotlib.pyplot as plt
import math
def liner_regression(*feature_index):
"""
https://pythondatascience.plavox.info/scikit-learn/%E7%B7%9A%E5%BD%A2%E5%9B%9E%E5%B8%B0
:return:
"""
# 線形回帰予測クラス
lr = linear_model.LinearRegression()
boston = datasets.load_boston()
df_ex = pd.DataFrame(boston.data)
df_ex.columns = boston.feature_names
import pprint
print(pprint.pprint(df_ex))
df_res = pd.DataFrame(boston.target)
df_res.columns = ['Price']
y = df_res['Price']
fig = plt.figure()
cnt = len(feature_index)
cols = 1 if cnt == 1 else (2 if cnt < 6 else 4)
rows = math.ceil(cnt / cols)
idx = 1
for feature in feature_index:
x = df_ex[feature]
ax = fig.add_subplot(rows, cols, idx)
ax.set_title(feature, fontdict={'fontsize': 10}, pad=2)
ax.scatter(x, y, s=0.5)
mat_x = x.reshape((-1, 1))
mat_y = y.reshape((-1, 1))
# 予測モデルを作成
# y = ax + b
lr.fit(mat_x, mat_y)
# a:回帰係数
a = lr.coef_
# b:切片 (誤差)
b = lr.intercept_
# R^2:決定係数
r2 = lr.score(mat_x, mat_y)
# 予測を実行
predict = lr.predict(mat_x)
# 予測をプロット
ax.plot(x, predict, 'k--', lw=0.5)
label = "y = {0:.4f}x + {1:.4f}\nR^2 = {2:.4f}".format(a[0][0], b[0], r2)
ax.text(x.min(), y.min(), label, fontdict={'fontsize': 8})
idx = idx + 1
plt.tight_layout()
plt.show()
if __name__ == "__main__":
# liner_regression('CRIM', 'ZN', 'INDUS', 'CHAS', 'NOX', 'RM', 'AGE', 'DIS', 'RAD', 'TAX', 'PTRATIO', 'B', 'LSTAT')
liner_regression('RM', 'AGE', 'TAX', 'B')
以下のようなエラーがでるので、指示に従って、x.reshape(-1, 1) としています。
Reshape your data either using array.reshape(-1, 1) if your data has a single feature or array.reshape(1, -1) if it contains a single sample.
>>> import pandas as pd
>>> df = pd.DataFrame([1,2,3])
>>> df.columns = ['x']
>>> x = df['x']
x
0 1
1 2
2 3
Name: x, dtype: int64
>>> x.reshape((-1,1))
array([[1],
[2],
[3]])
LinearRegressionのAPIについて以下サイトから引用させてもらいます。
https://pythondatascience.plavox.info/scikit-learn/%E7%B7%9A%E5%BD%A2%E5%9B%9E%E5%B8%B0
sklearn.linear_model.LinearRegression(fit_intercept=True, normalize=False,
copy_X=True, n_jobs=1)
| パラメータ | 内容 |
| fit_intercept | False に設定すると切片を求める計算を含めない。目的変数が原点を必ず通る性質のデータを扱うときに利用。 (デフォルト値: True) |
| normalize | True に設定すると、説明変数を事前に正規化します。 (デフォルト値: False) |
| copy_X | メモリ内でデータを複製してから実行するかどうか。 (デフォルト値: True) |
| n_jobs | 計算に使うジョブの数。-1 に設定すると、すべての CPU を使って計算します。 (デフォルト値: 1) |
| 属性 | 内容 |
| coef_ | 偏回帰係数 |
| intercept_ | 切片 |
| メソッド | 内容 |
| fit(X, y[, sample_weight]) | 線形回帰モデルのあてはめを実行 |
| get_params([deep]) | 推定に用いたパラメータを取得 |
| predict(X) | 作成したモデルを利用して予測を実行 |
| score(X, y[, sample_weight]) | 決定係数 R2を出力 |
| set_params(**params) | パラメータを設定 |
