Réponse 1:

Dans le sens le plus général, disons que vous avez un ensemble de données

x1,x2,...,xnx_1,x_2,...,x_n

et un paramètre

θi\theta_i

vous souhaitez estimer pour chacun

xix_i

(

θi\theta_i

pourrait être le même pour toutes vos données - si, par exemple, c'est juste la moyenne de la population - mais dans le cas général, nous supposerons que cela peut varier.)

Dans le contexte de régression,

θi\theta_i

est l'attente conditionnelle d'une variable de résultat:

E(yxi)E(y|x_i)

. Autrement dit, une fois que vous fixez

xx

, c'est la valeur attendue dans la population de

yy

. Plus précisément, en régression linéaire, nous supposons que

E(yxi)=β0+β1x1i++βpxpiE(y|x_i)=\beta_0+\beta_1x_{1i}+\ldots+\beta_px_{pi}

.

Mais bien sûr, il est extrêmement improbable que

yi=E(yxi)y_i=E(y|x_i)

. Après tout,

yy

est une variable aléatoire avec une distribution de probabilité, vous verrez donc bien sûr des écarts par rapport à l'attente conditionnelle. De plus, nous n'observons jamais réellement

E(yxi)E(y|x_i)

; on observe seulement

yiy_i

. Nous incluons donc un terme d'erreur, que nous désignons

ε\varepsilon

,whenactuallyestimatingthemodel:yi=β0+β1x1i++βpxpi+εi.Thisallowsfordeviationsfromtheconditionalexpectation,whichiswhattheerrortermis., when actually estimating the model: y_i=\beta_0+\beta_1x_{1i}+\ldots+\beta_px_{pi}+\varepsilon_i. This allows for deviations from the conditional expectation, which is what the error term is.

Mais on ne sait jamais vraiment quoi

E(yxi)E(y|x_i)

est, n'est-ce pas? Tout comme la façon dont nous observons uniquement la moyenne de l'échantillon pour estimer la moyenne de la population, nous n'obtenons qu'une estimation de l'espérance conditionnelle de l'ajustement du modèle de régression, notée

y^i\hat{y}_i

. Selon les (célèbres?) Hypothèses de Gauss-Markov,

y^i\hat{y}_i

est un estimateur non biaisé de

E(yxi)E(y|x_i)

, mais tout comme vous vous attendez à des écarts des

yiy_i

fromtheconditionalexpectationE(yxi),youalsoobservedeviationsoftheobserved[math]yi[/math]fromtheestimateoftheconditionalexpectation[math]y^i[/math].Anditsthesethatwedenote[math]ε^i[/math]andcallresiduals. from the conditional expectation E(y|x_i), you also observe deviations of the observed [math]y_i[/math] from the estimate of the conditional expectation [math]\hat{y}_i[/math]. And it’s these that we denote [math]\hat{\varepsilon}_i[/math] and call residuals.

Le fait que leur notation soit la même que celle de l'erreur, sauf avec un chapeau, d'ailleurs, n'est pas un accident. Car

y^i\hat{y}_i

est notre estimation de

E(yxi)E(y|x_i)

,

ε^i\hat{\varepsilon}_i

peut être considéré comme une estimation de

εi\varepsilon_i

, et en fait, il peut être démontré que

Var(ε^)\text{Var}(\hat{\varepsilon})

isanunbiasedestimatorofVar(ε). is an unbiased estimator of \text{Var}(\varepsilon).


Réponse 2:

Disons que le rendement au travail «P» est vraiment lié à la satisfaction au travail de manière linéaire de telle sorte que:

P = b * S + e,

où "b" est la vraie corrélation entre "P" et "S" et "e" est le terme d'erreur. Ces entités sont les vraies et intrinsèquement inobservables. Autrement dit, ils existent, mais nous devons en obtenir des mesures pour estimer les relations entre eux.

Supposons maintenant que nous collections les mesures «P1» et «S1» de la performance et de la satisfaction au travail en posant des questions à un certain nombre de personnes, où les questions peuvent être les suivantes et répondre sur des échelles de type Likert (1 = fortement en désaccord… 7 = tout à fait d'accord): «Ma performance au travail est excellente» et «Je suis satisfait de mon travail».

Si nous utilisons ces mesures pour obtenir une estimation de «b1», la corrélation d'échantillon entre «P1» et «S1», alors le «e1» résiduel peut être obtenu comme:

e1 = P1 - b1 * S1.

En ce sens, le «e1» résiduel peut être considéré comme une estimation du terme d'erreur «e».