Lineárna párová regresná analýza. Matematika na prstoch: metódy najmenších štvorcov

Ak nejaké fyzikálne množstvo závisí od inej veličiny, potom je možné túto závislosť študovať meraním y pri rôznych hodnotách x. V dôsledku meraní sa získa niekoľko hodnôt:

x 1, x 2, ..., x i, ..., x n;

y 1 , y 2 , ..., y i , ... , y n .

Na základe údajov takéhoto experimentu je možné zostrojiť graf závislosti y = ƒ(x). Výsledná krivka umožňuje posúdiť tvar funkcie ƒ(x). Konštantné koeficienty, ktoré vstupujú do tejto funkcie, však zostávajú neznáme. Metóda nám ich umožňuje určiť najmenších štvorcov. Experimentálne body spravidla neležia presne na krivke. Metóda najmenších štvorcov vyžaduje, aby súčet druhých mocnín odchýlok experimentálnych bodov od krivky, t.j. 2 bol najmenší.

V praxi sa tento spôsob najčastejšie (a najjednoduchšie) používa v prípade lineárneho vzťahu, t.j. Kedy

y = kx alebo y = a + bx.

Lineárna závislosť je vo fyzike veľmi rozšírená. A aj keď je vzťah nelineárny, zvyčajne sa snažia zostaviť graf tak, aby dostali priamku. Napríklad, ak sa predpokladá, že index lomu skla n súvisí s vlnovou dĺžkou svetla λ vzťahom n = a + b/λ 2, potom sa závislosť n na λ -2 vynesie do grafu.

Zvážte závislosť y = kx(priamka prechádzajúca počiatkom). Zostavme hodnotu φ súčet druhých mocnín odchýlok našich bodov od priamky

Hodnota φ je vždy kladná a tým je menšia, čím bližšie sú naše body k priamke. Metóda najmenších štvorcov uvádza, že hodnota pre k by mala byť zvolená tak, aby φ malo minimum

alebo
(19)

Výpočet ukazuje, že odmocnina pri určovaní hodnoty k sa rovná

, (20)
kde n je počet meraní.

Uvažujme teraz trochu viac pevné puzdro, kedy body musia spĺňať vzorec y = a + bx(priamka, ktorá neprechádza počiatkom).

Úlohou je nájsť najlepšie hodnoty a a b z dostupnej množiny hodnôt x i, y i.

Zostavme opäť kvadratickú formu φ, ktorá sa rovná súčtu štvorcových odchýlok bodov x i, y i od priamky

a nájdite hodnoty a a b, pre ktoré má φ minimum

;

Spoločné riešenie týchto rovníc dáva

(21)

Stredné kvadratické chyby určenia aab sú rovnaké

(23)

. (24)

Pri spracovaní výsledkov meraní touto metódou je vhodné zhrnúť všetky údaje do tabuľky, v ktorej sú predbežne vypočítané všetky množstvá zahrnuté vo vzorcoch (19) (24). Formy týchto tabuliek sú uvedené v príkladoch nižšie.

Príklad 1 Bola študovaná základná rovnica dynamiky rotačného pohybu ε = M/J (priamka prechádzajúca počiatkom súradníc). Pri rôznych hodnotách momentu M sa meralo uhlové zrýchlenie ε určitého telesa. Je potrebné určiť moment zotrvačnosti tohto telesa. Výsledky meraní momentu sily a uhlového zrýchlenia sú uvedené v druhom a treťom stĺpci tabuľka 5.

Tabuľka 5

n	M, Nm	ε, s-1	M 2	M ε	ε - km	(ε - kM) 2
1	1.44	0.52	2.0736	0.7488	0.039432	0.001555
2	3.12	1.06	9.7344	3.3072	0.018768	0.000352
3	4.59	1.45	21.0681	6.6555	-0.08181	0.006693
4	5.90	1.92	34.81	11.328	-0.049	0.002401
5	7.45	2.56	55.5025	19.072	0.073725	0.005435
∑			123.1886	41.1115		0.016436

Pomocou vzorca (19) určíme:

Na určenie strednej kvadratickej chyby používame vzorec (20)

0.005775kg-1 · m -2 .

Podľa vzorca (18) máme

; .

SJ = (2,996 0,005775)/0,3337 = 0,05185 kg m2.

Po nastavení spoľahlivosti P = 0,95 pomocou tabuľky Studentových koeficientov pre n = 5 nájdeme t = 2,78 a určíme absolútnu chybu ΔJ = 2,78 0,05185 = 0,1441 ≈ 0,2 kg m2.

Výsledky zapíšeme do tvaru:

J = (3,0 ± 0,2) kg m2;

Príklad 2 Vypočítajme teplotný koeficient odporu kovu metódou najmenších štvorcov. Odpor lineárne závisí od teploty

Rt = R° (1 + at°) = R° + R° at°.

Voľný člen určuje odpor R 0 pri teplote 0 ° C a uhlový koeficient je súčin teplotný koeficientα k odporu R 0 .

Výsledky meraní a výpočtov sú uvedené v tabuľke ( pozri tabuľku 6).

Tabuľka 6

n	t°, s	r, Ohm	t-¯t	(t-¯t) 2	(t-¯t)r	r - bt - a	(r - bt - a) 2,10 -6
1	23	1.242	-62.8333	3948.028	-78.039	0.007673	58.8722
2	59	1.326	-26.8333	720.0278	-35.581	-0.00353	12.4959
3	84	1.386	-1.83333	3.361111	-2.541	-0.00965	93.1506
4	96	1.417	10.16667	103.3611	14.40617	-0.01039	107.898
5	120	1.512	34.16667	1167.361	51.66	0.021141	446.932
6	133	1.520	47.16667	2224.694	71.69333	-0.00524	27.4556
∑	515	8.403		8166.833	21.5985		746.804
∑/n	85.83333	1.4005

Pomocou vzorcov (21), (22) určíme

Ro = ¯ R-αR0¯ t = 1,4005 - 0,002645 85,83333 = 1,1735 Ohm.

Nájdime chybu v definícii α. Od , potom podľa vzorca (18) máme:

Pomocou vzorcov (23), (24) máme

;

0.014126 Ohm.

Po nastavení spoľahlivosti na P = 0,95 pomocou tabuľky Studentových koeficientov pre n = 6 zistíme t = 2,57 a určíme absolútnu chybu Δα = 2,57 0,000132 = 0,000338 stupeň -1.

a = (23 ± 4) 10-4 krupobitie-1 pri P = 0,95.

Príklad 3 Je potrebné určiť polomer zakrivenia šošovky pomocou Newtonových prstencov. Zmerali sa polomery Newtonových prstencov r m a určili sa počty týchto prstencov m. Polomery Newtonových prstencov súvisia s polomerom zakrivenia šošovky R a číslom prstenca rovnicou

r2m = mλR - 2d0R,

kde d 0 hrúbka medzery medzi šošovkou a planparalelnou doskou (alebo deformácia šošovky),

λ vlnová dĺžka dopadajúceho svetla.

A = (600 ± 6) nm;
r2 m = y;
m = x;
XR = b;
-2d 0 R = a,

potom rovnica nadobudne tvar y = a + bx.

Vkladajú sa výsledky meraní a výpočtov tabuľka 7.

Tabuľka 7

n	x = m	y = r2, 10-2 mm2	m -¯m	(m -¯m) 2	(m -¯ m)y	y - bx - a, 10 -4	(y - bx - a) 2, 10-6
1	1	6.101	-2.5	6.25	-0.152525	12.01	1.44229
2	2	11.834	-1.5	2.25	-0.17751	-9.6	0.930766
3	3	17.808	-0.5	0.25	-0.08904	-7.2	0.519086
4	4	23.814	0.5	0.25	0.11907	-1.6	0.0243955
5	5	29.812	1.5	2.25	0.44718	3.28	0.107646
6	6	35.760	2.5	6.25	0.894	3.12	0.0975819
∑	21	125.129		17.5	1.041175		3.12176
∑/n	3.5	20.8548333

3.5. Metóda najmenších štvorcov

Prvú prácu, ktorá položila základy metódy najmenších štvorcov, vykonal Legendre v roku 1805. V článku „Nové metódy určovania dráh komét“ napísal: „Po úplnom využití všetkých podmienok problému, je potrebné určiť koeficienty tak, aby veľkosť ich chýb bola čo najmenšia. Väčšina jednoduchým spôsobom na dosiahnutie tohto cieľa je metóda, ktorá pozostáva z hľadania minimálneho súčtu štvorcových chýb.“ V súčasnosti sa táto metóda používa veľmi široko pri aproximácii neznámych funkčných závislostí špecifikovaných mnohými experimentálnymi vzorkami, aby sa získal analytický výraz, ktorý je najlepšie aproximovať k úplnému výsledku. - mierkový experiment.

Nech je na základe experimentu potrebné stanoviť funkčnú závislosť veličiny y od x : Predpokladajme, že ako výsledok experimentu, ktorý sme získalin hodnoty rpre zodpovedajúce hodnoty argumentuX. Ak sú experimentálne body umiestnené v súradnicovej rovine ako na obrázku, potom s vedomím, že počas experimentu dochádza k chybám, môžeme predpokladať, že závislosť je lineárna, t.j.r= sekera+ bVšimnite si, že metóda nekladie obmedzenia na typ funkcie, t.j. dá sa použiť na akékoľvek funkčné závislosti.

Z pohľadu experimentátora je často prirodzenejšie uvažovať o postupnosti odberu vzoriekvopred stanovené, t.j. je nezávislá premenná a počíta sa - závislá premenná Toto je obzvlášť jasné, ak je pod sa chápu ako momenty v čase, čo je najrozšírenejšie v technických aplikáciách, ale ide len o veľmi bežný špeciálny prípad. Napríklad je potrebné klasifikovať niektoré vzorky podľa veľkosti. Potom nezávislou premennou bude číslo vzorky, závislou premennou bude jej individuálna veľkosť.

Metóda najmenších štvorcov je podrobne popísaná v mnohých vzdelávacích a vedeckých publikáciách, najmä pokiaľ ide o aproximáciu funkcií v elektrotechnike a rádiotechnike, ako aj v knihách o teórii pravdepodobnosti a matematickej štatistike.

Vráťme sa ku kresbe. Bodkované čiary ukazujú, že chyby môžu vznikať nielen v dôsledku nedokonalých postupov merania, ale aj v dôsledku nepresnosti v špecifikácii nezávislej premennej pri zvolenom type funkcie Zostáva len vybrať parametre, ktoré sú v ňom zahrnutéa A bJe jasné, že počet parametrov môže byť viac ako dva, čo je typické len pre lineárne funkcie. všeobecný pohľad predpokladáme

.(1)

Musíte si vybrať kurzya, b, c... tak, aby bola splnená podmienka

. (2)

Poďme nájsť hodnoty a, b, c..., otočením ľavej strany (2) na minimum. Aby sme to dosiahli, určíme stacionárne body (body, v ktorých prvá derivácia zmizne) diferenciáciou ľavej strany (2) vzhľadom naa, b, c:

(3)

atď. Výsledná sústava rovníc obsahuje toľko rovníc, koľko je neznámycha, b, c…. Nie je možné riešiť takýto systém vo všeobecnej forme, preto je potrebné špecifikovať, aspoň približne, konkrétny typ funkcie Ďalej budeme uvažovať o dvoch prípadoch: lineárne a kvadratické funkcie.

Lineárna funkcia .

Uvažujme súčet štvorcových rozdielov medzi experimentálnymi hodnotami a funkčnými hodnotami v zodpovedajúcich bodoch:

(4)

Vyberme parametrea A baby táto suma mala najmenšia hodnota. Úloha teda spočíva v hľadaní hodnôta A b, pri ktorej má funkcia minimum, teda na štúdium funkcie dvoch nezávislých premennýcha A bna minimum. Aby sme to dosiahli, rozlišujeme podľaa A b:

;

Alebo

(5)

Nahradením experimentálnych údajov a získame systém dvoch lineárne rovnice s dvoma neznámymia A b. Po vyriešení tohto systému môžeme napísať funkciu .

Ubezpečme sa, že pre nájdené hodnotya A bmá minimum. Aby sme to dosiahli, nájdeme a:

, , .

teda

− = ,

>0,

tie. je splnená dostatočná minimálna podmienka pre funkciu dvoch premenných.

Kvadratická funkcia .

Nechajte experiment získať hodnoty funkcie v bodoch. Nech je tiež na základe apriórnych informácií predpoklad, že funkcia je kvadratická:

Musíme nájsť koeficientya, b A c.Máme

– funkcia troch premennýcha, b, c.

V tomto prípade má systém (3) tvar:

alebo:

Po vyriešení tohto systému lineárnych rovníc určíme neznámea, b, c.

Príklad.Nech sa na základe experimentu získajú štyri hodnoty požadovanej funkcie y = (x ) so štyrmi hodnotami argumentu, ktoré sú uvedené v tabuľke:

Metóda obyčajných najmenších štvorcov (OLS).- matematická metóda používaná na riešenie rôznych úloh, založená na minimalizácii súčtu kvadrátov odchýlok určitých funkcií od požadovaných premenných. Dá sa použiť na „riešenie“ preurčených sústav rovníc (keď počet rovníc prevyšuje počet neznámych), na hľadanie riešení v prípade obyčajných (nie preurčených) nelineárnych sústav rovníc, na aproximáciu bodových hodnôt niektorých funkciu. OLS je jednou zo základných metód regresnej analýzy na odhad neznámych parametrov regresných modelov zo vzorových údajov.

Encyklopedický YouTube

1 / 5

✪ Metóda najmenších štvorcov. Predmet

✪ Mitin I.V. - Spracovanie fyzických výsledkov. experiment - Metóda najmenších štvorcov (4. prednáška)

✪ Metóda najmenších štvorcov, lekcia 1/2. Lineárna funkcia

✪ Ekonometria. Prednáška 5. Metóda najmenších štvorcov

✪ Metóda najmenších štvorcov. Odpovede

titulky

Príbeh

Predtým začiatkom XIX V. vedci nemali určité pravidlá riešiť sústavu rovníc, v ktorej je počet neznámych menší ako počet rovníc; Dovtedy sa používali súkromné techniky, ktoré záviseli od typu rovníc a od dôvtipu kalkulačiek, a preto rôzne kalkulačky na základe rovnakých pozorovacích údajov dospeli k rôznym záverom. Gauss (1795) bol prvý, kto použil túto metódu, a Legendre (1805) ju nezávisle objavil a publikoval pod jej moderným názvom (franc. Methode des moindres quarrés). Laplace spojil metódu s teóriou pravdepodobnosti a americký matematik Adrain (1808) uvažoval o jej teoreticko-teoretickom použití. Metóda bola rozšírená a zdokonalená ďalším výskumom Enckeho, Bessela, Hansena a ďalších.

Podstata metódy najmenších štvorcov

Nechaj x (\displaystyle x)- súprava n (\displaystyle n) neznáme premenné (parametre), f i (x) (\displaystyle f_(i)(x)), , m > n (\displaystyle m>n)- množina funkcií z tejto množiny premenných. Úlohou je vybrať takéto hodnoty x (\displaystyle x), aby sa hodnoty týchto funkcií čo najviac približovali určitým hodnotám y i (\displaystyle y_(i)). V podstate hovoríme o o „riešení“ preurčeného systému rovníc f i (x) = y i (\displaystyle f_(i)(x)=y_(i)), i = 1 , … , m (\displaystyle i=1,\ldots ,m) v naznačenom zmysle maximálnej blízkosti ľavého a pravé časti systémov. Podstatou metódy najmenších štvorcov je vybrať ako „mieru blízkosti“ súčet štvorcových odchýlok ľavej a pravej strany. | f i (x) − y i | (\displaystyle |f_(i)(x)-y_(i)|). Podstatu MNC možno teda vyjadriť takto:

∑ i e i 2 = ∑ i (y i − f i (x)) 2 → min x (\displaystyle \sum _(i)e_(i)^(2)=\sum _(i)(y_(i)-f_( i)(x))^(2)\šípka doprava \min _(x)).

Ak má systém rovníc riešenie, potom bude minimálny súčet štvorcov rovná nule a presné riešenia sústavy rovníc možno nájsť analyticky alebo napríklad rôznymi numerickými optimalizačnými metódami. Ak je systém preurčený, teda voľne povedané, počet nezávislých rovníc je väčší ako počet požadovaných premenných, potom systém nemá presné riešenie a metóda najmenších štvorcov nám umožňuje nájsť nejaký „optimálny“ vektor. x (\displaystyle x) v zmysle maximálnej blízkosti vektorov y (\displaystyle y) A f (x) (\displaystyle f(x)) alebo maximálna blízkosť vektora odchýlky e (\displaystyle e) k nule (blízkosť sa chápe v zmysle euklidovskej vzdialenosti).

Príklad - sústava lineárnych rovníc

Najmä metóda najmenších štvorcov môže byť použitá na "riešenie" systému lineárnych rovníc

A x = b (\displaystyle Ax=b),

Kde A (\displaystyle A) matica obdĺžnikovej veľkosti m × n , m > n (\displaystyle m\times n,m>n)(t.j. počet riadkov matice A je väčší ako počet hľadaných premenných).

Vo všeobecnom prípade takýto systém rovníc nemá riešenie. Preto je možné tento systém „riešiť“ len v zmysle výberu takéhoto vektora x (\displaystyle x) minimalizovať "vzdialenosť" medzi vektormi A x (\displaystyle Axe) A b (\displaystyle b). Na tento účel môžete použiť kritérium minimalizácie súčtu štvorcov rozdielov medzi ľavou a pravou stranou systémových rovníc, tj. (A x − b) T (A x − b) → min (\displaystyle (Ax-b)^(T)(Ax-b)\rightarrow \min ). Je ľahké ukázať, že riešenie tohto problému minimalizácie vedie k riešeniu nasledujúceho systému rovníc

A T A x = A T b ⇒ x = (A T A) − 1 A T b (\displaystyle A^(T)Ax=A^(T)b\šípka doprava x=(A^(T)A)^(-1)A^ (T)b).

OLS v regresnej analýze (aproximácia údajov)

Nech je tam n (\displaystyle n) hodnoty nejakej premennej y (\displaystyle y)(mohli by to byť výsledky pozorovaní, experimentov atď.) a súvisiace premenné x (\displaystyle x). Výzvou je zabezpečiť, aby vzťah medzi y (\displaystyle y) A x (\displaystyle x) aproximovať nejakou funkciou známou až po niektoré neznáme parametre b (\displaystyle b), teda skutočne nájsť najlepšie hodnoty parametrov b (\displaystyle b), čo sa maximálne približuje k hodnotám f (x, b) (\displaystyle f(x,b)) na skutočné hodnoty y (\displaystyle y). V skutočnosti ide o prípad „riešenia“ príliš určeného systému rovníc vzhľadom na b (\displaystyle b):

F (x t , b) = y t , t = 1 , … , n (\displaystyle f(x_(t),b)=y_(t),t=1,\ldots ,n).

V regresnej analýze a najmä v ekonometrii sa používajú pravdepodobnostné modely závislosti medzi premennými

Yt = f (x t, b) + ε t (\displaystyle y_(t)=f(x_(t),b)+\varepsilon _(t)),

Kde ε t (\displaystyle \varepsilon _(t))- tzv náhodné chyby modelov.

V súlade s tým odchýlky pozorovaných hodnôt y (\displaystyle y) z modelu f (x, b) (\displaystyle f(x,b)) sa predpokladá už v samotnom modeli. Podstatou metódy najmenších štvorcov (obyčajnej, klasickej) je nájsť takéto parametre b (\displaystyle b), pri ktorej súčet štvorcových odchýlok (chyby, pre regresné modely sa často nazývajú regresné rezíduá) e t (\displaystyle e_(t)) bude minimálny:

b ^ O L S = arg ⁡ min b R S S (b) (\displaystyle (\klobúk (b))_(OLS)=\arg \min _(b)RSS(b)),

Kde R S S (\displaystyle RSS)- Angličtina Zvyšný súčet štvorcov je definovaný ako:

R S S (b) = e T e = ∑ t = 1 n e t 2 = ∑ t = 1 n (y t − f (x t, b)) 2 (\displaystyle RSS(b)=e^(T)e=\sum _ (t=1)^(n)e_(t)^(2)=\súčet _(t=1)^(n)(y_(t)-f(x_(t),b))^(2) ).

Vo všeobecnom prípade možno tento problém vyriešiť metódami numerickej optimalizácie (minimalizácie). V tomto prípade hovoríme o nelineárna metóda najmenších štvorcov(NLS alebo NLLS - anglické nelineárne najmenšie štvorce). V mnohých prípadoch je možné získať analytické riešenie. Na vyriešenie problému minimalizácie je potrebné nájsť stacionárne body funkcie R S S (b) (\displaystyle RSS(b)), pričom sa rozlišuje podľa neznámych parametrov b (\displaystyle b), prirovnanie derivácií k nule a riešenie výslednej sústavy rovníc:

∑ t = 1 n (y t − f (x t, b)) ∂ f (x t, b) ∂ b = 0 (\displaystyle \sum _(t=1)^(n)(y_(t)-f(x_ (t),b))(\frac (\čiastočné f(x_(t),b))(\čiastočné b))=0).

OLS v prípade lineárnej regresie

Nech je regresná závislosť lineárna:

y t = ∑ j = 1 k b j x t j + ε = x t T b + ε t (\displaystyle y_(t)=\sum _(j=1)^(k)b_(j)x_(tj)+\varepsilon =x_( t)^(T)b+\varepsilon _(t)).

Nechaj r je stĺpcový vektor pozorovaní vysvetľovanej premennej a X (\displaystyle X)- Toto (n × k) (\displaystyle ((n\krát k)))-matica pozorovaní faktorov (riadky matice sú vektory hodnôt faktorov v toto pozorovanie, po stĺpcoch - vektor hodnôt tento faktor vo všetkých pozorovaniach). Maticová reprezentácia lineárneho modelu má tvar:

y = X b + ε (\displaystyle y=Xb+\varepsilon ).

Potom sa vektor odhadov vysvetľovanej premennej a vektor regresných zvyškov budú rovnať

y ^ = X b , e = y − y ^ = y − X b (\displaystyle (\klobúk (y))=Xb,\quad e=y-(\klobúk (y))=y-Xb).

Súčet druhých mocnín regresných zvyškov sa teda bude rovnať

R S S = e T e = (y − X b) T (y − X b) (\displaystyle RSS=e^(T)e=(y-Xb)^(T)(y-Xb)).

Rozlíšenie tejto funkcie vzhľadom na vektor parametrov b (\displaystyle b) a prirovnaním derivátov k nule dostaneme systém rovníc (v maticovej forme):

(X T X) b = X T y (\displaystyle (X^(T)X)b=X^(T)y).

Vo forme dešifrovanej matice tento systém rovníc vyzerá takto:

(∑ x t 1 2 ∑ x t 1 x t 2 ∑ x t 1 x t 3 … ∑ x t 1 x t k ∑ x t 2 x t 1 ∑ x t 2 2 ∑ x t k 2 x t x 3 … 2 x t k 2 x t x 3 x 2 x 3 x 3 ∑ x t 3 x t 2 ∑ x t 3 2 … ∑ x t 3 x t k ⋮ ⋮ ⋮ ⋱ ⋮ ∑ x t k x t 1 ∑ x t k x t 2 ∑ x t k x t 3 … ∑ x t k 2) (b 1 k 2) (b 3 k 1 b) ∑ x t 2 y t ∑ x t 3 y t ⋮ ∑ x t k y t) , (\displaystyle (\začiatok(pmatrix)\súčet x_(t1)^(2)&\súčet x_(t1)x_(t2)&\súčet x_(t1)x_(t3)&\ldots &\súčet x_(t1)x_(tk)\\\súčet x_(t2)x_(t1)&\súčet x_(t2)^(2)&\súčet x_(t2)x_(t3)&\ldots &\ súčet x_(t2)x_(tk)\\\súčet x_(t3)x_(t1)&\súčet x_(t3)x_(t2)&\súčet x_(t3)^(2)&\ldots &\súčet x_ (t3)x_(tk)\\\vbodky &\vbodky &\vbodky &\dbodky &\vbodky \\\súčet x_(tk)x_(t1)&\súčet x_(tk)x_(t2)&\súčet x_ (tk)x_(t3)&\ldots &\sum x_(tk)^(2)\\\koniec (pmatrix))(\začiatok (pmatrix)b_(1)\\b_(2)\\b_(3 )\\\vbodky \\b_(k)\\\koniec (pmatica))=(\začiatok (pmatica)\súčet x_(t1)y_(t)\\\súčet x_(t2)y_(t)\\ \sum x_(t3)y_(t)\\\vbodky \\\sučet x_(tk)y_(t)\\\end(pmatrix)),) kde sa berú všetky sumy za všetkých prijateľné hodnoty t (\displaystyle t).

Ak je v modeli zahrnutá konštanta (ako obvykle), potom x t 1 = 1 (\displaystyle x_(t1)=1) pred všetkými t (\displaystyle t), teda v ľavom hornom rohu matice sústavy rovníc je počet pozorovaní n (\displaystyle n) a vo zvyšných prvkoch prvého riadku a prvého stĺpca – jednoducho súčty hodnôt premenných: ∑ x t j (\displaystyle \sum x_(tj)) a prvým prvkom pravej strany systému je ∑ y t (\displaystyle \sum y_(t)).

Riešenie tejto sústavy rovníc dáva všeobecný vzorec Odhady OLS pre lineárny model:

b ^ O L S = (X T X) − 1 X T y = (1 n X T X) − 1 1 n X T y = V x − 1 C x y (\displaystyle (\klobúk (b))_(OLS)=(X^(T )X)^(-1)X^(T)y=\vľavo((\frac (1)(n))X^(T)X\vpravo)^(-1)(\frac (1)(n) ))X^(T)y=V_(x)^(-1)C_(xy)).

Pre analytické účely sa ukazuje ako užitočné posledné znázornenie tohto vzorca (v sústave rovníc pri delení n sa namiesto súčtov objavujú aritmetické priemery). Ak v regresnom modeli dáta vycentrovaný, potom v tomto znázornení má prvá matica význam vzorovej kovariančnej matice faktorov a druhá je vektorom kovariancií faktorov so závislou premennou. Ak sú navyše údaje aj normalizované na MSE (teda v konečnom dôsledku štandardizované), potom prvá matica má význam výberovej korelačnej matice faktorov, druhý vektor - vektor výberových korelácií faktorov so závislou premennou.

Dôležitá vlastnosť odhadov OLS pre modely s konštantným- priamka zostrojenej regresie prechádza ťažiskom vzorových údajov, to znamená, že je splnená rovnosť:

y ¯ = b 1 ^ + ∑ j = 2 k b ^ j x ¯ j (\displaystyle (\bar (y))=(\klobúk (b_(1)))+\sum _(j=2)^(k) (\klobúk (b))_(j)(\bar (x))_(j)).

Najmä v extrémnom prípade, keď jediným regresorom je konštanta, zistíme, že odhad OLS jediného parametra (samotnej konštanty) sa rovná priemernej hodnote vysvetľovanej premennej. Teda aritmetický priemer, známy svojimi dobrými vlastnosťami zo zákonov veľké čísla, je tiež odhad najmenších štvorcov - spĺňa kritérium minimálneho súčtu odchýlok na druhú mocninu.

Najjednoduchšie špeciálne prípady

V prípade parnej miestnosti lineárna regresia y t = a + b x t + ε t (\displaystyle y_(t)=a+bx_(t)+\varepsilon _(t)), keď sa odhadne lineárna závislosť jednej premennej od druhej, výpočtové vzorce sa zjednodušia (vystačíte si bez maticová algebra). Sústava rovníc má tvar:

(1 x ¯ x ¯ x 2 ¯) (a b) = (y ¯ x y ¯) (\displaystyle (\začiatok(pmatrix)1&(\bar (x))\\(\bar (x))&(\bar (x^(2)))\\\koniec(pmatica))(\začiatok(pmatica)a\\b\\\koniec(pmatica))=(\začiatok(pmatica)(\bar (y))\\ (\overline (xy))\\\end(pmatrix))).

Odtiaľ je ľahké nájsť odhady koeficientov:

( b ^ = Cov ⁡ (x, y) Var ⁡ (x) = x y ¯ − x ¯ y ¯ x 2 ¯ − x ¯ 2 , a ^ = y ¯ − b x ¯ . (\displaystyle (\begin(cases)) (\hat (b))=(\frac (\mathop (\textrm (Cov)) (x,y))(\mathop (\textrm (Var)) (x)))=(\frac ((\overline (xy))-(\bar (x))(\bar (y)))((\overline (x^(2)))-(\overline (x))^(2))),\\( \hat (a))=(\bar (y))-b(\bar (x)).\end(cases)))

Napriek tomu, že vo všeobecnom prípade sú preferované modely s konštantou, v niektorých prípadoch je z teoretických úvah známe, že konštanta a (\displaystyle a) sa musí rovnať nule. Napríklad vo fyzike je vzťah medzi napätím a prúdom U = I ⋅ R (\displaystyle U=I\cdot R); Pri meraní napätia a prúdu je potrebné odhadnúť odpor. V tomto prípade hovoríme o modeli y = b x (\displaystyle y=bx). V tomto prípade namiesto sústavy rovníc máme jednu rovnicu

(∑ x t 2) b = ∑ x t y t (\displaystyle \left(\sum x_(t)^(2)\right)b=\sum x_(t)y_(t)).

Preto vzorec na odhad jediného koeficientu má tvar

B ^ = ∑ t = 1 n x t y t ∑ t = 1 n x t 2 = x y ¯ x 2 ¯ (\displaystyle (\hat (b))=(\frac (\sum _(t=1)^(n)x_(t )y_(t))(\súčet _(t=1)^(n)x_(t)^(2)))=(\frac (\overline (xy))(\overline (x^(2)) ))).

Prípad polynomického modelu

Ak sú údaje fitované polynomickou regresnou funkciou jednej premennej f (x) = b 0 + ∑ i = 1 k b i x i (\displaystyle f(x)=b_(0)+\sum \limits _(i=1)^(k)b_(i)x^(i)), potom vnímanie stupňov x i (\displaystyle x^(i)) ako nezávislé faktory pre každého i (\displaystyle i) je možné odhadnúť parametre modelu na základe všeobecného vzorca pre odhad parametrov lineárneho modelu. Na to stačí vo všeobecnom vzorci vziať do úvahy, že pri takejto interpretácii x t i x t j = x t i x t j = x t i + j (\displaystyle x_(ti)x_(tj)=x_(t)^(i)x_(t)^(j)=x_(t)^(i+j)) A x t j y t = x t j y t (\displaystyle x_(tj)y_(t)=x_(t)^(j)y_(t)). teda maticové rovnice v tomto prípade bude mať tvar:

(n ∑ n x t … ∑ n x t k ∑ n x t ∑ n x i 2 … ∑ m x i k + 1 ⋮ ⋮ ⋱ ⋮ ∑ n x t k ∑ n x t k + 1 b 2 k 1 … 1 … ∑ [ ∑ n y t ∑ n t y t ⋮ ∑ n x t k y t ]. (\displaystyle (\begin(pmatrix)n&\sum \limits _(n)x_(t)&\ldots &\sum \limits _(n)x_(t)^(k)\\\sum \limits _( n)x_(t)&\súčet \limity _(n)x_(i)^(2)&\ldots &\sum \limits _(m)x_(i)^(k+1)\\\vbodky & \vbodky &\dbodky &\vbodky \\\súčet \limity _(n)x_(t)^(k)&\sum \limits _(n)x_(t)^(k+1)&\ldots &\ súčet \limits _(n)x_(t)^(2k)\end(pmatrix))(\začiatok(bmatrix)b_(0)\\b_(1)\\\vbodky \\b_(k)\end( bmatrix))=(\začiatok(bmatica)\súčet \limity _(n)y_(t)\\\súčet \limity _(n)x_(t)y_(t)\\\vbodky \\\súčet \limity _(n)x_(t)^(k)y_(t)\end(bmatica)).)

Štatistické vlastnosti odhadov OLS

V prvom rade si všimneme, že pre lineárne modely sú odhady OLS lineárnymi odhadmi, ako vyplýva z vyššie uvedeného vzorca. Pre nestranné odhady OLS je potrebné a postačujúce splniť najdôležitejšiu podmienku regresnej analýzy: matematické očakávanie náhodnej chyby podmienené faktormi sa musí rovnať nule. Táto podmienka, najmä sa uspokojí, ak

matematické očakávanie náhodných chýb je nulové a
faktory a náhodné chyby sú nezávislé náhodné premenné.

Druhá podmienka – podmienka exogenity faktorov – je zásadná. Ak táto vlastnosť nie je splnená, potom môžeme predpokladať, že takmer všetky odhady budú extrémne neuspokojivé: dokonca nebudú konzistentné (to znamená, že ani veľmi veľké množstvo údajov nám v tomto prípade neumožňuje získať vysoko kvalitné odhady ). V klasickom prípade sa silnejšie predpokladá determinizmus faktorov, na rozdiel od náhodnej chyby, ktorá automaticky znamená, že podmienka exogenity je splnená. Vo všeobecnom prípade pre konzistentnosť odhadov stačí splniť podmienku exogenity spolu s konvergenciou matice V x (\displaystyle V_(x)) do nejakej nesingulárnej matice, keď sa veľkosť vzorky zväčšuje do nekonečna.

Aby boli okrem konzistencie a nezaujatosti efektívne aj odhady (obyčajných) najmenších štvorcov (najlepšie v triede lineárnych neskreslených odhadov), musia byť splnené ďalšie vlastnosti náhodnej chyby:

Tieto predpoklady možno formulovať pre kovariančnú maticu vektora náhodnej chyby V (ε) = σ 2 I (\displaystyle V(\varepsilon)=\sigma ^(2)I).

Lineárny model, ktorý tieto podmienky spĺňa, sa nazýva tzv klasický. Odhady OLS pre klasickú lineárnu regresiu sú nezaujaté, konzistentné a najefektívnejšie odhady v triede všetkých lineárnych neskreslených odhadov (v anglickej literatúre sa niekedy používa skratka MODRÁ (Najlepší lineárny nezaujatý odhad) - najlepší lineárny nezaujatý odhad; V ruská literatúračastejšie sa cituje Gauss-Markovova veta). Ako je ľahké ukázať, kovariančná matica vektora odhadov koeficientov sa bude rovnať:

V (b ^ O L S) = σ 2 (X T X) − 1 (\displaystyle V((\hat (b))_(OLS))=\sigma ^(2)(X^(T)X)^(-1 )).

Účinnosť znamená, že táto kovariančná matica je „minimálna“ (akákoľvek lineárna kombinácia koeficientov a najmä koeficienty samotné majú minimálny rozptyl), to znamená, že v triede lineárnych nezaujatých odhadov sú najlepšie odhady OLS. Diagonálne prvky tejto matice - rozptyly odhadov koeficientov - sú dôležitými parametrami kvality získaných odhadov. Nie je však možné vypočítať kovariančnú maticu, pretože rozptyl náhodnej chyby nie je známy. Dá sa dokázať, že nezaujatým a konzistentným (pre klasický lineárny model) odhadom rozptylu náhodných chýb je množstvo:

S 2 = R S S / (n − k) (\displaystyle s^(2)=RSS/(n-k)).

Dosadením tejto hodnoty do vzorca pre kovariančnú maticu získame odhad kovariančnej matice. Výsledné odhady sú tiež nezaujaté a konzistentné. Je tiež dôležité, aby odhad rozptylu chýb (a teda rozptyl koeficientov) a odhady parametrov modelu boli nezávislé náhodné premenné, ktorý vám umožňuje získať testovacie štatistiky na testovanie hypotéz o modelových koeficientoch.

Treba poznamenať, že ak nie sú splnené klasické predpoklady, odhady parametrov OLS nie sú najefektívnejšie a tam, kde W (\displaystyle W) je nejaká symetrická pozitívne definitná matica váh. Konvenčné najmenšie štvorce sú špeciálnym prípadom tohto prístupu, kde je matica váh úmerná matici identity. Ako je známe, pre symetrické matice (alebo operátory) dochádza k expanzii W = P T P (\displaystyle W=P^(T)P). Preto môže byť špecifikovaná funkcia reprezentovaná nasledovne e T P T P e = (P e) T P e = e ∗ T e ∗ (\displaystyle e^(T)P^(T)Pe=(Pe)^(T)Pe=e_(*)^(T)e_( *)), to znamená, že tento funkcionál môže byť reprezentovaný ako súčet druhých mocnín niektorých transformovaných „zvyškov“. Môžeme teda rozlíšiť triedu metód najmenších štvorcov – metódy LS (Least Squares).

Bolo dokázané (Aitkenova veta), že pre zovšeobecnený lineárny regresný model (v ktorom nie sú kladené žiadne obmedzenia na kovariančnú maticu náhodných chýb) sú najúčinnejšie (v triede lineárnych nezaujatých odhadov) tzv. zovšeobecnené najmenšie štvorce (GLS, zovšeobecnené najmenšie štvorce)- LS metóda s váhovou maticou rovnajúcou sa inverznej kovariančnej matici náhodných chýb: W = V ε − 1 (\displaystyle W=V_(\varepsilon )^(-1)).

Dá sa ukázať, že vzorec pre GLS odhady parametrov lineárneho modelu má tvar

B ^ G L S = (X T V − 1 X) − 1 X T V − 1 y (\displaystyle (\klobúk (b))_(GLS)=(X^(T)V^(-1)X)^(-1) X^(T)V^(-1)y).

Kovariančná matica týchto odhadov sa teda bude rovnať

V (b ^ G L S) = (X T V − 1 X) − 1 (\displaystyle V((\hat (b))_(GLS))=(X^(T)V^(-1)X)^(- 1)).

V skutočnosti podstata OLS spočíva v určitej (lineárnej) transformácii (P) pôvodných dát a aplikácii obyčajnej OLS na transformované dáta. Účelom tejto transformácie je, že pre transformované dáta náhodné chyby už spĺňajú klasické predpoklady.

Vážené OLS

V prípade diagonálnej váhovej matice (a teda kovariančnej matice náhodných chýb) máme takzvané vážené najmenšie štvorce (WLS). V tomto prípade je vážený súčet štvorcov rezíduí modelu minimalizovaný, to znamená, že každé pozorovanie dostane „váhu“, ktorá je nepriamo úmerná rozptylu náhodnej chyby v tomto pozorovaní: e T W e = ∑ t = 1 n e t 2 σ t 2 (\displaystyle e^(T)We=\sum _(t=1)^(n)(\frac (e_(t)^(2))(\ sigma_(t)^(2)))). Údaje sa v skutočnosti transformujú vážením pozorovaní (vydelením množstvom úmerným očakávanému smerodajná odchýlka náhodné chyby) a na vážené údaje sa použije zvyčajná OLS.

ISBN 978-5-7749-0473-0 .

Ekonometria. Učebnica / Ed. Eliseeva I.I. - M.: Financie a štatistika, 2006. - 576 s. - ISBN 5-279-02786-3.

Alexandrova N.V. História matematických termínov, pojmov, zápisov: slovník-príručka. - 3. vyd. - M.: LKI, 2008. - 248 s. - ISBN 978-5-382-00839-4. I.V Mitin, Rusakov V.S. Analýza a spracovanie experimentálnych údajov - 5. vydanie - 24 s.

Ktorá nájde najviac široké uplatnenie v rôznych oblastiach vedy a praktické činnosti. Môže to byť fyzika, chémia, biológia, ekonómia, sociológia, psychológia a tak ďalej a tak ďalej. Z vôle osudu sa často musím popasovať s ekonomikou, a preto vám dnes sprostredkujem výlet do úžasnej krajiny tzv. Ekonometria=) ...Ako to nechceš?! Je to tam veľmi dobré – stačí sa rozhodnúť! ...Ale to, čo asi určite chcete, je naučiť sa riešiť problémy metóda najmenších štvorcov. A hlavne pilní čitatelia sa ich naučia riešiť nielen presne, ale aj VEĽMI RÝCHLO ;-) Ale najprv všeobecné vyjadrenie problému+ sprievodný príklad:

Predpokladajme, že v určitej tematickej oblasti sa študujú ukazovatele, ktoré majú kvantitatívne vyjadrenie. Zároveň existujú všetky dôvody domnievať sa, že ukazovateľ závisí od ukazovateľa. Tento predpoklad môže byť buď vedecká hypotéza alebo založená na základnom zdravom rozume. Nechajme však vedu bokom a preskúmajme chutnejšie oblasti – menovite obchody s potravinami. Označme podľa:

– predajná plocha predajne potravín, m2,
– ročný obrat obchodu s potravinami, milióny rubľov.

Je úplne jasné, že čím väčšia plocha predajne, tým väčší bude vo väčšine prípadov jej obrat.

Predpokladajme, že po vykonaní pozorovaní/experimentov/výpočtov/tancov s tamburínou máme k dispozícii číselné údaje:

Pri obchodoch s potravinami je myslím všetko jasné: - toto je plocha 1. predajne, - jej ročný obrat, - plocha 2. predajne, - jej ročný obrat atď. Mimochodom, vôbec nie je potrebné mať prístup k utajovaným materiálom - pomerne presné posúdenie obchodného obratu je možné získať pomocou matematická štatistika. Nenechajme sa však rozptyľovať, kurz komerčnej špionáže je už zaplatený =)

Tabuľkové údaje môžu byť tiež zapísané vo forme bodov a zobrazené v známej forme karteziánsky systém .

Odpovieme dôležitá otázka: Koľko bodov je potrebných na kvalitatívnu štúdiu?

Čím väčšie, tým lepšie. Minimálna prijateľná sada pozostáva z 5-6 bodov. Okrem toho, keď je množstvo údajov malé, „anomálne“ výsledky nemožno zahrnúť do vzorky. Takže napríklad malý elitný obchod môže zarobiť rádovo viac ako „jeho kolegovia“, čím skresľuje všeobecný vzorec, ktorý musíte nájsť!

Veľmi zjednodušene povedané, musíme vybrať funkciu, harmonogram ktorý prechádza čo najbližšie k bodom . Táto funkcia sa nazýva aproximácia (aproximácia - aproximácia) alebo teoretická funkcia . Vo všeobecnosti sa tu okamžite objaví zjavný „uchádzač“ - polynóm vysoký stupeň, ktorej graf prechádza VŠETKÝMI bodmi. Táto možnosť je však komplikovaná a často jednoducho nesprávna. (keďže graf sa bude neustále „zacykliť“ a zle odráža hlavný trend).

Hľadaná funkcia teda musí byť celkom jednoduchá a zároveň primerane odrážať závislosť. Ako asi tušíte, jedna z metód na nájdenie takýchto funkcií je tzv metóda najmenších štvorcov. Najprv sa pozrime na jeho podstatu všeobecne. Nech nejaká funkcia aproximuje experimentálne dáta:

Ako vyhodnotiť presnosť tejto aproximácie? Vypočítajme aj rozdiely (odchýlky) medzi experimentálnymi a funkčnými hodnotami (študujeme kresbu). Prvá myšlienka, ktorá príde na myseľ, je odhadnúť, aká veľká je suma, ale problém je v tom, že rozdiely môžu byť negatívne (Napríklad, ) a odchýlky v dôsledku takéhoto súčtu sa navzájom vyrušia. Preto ako odhad presnosti aproximácie treba brať súčet modulov odchýlky:

alebo zbalené: (pre prípad, že by niekto nevedel: – toto je ikona súčtu a – pomocná premenná – „počítadlo“, ktoré nadobúda hodnoty od 1 do ).

Približovanie experimentálnych bodov rôzne funkcie, dostaneme rôzne významy a samozrejme, ak je toto množstvo menšie, je táto funkcia presnejšia.

Takáto metóda existuje a je tzv metóda najmenšieho modulu. V praxi sa však výrazne rozšíril metóda najmenších štvorcov, v ktorom možné záporné hodnoty nie sú eliminované modulom, ale kvadratúrou odchýlok:

, po ktorom sú snahy zamerané na výber funkcie takej, že súčet štvorcových odchýlok bol čo najmenší. V skutočnosti odtiaľ pochádza názov metódy.

A teraz sa vrátime k niečomu inému dôležitý bod: ako je uvedené vyššie, zvolená funkcia by mala byť pomerne jednoduchá - existuje však aj veľa takýchto funkcií: lineárne , hyperbolický, exponenciálny, logaritmický, kvadratický atď. A, samozrejme, tu by som chcel okamžite „zmenšiť pole pôsobnosti“. Ktorú triedu funkcií by som si mal vybrať pre výskum? Primitívne, ale efektívna technika:

– Najjednoduchší spôsob je znázorniť body na výkrese a analyzovať ich umiestnenie. Ak majú tendenciu bežať v priamej línii, mali by ste hľadať rovnica priamky s optimálnymi hodnotami a . Inými slovami, úlohou je nájsť TAKÉ koeficienty, aby súčet kvadrátov odchýlok bol najmenší.

Ak sú body umiestnené napr hyperbola, potom je samozrejme jasné, že lineárna funkcia poskytne zlú aproximáciu. V tomto prípade hľadáme „najpriaznivejšie“ koeficienty pre rovnicu hyperboly – tie, ktoré dávajú minimálny súčet štvorcov .

Teraz si všimnite, že v oboch prípadoch hovoríme o funkcie dvoch premenných, ktorých argumenty sú vyhľadávané parametre závislosti:

A v podstate potrebujeme vyriešiť štandardný problém – nájsť minimálna funkcia dvoch premenných.

Spomeňme si na náš príklad: predpokladajme, že „ukladacie“ body majú tendenciu byť umiestnené v priamke a existujú všetky dôvody domnievať sa, že lineárna závislosť obrat z maloobchodných priestorov. Nájdime TAKÉTO koeficienty „a“ a „be“ také, aby bol súčet kvadrátov odchýlok bol najmenší. Všetko je ako obvykle - prvé Parciálne deriváty 1. rádu. Podľa pravidlo linearity Priamo pod ikonou sumy môžete rozlišovať:

Ak chcete použiť tieto informácie na esej alebo semestrálnu prácu, budem veľmi vďačný za odkaz v zozname zdrojov, kde nájdete takéto podrobné výpočty:

Vytvorme štandardný systém:

Každú rovnicu znížime o „dve“ a navyše „rozdelíme“ súčty:

Poznámka : nezávisle analyzovať, prečo je možné „a“ a „byť“ vyňať za ikonu súčtu. Mimochodom, formálne sa to dá urobiť so sumou

Prepíšme systém do „aplikovanej“ formy:

po ktorom sa začína objavovať algoritmus na riešenie nášho problému:

Poznáme súradnice bodov? Vieme. čiastky môžeme to nájsť? Jednoducho. Urobme to najjednoduchšie sústava dvoch lineárnych rovníc o dvoch neznámych(„a“ a „byť“). Systém riešime napr. Cramerova metóda, v dôsledku čoho získame stacionárny bod. Kontrola postačujúca podmienka pre extrém, môžeme overiť, že v tomto bode je funkcia dosiahne presne minimálne. Kontrola zahŕňa dodatočné výpočty, a preto ju necháme v zákulisí (v prípade potreby je možné zobraziť chýbajúci rámček). Vyvodzujeme konečný záver:

Funkcia najlepšia cesta (aspoň v porovnaní s akoukoľvek inou lineárnou funkciou) približuje experimentálne body . Zhruba povedané, jeho graf prechádza čo najbližšie k týmto bodom. V tradícii ekonometrie výsledná aproximačná funkcia sa tiež nazýva párová lineárna regresná rovnica .

Uvažovaný problém má veľký praktický význam. V našej príkladnej situácii, Eq. umožňuje predpovedať, aký obchodný obrat ("Igrek") obchod bude mať jednu alebo druhú hodnotu predajnej plochy (jeden alebo iný význam „x“). Áno, výsledná predpoveď bude len predpoveďou, no v mnohých prípadoch sa ukáže ako celkom presná.

Budem analyzovať iba jeden problém so „skutočnými“ číslami, pretože v ňom nie sú žiadne ťažkosti - všetky výpočty sú na úrovni školské osnovy 7-8 ročníkov. V 95 percentách prípadov budete vyzvaní, aby ste našli len lineárnu funkciu, ale na samom konci článku ukážem, že nájsť rovnice optimálnej hyperboly, exponenciály a niektorých ďalších funkcií nie je o nič zložitejšie.

Vlastne ostáva už len rozdávať sľúbené dobroty – aby ste sa takéto príklady naučili riešiť nielen presne, ale aj rýchlo. Starostlivo študujeme štandard:

Úloha

Ako výsledok štúdia vzťahu medzi dvoma ukazovateľmi sa získali nasledujúce dvojice čísel:

Pomocou metódy najmenších štvorcov nájdite lineárnu funkciu, ktorá najlepšie aproximuje empirickú funkciu (skúsený)údajov. Vytvorte nákres, na ktorom zostrojíte experimentálne body a graf aproximačnej funkcie v kartézskom pravouhlom súradnicovom systéme . Nájdite súčet štvorcových odchýlok medzi empirickými a teoretickými hodnotami. Zistite, či by funkcia bola lepšia (z pohľadu metódy najmenších štvorcov) priblížiť experimentálne body.

Upozorňujeme, že význam „x“ je prirodzený a má charakteristický zmysluplný význam, o ktorom budem hovoriť o niečo neskôr; ale, samozrejme, môžu byť aj zlomkové. Okrem toho v závislosti od obsahu konkrétnej úlohy môžu byť hodnoty „X“ aj „hra“ úplne alebo čiastočne záporné. Dostali sme „netvárnu“ úlohu a začíname s ňou Riešenie:

Nájdeme koeficienty optimálnej funkcie ako riešenie systému:

Na účely kompaktnejšieho záznamu možno premennú „počítadlo“ vynechať, pretože už je jasné, že sčítanie sa vykonáva od 1 do .

Je vhodnejšie vypočítať požadované množstvá v tabuľkovej forme:

Výpočty je možné vykonávať na mikrokalkulačke, ale oveľa lepšie je použiť Excel - rýchlejšie a bez chýb; pozrite si krátke video:

Dostávame teda nasledovné systému:

Tu môžete vynásobiť druhú rovnicu 3 a odčítajte 2. od 1. rovnice člen po člene. Ale to je šťastie - v praxi systémy často nie sú darom a v takýchto prípadoch šetrí Cramerova metóda:
, čo znamená, že systém má jedinečné riešenie.

Skontrolujme to. Chápem, že nechcete, ale prečo preskakovať chyby tam, kde nemôžu chýbať? Nájdené riešenie dosadíme na ľavú stranu každej rovnice systému:

Získajú sa pravé strany zodpovedajúcich rovníc, čo znamená, že systém je vyriešený správne.

Požadovaná aproximačná funkcia: – od všetky lineárne funkcie Je to ona, ktorá najlepšie aproximuje experimentálne údaje.

Na rozdiel od rovno závislosť obratu predajne od jej plochy, zistená závislosť je obrátene (zásada „čím viac, tým menej“), a túto skutočnosť okamžite odhalí negatív sklon. Funkcia nám hovorí, že so zvýšením určitého ukazovateľa o 1 jednotku sa hodnota závislého ukazovateľa znižuje priemer o 0,65 jednotky. Ako sa hovorí, čím vyššia je cena pohánky, tým menej sa predáva.

Na vykreslenie aproximačnej funkcie nájdime jej dve hodnoty:

a vykonajte kreslenie:

Zostrojená priamka je tzv trendová čiara (konkrétne lineárna trendová čiara, t. j. vo všeobecnom prípade trend nemusí byť nevyhnutne priamka). Každý pozná výraz „byť v trende“ a myslím si, že tento výraz nepotrebuje ďalšie komentáre.

Vypočítajme súčet štvorcových odchýlok medzi empirickými a teoretickými hodnotami. Geometricky je to súčet druhých mocnín dĺžok „malinových“ segmentov (dve z nich sú také malé, že ich ani nevidno).

Zhrňme si výpočty do tabuľky:

Opäť sa dajú urobiť ručne, pre prípad uvediem príklad pre 1. bod:

ale oveľa efektívnejšie je to urobiť už známym spôsobom:

Opakujeme ešte raz: Čo znamená získaný výsledok? Od všetky lineárne funkcie y funkciu ukazovateľ je najmenší, to znamená, že vo svojej rodine je to najlepšia aproximácia. A tu, mimochodom, posledná otázka problému nie je náhodná: čo ak navrhovaná exponenciálna funkcia bolo by lepšie priblížiť experimentálne body?

Nájdite zodpovedajúci súčet štvorcových odchýlok - na rozlíšenie ich označím písmenom „epsilon“. Technika je úplne rovnaká:

A ešte raz, pre každý prípad, výpočty pre 1. bod:

Používame Excel štandardná funkcia EXP (syntax nájdete v Pomocníkovi programu Excel).

Záver: , čo znamená, že exponenciálna funkcia aproximuje experimentálne body horšie ako priamka .

Tu však treba poznamenať, že „horšie“ je ešte neznamená, čo je zle. Teraz som vytvoril graf tejto exponenciálnej funkcie - a tiež prechádza blízko k bodom - natoľko, že bez analytického výskumu je ťažké povedať, ktorá funkcia je presnejšia.

Toto uzatvára riešenie a vraciam sa k otázke prirodzených hodnôt argumentu. V rôznych štúdiách, zvyčajne ekonomických alebo sociologických, sa prirodzené „X“ používajú na číslovanie mesiacov, rokov alebo iných rovnakých časových intervalov. Zvážte napríklad nasledujúci problém.

Má mnoho použití, pretože umožňuje približnú reprezentáciu danú funkciu iné sú jednoduchšie. LSM môže byť mimoriadne užitočné pri spracovaní pozorovaní a aktívne sa používa na odhadovanie niektorých veličín na základe výsledkov meraní iných, ktoré obsahujú náhodné chyby. V tomto článku sa dozviete, ako implementovať výpočty najmenších štvorcov v Exceli.

Vyjadrenie problému na konkrétnom príklade

Predpokladajme, že existujú dva indikátory X a Y. Okrem toho Y závisí od X. Keďže nás OLS zaujíma z pohľadu regresnej analýzy (v Exceli sú jej metódy implementované pomocou vstavaných funkcií), mali by sme okamžite prejsť na konkrétny problém.

Nech je teda X obchodná oblasť obchod s potravinami, meraný v metroch štvorcových, a Y je ročný obrat stanovený v miliónoch rubľov.

Je potrebné urobiť prognózu, aký obrat (Y) bude mať obchod, ak bude mať ten alebo ten obchodný priestor. Je zrejmé, že funkcia Y = f (X) rastie, keďže hypermarket predáva viac produktov ako stánok.

Niekoľko slov o správnosti počiatočných údajov použitých na predikciu

Povedzme, že máme tabuľku zostavenú pomocou údajov pre n obchodov.

Podľa matematických štatistík budú výsledky viac-menej správne, ak sa preskúmajú údaje aspoň o 5-6 objektoch. Okrem toho nemožno použiť „anomálne“ výsledky. Najmä elitný malý butik môže mať obrat, ktorý je niekoľkonásobne vyšší ako obrat veľkých maloobchodných predajní triedy „masmarket“.

Podstata metódy

Tabuľkové dáta môžu byť zobrazené na karteziánskej rovine v tvare bodov M 1 (x 1, y 1), ... M n (x n, y n). Teraz sa riešenie úlohy zredukuje na výber aproximačnej funkcie y = f (x), ktorá má graf prechádzajúci čo najbližšie k bodom M 1, M 2, .. M n.

Samozrejme, môžete použiť polynóm vysokého stupňa, ale táto možnosť je nielen náročná na implementáciu, ale aj jednoducho nesprávna, pretože nebude odrážať hlavný trend, ktorý je potrebné zistiť. Najrozumnejším riešením je hľadať priamku y = ax + b, ktorá najlepšie aproximuje experimentálne údaje, presnejšie koeficienty a a b.

Hodnotenie presnosti

Pri akejkoľvek aproximácii je mimoriadne dôležité posúdiť jej presnosť. Označme e i rozdiel (odchýlku) medzi funkčnou a experimentálnou hodnotou pre bod x i, teda e i = y i - f (x i).

Je zrejmé, že na posúdenie presnosti aproximácie môžete použiť súčet odchýlok, t.j. pri výbere priamky na približné znázornenie závislosti X na Y musíte uprednostniť tú s najmenšou hodnotou súčet e i vo všetkých posudzovaných bodoch. Nie všetko je však také jednoduché, pretože spolu s pozitívnymi odchýlkami budú existovať aj negatívne.

Problém je možné vyriešiť pomocou modulov odchýlky alebo ich štvorcov. Posledný spôsob dostal najviac široké využitie. Používa sa v mnohých oblastiach vrátane regresnej analýzy (implementovanej v Exceli pomocou dvoch vstavaných funkcií) a už dlho sa osvedčila.

Metóda najmenších štvorcov

Excel, ako viete, má vstavanú funkciu AutoSum, ktorá vám umožňuje vypočítať hodnoty všetkých hodnôt nachádzajúcich sa vo vybranom rozsahu. Nič nám teda nebude brániť vypočítať hodnotu výrazu (e 1 2 + e 2 2 + e 3 2 + ... e n 2).

V matematickom zápise to vyzerá takto:

Keďže sa pôvodne rozhodlo o aproximácii pomocou priamky, máme:

Úloha nájsť priamku, ktorá najlepšie popisuje špecifickú závislosť veličín X a Y, teda spočíva na výpočte minima funkcie dvoch premenných:

Aby ste to dosiahli, musíte prirovnať parciálne derivácie vzhľadom na nové premenné a a b k nule a vyriešiť primitívny systém pozostávajúci z dvoch rovníc s 2 neznámymi tvaru:

Po niekoľkých jednoduchých transformáciách, vrátane delenia 2 a manipulácie so súčtami, dostaneme:

Riešením napríklad Cramerovou metódou získame stacionárny bod s určitými koeficientmi a * a b *. Toto je minimum, t. j. na predpovedanie, aký obrat bude mať obchod pre určitú oblasť, je vhodná priamka y = a * x + b *, čo je regresný model pre daný príklad. Samozrejme, že vám to neumožní nájsť presný výsledok, ale pomôže vám to získať predstavu o tom, či sa nákup konkrétnej oblasti na kredit obchodu oplatí.

Ako implementovať najmenšie štvorce v Exceli

Excel má funkciu na výpočet hodnôt pomocou najmenších štvorcov. Má nasledujúci tvar: „TREND“ (známe hodnoty Y; známe hodnoty X; nové hodnoty X; konštanta). Aplikujme vzorec na výpočet OLS v Exceli na našu tabuľku.

Za týmto účelom zadajte znak „=“ do bunky, v ktorej sa má zobraziť výsledok výpočtu metódou najmenších štvorcov v Exceli, a vyberte funkciu „TREND“. V okne, ktoré sa otvorí, vyplňte príslušné polia a zvýraznite:

rozsah známych hodnôt pre Y (v tomto prípade údaje pre obchodný obrat);
rozsah x 1, … x n, t. j. veľkosť predajnej plochy;
známe aj neznáme hodnoty x, pre ktoré musíte zistiť veľkosť obratu (informácie o ich umiestnení na pracovnom hárku nájdete nižšie).

Okrem toho vzorec obsahuje logickú premennú „Const“. Ak do príslušného poľa zadáte 1, znamená to, že by ste mali vykonať výpočty za predpokladu, že b = 0.

Ak potrebujete zistiť predpoveď pre viac ako jednu hodnotu x, po zadaní vzorca by ste nemali stlačiť „Enter“, ale musíte na klávesnici zadať kombináciu „Shift“ + „Control“ + „Enter“.

Niektoré funkcie

Regresná analýza môže byť prístupná aj pre figuríny. Vzorec programu Excel predpovedať hodnotu poľa neznámych premenných – „TREND“ – môžu použiť aj tí, ktorí o metóde najmenších štvorcov nikdy nepočuli. Stačí poznať niektoré črty jeho práce. Konkrétne:

Ak usporiadate rozsah známych hodnôt premennej y do jedného riadku alebo stĺpca, potom každý riadok (stĺpec) so známymi hodnotami x bude programom vnímaný ako samostatná premenná.
Ak v okne TRENDU nie je zadaný rozsah so známym x, pri použití funkcie v Exceli ho program bude považovať za pole pozostávajúce z celých čísel, ktorých počet zodpovedá rozsahu s dané hodnoty premenné y.
Na výstup poľa „predpovedaných“ hodnôt je potrebné zadať výraz na výpočet trendu ako vzorec poľa.
Ak nie sú zadané nové hodnoty x, funkcia TREND ich považuje za rovnaké ako tie známe. Ak nie sú špecifikované, potom sa pole 1 berie ako argument; 2; 3; 4;…, ktorý je primeraný rozsahu s už špecifikovanými parametrami y.
Rozsah obsahujúci nové hodnoty x musí mať rovnaký alebo viac riadkov alebo stĺpcov ako rozsah obsahujúci dané hodnoty y. Inými slovami, musí byť úmerná nezávislým premenným.
Pole so známymi hodnotami x môže obsahovať viacero premenných. Ak však hovoríme len o jednom, potom je potrebné, aby rozsahy s danými hodnotami x a y boli úmerné. V prípade viacerých premenných je potrebné, aby sa rozsah s danými hodnotami y zmestil do jedného stĺpca alebo jedného riadku.

Funkcia PREDICTION

Implementované pomocou niekoľkých funkcií. Jeden z nich sa nazýva „PREDIKCIA“. Je to podobné ako „TREND“, t.j. dáva výsledok výpočtov metódou najmenších štvorcov. Avšak len pre jedno X, pre ktoré hodnota Y nie je známa.

Teraz poznáte vzorce v Exceli pre figuríny, ktoré vám umožňujú predpovedať budúcu hodnotu konkrétneho ukazovateľa podľa lineárneho trendu.