Metóda najmenších štvorcov používa sa na odhad parametrov regresnej rovnice.

Počet riadkov (zdrojové údaje)

Jednou z metód na štúdium stochastických vzťahov medzi charakteristikami je regresná analýza.
Regresná analýza predstavuje výstup regresnej rovnice, ktorá slúži na nájdenie priemerná hodnota náhodná premenná (výsledkový atribút), ak je známa hodnota iných (alebo iných) premenných (faktorových atribútov). Zahŕňa nasledujúce kroky:

1. výber formy spojenia (typ analytickej regresnej rovnice);
2. odhad parametrov rovnice;
3. hodnotenie kvality analytickej regresnej rovnice.

Najčastejšie sa na popis štatistického vzťahu znakov používa lineárna forma. Zameranie na lineárne vzťahy sa vysvetľuje jasnou ekonomickou interpretáciou jeho parametrov, obmedzenými variáciami premenných a skutočnosťou, že vo väčšine prípadov sa nelineárne formy vzťahov prevádzajú (logaritmovaním alebo substitúciou premenných) na lineárnu formu, aby sa mohli vykonávať výpočty. .
V prípade lineárneho párového vzťahu bude mať regresná rovnica tvar: y i =a+b·x i +u i. Možnosti daná rovnica a a b sú odhadnuté zo štatistických pozorovaní x a y. Výsledkom takéhoto hodnotenia je rovnica: , kde , sú odhady parametrov a a b , je hodnota výsledného atribútu (premennej) získaná z regresnej rovnice (vypočítaná hodnota).

Najčastejšie sa používa na odhad parametrov metóda najmenších štvorcov (LSM).
Metóda najmenších štvorcov poskytuje najlepšie (konzistentné, efektívne a nezaujaté) odhady parametrov regresnej rovnice. Ale iba ak sú splnené určité predpoklady týkajúce sa náhodného člena (u) a nezávislej premennej (x) (pozri predpoklady OLS).

Problém odhadu parametrov lineárnej párovej rovnice metódou najmenších štvorcov je nasledovné: získať také odhady parametrov , , pri ktorých je súčet kvadrátov odchýlok skutočných hodnôt výslednej charakteristiky - y i od vypočítaných hodnôt - minimálny.
Formálne OLS test dá sa napísať takto: .

Klasifikácia metód najmenších štvorcov

1. Metóda najmenších štvorcov.
2. Metóda maximálnej pravdepodobnosti (pre normálny klasický lineárny regresný model sa postuluje normalita regresných zvyškov).
3. Zovšeobecnená metóda najmenších štvorcov OLS sa používa v prípade autokorelácie chýb a v prípade heteroskedasticity.
4. Metóda vážených najmenších štvorcov (špeciálny prípad OLS s heteroskedastickými rezíduami).

Ilustrujme pointu klasická metóda najmenších štvorcov graficky. Aby sme to dosiahli, zostrojíme bodový graf na základe pozorovacích údajov (x i, y i, i=1;n) v pravouhlom súradnicovom systéme (takýto bodový graf sa nazýva korelačné pole). Skúsme vybrať priamku, ktorá je najbližšie k bodom korelačného poľa. Podľa metódy najmenších štvorcov sa čiara vyberá tak, aby súčet druhých mocnín vertikálnych vzdialeností medzi bodmi korelačného poľa a touto čiarou bol minimálny.

Matematická notácia pre tento problém: .
Hodnoty y i a x i = 1...n sú nám známe; Vo funkcii S predstavujú konštanty. Premenné v tejto funkcii sú požadované odhady parametrov - , . Na nájdenie minima funkcie dvoch premenných je potrebné vypočítať parciálne derivácie tejto funkcie pre každý z parametrov a prirovnať ich k nule, t.j. .
Výsledkom je systém 2 normálnych lineárnych rovníc:
Rozhodovanie tento systém, nájdeme odhady požadovaných parametrov:

Správnosť výpočtu parametrov regresnej rovnice je možné skontrolovať porovnaním súm (môže dôjsť k určitej nezrovnalosti v dôsledku zaokrúhľovania výpočtov).
Ak chcete vypočítať odhady parametrov, môžete zostaviť tabuľku 1.
Znamienko regresného koeficientu b udáva smer vzťahu (ak b >0, vzťah je priamy, ak b<0, то связь обратная). Величина b показывает на сколько единиц изменится в среднем признак-результат -y при изменении признака-фактора - х на 1 единицу своего измерения.
Formálne je hodnota parametra a priemerná hodnota y, pričom x sa rovná nule. Ak atribút-faktor nemá a nemôže mať nulovú hodnotu, potom vyššie uvedená interpretácia parametra a nedáva zmysel.

Posúdenie blízkosti vzťahu medzi charakteristikami realizované pomocou lineárneho párového korelačného koeficientu - r x,y. Dá sa vypočítať pomocou vzorca: . Okrem toho je možné korelačný koeficient lineárnych párov určiť pomocou regresného koeficientu b: .
Rozsah prijateľných hodnôt koeficientu lineárnej párovej korelácie je od –1 do +1. Znamienko korelačného koeficientu udáva smer vzťahu. Ak r x, y > 0, potom je spojenie priame; ak r x, y<0, то связь обратная.
Ak sa tento koeficient blíži k jednotke, potom vzťah medzi charakteristikami možno interpretovať ako pomerne blízky lineárny. Ak sa jeho modul rovná jednej ê r x , y ê =1, potom je vzťah medzi charakteristikami funkčne lineárny. Ak sú znaky x a y lineárne nezávislé, potom r x, y je blízko 0.
Na výpočet r x,y môžete použiť aj tabuľku 1.

Tabuľka 1

N pozorovaní	x i	y i	x i ∙y i
1	x 1	y 1	x 1 r 1
2	x 2	y 2	x 2 roky 2
...
n	x n	y n	x n y n
Stĺpec Suma	∑x	∑y	∑xy
Priemerná hodnota

Na posúdenie kvality výslednej regresnej rovnice vypočítajte teoretický koeficient determinácie - R 2 yx:

,
kde d2 je rozptyl y vysvetlený regresnou rovnicou;
e 2 - zvyškový (nevysvetlený regresnou rovnicou) rozptyl y;
s 2 y - celkový (celkový) rozptyl y.
Koeficient determinácie charakterizuje podiel variácie (disperzie) výsledného atribútu y vysvetleného regresiou (a následne faktorom x) na celkovej variácii (disperzii) y. Koeficient determinácie R 2 yx nadobúda hodnoty od 0 do 1. Hodnota 1-R 2 yx teda charakterizuje podiel rozptylu y spôsobený vplyvom iných faktorov nezohľadnených v modeli a špecifikačných chýb.
V parnej miestnosti lineárna regresia R2yx = r2yx.

Má široké využitie v ekonometrii vo forme prehľadnej ekonomickej interpretácie jej parametrov.

Lineárna regresia vedie k nájdeniu rovnice tvaru

alebo

Rovnica formulára umožňuje na základe špecifikovaných hodnôt parametrov X mať teoretické hodnoty výslednej charakteristiky, pričom do nej nahrádzajú skutočné hodnoty faktora X.

Konštrukcia lineárnej regresie spočíva v odhade jej parametrov - A A V. Odhady parametrov lineárnej regresie možno nájsť pomocou rôznych metód.

Klasický prístup k odhadu parametrov lineárnej regresie je založený na metóda najmenších štvorcov(MNC).

Metóda najmenších štvorcov nám umožňuje získať takéto odhady parametrov A A V, pri ktorej súčet štvorcových odchýlok skutočných hodnôt výslednej charakteristiky (y) z vypočítaného (teoretického) minimum:

Ak chcete nájsť minimum funkcie, musíte vypočítať parciálne derivácie pre každý z parametrov A A b a nastavte ich na nulu.

Označme cez S, potom:

Transformáciou vzorca získame nasledujúci systém normálnych rovníc na odhad parametrov A A V:

Riešením sústavy normálnych rovníc (3.5) buď metódou sekvenčnej eliminácie premenných alebo metódou determinantov nájdeme požadované odhady parametrov. A A V.

Parameter V nazývaný regresný koeficient. Jeho hodnota zobrazuje priemernú zmenu výsledku so zmenou faktora o jednu jednotku.

Regresná rovnica je vždy doplnená o indikátor blízkosti súvislosti. Pri použití lineárnej regresie je takýmto ukazovateľom lineárny korelačný koeficient. Existujú rôzne modifikácie vzorca koeficientu lineárnej korelácie. Niektoré z nich sú uvedené nižšie:

Ako je známe, koeficient lineárnej korelácie je v medziach: -1 ≤ ≤ 1.

Na posúdenie kvality výberu lineárnej funkcie sa vypočíta štvorec

Lineárny korelačný koeficient tzv koeficient determinácie. Koeficient determinácie charakterizuje podiel rozptylu výslednej charakteristiky y, vysvetlené regresiou v celkovom rozptyle výsledného znaku:

Podľa toho hodnota 1 charakterizuje podiel rozptylu y, spôsobené vplyvom iných faktorov nezohľadnených v modeli.

Otázky na sebaovládanie

1. Podstata metódy najmenších štvorcov?

2. Koľko premenných poskytuje párová regresia?

3. Aký koeficient určuje tesnosť súvislosti medzi zmenami?

4. V akých medziach sa určuje koeficient determinácie?

5. Odhad parametra b v korelačno-regresnej analýze?

1. Christopher Dougherty. Úvod do ekonometrie. - M.: INFRA - M, 2001 - 402 s.

2. S.A. Borodich. Ekonometria. Minsk LLC „Nové poznatky“ 2001.

3. R.U. Rakhmetova Krátky kurz ekonometrie. Študijný sprievodca. Almaty. 2004. -78 s.

4. I.I. Eliseeva. - M.: „Financie a štatistika“, 2002

5. Mesačný informačný a analytický časopis.

Nelineárne ekonomické modely. Nelineárne regresné modely. Transformácia premenných.

Nelineárne ekonomické modely..

Transformácia premenných.

Koeficient elasticity.

Ak existujú nelineárne vzťahy medzi ekonomickými javmi, potom sú vyjadrené pomocou zodpovedajúcich nelineárnych funkcií: napríklad rovnostranná hyperbola , paraboly druhého stupňa atď.

Existujú dve triedy nelineárnych regresií:

1. Regresie, ktoré sú nelineárne vzhľadom na vysvetľujúce premenné zahrnuté v analýze, ale lineárne vzhľadom na odhadované parametre, napríklad:

Polynómy rôznych stupňov - , ;

Rovnostranná hyperbola - ;

Semilogaritmická funkcia - .

2. Regresie, ktoré sú nelineárne v odhadovaných parametroch, napríklad:

Výkon - ;

Demonštratívne - ;

Exponenciálny - .

Celkový súčet štvorcových odchýlok jednotlivých hodnôt výslednej charakteristiky pri z priemernej hodnoty je spôsobené vplyvom mnohých príčin. Podmienečne rozdeľme celý súbor dôvodov do dvoch skupín: skúmaný faktor x A iné faktory.

Ak faktor neovplyvňuje výsledok, potom je regresná čiara na grafe rovnobežná s osou Oh A

Potom je celý rozptyl výslednej charakteristiky spôsobený vplyvom iných faktorov a celkový súčet štvorcových odchýlok sa bude zhodovať so zvyškom. Ak iné faktory neovplyvňujú výsledok, potom y viazaný s X funkčne a zvyškový súčet štvorcov je nula. V tomto prípade je súčet štvorcových odchýlok vysvetlených regresiou rovnaký ako celkový súčet druhých mocnín.

Keďže nie všetky body korelačného poľa ležia na regresnej priamke, k ich rozptylu vždy dochádza v dôsledku vplyvu faktora X, teda regresia pri Autor: X, a spôsobené inými príčinami (nevysvetliteľná variácia). Vhodnosť regresnej priamky na predpovedanie závisí od toho, aká časť celkovej variácie vlastnosti je pri zodpovedá vysvetlenej variácii

Je zrejmé, že ak súčet štvorcových odchýlok v dôsledku regresie je väčší ako zvyškový súčet štvorcov, potom je regresná rovnica štatisticky významná a faktor X má významný vplyv na výsledok u.

, t.j. s počtom voľnosti nezávislej variácie charakteristiky. Počet stupňov voľnosti súvisí s počtom populačných jednotiek n a z neho určeným počtom konštánt. Vo vzťahu k skúmanému problému by počet stupňov voľnosti mal ukazovať od koľkých nezávislých odchýlok n

Posúdenie významnosti regresnej rovnice ako celku je uvedené pomocou F- Fisherovo kritérium. V tomto prípade je predložená nulová hypotéza, že regresný koeficient sa rovná nule, t.j. b = 0, a teda faktor X neovplyvňuje výsledok u.

Okamžitému výpočtu F-testu predchádza analýza rozptylu. Centrálne miesto v nej zaujíma rozklad celkového súčtu kvadrátov odchýlok premennej pri z priemernej hodnoty pri na dve časti – „vysvetlené“ a „nevysvetlené“:

- celkový súčet štvorcových odchýlok;

- súčet štvorcových odchýlok vysvetlených regresiou;

- zvyškový súčet štvorcových odchýlok.

Akýkoľvek súčet štvorcových odchýlok súvisí s počtom stupňov voľnosti , t.j. s počtom voľnosti nezávislej variácie charakteristiky. Počet stupňov voľnosti súvisí s počtom populačných jednotiek n a s počtom konštánt z nej určeným. Vo vzťahu k skúmanému problému by počet stupňov voľnosti mal ukazovať od koľkých nezávislých odchýlok n na vytvorenie daného súčtu štvorcov.

Rozptyl na stupeň voľnostiD.

F-pomery (F-test):

Ak je nulová hypotéza pravdivá, potom sa faktor a reziduálne rozptyly navzájom nelíšia. Pre H 0 je potrebné vyvrátenie, aby disperzia faktorov niekoľkonásobne prevyšovala zvyškovú disperziu. Anglický štatistik Snedekor vypracoval tabuľky kritických hodnôt F-vzťahy na rôznych úrovniach významnosti nulovej hypotézy a rôznych počtoch stupňov voľnosti. Tabuľková hodnota F-kritérium je maximálna hodnota pomeru rozptylov, ktoré môžu nastať v prípade náhodnej divergencie pre danú úroveň pravdepodobnosti prítomnosti nulovej hypotézy. Vypočítaná hodnota F-vzťahy sa považujú za spoľahlivé, ak o je väčšie ako tabuľka.

V tomto prípade sa zamietne nulová hypotéza o absencii vzťahu medzi znakmi a vyvodí sa záver o význame tohto vzťahu: F fakt > F tabuľka H0 sa zamietne.

Ak je hodnota menšia ako uvedená v tabuľke F fakt ‹, F tabuľka, potom je pravdepodobnosť nulovej hypotézy vyššia ako špecifikovaná úroveň a nemožno ju zamietnuť bez vážneho rizika vyvodenia nesprávneho záveru o prítomnosti vzťahu. V tomto prípade sa regresná rovnica považuje za štatisticky nevýznamnú. Ale nevybočuje.

Smerodajná chyba regresného koeficientu

Na posúdenie významnosti regresného koeficientu sa jeho hodnota porovnáva s jeho štandardnou chybou, t. j. určí sa skutočná hodnota t- študentský test: ktorá sa potom porovnáva s tabuľkovou hodnotou na určitej hladine významnosti a počte stupňov voľnosti ( n- 2).

Štandardná chyba parametra A:

Významnosť koeficientu lineárnej korelácie sa kontroluje na základe veľkosti chyby korelačný koeficient t r:

Celkový rozptyl vlastností X:

Viacnásobná lineárna regresia

Stavba modelu

Viacnásobná regresia predstavuje regresiu výsledného znamienka s dvoma a veľké množstvo faktory, teda model formy

Regresia môže dať dobrý výsledok pri modelovaní, ak možno zanedbať vplyv iných faktorov pôsobiacich na predmet skúmania. Správanie jednotlivých ekonomických premenných nie je možné kontrolovať, t. j. nie je možné zabezpečiť rovnosť všetkých ostatných podmienok na posúdenie vplyvu jedného skúmaného faktora. V tomto prípade by ste sa mali pokúsiť identifikovať vplyv iných faktorov ich zavedením do modelu, t. j. zostaviť rovnicu viacnásobná regresia: y = a+b 1 x 1 +b 2 +…+b p x p + .

Hlavným cieľom viacnásobnej regresie je zostaviť model s veľkým množstvom faktorov, pričom sa určí vplyv každého z nich samostatne, ako aj ich kombinovaný vplyv na modelovaný ukazovateľ. Špecifikácia modelu zahŕňa dva okruhy problémov: výber faktorov a výber typu regresnej rovnice

Príklad.

Experimentálne údaje o hodnotách premenných X A pri sú uvedené v tabuľke.

V dôsledku ich zarovnania sa získa funkcia

Používanie metóda najmenších štvorcov, aproximovať tieto údaje lineárnou závislosťou y=ax+b(nájdite parametre A A b). Zistite, ktorá z dvoch čiar lepšie (v zmysle metódy najmenších štvorcov) zarovnáva experimentálne údaje. Urobte si kresbu.

Podstata metódy najmenších štvorcov (LSM).

Úlohou je nájsť lineárne koeficienty závislosti, pri ktorých je funkcia dvoch premenných A A b prijíma najmenšia hodnota. Teda daný A A b súčet štvorcových odchýlok experimentálnych údajov od nájdenej priamky bude najmenší. Toto je celý zmysel metódy najmenších štvorcov.

Riešenie príkladu teda vedie k nájdeniu extrému funkcie dvoch premenných.

Odvodzovacie vzorce na hľadanie koeficientov.

Zostaví sa a vyrieši systém dvoch rovníc s dvoma neznámymi. Hľadanie parciálnych derivácií funkcie vzhľadom na premenné A A b, prirovnávame tieto deriváty k nule.

Výslednú sústavu rovníc riešime ľubovoľnou metódou (napr substitučnou metódou alebo ) a získajte vzorce na hľadanie koeficientov pomocou metódy najmenších štvorcov (LSM).

Dané A A b funkciu má najmenšiu hodnotu. Dôkaz tejto skutočnosti je uvedený.

To je celá metóda najmenších štvorcov. Vzorec na nájdenie parametra a obsahuje súčty , , a parameter n- množstvo experimentálnych údajov. Hodnoty týchto súm odporúčame vypočítať samostatne. Koeficient b zistené po výpočte a.

Je čas pripomenúť si pôvodný príklad.

Riešenie.

V našom príklade n=5. Tabuľku vypĺňame pre pohodlie výpočtu súm, ktoré sú zahrnuté vo vzorcoch požadovaných koeficientov.

Hodnoty vo štvrtom riadku tabuľky sa získajú vynásobením hodnôt v 2. riadku hodnotami v 3. riadku pre každé číslo i.

Hodnoty v piatom riadku tabuľky sa získajú umocnením hodnôt v 2. riadku pre každé číslo i.

Hodnoty v poslednom stĺpci tabuľky sú súčty hodnôt v riadkoch.

Na zistenie koeficientov používame vzorce metódy najmenších štvorcov A A b. Do nich nahradíme zodpovedajúce hodnoty z posledného stĺpca tabuľky:

teda y = 0,165 x + 2,184- požadovaná približná priamka.

Zostáva zistiť, ktorý z riadkov y = 0,165 x + 2,184 alebo lepšie aproximuje pôvodné údaje, to znamená robí odhad pomocou metódy najmenších štvorcov.

Odhad chyby metódy najmenších štvorcov.

Aby ste to dosiahli, musíte vypočítať súčet štvorcových odchýlok pôvodných údajov z týchto riadkov A , menšia hodnota zodpovedá riadku, ktorý sa lepšie približuje pôvodným údajom v zmysle metódy najmenších štvorcov.

Od , potom rovno y = 0,165 x + 2,184 lepšie sa približuje pôvodným údajom.

Grafické znázornenie metódy najmenších štvorcov (LS).

Všetko je jasne viditeľné na grafoch. Červená čiara je nájdená priamka y = 0,165 x + 2,184, modrá čiara je , ružové bodky sú pôvodné údaje.

Prečo je to potrebné, prečo všetky tieto aproximácie?

Osobne ho používam na riešenie problémov vyhladzovania údajov, interpolácie a extrapolácie (v pôvodnom príklade môžu byť požiadaní, aby našli hodnotu pozorovanej hodnoty r pri x=3 alebo kedy x=6 pomocou metódy najmenších štvorcov). Ale o tom si povieme viac neskôr v inej časti webu.

Dôkaz.

Takže keď sa nájde A A b funkcia nadobúda najmenšiu hodnotu, je potrebné, aby v tomto bode bola matica kvadratického tvaru diferenciálu druhého rádu pre funkciu bol pozitívny jednoznačný. Ukážme to.

Programovanie

• Návod

Úvod

Som matematik a programátor. Najväčší skok som vo svojej kariére urobil, keď som sa naučil povedať: "Ničomu nerozumiem!" Teraz sa nehanbím povedať svetlu vedy, že mi prednáša, že nerozumiem tomu, čo mi on, svetlica, hovorí. A je to veľmi ťažké. Áno, priznať svoju nevedomosť je ťažké a trápne. Kto sa rád prizná, že o niečom nevie základné veci? Vzhľadom na moje povolanie sa musím zúčastniť veľké množstvá prezentácie a prednášky, kde sa mi, priznávam, v drvivej väčšine prípadov chce spať, lebo ničomu nerozumiem. Ale nerozumiem, pretože obrovský problém súčasnej situácie vo vede spočíva v matematike. Predpokladá, že všetci poslucháči poznajú absolútne všetky oblasti matematiky (čo je absurdné). Priznať, že neviete, čo je derivát (o tom si povieme trochu neskôr), je hanebné.

Ale naučil som sa povedať, že neviem, čo je násobenie. Áno, neviem, čo je subalgebra nad Lieovou algebrou. Áno, neviem, prečo sú v živote potrebné kvadratické rovnice. Mimochodom, ak ste si istí, že viete, potom sa máme o čom rozprávať! Matematika je séria trikov. Matematici sa snažia zmiasť a zastrašiť verejnosť; kde nie je zmätok, nie je povesť, nie je autorita. Áno, je prestížne hovoriť čo najabstraktnejším jazykom, čo je úplný nezmysel.

Viete, čo je derivát? S najväčšou pravdepodobnosťou mi poviete o hranici rozdielového pomeru. V prvom ročníku matematiky a mechaniky na Petrohradskej štátnej univerzite mi Viktor Petrovič Chavin povedal určený derivácia ako koeficient prvého člena Taylorovho radu funkcie v bode (to bola samostatná gymnastika na určenie Taylorovho radu bez derivácií). Dlho som sa na tejto definícii smial, až som konečne pochopil, o čo ide. Derivácia nie je ničím iným ako jednoduchým meradlom toho, ako podobná je funkcia, ktorú derivujeme, funkcii y=x, y=x^2, y=x^3.

Teraz mám tú česť prednášať študentom, ktorí strach matematiky. Ak sa bojíte matematiky, sme na rovnakej ceste. Akonáhle sa pokúsite prečítať nejaký text a bude sa vám zdať, že je prehnane komplikovaný, tak vedzte, že je napísaný zle. Tvrdím, že neexistuje jediná oblasť matematiky, o ktorej by sa nedalo diskutovať „na prstoch“ bez straty presnosti.

Zadanie na blízku budúcnosť: Zadal som svojim študentom, aby pochopili, čo je lineárny kvadratický regulátor. Nehanbite sa, strávte tri minúty svojho života a nasledujte odkaz. Ak niečomu nerozumiete, sme na rovnakej ceste. Ani ja (profesionálny matematik-programátor) som ničomu nerozumel. A uisťujem vás, že to zistíte „na prstoch“. Momentálne neviem, čo to je, ale ubezpečujem vás, že na to prídeme.

Takže prvá prednáška, ktorú dám svojim študentom po tom, čo ku mne s hrôzou pribehnú a povedia, že lineárno-kvadratický regulátor je hrozná vec, ktorú nikdy v živote nezvládnete, je metódy najmenších štvorcov. Môžete sa rozhodnúť lineárne rovnice? Ak čítate tento text, tak s najväčšou pravdepodobnosťou nie.

Takže ak sú dané dva body (x0, y0), (x1, y1), napríklad (1,1) a (3,2), úlohou je nájsť rovnicu priamky prechádzajúcej týmito dvoma bodmi:

ilustrácie

Tento riadok by mal mať takúto rovnicu:

Tu sú alfa a beta neznáme, ale známe sú dva body tejto línie:

Túto rovnicu môžeme zapísať v maticovom tvare:

Tu by sme mali urobiť lyrickú odbočku: čo je matrica? Matica nie je nič iné ako dvojrozmerné pole. Toto je spôsob ukladania údajov. Záleží na nás, ako presne interpretovať určitú maticu. Periodicky to budem interpretovať ako lineárne zobrazenie, periodicky ako kvadratickú formu a niekedy jednoducho ako množinu vektorov. Toto všetko bude objasnené v kontexte.

Nahraďme konkrétne matice ich symbolickým znázornením:

Potom (alfa, beta) možno ľahko nájsť:

Konkrétnejšie pre naše predchádzajúce údaje:

Čo vedie k nasledujúcej rovnici priamky prechádzajúcej bodmi (1,1) a (3,2):

Dobre, tu je všetko jasné. Poďme nájsť rovnicu priamky, ktorá prechádza tri body: (x0,y0), (x1,y1) a (x2,y2):

Oh-och-och, ale máme tri rovnice pre dve neznáme! Štandardný matematik povie, že riešenie neexistuje. Čo povie programátor? A najprv prepíše predchádzajúci systém rovníc v nasledujúcom tvare:

V našom prípade vektory i,j,b sú trojrozmerné, preto (vo všeobecnom prípade) neexistuje riešenie tohto systému. Akýkoľvek vektor (alpha\*i + beta\*j) leží v rovine preklenutej vektormi (i, j). Ak b do tejto roviny nepatrí, potom neexistuje riešenie (v rovnici sa nedá dosiahnuť rovnosť). čo robiť? Hľadajme kompromis. Označme podľa e (alfa, beta) presne ako ďaleko sme nedosiahli rovnosť:

A túto chybu sa pokúsime minimalizovať:

Prečo štvorcový?

Hľadáme nielen minimum normy, ale aj minimum druhej mocniny normy. prečo? Samotný minimálny bod sa zhoduje a štvorec dáva hladkú funkciu (kvadratická funkcia argumentov (alfa, beta)), zatiaľ čo jednoducho dĺžka dáva funkciu v tvare kužeľa, nediferencovateľnú v minimálnom bode. Brr. Štvorec je pohodlnejší.

Je zrejmé, že chyba je minimalizovaná, keď vektor e ortogonálne k rovine preklenutej vektormi i A j.

Ilustračné

Inými slovami: hľadáme priamku takú, že súčet štvorcových dĺžok vzdialeností od všetkých bodov k tejto priamke je minimálny:

AKTUALIZÁCIA: Mám tu problém, vzdialenosť k priamke by sa mala merať vertikálne a nie ortogonálnou projekciou. Komentátor má pravdu.

Ilustračné

Úplne inými slovami (opatrne, zle formalizované, ale malo by to byť jasné): vezmeme všetky možné čiary medzi všetkými pármi bodov a hľadáme priemernú čiaru medzi všetkými:

Ilustračné

Ďalšie vysvetlenie je jednoduché: medzi všetky dátové body (tu máme tri) a priamku, ktorú hľadáme, pripojíme pružinu a priamka rovnovážneho stavu je presne to, čo hľadáme.

Minimálny kvadratický tvar

Takže vzhľadom na tento vektor b a rovinu preklenutú stĺpcovými vektormi matice A(v tomto prípade (x0,x1,x2) a (1,1,1)), hľadáme vektor e s minimálnou štvorcovou dĺžkou. Je zrejmé, že minimum je dosiahnuteľné iba pre vektor e, ortogonálne k rovine preklenutej stĺpcovými vektormi matice A:

Inými slovami, hľadáme vektor x=(alfa, beta) taký, že:

Pripomínam, že tento vektor x=(alfa, beta) je minimum kvadratickej funkcie||e(alfa, beta)||^2:

Tu by bolo užitočné pripomenúť, že maticu možno interpretovať aj ako kvadratickú formu, napríklad maticu identity ((1,0),(0,1)) možno interpretovať ako funkciu x^2 + y^ 2:

kvadratická forma

Celá táto gymnastika je známa pod názvom lineárna regresia.

Laplaceova rovnica s Dirichletovou okrajovou podmienkou

Teraz najjednoduchšia skutočná úloha: existuje určitý trojuholníkový povrch, je potrebné ho vyhladiť. Napríklad načítajme model mojej tváre:

Pôvodný záväzok je k dispozícii. Na minimalizáciu vonkajšie závislosti Zobral som kód môjho softvérového renderera, už na Habré. Riešiť lineárny systém Používam OpenNL, je to výborný riešič, ktorý sa však veľmi ťažko inštaluje: treba skopírovať dva súbory (.h+.c) do priečinka s vaším projektom. Všetko vyhladzovanie sa vykonáva pomocou nasledujúceho kódu:

Pre (int d=0; d<3; d++) { nlNewContext(); nlSolverParameteri(NL_NB_VARIABLES, verts.size()); nlSolverParameteri(NL_LEAST_SQUARES, NL_TRUE); nlBegin(NL_SYSTEM); nlBegin(NL_MATRIX); for (int i=0; i<(int)verts.size(); i++) { nlBegin(NL_ROW); nlCoefficient(i, 1); nlRightHandSide(verts[i][d]); nlEnd(NL_ROW); } for (unsigned int i=0; i&face = tváre[i];<3; j++) { nlBegin(NL_ROW); nlCoefficient(face[ j ], 1); nlCoefficient(face[(j+1)%3], -1); nlEnd(NL_ROW); } } nlEnd(NL_MATRIX); nlEnd(NL_SYSTEM); nlSolve(); for (int i=0; i<(int)verts.size(); i++) { verts[i][d] = nlGetVariable(i); } }

pre (int j=0; j

Súradnice X, Y a Z sú oddeliteľné, hladkám ich samostatne. To znamená, že riešim tri sústavy lineárnych rovníc, každú s počtom premenných rovným počtu vrcholov v mojom modeli. Prvých n riadkov matice A má iba jednu 1 na riadok a prvých n riadkov vektora b má súradnice pôvodného modelu. To znamená, že medzi novú polohu vrcholu a starú polohu vrcholu uviažem pružinu - nové by sa nemali príliš vzdialiť od starých.

Všetky nasledujúce riadky matice A (faces.size()*3 = počet hrán všetkých trojuholníkov v sieti) majú jeden výskyt 1 a jeden výskyt -1, pričom vektor b má nulu opačných zložiek. To znamená, že na každý okraj našej trojuholníkovej siete dám pružinu: všetky okraje sa snažia získať rovnaký vrchol ako ich počiatočný a koncový bod.

Ešte raz: všetky vrcholy sú premenné a nemôžu sa vzdialiť od svojej pôvodnej polohy, no zároveň sa snažia byť si navzájom podobné.

Tu je výsledok:

Všetko by bolo v poriadku, model je naozaj vyhladený, no vzdialil sa od pôvodného okraja. Poďme trochu zmeniť kód:<(int)verts.size(); i++) { float scale = border[i] ? 1000: 1; nlBegin(NL_ROW); nlCoefficient(i, scale); nlRightHandSide(scale*verts[i][d]); nlEnd(NL_ROW); }

Pre (int i=0; i

V našej matici A pre vrcholy, ktoré sú na okraji, pridávam nie riadok z kategórie v_i = verts[i][d], ale 1000*v_i = 1000*verts[i][d]. Aký je v tom rozdiel? A to mení našu kvadratickú formu chyby. Teraz jedna odchýlka od vrcholu na okraji nebude stáť jednu jednotku, ako predtým, ale 1 000 * 1 000 jednotiek. To znamená, že na krajné vrcholy sme zavesili silnejšiu pružinu, ostatné bude riešenie radšej silnejšie natiahnuť. Tu je výsledok:
Zdvojnásobme silu pružiny medzi vrcholmi:

nlKoeficient(tvár[ j], 2);

nlKoeficient(tvár[(j+1)%3], -2);

čo je to? Predstavte si, že sme drôtený krúžok ponorili do mydlovej vody. Výsledkom je, že výsledný mydlový film sa bude snažiť mať čo najmenšie zakrivenie a dotýkať sa hranice - nášho drôteného krúžku. To je presne to, čo sme získali, keď sme upevnili okraj a požiadali o hladký povrch vo vnútri. Gratulujeme, práve sme vyriešili Laplaceovu rovnicu s Dirichletovými okrajovými podmienkami. Znie to super? Ale v skutočnosti stačí vyriešiť jeden systém lineárnych rovníc.

Poissonova rovnica

Spomeňme si na ďalšie skvelé meno.

Povedzme, že mám takýto obrázok:

Vyzerá dobre každému, ale mne sa nepáči stolička.

Skrátim obrázok na polovicu:

A vyberiem si stoličku rukami:

Potom vytiahnem všetko, čo je biele v maske na ľavú stranu obrázka a zároveň v celom obrázku poviem, že rozdiel medzi dvoma susednými pixelmi by sa mal rovnať rozdielu medzi dvoma susednými pixelmi vpravo. obrázok:

Všetko by bolo v poriadku, model je naozaj vyhladený, no vzdialil sa od pôvodného okraja. Poďme trochu zmeniť kód:

Ešte raz: všetky vrcholy sú premenné a nemôžu sa vzdialiť od svojej pôvodnej polohy, no zároveň sa snažia byť si navzájom podobné.

K dispozícii je kód a obrázky

Metóda najmenších štvorcov (OLS) umožňuje odhadnúť rôzne veličiny pomocou výsledkov mnohých meraní obsahujúcich náhodné chyby.

Charakteristika nadnárodných podnikov

Hlavnou myšlienkou tejto metódy je, že súčet štvorcových chýb sa považuje za kritérium presnosti riešenia problému, ktoré sa má minimalizovať. Pri použití tejto metódy je možné použiť numerický aj analytický prístup.

Konkrétne, ako numerická implementácia, metóda najmenších štvorcov zahŕňa vykonanie čo najväčšieho počtu meraní neznámej náhodnej premennej. Navyše, čím viac výpočtov, tým presnejšie bude riešenie. Na základe tohto súboru výpočtov (počiatočných údajov) sa získa ďalší súbor odhadnutých riešení, z ktorých sa potom vyberie to najlepšie. Ak je množina riešení parametrizovaná, potom sa metóda najmenších štvorcov zredukuje na nájdenie optimálnej hodnoty parametrov.

Ako analytický prístup k implementácii LSM na množine počiatočných údajov (meraní) a očakávanej množine riešení je určené jedno (funkčné), ktoré možno vyjadriť vzorcom získaným ako určitá hypotéza, ktorá vyžaduje potvrdenie. V tomto prípade metóda najmenších štvorcov spočíva v nájdení minima tejto funkcionality na množine štvorcových chýb pôvodných údajov.

Upozorňujeme, že nejde o samotné chyby, ale o štvorce chýb. prečo? Faktom je, že často sú odchýlky meraní od presnej hodnoty pozitívne aj negatívne. Pri určovaní priemeru môže jednoduchý súčet viesť k nesprávnemu záveru o kvalite odhadu, pretože zrušenie pozitívnych a negatívnych hodnôt zníži silu vzorkovania viacerých meraní. A následne aj presnosť hodnotenia.

Aby sa tomu zabránilo, štvorcové odchýlky sa spočítajú. Navyše, na vyrovnanie rozmeru nameranej hodnoty a konečného odhadu sa extrahuje súčet druhých mocnín

Niektoré aplikácie MNC

MNC sa široko používa v rôznych oblastiach. Napríklad v teórii pravdepodobnosti a matematickej štatistike sa metóda používa na určenie takej charakteristiky náhodnej premennej, ako je štandardná odchýlka, ktorá určuje šírku rozsahu hodnôt náhodnej premennej.