Back

ⓘ Nelinearna regresija




Nelinearna regresija
                                     

ⓘ Nelinearna regresija

U statistici, nelinearna regresija je forma regresione analize u kojoj se eksperimentalni podaci modeluju funkcijom koja je nelinearna kombinacija parametara modela, i zavisi od jedne ili više nezavisnih promenljivih. Podaci su obradeni metodom sukcesivnih aproksimacija.

                                     

1. Model

Podaci se sastoje od nezavisnih promenljivih koje ne sadrže greške eksplanatorne promenljive, x, i s njima povezanih eksperimentalnih zavisnih promenljivih responsne promenljive, y. Svaka vrednost y se modeluje kao randomna promenljiva sa prosekom datim u obliku nelinearne funkcije f x,β. Sistematske greške mogu da budu prisutne, ali je njihov tretman izvan opsega regresione analize. Ako nezavisne promenljive sadrže greške, mogu se koristiti modeli greški u promenljivama, koji su takode izvan opsega ovog članka.

Na primer, Mihaelis-Mentenov model enzimske kinetike

v = V max je nezavisna promenljiva, x. Funkcija je nelinearna, jer se ne može izraziti kao linearna kombinacija dve β {\displaystyle \beta } vrednosti.

Drugi primeri nelinearnih funkcija su eksponencijalne funkcije, logaritamske funkcije, trigonometrijske funkcije, funkcije stepena, Gausove funkcije, i Lorencove krive. Neke funkcije, kao što su eksponencijalne ili logaritamske funkcije, mogu se transformisati tako da poprime linearni oblik. Na tako transformisanim funkcijama se može uz oprez primeniti standardna linearna regresija. Pogledajte ispod odeljak o linearizaciji za dodatne detalje.

U opštem slučaju, ne postoji iraz zatvorene forme za evaluaciju parametara, kao što je to slučaj kod linearne regresije. Obično se koriste numerički optimizacioni algoritmi za odredivanje najpodesnijih parametara. Za razliku od linearne regresije, mogu da postoje mnogobrojni localni minimumi optimizovane funkcije, a isto tako je moguće da globalni minimum proizvodi bajasnu procenu. U praksi, se u pokušajima nalaženja globalnog minimuma sume kvadrata koriste procenjene vrednosti parameterara, u sprezi sa optimizacionim algoritmima.

Dodatni detalji o nelinearnom modelovanju podataka su dostupni u člancima o najmanjim kvadratima i nelinearnim najmanjim kvadratima.

                                     

2. Regresiona statistika

Pretpostavka u osnovi ovog postupka je da se model može aproksimirati linearnom funkcijom.

f x i, β ≈ f 0 + ∑ J i j β j {\displaystyle fx_{i},{\boldsymbol {\beta }}\approx f^{0}+\sum _{j}J_{ij}\beta _{j}}

gde je J i j = ∂ f x i, β ∂ β j {\displaystyle J_{ij}={\frac {\partial fx_{i},{\boldsymbol {\beta }}}{\partial \beta _{j}}}}. Iz ovog sledi da su estimatori najmanjih kvadrata dati sa

β ^ ≈ J T J − 1 J T y. {\displaystyle {\hat {\boldsymbol {\beta }}}\approx \mathbf {J^{T}J^{-1}J^{T}y}.}

Statistički parametri nelinearne regresija se izračunavaju i koriste poput njihovih linearno regresionih pandana, ali koristeći J umesto X u formulama. Linearna aproksimacija unosi bajas u statističke parametre. Zbog toga je više opreza potrebno nego pri tumačenju statističkih parametara izvedenih iz nelinearanog modela.

                                     

3. Obični i ponderisani najmanji kvadrati

Obično se podrazumeva da je najbolja aproksimacija krivom da se minimizuje suma kvadratnih ostataka. To je pristup običnih najmanjih kvadrata OLS. Medutim, u slučajevima gde zavisna promenljiva nema konstantnu varijansu, minimizuje se suma ponderisanih kvadratnih ostataka; pogledajte ponderisane najmanje kvadrate. Svaki ponder bi idealno trebalo da bude jednak recipročnoj vrednosti varijanse obzervacija, mada ponderi mogu da budu izvedeni koristeči algoritam iterativno ponderisanih najmanjih kvadrata.

                                     

4.1. Linearizacija Transformacija

Pojedini problemi nelinearne regresije se mogu preneti u linearni domen putem podesne transformacije formulacije modela.

Na primer, razmotrimo sledeći nelinearno regresioni problem

y = a e b x U {\displaystyle y=ae^{bx}U\,\!}

sa parameterima a i b, i sa članom multiplikativne greške U. Ako se logaritmuju obe strane, dobija se

ln ⁡ y = ln ⁡ a + b x + u, {\displaystyle \ln {y}=\ln {a}+bx+u,\,\!}

gde je u = lnU. Iz ovog sledi da je moguće proceniti nepoznate parametere pomoću linearne regresije lny na x, što je proračun za koji nije neophodno koristiti iterativnu optimizaciju. Medutim, nelinearne transformacije se moraju koristiti uz oprez. Uticaj eksperimentalnih vrednosti će biti izmenjen, kao i struktura grešaka modela i interpretacija inferencijalnih rezultata. Ti efekti nisu uvek poženjni. S druge strane, u zavisnosti od toga šta je najveći izvor grešaka, nelinearna transformacija može da distribuira greške u normalnom maniru, tako da odluka da se primeni nelinearna transformacima mora biti bazirana razmatranju modela.

Za Mihaelis–Mentenovu kinetiku, linearna Lajnviver–Burkov dijagram

1 v = 1 V max + K m V max.

Za distribucije grešaka koji pripadaju eksponencijalnoj familiji može se koristiti link funkcija za transformaciju parametara u okviru generalizovnog linearnog modela.



                                     

4.2. Linearizacija Segmentacija

Nezavisna ili eksplanatorna promenljiva recimo X može se podeliti u klase ili segmente i linearna regresija se može primeniti na segmente. Segmentirana regresija sa analizom intervala poverenja može da ukaže na činjenicu da se zavisna ili responsna promenljiva recimo Y različito ponaša na različitim segmentima.

Slika pokazuje da salinitet zemljišta X inicijalno nema uticaja na prinos useva Y semfa repičinog ulja, dok kad se prede kritični prag prelomna tačka salinitet ima negativan uticaj na prinos.

                                     

5. Literatura

  • Bethea, R. M.; Duran, B. S.; Boullion, T. L. 1985. Statistical Methods for Engineers and Scientists. New York: Marcel Dekker. ISBN 978-0-8247-7227-7.
  • Schittkowski, K. 2002. Data Fitting in Dynamical Systems. Boston: Kluwer. ISBN 978-1-4020-1079-8.
  • Meade, N.; Islam, T. 1995. "Prediction Intervals for Growth Curve Forecasts”. Journal of Forecasting. 14 5: 413 - 430. doi:10.1002/for.3980140502.
  • Seber, G. A. F.; Wild, C. J. 1989. Nonlinear Regression. New York: John Wiley and Sons. ISBN 978-0-471-61760-0.
                                     
  • своди на решавање система линеарних једначина, на пример у линеарној регресији методом најмањих квадрата, или у Гаусовим процесима. Кључни проблем метода

Users also searched:

...