·수학

모든 예측은 선형과 비선형 사이에 있다

선형 회귀에서 혼돈 이론까지. 예측이라는 행위의 수학적·철학적 구조를 탐색한다.

#수학#철학#AI·ML#확률론

모든 예측은 선형과 비선형 사이에 있다

"세상의 모든 움직임은 수로 환원될 수 있으며, 모든 수의 관계는 직선으로 설명될 수 있다." 18세기, 어느 계몽주의 수학자의 믿음

21세기 인공지능 시대의 예측은 과거 어느 때보다 정교해졌습니다. 주가의 흐름, 소비자의 행동, 기후의 변화, 심지어 언어의 생성까지도 수치화된 벡터 공간 위에서 모형화되고 예측됩니다. 하지만 놀랍게도, 이 복잡한 예측의 대부분은 단 하나의 질문에서 시작됩니다.

"이 관계는 선형(linear)인가, 비선형(nonlinear)인가?"

1. 선형이라는 단순함

선형 모델은 아름답습니다. 예측값은 독립 변수들의 단순 가중합으로 표현되고, 이 선형식은 대수적으로 직관적일 뿐 아니라 미분 가능한 특성 덕분에 최적화 또한 쉬운 구조를 가집니다. 실제로 수많은 통계 기법의 근간에는 선형회귀(linear regression)가 놓여 있습니다.

그 이유는 단순합니다. 선형성은 다음 네 가지 강력한 가정을 가능하게 하기 때문입니다.

  1. 선형독립(linear independence): 변수 간에 발생하는 다중공선성 회피, 해석 가능성 확보.
  2. 정규분포(normal distribution): 잔차의 정규분포.
  3. 선형결합(linear combination): 변수 간 효과를 선형적으로 추론.
  4. 예측가능성(prediction under convexity): 오차 함수가 볼록(convex)하므로 전역 최적화를 보장.

하지만 우리가 사는 현실 세계는 놀랍도록 복잡합니다. 특히 경제, 기후, 생물학, 금융 데이터는 비선형성과 상호작용의 혼재 속에서 구조적으로 왜곡되어 있습니다. 선형의 세계는 단순화된 근사이고, 이 근사는 늘 특정 조건 하에서만 유효합니다.

2. 왜 비선형이 중요한가?

비선형성을 이해하는 일은 곧 현실의 상호작용을 이해하는 일입니다. 가령, 금리와 주가 사이의 관계는 일정 구간에서는 선형적으로 보일 수 있습니다. 하지만 특정 임계점(threshold)을 넘어서면 관계는 급격히 꺾이고, 예측 불가능한 전이(transformation) 상태로 접어들게 됩니다.

또한, 다음과 같은 문제들은 선형 모델로는 근본적으로 다룰 수 없습니다.

  • XOR 문제: 가장 간단한 논리 문제조차 선형 분리 불가능.
  • 커널 방법의 필요성: Support Vector Machine이 커널을 도입하는 이유는 고차원에서의 선형성 확보를 위한 것.
  • 신경망의 활성화 함수: ReLU, Sigmoid, Tanh 등은 모두 비선형성 없이는 작동하지 않음. 선형 함수만 쌓는다면 아무리 많은 층을 구성해도 단일 선형 변환에 불과.

비선형성은 곧 비가역성, 민감성, 혼돈, 위상변화, 피드백 루프를 포함하고, 이는 곧 현실 그 자체를 의미합니다.

제2장. 선형 회귀의 철학과 한계

"모든 것이 직선으로 설명될 수 있다면, 세계는 예측 가능하다."

1. 선형 회귀는 왜 강력한가?

선형 회귀(linear regression)는 통계학에서 가장 오래되고, 가장 널리 사용되는 예측 기법입니다. 단순 선형 회귀는 다음과 같은 식으로 표현됩니다.

y=β0+β1x+ϵy = \beta_0 + \beta_1 x + \epsilon

여기서 β0\beta_0는 절편(intercept), β1\beta_1는 기울기(slope), ϵ\epsilon은 오차항(error term)입니다.

이 간단한 식이 수많은 실제 문제에 적용 가능한 이유는 다음과 같은 철학적·수학적 배경에 있습니다.

  • 오컴의 면도날(Occam's Razor): 간결한 모델이 선호됨. 선형 모델은 가장 단순한 함수 구조.
  • 최소제곱법(Least Squares): 모델의 파라미터는 오차 제곱합을 최소화하는 방식으로 도출. 폐쇄형 해(closed-form solution)가 존재하는 드문 경우.
  • 편의성과 해석력: 변수의 계수(beta)를 통해 각 독립변수의 영향력을 직관적으로 해석 가능.
  • 확률적 해석: 잔차가 정규분포를 따른다는 가정 하에, 신뢰구간·p-value·결정계수(R²) 등 다양한 검정과 설명력이 가능.

하지만 이 모든 강점은 몇 가지 가정들 위에서만 성립합니다.

  1. 선형성(linearity): 종속변수는 독립변수들의 선형결합으로 설명.
  2. 독립성(independence): 오차항은 서로 독립.
  3. 등분산성(homoscedasticity): 모든 관측값에서 오차의 분산이 동일.
  4. 정규성(normality): 오차항은 정규분포를 따름.
  5. 다중공선성 없음(no multicollinearity): 독립변수 간 상관관계가 낮음.

이 중 단 하나라도 깨지면, 회귀 모형의 신뢰성과 예측력은 급격히 떨어지게 됩니다.

2. 현실은 직선이 아니다

사례 1: 구조적 전이 (Structural Break)

부동산 가격이 일정 수준까지는 소득에 비례하여 상승하지만, 어느 임계점(threshold)을 넘어서면 급격한 투기적 거품 형성으로 선형성이 붕괴됩니다. 선형회귀는 평균의 착시를 만들어내며, 실제로는 존재하지 않는 관계를 상정하게 됩니다.

사례 2: 상호작용 효과 (Interaction Effects)

광고비와 브랜드 인지도는 각각 매출에 영향을 줄 수 있으나, 이 둘이 결합되어 더 큰 영향을 주는 경우, 단순 선형 회귀로는 설명할 수 없습니다. 교호항(interaction term)을 추가해야 하며, 이는 점점 비선형 모형의 확장으로 수렴하게 됩니다.

사례 3: 잔차의 비정규성과 이상치

현실 데이터는 종종 두꺼운 꼬리 분포(fat-tailed distribution), 이상치(outlier), 비정상성(non-stationarity)을 포함합니다. 이 경우, 회귀계수의 유의성 자체가 무의미하게 되며, 예측보다는 오차가 더 신뢰됩니다.

3. 선형을 넘어서기 위한 노력들

  • 다항 회귀(Polynomial Regression): 선형 모델이지만 입력 변수의 차수를 높임으로써 비선형성을 표현.
  • 정규화 회귀(Ridge, Lasso): 과적합(overfitting)을 방지하기 위한 패널티 기반 회귀.
  • 일반화 선형 모형(GLM): 분포와 연결함수를 자유롭게 선택하여 선형 회귀의 범용성 확장.
  • 비선형 회귀(NLR): 비선형 함수를 직접 가정하여 파라미터 추정.
  • 신경망(Neural Networks): 비선형성의 극단, 완전한 함수 근사기.

제3장. 비선형 회귀와 신경망: 고차원 함수 근사의 가능성

"세계는 선형이 아니다. 따라서 선형의 언어로 세계를 말할 수 없다."

1. 비선형 회귀란 무엇인가?

비선형 회귀(Nonlinear Regression)는 독립 변수와 종속 변수 간의 관계를 비선형 함수로 가정하는 예측 방법입니다.

y=f(x;θ)+ϵy = f(x; \theta) + \epsilon

여기서 ff는 비선형 함수이고, 파라미터 θ\theta는 폐쇄형 해(closed-form solution)를 가지지 않는 경우가 대부분입니다. 따라서 수치 최적화 기법(Nelder-Mead, BFGS, SGD 등)을 이용한 추정이 필요합니다.

비선형 회귀는 단순히 형태만 복잡한 것이 아니라, 근본적으로 모델의 표현력(expressive power)을 변화시킵니다. 선형 회귀가 고정된 차원의 평면만을 다룬다면, 비선형 회귀는 곡률(curvature), 경계값, 비대칭성, 상호작용의 변이 등을 포착할 수 있습니다.

2. 신경망: 비선형 회귀의 결정적 구조

신경망(Neural Network)은 가장 유연하고 강력한 비선형 회귀 모델입니다.

Input Layer: x∈RdHidden Layer 1: h1=σ(W1x+b1)Hidden Layer 2: h2=σ(W2h1+b2)⋮Output Layer: y^=Wnhn−1+bn\begin{aligned} \text{Input Layer: } & x \in \mathbb{R}^d \\ \text{Hidden Layer 1: } & h_1 = \sigma(W_1 x + b_1) \\ \text{Hidden Layer 2: } & h_2 = \sigma(W_2 h_1 + b_2) \\ \vdots \\ \text{Output Layer: } & \hat{y} = W_n h_{n-1} + b_n \end{aligned}

비선형 함수 σ\sigma를 층층이 조합함으로써 복잡한 함수를 근사할 수 있다는 것이 핵심입니다.

3. Universal Approximation Theorem

"적당한 조건 하에서, 단 하나의 은닉층을 가진 신경망도 모든 연속함수를 임의의 오차 이하로 근사할 수 있다."

1989년 Cybenko와 Hornik 등의 연구를 통해 수학적으로 증명된 이 정리는, σ\sigma가 비선형이며 바운드된 연속 함수이면, 임의의 연속 함수 f:Rn→Rf: \mathbb{R}^n \to \mathbb{R}와 임의의 오차 ε>0\varepsilon > 0에 대해, 적당한 노드를 가진 은닉층 하나로 구성된 신경망 f^\hat{f}가 존재하여

∣f(x)−f^(x)∣<ε∀x∈compact domain\left| f(x) - \hat{f}(x) \right| < \varepsilon \quad \forall x \in \text{compact domain}

을 만족함을 보입니다.

신경망은 이론적으로 모든 함수를 근사할 수 있는 구조를 가지고 있습니다.

4. 하지만, 비선형은 만능이 아니다

  • 과적합(Overfitting): 훈련 데이터에만 지나치게 적합되어 일반화 실패.
  • 해석 불가능성: 선형 모델처럼 계수 하나하나의 의미 해석이 불가.
  • 최적화의 어려움: 수렴 불가, 로컬 미니마 등.
  • 설명력보다 성능 위주: 특히 과학적 예측보다 산업적 예측에 적합.

제4장. 혼돈과 민감성: 비선형 동역학에서의 예측 불가능성

"모든 것을 알면 모든 것을 예측할 수 있을까?" — 라플라스의 악마, 1814

1. 결정론적 혼돈이란 무엇인가?

결정론적 혼돈(deterministic chaos)은 무작위성(randomness) 없이도, 극단적으로 예측이 어려운 행동을 보이는 시스템을 말합니다.

이는 다음의 세 가지 조건을 만족하는 비선형 동역학계에서 발생합니다.

  1. 민감한 초기 조건(Sensitive dependence on initial conditions)
  2. 점근적 불안정성(Topological Mixing)
  3. 조밀한 주기궤도(Dense Periodic Orbits)

아주 작은 초기 오차가 시간이 지남에 따라 기하급수적으로 커지면서 예측을 무너뜨린다는 것입니다.

2. 나비효과: 민감한 초기 조건의 상징

"브라질에서 나비가 날갯짓을 하면, 텍사스에 폭풍이 분다." — 에드워드 로렌츠, 1963

로렌츠(Lorenz)는 대기 예측 모델을 만들기 위해 단순한 3차 비선형 미분방정식 시스템을 만들었고, 소수점 아래 3자리만 입력한 초기값이 예측 결과를 전혀 다르게 만든다는 사실을 발견했습니다.

{dxdt=σ(y−x)dydt=x(ρ−z)−ydzdt=xy−βz\begin{cases} \frac{dx}{dt} = \sigma(y - x) \\ \frac{dy}{dt} = x(\rho - z) - y \\ \frac{dz}{dt} = xy - \beta z \end{cases}

σ=10,ρ=28,β=8/3\sigma = 10, \rho = 28, \beta = 8/3 하에서 극도로 민감한 비선형 궤적을 만들어내는 이 방정식은, 완전히 결정적인 수학식임에도 불구하고 장기 예측은 무용지물이 됨을 보여줍니다.

3. 로지스틱 맵과 혼돈

xt+1=rxt(1−xt)x_{t+1} = r x_t (1 - x_t)

r∈[0,4]r \in [0, 4]에서 변화시, r=3.57r = 3.57 이상부터는 완전한 혼돈으로 진입합니다. 간단한 2차 함수 하나가 만들어내는 혼돈의 대표적인 예입니다.

4. 예측의 한계, 그리고 우리가 할 수 있는 것

예측은 단기적으로는 여전히 유효합니다. 하지만 예측 자체보다도 "민감도", "경계점", "시스템의 안정성"을 파악하는 것이 더욱 중요합니다.

  • Lyapunov 지수: 민감도의 척도. 이 값이 양수면 혼돈, 음수면 안정.
  • 위상 공간 분석: 데이터의 궤적을 고차원에서 복원하여, 시스템의 동역학적 성질을 이해.
  • 예측보다 제어(Control): 예측이 어렵다면, 시스템을 제어하거나 안정된 구간으로 유지하려는 접근이 필요.

제5장. 선형과 비선형의 경계 — 하이브리드 모델

"선형은 설명하고, 비선형은 잡아낸다."

1. GAM: Generalized Additive Model

y=β0+f1(x1)+f2(x2)+⋯+fk(xk)+ϵy = \beta_0 + f_1(x_1) + f_2(x_2) + \cdots + f_k(x_k) + \epsilon

각 변수별로 비선형 함수 fif_i를 적용하되, 전체 구조는 선형 결합으로 유지합니다. 설명력 + 유연성을 동시에 확보하는 구조입니다.

2. ARIMA + Neural Network

예측값=ARIMA 예측+NN 보정값\text{예측값} = \text{ARIMA 예측} + \text{NN 보정값}

시계열 데이터의 선형 추세는 ARIMA로 처리하고, 비선형 노이즈나 패턴은 NN으로 보정합니다. 예측력을 개선하면서 해석력을 일부 유지하는 방식입니다.

맺으며

"모든 모델은 틀렸다. 그러나 어떤 모델은 유용하다." — George Box

인간은 예측을 갈망합니다. 미래를 알고 싶어 하는 인간의 본능은 수학과 모델, 기계와 데이터라는 형식을 통해 구체화되어 왔습니다. 그 여정의 출발점에는 선형이 있었고, 그 너머를 향한 도전에는 비선형이 있었습니다.

모든 예측은 선형과 비선형 사이에 있습니다. 이는 단지 모델 선택의 문제가 아니라, 세상을 바라보는 관점, 불확실성과 함께 살아가는 태도, 복잡성을 다루는 인간의 지적 여정에 관한 이야기입니다.

글이 도움이 됐다면 GitHub에서 이야기 나눠요.