[Calculus] (2) 썸네일형 리스트형 [Calculus] Taylor Series (테일러 급수) 테일러 급수란? 테일러 급수(Taylor Series)는 알려지지 않은 어떤 함수 f(x)를 다항식들의 합으로 표현하는 것을 의미합니다. 머신러닝을 공부하다 보면 파라미터의 최적화 과정에서 테일러 급수가 종종 사용됩니다. 간단하게 개념을 정리하고 예시를 통해 테일러 급수를 어떻게 활용할 수 있을지에 대한 시야를 넓혀보고자 합니다. Eqn.1은 테일러 급수로 함수를 나타내는 방법으로 테일러 전개(Taylor Expansion)를 의미합니다. 이때, 함수 f(x)에 대한 다항함수를 a에서 f(x)의 테일러 급수라 하며, a=0인 테일러 급수는 맥클로린 급수(Meclaurin Series)라고 합니다. 테일러 전개의 구성 테일러 전개는 함수를 수열로 변환합니다. 즉, 함수의 문제를 Eqn. 2처럼 수열의 문제.. [Calculus] Lagrange Multiplier Method (라그랑주 승수법) 라그랑주 승수법이란? 라그랑주 승수법은 제약이 있는 최적화 문제를 푸는 방법 중 하나로, 모든 제약식에 라그랑주 승수(Lagrange Multiplier) $\lambda$를 곱하고 등식 제약이 있는 문제를 제약이 없는 문제로 바꾸어 문제를 해결하는 방법입니다. 만약, 등식이 아니라 부등식의 제약이 있는 문제라면, KKT(Karush-Kuhn-Tucker) 조건을 만족하는 문제일 때 라그랑주 승수법으로 문제를 해결할 수 있습니다. 예를 들어 $\mathit{f}(x) = x^2 +1$ 을 최소화 하는 문제에서 $g(x) \leq 3$ 이라는 제약조건이 있다면, 제약조건의 형태를 $g(x)-3 \leq 0$ 과 같이 바꿔준 후 라그랑주 승수법(Lagrange Multiplier Method)을 적용하고 K.. 이전 1 다음
