Artificial Intelligence Theory : 하이퍼파라미터 최적화(Hyperparameter Optimization)
하이퍼파라미터(Hyperparameter)
신경망의 가중치는 학습 과정에서 데이터로부터 자동으로 정해집니다. 그러나 학습을 시작하기 전에 사람이 먼저 정해야 하는 값도 많습니다. 학습률은 얼마로 할지, 층은 몇 개를 쌓을지, 정칙화는 얼마나 강하게 걸지 같은 값들입니다. 이처럼 학습으로 정해지지 않고 학습 방식 자체를 결정하는 값을 하이퍼파라미터(Hyperparameter)라 하며, 학습으로 정해지는 가중치와 편향은 이와 구분해 파라미터(Parameter)라 부릅니다.
| 분류 | 하이퍼파라미터 예시 |
|---|---|
| 최적화 | 학습률, 배치 크기, 에폭 수, 모멘텀 계수, 학습률 스케줄 |
| 모델 구조 | 층의 수, 층마다의 노드 수, 활성화 함수, 합성곱 필터의 크기 |
| 정칙화 | 가중치 감쇠 계수, 드롭아웃 비율, 데이터 증강의 강도 |
| 고전 모델 | 결정 트리의 최대 깊이, 앙상블의 트리 수, k-최근접 이웃의 k |
하이퍼파라미터는 모델의 성능을 크게 좌우합니다. 같은 모델이라도 학습률이 조금만 달라지면 학습이 발산하거나 거의 진행되지 않을 수 있습니다. 그런데 하이퍼파라미터에 대한 성능은 미분할 수 없고, 한 번 평가하려면 모델을 처음부터 끝까지 학습해야 합니다. 경사 하강법처럼 기울기를 따라 내려갈 수 없고, 한 번의 시도가 수 시간에서 수일이 걸릴 수도 있다는 점이 하이퍼파라미터 최적화를 어렵게 만듭니다.
하이퍼파라미터 최적화(Hyperparameter Optimization)는 제한된 시도 횟수 안에서 가장 좋은 하이퍼파라미터 조합을 찾는 문제입니다. 이 강좌에서는 가장 단순한 그리드 탐색부터, 이전 시도의 결과를 활용하는 베이지안 최적화, 가망 없는 시도를 일찍 멈추는 방법까지 차례로 다룹니다.
탐색의 기본 절차
하이퍼파라미터 탐색은 다음의 과정을 반복합니다.
- 하이퍼파라미터 조합을 하나 고릅니다.
- 그 조합으로 모델을 훈련 데이터에서 학습합니다.
- 학습된 모델을 검증 데이터로 평가합니다.
- 지금까지의 결과를 바탕으로 다음 조합을 고릅니다.
탐색 방법들의 차이는 결국 1번과 4번에서 다음 조합을 어떻게 고르느냐에 있습니다.
평가에는 반드시 과대적합과 정칙화에서 다룬 검증 데이터(Validation Data)를 사용합니다. 시험 데이터로 하이퍼파라미터를 고르면, 수많은 조합 중 시험 데이터에서 우연히 좋은 성능을 낸 조합이 선택되므로 최종 성능이 실제보다 좋게 보고됩니다. 시도 횟수가 많을수록 이 효과가 커지므로, 검증 데이터에서도 같은 문제가 조금씩 생긴다는 점을 기억해야 합니다. 시험 데이터는 탐색이 모두 끝난 뒤 선택된 조합을 평가할 때 한 번만 사용합니다.
탐색 공간 정의
탐색을 시작하기 전에 각 하이퍼파라미터가 가질 수 있는 범위인 탐색 공간(Search Space)을 정해야 합니다. 이때 중요한 것이 값의 크기에 맞는 척도를 고르는 것입니다.
학습률을 \(10^{-5}\)에서 \(10^{-1}\) 사이에서 탐색한다고 가정합니다. 이 구간에서 균등하게 값을 뽑으면, 뽑힌 값의 약 90%가 \(10^{-2}\)에서 \(10^{-1}\) 사이에 몰립니다. 구간의 길이 대부분을 이 부분이 차지하기 때문입니다. 그러나 학습률의 효과는 배수로 달라지므로, \(10^{-5}\)와 \(10^{-4}\)의 차이는 \(10^{-2}\)와 \(10^{-1}\)의 차이만큼 중요합니다.
그래서 학습률, 가중치 감쇠 계수처럼 여러 자릿수에 걸친 값은 지수를 균등하게 뽑는 로그 척도(Log Scale)로 탐색합니다.
이렇게 하면 \(10^{-5}\), \(10^{-4}\), \(10^{-3}\), \(10^{-2}\), \(10^{-1}\)의 각 구간에서 같은 비율로 값이 뽑힙니다. 반대로 드롭아웃 비율처럼 0과 1 사이에서 값의 차이가 그대로 의미를 갖는 경우에는 일반적인 선형 척도(Linear Scale)를 사용합니다. 층의 수나 활성화 함수처럼 정수나 범주로 이루어진 하이퍼파라미터는 가능한 값의 목록으로 정의합니다.
그리드 탐색(Grid Search)
그리드 탐색(Grid Search)은 하이퍼파라미터마다 후보 값을 몇 개씩 정하고, 모든 조합을 하나씩 시도하는 방법입니다. 학습률을 \(\{10^{-4}, 10^{-3}, 10^{-2}\}\), 드롭아웃 비율을 \(\{0.1, 0.3, 0.5\}\)로 정했다면 \(3 \times 3 = 9\)개의 조합을 모두 학습해 가장 좋은 것을 고릅니다.
그리드 탐색은 구현이 단순하고, 같은 설정이면 언제나 같은 조합을 시도하므로 재현이 쉽습니다. 그러나 조합의 수가 하이퍼파라미터의 수에 대해 지수적으로 늘어납니다. 하이퍼파라미터 5개에 후보를 4개씩만 두어도 \(4^{5} = 1{,}024\)번의 학습이 필요합니다. 그래서 그리드 탐색은 하이퍼파라미터가 두세 개 이하일 때만 현실적으로 사용할 수 있습니다.
무작위 탐색(Random Search)
무작위 탐색(Random Search)은 탐색 공간에서 하이퍼파라미터 조합을 무작위로 뽑아 정해진 횟수만큼 시도합니다. 2012년 제임스 버그스트라(James Bergstra)와 요슈아 벤지오(Yoshua Bengio)는 같은 시도 횟수에서 무작위 탐색이 그리드 탐색보다 대체로 좋은 조합을 찾는다는 것을 보였습니다.
그 이유는 모든 하이퍼파라미터가 똑같이 중요하지는 않기 때문입니다. 대부분의 문제에서 성능은 소수의 하이퍼파라미터에 크게 좌우되고, 나머지는 큰 영향을 주지 않습니다. 그리드 탐색은 중요하지 않은 하이퍼파라미터의 값을 바꾸는 데 시도의 대부분을 쓰지만, 무작위 탐색은 매 시도마다 모든 하이퍼파라미터의 값이 달라지므로 중요한 하이퍼파라미터에 대해서도 시도 횟수만큼 서로 다른 값을 확인할 수 있습니다.
위 그래프는 성능이 가로축의 하이퍼파라미터에 크게 좌우되고, 세로축의 하이퍼파라미터에는 거의 영향을 받지 않는 경우입니다. 색이 진할수록 성능이 좋으며, 가장 좋은 성능은 가로축 0.63 근처에서 나옵니다. 그리드 탐색은 9번을 시도했지만 가로축에서는 0.2, 0.5, 0.8의 세 가지 값만 확인했고, 그중 가장 좋은 조합의 성능은 최고 성능의 약 42%에 그칩니다. 무작위 탐색은 같은 9번의 시도로 가로축에서 아홉 가지 값을 확인했고, 0.66 근처에서 최고 성능의 약 92%인 조합을 찾았습니다.
필요한 시도 횟수
무작위 탐색에 필요한 시도 횟수는 간단한 확률로 가늠할 수 있습니다. 탐색 공간 중 성능이 상위 5% 안에 드는 영역이 있다면, 한 번의 시도가 그 영역에 들어가지 못할 확률은 0.95입니다. 시도가 서로 독립이므로, \(n\)번 시도해 한 번이라도 그 영역에 들어갈 확률은 다음과 같습니다.
\[P = 1 - 0.95^{n}\]\(n = 20\)이면 약 64%, \(n = 60\)이면 약 95.4%, \(n = 100\)이면 약 99.4%입니다. 즉, 60번 정도의 무작위 시도면 95%의 확률로 상위 5% 안의 조합을 하나 이상 찾을 수 있습니다. 이 계산은 하이퍼파라미터의 수와 관계가 없으므로, 그리드 탐색과 달리 하이퍼파라미터가 늘어나도 필요한 시도 횟수가 지수적으로 늘어나지 않습니다.
- Tip : 무작위 탐색으로 넓은 범위를 먼저 훑은 뒤, 좋은 결과가 나온 영역 주변으로 범위를 좁혀 다시 탐색하는
거친 탐색 후 세밀한 탐색(Coarse-to-Fine)방식이 실무에서 널리 쓰입니다. 가장 좋은 값이 범위의 경계에 있다면 최적값이 범위 밖에 있을 수 있으므로, 범위를 그 방향으로 넓혀 다시 확인합니다.
베이지안 최적화(Bayesian Optimization)
그리드 탐색과 무작위 탐색은 다음 조합을 고를 때 이전 시도의 결과를 전혀 사용하지 않습니다. 이미 학습률이 큰 쪽에서 계속 발산했더라도, 무작위 탐색은 그 영역에서 다시 값을 뽑습니다. 한 번의 시도가 비쌀수록 이 낭비는 커집니다.
베이지안 최적화(Bayesian Optimization)는 지금까지의 결과로 하이퍼파라미터와 성능의 관계를 추정하는 모델을 만들고, 그 모델을 바탕으로 다음에 시도할 조합을 고릅니다. 실제 성능을 얻으려면 모델을 학습해야 하지만, 추정 모델의 예측은 거의 비용 없이 계산할 수 있습니다. 비싼 실제 평가를 대신하는 이 추정 모델을 대리 모델(Surrogate Model)이라 합니다.
베이지안 최적화는 다음 과정을 반복합니다.
- 지금까지 시도한 조합과 성능으로 대리 모델을 학습합니다.
- 대리 모델을 이용해 다음에 시도할 가치가 가장 높은 조합을 고릅니다.
- 그 조합으로 실제 모델을 학습하고 성능을 측정해 결과에 추가합니다.
대리 모델
대리 모델은 성능의 예측값과 함께 그 예측의 불확실성을 알려 줘야 합니다. 대표적으로 가우시안 프로세스(Gaussian Process)가 쓰이며, 임의의 조합 \(x\)에 대해 성능의 평균 \(\mu(x)\)와 표준편차 \(\sigma(x)\)를 함께 예측합니다. 이미 시도한 조합 근처에서는 표준편차가 작고, 아직 시도하지 않은 먼 영역에서는 표준편차가 큽니다.
가우시안 프로세스는 시도 횟수가 늘어나면 계산량이 빠르게 커지고, 범주형이나 조건부 하이퍼파라미터를 다루기 어렵습니다. 그래서 실무에서는 TPE(Tree-structured Parzen Estimator)도 널리 쓰입니다. TPE는 성능을 직접 예측하는 대신, 지금까지의 시도를 성능이 좋은 그룹과 나쁜 그룹으로 나누고 각 그룹에서 하이퍼파라미터 값이 어떻게 분포하는지 추정합니다. 그런 다음 좋은 그룹에서 나올 확률이 나쁜 그룹에서 나올 확률보다 높은 값을 다음 후보로 고릅니다.
획득 함수
대리 모델이 준비되면, 다음 조합은 획득 함수(Acquisition Function)가 가장 큰 값을 갖는 조합으로 고릅니다. 획득 함수는 활용과 탐험의 균형을 맞춥니다. 예측 평균이 높은 곳을 고르는 것은 지금까지 좋았던 영역 근처를 더 파고드는 활용(Exploitation)이고, 표준편차가 큰 곳을 고르는 것은 아직 모르는 영역을 확인하는 탐험(Exploration)입니다. 이는 강화 학습(Reinforcement Learning)에서 다룬 것과 같은 문제입니다.
가장 널리 쓰이는 획득 함수는 기대 개선량(Expected Improvement, EI)입니다. 지금까지 관측한 최고 성능을 \(f^{*}\)라 할 때, 조합 \(x\)를 시도하면 최고 성능이 평균적으로 얼마나 개선될지를 계산합니다.
현재 최고 성능보다 나빠지는 경우는 개선량을 0으로 보므로, 예측 평균이 조금 낮더라도 불확실성이 커서 크게 좋아질 가능성이 있는 조합은 높은 값을 받습니다. 또 다른 획득 함수인 UCB(Upper Confidence Bound)는 \(\mu(x) + \kappa \, \sigma(x)\)처럼 예측 평균에 불확실성을 더한 값을 사용하며, \(\kappa\)가 클수록 탐험을 더 중시합니다.
- Tip : 베이지안 최적화는 이전 결과를 보고 다음 조합을 고르므로 본질적으로 순차적입니다. 여러 GPU로 동시에 시도하려면 아직 결과가 나오지 않은 시도를 고려해 여러 후보를 한 번에 고르는 방법이 필요하며, 시도를 병렬로 많이 돌릴 수 있는 환경에서는 무작위 탐색과의 차이가 줄어듭니다.
조기 종료 기반 탐색
베이지안 최적화가 어떤 조합을 시도할지를 개선했다면, 다른 방향은 각 시도에 얼마나 자원을 쓸지를 개선하는 것입니다. 신경망 학습에서는 몇 에폭만 학습해도 가망이 없는 조합을 알아볼 수 있는 경우가 많습니다. 학습률이 지나치게 커서 손실이 발산하는 조합을 끝까지 학습할 필요는 없습니다. 과대적합과 정칙화에서 다룬 조기 종료(Early Stopping)를 탐색 전체에 적용하는 셈입니다.
연속적 반감(Successive Halving)
연속적 반감(Successive Halving)은 많은 조합을 적은 자원으로 시작해, 단계마다 성능이 좋은 일부만 남기고 남은 조합에 자원을 몰아주는 방법입니다. 81개의 조합을 최대 81 에폭까지 학습할 수 있고, 단계마다 상위 3분의 1만 남긴다고 가정합니다.
| 단계 | 남은 조합 수 | 조합당 에폭 | 사용한 에폭 |
|---|---|---|---|
| 1 | 81 | 1 | 81 |
| 2 | 27 | 3 | 81 |
| 3 | 9 | 9 | 81 |
| 4 | 3 | 27 | 81 |
| 5 | 1 | 81 | 81 |
전체 사용량은 \(81 \times 5 = 405\) 에폭입니다. 81개의 조합을 모두 81 에폭씩 학습하면 \(81 \times 81 = 6{,}561\) 에폭이 필요하므로, 약 6%의 비용으로 같은 수의 조합을 비교한 셈입니다. 마지막까지 남은 하나의 조합은 최대 자원으로 학습됩니다.
연속적 반감의 약점은 처음에 얼마나 적은 자원으로 시작할지를 정해야 한다는 것입니다. 1 에폭에서의 성능이 최종 성능을 잘 대변하지 못한다면, 초반에 느리게 학습되지만 결국 가장 좋은 조합이 일찍 탈락할 수 있습니다. 예를 들어 학습률이 작은 조합은 초반 손실이 천천히 줄어들어 첫 단계에서 불리합니다.
하이퍼밴드(Hyperband)
하이퍼밴드(Hyperband)는 이 문제를 해결하기 위해, 시작 자원이 서로 다른 여러 개의 연속적 반감을 함께 실행합니다. 하나는 81개의 조합을 1 에폭으로 시작하고, 다른 하나는 27개의 조합을 3 에폭으로 시작하며, 마지막 하나는 5개 정도의 조합을 처음부터 81 에폭으로 학습하는 식입니다. 초반 성능을 믿을 수 있다면 앞쪽이, 믿을 수 없다면 뒤쪽이 좋은 조합을 찾아내므로 어느 경우에도 크게 실패하지 않습니다.
하이퍼밴드는 조합을 무작위로 고르지만, 조합을 고르는 부분에 베이지안 최적화를 결합한 BOHB(Bayesian Optimization and Hyperband)처럼 두 방향을 함께 사용하는 방법도 있습니다.
집단 기반 학습(Population Based Training)
집단 기반 학습(Population Based Training, PBT)은 여러 모델을 동시에 학습시키면서, 일정 주기마다 성능이 나쁜 모델을 성능이 좋은 모델의 가중치와 하이퍼파라미터로 교체하고 하이퍼파라미터를 조금씩 변형합니다. 진화 알고리즘처럼 좋은 개체를 복제하고 변이시키는 방식입니다.
다른 방법들은 학습 내내 고정된 하이퍼파라미터를 찾지만, PBT는 학습 도중 하이퍼파라미터가 바뀌므로 결과적으로 하이퍼파라미터의 일정을 찾게 됩니다. 예를 들어 학습 초반에는 큰 학습률이, 후반에는 작은 학습률이 선택되는 식으로, 최적화 알고리즘(Optimizer)에서 다룬 학습률 스케줄링을 자동으로 발견할 수 있습니다.
실무에서의 탐색 전략
탐색 방법을 고르는 것만큼 무엇을 탐색할지를 정하는 것이 중요합니다. 실무에서는 다음과 같은 순서가 효과적입니다.
- 검증된 기본값에서 시작합니다. 널리 쓰이는 모델 구조라면 논문이나 공개된 구현의 설정이 좋은 출발점입니다. 앙상블 학습(Ensemble Learning)에서 다룬 랜덤 포레스트처럼 기본값으로도 잘 동작하는 모델은 탐색 없이 기준 성능을 먼저 확인합니다.
- 중요한 하이퍼파라미터부터 탐색합니다. 최적화 알고리즘에서 다룬 것처럼 신경망에서는 학습률이 가장 큰 영향을 미칩니다. 학습률을 먼저 맞추고, 그다음 정칙화와 배치 크기, 마지막으로 모델 구조 순서로 범위를 넓혀 가는 것이 일반적입니다.
- 작은 규모에서 먼저 탐색합니다. 데이터의 일부나 작은 모델로 가망 있는 범위를 좁힌 뒤, 전체 규모에서 소수의 후보만 확인합니다. 단, 학습률처럼 모델과 배치의 크기에 따라 최적값이 달라지는 하이퍼파라미터는 규모를 키운 뒤 다시 확인해야 합니다.
- 무작위성의 영향을 확인합니다. 같은 하이퍼파라미터라도 가중치 초기화와 데이터 순서에 따라 성능이 달라집니다. 상위 후보들의 차이가 이 흔들림보다 작다면, 여러 번의 시드로 반복해 평균으로 비교해야 의미 있는 결론을 내릴 수 있습니다.
- Tip :
Optuna,Ray Tune,Hyperopt같은 라이브러리는 무작위 탐색, TPE, 하이퍼밴드 등을 이미 구현하고 있습니다. 예를 들어 Optuna는 기본 탐색 방법으로 TPE를 사용하고, 가망 없는 시도를 일찍 멈추는 기능을 함께 제공합니다. 직접 구현하기보다 이러한 라이브러리를 사용하고 탐색 공간 정의에 집중하는 것이 효율적입니다.
하이퍼파라미터 최적화 정리
| 방법 | 다음 조합을 고르는 방식 | 자원 배분 | 장점 | 단점 |
|---|---|---|---|---|
| 그리드 탐색 | 모든 조합을 차례로 | 모든 조합에 동일 | 단순, 재현 쉬움 | 조합 수가 지수적으로 증가 |
| 무작위 탐색 | 탐색 공간에서 무작위 | 모든 조합에 동일 | 단순, 병렬화 쉬움, 차원에 강함 | 이전 결과를 활용하지 않음 |
| 베이지안 최적화 | 대리 모델과 획득 함수 | 모든 조합에 동일 | 적은 시도로 좋은 조합 탐색 | 순차적, 구현이 복잡 |
| 연속적 반감 · 하이퍼밴드 | 무작위 (또는 베이지안) | 좋은 조합에 집중 | 같은 비용으로 더 많은 조합 비교 | 초반 성능이 최종 성능을 대변해야 함 |
| 집단 기반 학습 | 좋은 모델을 복제하고 변형 | 좋은 모델에 집중 | 하이퍼파라미터 일정까지 탐색 | 동시에 학습할 자원이 필요 |
하이퍼파라미터 최적화는 비싼 평가를 얼마나 아껴 쓰느냐의 문제입니다. 무작위 탐색은 중요한 하이퍼파라미터에 더 많은 값을 시도해 시도를 아끼고, 베이지안 최적화는 이전 결과로 다음 시도를 골라 아끼고, 하이퍼밴드는 가망 없는 시도를 일찍 멈춰 아낍니다.
어떤 방법을 쓰든 탐색 공간과 척도를 올바르게 정의하는 것이 먼저이며, 시도가 많아질수록 검증 데이터에 과대적합될 수 있으므로 최종 성능은 탐색에 사용하지 않은 시험 데이터로 확인해야 합니다. 시도할 수 있는 횟수가 적다면 무작위 탐색이나 베이지안 최적화를, 신경망처럼 학습 도중의 성능을 확인할 수 있다면 하이퍼밴드 계열의 방법을 함께 사용하는 것이 효과적입니다.
- Writer by : 윤대희
댓글 남기기