베이지안 최적화

베이지안 최적화 평가 비용이 많이 들고 볼록하지 않고 분석적 표현이 부족한 목적 함수의 전체 최적값을 찾는 데 사용되는 확률론적 모델 기반 최적화 기법입니다.목적 함수를 평가하는 데 시간, 리소스 또는 계산 측면에서 비용이 많이 드는 하이퍼파라미터 조정, 설계 최적화 및 실험 제어와 같은 영역에 널리 적용됩니다.

베이지안 최적화의 작동 원리

1. 서로게이트 모델:
   • 베이지안 최적화는 일반적으로 다음과 같은 대리 확률 모델을 사용합니다. 가우스 프로세스 (GP), 관측된 데이터를 기반으로 목적 함수의 근사치를 구합니다 (함수 평가).대리 모델은 가능한 함수 값에 대한 확률 분포를 제공하여 평균 및 불확실성 추정치를 제공합니다.
2. 획득 기능:
   • 획득 함수는 탐색 (불확실성이 높은 영역 탐색) 과 활용 (객관적 가치를 향상시킬 가능성이 있는 영역 탐색) 의 균형을 맞춰 평가할 다음 지점을 결정합니다.일반적인 획득 함수에는 다음이 포함됩니다.
     • 예상 개선 (EI): 목적 함수를 향상시킬 것으로 예상되는 점을 선택합니다.
     • 개선 가능성 (PI): 현재 최고 값을 초과할 확률이 높은 점을 선택합니다.
     • 신뢰 상한 (UCB): 예측 평균과 불확실성이 높은 지점의 우선 순위를 지정합니다.
3. 반복 프로세스:
   • 베이지안 최적화는 다음을 번갈아 사용합니다.
     1. 획득 함수를 기반으로 평가할 점을 선택합니다.
     2. 새 데이터 포인트로 서로게이트 모델 업데이트.
     3. 중지 기준 (예: 최대 반복 횟수, 예산 또는 원하는 정확도) 이 충족될 때까지 반복합니다.

베이지안 최적화의 주요 특징

1. 샘플 효율성:
   • 사전 평가를 활용하여 향후 평가의 지침으로 삼음으로써 최적을 찾는 데 필요한 목적 함수 평가의 횟수를 최소화합니다.
2. 불확실성 정량화:
   • 대리 모델은 예측에 대한 신뢰 구간을 제공하므로 불확실성이 높은 지역을 정보에 입각하여 탐색할 수 있습니다.
3. 블랙박스 함수에의 적용 가능성:
   • 잡음이 많거나 불연속적이거나 분석 형식이 없는 함수에 적합합니다.
4. 높은 컴퓨팅 비용 타당성:
   • 시뮬레이션, 실험 또는 복잡한 모델 학습과 같이 각 함수 평가가 비용이 많이 드는 시나리오에 적합합니다.

베이지안 최적화의 응용

1. 하이퍼파라미터 조정:
   • 머신 러닝에서 신경망, SVM, 랜덤 포레스트 같은 알고리즘의 하이퍼파라미터를 최적화하는 데 사용됩니다.프레임워크는 다음과 같습니다. 옵투나, 스피어민트, 및 GPyOpt 이를 위해 베이지안 최적화를 구현하십시오.
2. 실험 설계:
   • 물리적 실험 (예: 재료 과학 또는 화학) 의 구성을 최적화하여 최소한의 실험으로 결과를 극대화할 수 있습니다.
3. A/B 테스팅:
   • 결과를 효율적으로 최적화하기 위해 마케팅 또는 제품 설계에서 실험적 변형을 선택하도록 안내합니다.
4. 로보틱스 및 제어:
   • 로봇의 제어 파라미터를 조정하거나 궤적을 최적화하는 데 사용됩니다.
5. 포트폴리오 최적화:
   • 위험과 수익의 균형을 유지하여 투자 포트폴리오를 최적화하기 위해 금융에 적용됩니다.
6. 뉴럴 아키텍처 설계:
   • 효율적인 딥 러닝 모델을 찾기 위한 신경 아키텍처 검색 (NAS) 을 안내합니다.
7. 강화 학습:
   • 강화 학습 작업, 특히 비용이 많이 드는 시뮬레이션이 있는 시나리오에서 정책을 최적화합니다.
8. 화학 및 신약 개발:
   • 원하는 특성에 맞는 최적의 분자 구성 또는 반응 조건을 찾습니다.

베이지안 최적화의 장점

1. 효율적인 샘플링:
   • 평가할 포인트를 지능적으로 선택하므로 철저한 검색의 필요성이 줄어듭니다.
2. 유연성:
   • 고차원, 노이즈 및 블랙박스 최적화 문제에 적용할 수 있습니다.
3. 정보에 입각한 의사 결정:
   • 대리 모델의 확률적 특성은 불확실성 기반 탐색을 가능하게 합니다.
4. 글로벌 최적화:
   • 국소 최솟값이 여러 개인 함수에서 글로벌 최적값을 찾는 데 효과적입니다.