데이터 사이언스/파라미터 조정(2)
-
Optuna 파라미터 튜닝
import optuna from optuna.samplers import TPESampler def objective(trial): param = { "random_state":42, 'learning_rate' : trial.suggest_loguniform('learning_rate', 0.01, 0.2), 'bagging_fraction' :trial.suggest_float('bagging_fraction', 0.0, 1.0), "n_estimators":trial.suggest_int("n_estimators", 1, 1000), "max_depth":trial.suggest_int("max_depth", 1, 16), "num_leaves":trial.suggest_int("num_leave..
2021.12.13 -
Bayesian-Optimization (베이지안 옵티마이제이션)
ㅇ Bayesian Optimization은 어느 입력값(x)를 받는 미지의 목적 함수(f(x))를 상정하여, 그 함숫값(f(x))을 최대로 만드는 최적해를 찾는 것을 목적 ㅇ 코드 예시 - 모듈 임포트 및 파라미터 정의 후 모델 수행 - init_points=5와 n_iter=100는 결과를 maximize해야되는데 처음 5회는 랜덤값으로 스코어 계산 후 (사전지식) 사전지식을 바탕으로 100회에 대해 최적화 한다는 뜻 - 결과를 바탕으로 모델 재 수행 - 베이지안 옵티마이제이션 사용 전과 사용 후 비교
2021.06.01