반응형 최적화알고리즘5 [인공지능/AI/최적화]휴리스틱 알고리즘 BO(Bayesian Optimization)란? 적은 실험으로 최적점을 똑똑하게 찾는 방법 안녕하세요.“기억하고자 하는 모든 것”을 담아내는 “리멤버미” 입니다. 최적화 문제를 풀다 보면 이런 상황을 자주 만나게 됩니다.한 번 평가하는 데 시간이 오래 걸리거나, 실제 실험 비용이 크거나, 시뮬레이션 한 번 돌리는 것 자체가 부담스러운 경우입니다. 이럴 때는 무작정 많은 점을 찍어보는 방식이 비효율적입니다. 바로 이런 문제를 다룰 때 자주 언급되는 방법이 BO(Bayesian Optimization) 입니다. BO는 비용이 큰 black-box function을 적은 평가 횟수로 순차적으로 최적화하는 대표적인 방법으로 소개되며, 하이퍼파라미터 최적화, A/B 테스트, 과학·공학 문제 등 폭넓은 영역에 적용됩니다.핵심만 먼저 말하면,BO는 실제 목적함수를 자주 직접 계산하지 않고, 먼저 그 함수를.. 2026. 4. 8. [scipy / pymoo] Python으로 Differential Evolution 시작하기: DE 패키지 사용법과 하이퍼파라미터 완전 정리 안녕하세요.“기억하고자 하는 모든 것”을 담아내는 “리멤버미” 입니다. 최적화 문제를 풀다 보면, 미분이 어렵거나 목적함수가 울퉁불퉁해서 전통적인 방법으로는 잘 안 풀리는 경우가 있습니다. 이럴 때 자주 언급되는 전역 최적화 기법 중 하나가 바로 DE(Differential Evolution) 입니다. SciPy 문서에서도 differential evolution은 다변수 함수의 global minimum을 찾기 위한 확률적(stochastic) 전역 최적화 방법으로 소개하고 있으며, gradient를 직접 사용하지 않고 넓은 후보 공간을 탐색할 수 있다고 설명합니다.이번 글에서는 DE 알고리즘의 이론을 길게 파기보다, Python에서 어떤 패키지로 시작하면 좋은지, 그리고 주요 하이퍼파라미터를 어떻게 .. 2026. 4. 8. [인공지능/최적화/AI] 휴리스틱 알고리즘 DE(Differential Evolution)란? 벡터 차이로 해를 진화시키는 전역 최적화 방법 안녕하세요.“기억하고자 하는 모든 것”을 담아내는 “리멤버미” 입니다. 최적화 문제를 풀다 보면, 해 공간이 너무 넓어서 어디부터 찾아야 할지 막막한 경우가 많습니다.특히 목적함수가 비선형이거나, 매끄럽지 않거나, 미분 정보를 쓰기 어렵거나, 지역 최적해에 쉽게 갇히는 문제에서는 전통적인 방법만으로 답을 찾기 까다로운 경우가 있습니다. 이런 상황에서 자주 언급되는 대표적인 메타휴리스틱 중 하나가 바로 DE(Differential Evolution) 입니다. DE는 Storn과 Price가 제안한 확률적 개체군 기반 최적화 기법으로, 여러 후보 해 사이의 차이 벡터를 이용해 새로운 해를 만든다는 점이 핵심입니다.핵심만 먼저 말하면, DE는 “좋은 해 주변을 무작정 흔드는 방식”이 아니라, 현재 개체군 안에.. 2026. 4. 8. [PyGAD / DEAP] Python으로 Genetic Algorithm 시작하기: 유전 알고리즘 패키지 사용법과 하이퍼파라미터 완전 정리 안녕하세요.“기억하고자 하는 모든 것”을 담아내는 “리멤버미” 입니다. 유전 알고리즘(Genetic Algorithm, GA)은 경우의 수가 많고, 미분 기반 최적화가 어려운 문제를 풀 때 자주 쓰이는 대표적인 휴리스틱 최적화 기법입니다.특히 설계 변수 조합이 많거나, 해 공간이 복잡한 문제에서 꽤 유용하게 활용됩니다.이번 글에서는 유전 알고리즘 이론 자체보다, Python에서 어떤 패키지를 쓰면 좋은지, 그리고 주요 하이퍼파라미터는 어떤 의미를 가지는지 중심으로 가볍게 정리해보겠습니다.어떤 Python 패키지를 쓰면 좋을까?유전 알고리즘을 Python에서 구현할 때 많이 쓰이는 패키지는 대표적으로 PyGAD와 DEAP입니다.PyGADPyGAD는 유전 알고리즘을 비교적 간단하게 실행할 수 있는 패키지입니.. 2026. 4. 7. [인공지능/최적화/AI] 휴리스틱 알고리즘 SA(Simulated Annealing)란 무엇인가? 국소해를 넘어서 더 좋은 해를 찾는 방법 안녕하세요.“기억하고자 하는 모든 것”을 담아내는 “리멤버미” 입니다. 최적화 문제를 풀다 보면 자주 부딪히는 벽이 있습니다.바로 지금 당장은 좋아 보이지만 전체적으로는 최선이 아닌 해, 즉 local minimum(국소 최솟값) 입니다.이럴 때 자주 등장하는 대표적인 휴리스틱 알고리즘이 바로 SA, Simulated Annealing 입니다.SA는 금속을 천천히 식히며 더 안정적인 상태로 가는 과정에서 아이디어를 가져온 확률적 최적화 기법으로, 1983년 Kirkpatrick, Gelatt, Vecchi에 의해 대표적인 메타휴리스틱으로 정리된 방법입니다. 핵심은 초반에는 비교적 과감하게 탐색하고, 후반에는 점점 안정적으로 수렴하는 데 있습니다.SA를 한 문장으로 설명하면“지금보다 나쁜 선택도 가끔은 받.. 2026. 4. 7. 이전 1 다음 반응형
