본문 바로가기
반응형

인공지능15

[전자/인공지능] LLM의 Temperature와 Top-p는 답변을 어떻게 바꿀까? [전자/인공지능] LLM의 Temperature와 Top-p는 답변을 어떻게 바꿀까? 같은 모델의 답변이 달라지는 이유를 살펴보는 리멤버미입니다. 문서 요약은 일관되게, 아이디어 목록은 다양하게 만들고 싶을 때 Temperature와 Top-p를 조정하라는 설명을 자주 보게 됩니다.Temperature는 다음 토큰의 확률분포를 조정하고, Top-p는 샘플링에 포함할 후보 집합을 누적확률로 제한합니다. 둘 다 모델의 지식을 다시 학습시키는 설정은 아닙니다.1. Temperature는 확률분포를 얼마나 뾰족하게 할지 정한다모델이 출력하는 후보별 점수를 Logit이라고 합니다. T가 양수일 때 Temperature 적용은 다음처럼 나타낼 수 있습니다.pᵢ = exp(zᵢ / T) / Σⱼ exp(zⱼ / T)zᵢ는 후보 i의 점수입니다. T가 낮아지면 점수가 높은 후보에 확률이 더 집중되고, .. 2026. 11. 8.
[전자/인공지능] ChatGPT는 왜 틀린 답을 자신 있게 말할까? Hallucination의 원인 [전자/인공지능] ChatGPT는 왜 틀린 답을 자신 있게 말할까? Hallucination의 원인 존재하지 않는 논문 제목을 그럴듯하게 소개하거나, 매뉴얼에 없는 기본값을 단정하는 답변을 본 적이 있을 것입니다.Hallucination은 사실과 다르거나 주어진 근거가 뒷받침하지 않는 내용을 사실처럼 생성하는 현상입니다. 유창한 문체는 읽기 편하게 해주지만, 그 내용의 정확성을 보증하지는 않습니다.1. 토큰 확률은 사실일 확률이 아니다언어 모델은 문맥에 이어질 표현을 생성합니다. 어떤 단어가 자연스러운 다음 표현인지와, 그 단어가 포함된 주장이 현실에서 참인지는 다른 문제입니다.예를 들어 “이 함수의 기본 단위는” 다음에 익숙한 단위 표현이 나올 수 있습니다. 하지만 실제 사내 함수가 어떤 단위를 쓰는지는 원문이나 시험 결과로 확인해야 합니다. 자연스러움만으로 빈칸을 채우면 잘못된 설명이 만들어집니다... 2026. 10. 25.
[전자/인공지능] LLM의 추론(Reasoning)은 일반적인 답변 생성과 무엇이 다를까?' [전자/인공지능] LLM의 추론(Reasoning)은 일반적인 답변 생성과 무엇이 다를까?' LLM이 답변하기 전 오래 기다리게 되면 “지금 생각하고 있는 걸까?”라는 궁금증이 생깁니다. 여기서는 기술적으로 사용하는 추론이라는 말부터 나눠보겠습니다.Inference는 학습된 모델을 실행해 출력을 얻는 과정이고, Reasoning은 조건을 연결하고 중간 판단을 거쳐 문제를 푸는 능력과 처리 방식을 가리킵니다. 한국어로 둘 다 추론이라 부르기 때문에 혼동하기 쉽습니다.1. 모든 모델 실행이 복잡한 Reasoning은 아니다문장의 오탈자를 고치거나 짧은 분류 결과를 내는 작업도 Inference입니다. 반면 여러 제약을 동시에 만족하는 계획을 세우는 일에는 단계적인 판단이 필요할 수 있습니다.일반 언어 모델도 일정 수준의 Reasoning을 수행할 수 있습니다. 반대로 추론 모델이라는 이름이 붙어도 .. 2026. 10. 25.
[전자/인공지능] AI Agent란 무엇인가? ChatGPT와 자율형 AI의 차이 [전자/인공지능] AI Agent란 무엇인가? ChatGPT와 자율형 AI의 차이 “메일 내용을 써줘”와 “자료를 찾아 초안을 만들고 검토 결과를 반영해줘”는 요구하는 작업 범위가 다릅니다. 두 번째 요청에는 글 생성 외에도 여러 단계의 판단과 행동이 들어갑니다.AI Agent는 목표를 향해 모델이 도구를 선택하고, 실행 결과를 확인하며, 다음 행동을 결정하는 시스템입니다. 여기서 LLM은 판단을 담당하는 구성 요소이고, 실제 실행 환경과 권한 관리는 별도로 필요합니다.1. 답변 한 번과 행동의 반복은 다르다단순 질의응답은 입력을 받아 응답을 생성하는 흐름입니다. Agent는 여기에 “현재 상태 확인 → 행동 선택 → 도구 실행 → 결과 관찰”이라는 반복을 더합니다.예를 들어 매뉴얼 정리 Agent는 파일을 읽고, 파라미터 표를 추출하고, 누락 항목을 찾아 질문한 뒤 문서를 저장할 수.. 2026. 10. 24.
[전자/인공지능] RAG란 무엇인가? LLM이 외부 문서를 검색하고 답변하는 원리 [전자/인공지능] RAG란 무엇인가? LLM이 외부 문서를 검색하고 답변하는 원리 회사 매뉴얼을 읽어본 적 없는 LLM에 사내 Toolkit 사용법을 물으면 어떤 일이 생길까요? 일반적인 설명은 가능해도 실제 함수명과 입력값은 알기 어렵습니다.RAG(Retrieval-Augmented Generation)는 질문에 필요한 외부 자료를 검색하고, 그 자료를 문맥으로 제공해 답변을 생성하는 방식입니다. 공개 웹뿐 아니라 승인된 사내 문서나 데이터베이스도 대상으로 삼을 수 있습니다.1. 모델의 학습 지식과 검색 자료를 함께 쓴다모델의 가중치에 학습된 지식과, 지금 검색해서 가져온 자료는 다른 정보원입니다. 검색 결과를 입력에 넣는 일반적인 RAG 사용 과정은 모델의 가중치를 다시 학습시키는 일이 아닙니다. 문서를 갱신한 뒤 검색 인덱스를 업데이트하면 새 자료를 답변에 사용할 수 있습니다. .. 2026. 10. 24.
[전자/인공지능] Transformer란 무엇인가? LLM의 핵심 구조 이해하기 [전자/인공지능] Transformer란 무엇인가? LLM의 핵심 구조 이해하기 안녕하세요. 어려운 기술을 차근차근 정리하는 리멤버미입니다.LLM을 공부하다 보면 빠지지 않는 이름이 Transformer입니다. 문장을 숫자로 바꾸는 것만으로 어떻게 문맥을 파악하고 긴 답변을 만들 수 있을까요?Transformer는 Attention으로 토큰 사이의 관계를 계산하고, 여러 신경망 블록을 거치며 문맥을 반영한 표현을 만드는 구조입니다. 2017년 「Attention Is All You Need」에서 제안되었으며, 원래는 번역을 위한 Encoder-Decoder 구조로 소개됐습니다. Transformer의 등장과 구조1. 토큰 사이의 관계를 직접 계산한다기존 순환신경망(RNN)은 이전 위치의 상태를 다음 위치로 전달하며 문장을 처리합니다. 한 문장 안에서 위치별 계산이 순차적으로 연결되는.. 2026. 10. 23.
[전자/인공지능] ChatGPT는 어떻게 사람의 언어를 이해하고 답변할까?" [전자/인공지능] ChatGPT는 어떻게 사람의 언어를 이해하고 답변할까?" ChatGPT에 질문하면 설명부터 번역, 코드 작성까지 자연스러운 답변이 돌아옵니다. 컴퓨터는 숫자를 계산하는 기계인데, 어떻게 문장의 의미와 대화의 흐름을 다룰 수 있을까요?핵심은 언어를 숫자로 표현하고, 문맥 속 관계를 계산하며, 그다음에 이어질 토큰을 생성하는 과정입니다. 아래에서는 GPT 계열 언어 모델의 텍스트 처리 원리를 단순화해 살펴보겠습니다.1. 문장을 작은 조각, 토큰으로 나눈다모델은 입력 문장을 토큰(Token)이라는 단위로 처리합니다. 토큰은 단어 하나일 수도 있고, 단어의 일부나 문장부호일 수도 있습니다. 따라서 한글 한 글자나 단어 하나가 항상 토큰 하나에 대응하지는 않습니다. 분할 방식은 사용하는 토크나이저에 따라 달라집니다. OpenAI: 토큰 설명각 토큰에는 ID가 붙고, 모.. 2026. 10. 22.
[인공지능/AI/최적화]휴리스틱 알고리즘 BO(Bayesian Optimization)란? 적은 실험으로 최적점을 똑똑하게 찾는 방법 [인공지능/AI/최적화]휴리스틱 알고리즘 BO(Bayesian Optimization)란? 적은 실험으로 최적점을 똑똑하게 찾는 방법 안녕하세요.“기억하고자 하는 모든 것”을 담아내는 “리멤버미” 입니다. 최적화 문제를 풀다 보면 이런 상황을 자주 만나게 됩니다.한 번 평가하는 데 시간이 오래 걸리거나, 실제 실험 비용이 크거나, 시뮬레이션 한 번 돌리는 것 자체가 부담스러운 경우입니다. 이럴 때는 무작정 많은 점을 찍어보는 방식이 비효율적입니다. 바로 이런 문제를 다룰 때 자주 언급되는 방법이 BO(Bayesian Optimization) 입니다. BO는 비용이 큰 black-box function을 적은 평가 횟수로 순차적으로 최적화하는 대표적인 방법으로 소개되며, 하이퍼파라미터 최적화, A/B 테스트, 과학·공학 문제 등 폭넓은 영역에 적용됩니다.핵심만 먼저 말하면,BO는 실제 목적함수를 자주 직접 계산하지 않고, 먼저 그 함수를.. 2026. 4. 8.
[인공지능/최적화/AI] 휴리스틱 알고리즘 DE(Differential Evolution)란? 벡터 차이로 해를 진화시키는 전역 최적화 방법 [인공지능/최적화/AI] 휴리스틱 알고리즘 DE(Differential Evolution)란? 벡터 차이로 해를 진화시키는 전역 최적화 방법 안녕하세요.“기억하고자 하는 모든 것”을 담아내는 “리멤버미” 입니다. 최적화 문제를 풀다 보면, 해 공간이 너무 넓어서 어디부터 찾아야 할지 막막한 경우가 많습니다.특히 목적함수가 비선형이거나, 매끄럽지 않거나, 미분 정보를 쓰기 어렵거나, 지역 최적해에 쉽게 갇히는 문제에서는 전통적인 방법만으로 답을 찾기 까다로운 경우가 있습니다. 이런 상황에서 자주 언급되는 대표적인 메타휴리스틱 중 하나가 바로 DE(Differential Evolution) 입니다. DE는 Storn과 Price가 제안한 확률적 개체군 기반 최적화 기법으로, 여러 후보 해 사이의 차이 벡터를 이용해 새로운 해를 만든다는 점이 핵심입니다.핵심만 먼저 말하면, DE는 “좋은 해 주변을 무작정 흔드는 방식”이 아니라, 현재 개체군 안에.. 2026. 4. 8.
반응형