본문 바로가기
반응형

전체 글101

[전자/인공지능] Embedding이란 무엇인가? 단어를 벡터로 표현하는 원리 [전자/인공지능] Embedding이란 무엇인가? 단어를 벡터로 표현하는 원리 “소자 간격을 바꾸고 싶다”는 질문으로 “instance pitch 설정”이라는 문서를 찾으려면 단어가 정확히 같지 않아도 관계를 계산할 수 있어야 합니다. 이때 자주 등장하는 표현이 Embedding입니다.Embedding은 단어나 문장 같은 데이터를 숫자 벡터로 표현하는 방법입니다. 벡터는 여러 숫자를 순서대로 모은 것으로, 모델이 학습한 기준에 따라 데이터의 관계를 계산하는 데 사용됩니다.1. ID를 붙이는 일과 의미를 표현하는 일단어마다 1번, 2번, 3번이라는 ID를 붙이는 것만으로는 의미가 가까운지 알기 어렵습니다. ID의 크기 차이가 실제 뜻의 차이를 나타내지는 않기 때문입니다.Embedding에서는 학습을 통해 여러 차원의 숫자 표현을 만듭니다. 검색용 모델은 관련 있는 질문·문장 표현이 .. 2026. 10. 25.
[전자/인공지능] LLM의 추론(Reasoning)은 일반적인 답변 생성과 무엇이 다를까?' [전자/인공지능] LLM의 추론(Reasoning)은 일반적인 답변 생성과 무엇이 다를까?' LLM이 답변하기 전 오래 기다리게 되면 “지금 생각하고 있는 걸까?”라는 궁금증이 생깁니다. 여기서는 기술적으로 사용하는 추론이라는 말부터 나눠보겠습니다.Inference는 학습된 모델을 실행해 출력을 얻는 과정이고, Reasoning은 조건을 연결하고 중간 판단을 거쳐 문제를 푸는 능력과 처리 방식을 가리킵니다. 한국어로 둘 다 추론이라 부르기 때문에 혼동하기 쉽습니다.1. 모든 모델 실행이 복잡한 Reasoning은 아니다문장의 오탈자를 고치거나 짧은 분류 결과를 내는 작업도 Inference입니다. 반면 여러 제약을 동시에 만족하는 계획을 세우는 일에는 단계적인 판단이 필요할 수 있습니다.일반 언어 모델도 일정 수준의 Reasoning을 수행할 수 있습니다. 반대로 추론 모델이라는 이름이 붙어도 .. 2026. 10. 25.
[전자/인공지능] AI Agent란 무엇인가? ChatGPT와 자율형 AI의 차이 [전자/인공지능] AI Agent란 무엇인가? ChatGPT와 자율형 AI의 차이 “메일 내용을 써줘”와 “자료를 찾아 초안을 만들고 검토 결과를 반영해줘”는 요구하는 작업 범위가 다릅니다. 두 번째 요청에는 글 생성 외에도 여러 단계의 판단과 행동이 들어갑니다.AI Agent는 목표를 향해 모델이 도구를 선택하고, 실행 결과를 확인하며, 다음 행동을 결정하는 시스템입니다. 여기서 LLM은 판단을 담당하는 구성 요소이고, 실제 실행 환경과 권한 관리는 별도로 필요합니다.1. 답변 한 번과 행동의 반복은 다르다단순 질의응답은 입력을 받아 응답을 생성하는 흐름입니다. Agent는 여기에 “현재 상태 확인 → 행동 선택 → 도구 실행 → 결과 관찰”이라는 반복을 더합니다.예를 들어 매뉴얼 정리 Agent는 파일을 읽고, 파라미터 표를 추출하고, 누락 항목을 찾아 질문한 뒤 문서를 저장할 수.. 2026. 10. 24.
[전자/인공지능] RAG란 무엇인가? LLM이 외부 문서를 검색하고 답변하는 원리 [전자/인공지능] RAG란 무엇인가? LLM이 외부 문서를 검색하고 답변하는 원리 회사 매뉴얼을 읽어본 적 없는 LLM에 사내 Toolkit 사용법을 물으면 어떤 일이 생길까요? 일반적인 설명은 가능해도 실제 함수명과 입력값은 알기 어렵습니다.RAG(Retrieval-Augmented Generation)는 질문에 필요한 외부 자료를 검색하고, 그 자료를 문맥으로 제공해 답변을 생성하는 방식입니다. 공개 웹뿐 아니라 승인된 사내 문서나 데이터베이스도 대상으로 삼을 수 있습니다.1. 모델의 학습 지식과 검색 자료를 함께 쓴다모델의 가중치에 학습된 지식과, 지금 검색해서 가져온 자료는 다른 정보원입니다. 검색 결과를 입력에 넣는 일반적인 RAG 사용 과정은 모델의 가중치를 다시 학습시키는 일이 아닙니다. 문서를 갱신한 뒤 검색 인덱스를 업데이트하면 새 자료를 답변에 사용할 수 있습니다. .. 2026. 10. 24.
[전자/인공지능] Transformer란 무엇인가? LLM의 핵심 구조 이해하기 [전자/인공지능] Transformer란 무엇인가? LLM의 핵심 구조 이해하기 안녕하세요. 어려운 기술을 차근차근 정리하는 리멤버미입니다.LLM을 공부하다 보면 빠지지 않는 이름이 Transformer입니다. 문장을 숫자로 바꾸는 것만으로 어떻게 문맥을 파악하고 긴 답변을 만들 수 있을까요?Transformer는 Attention으로 토큰 사이의 관계를 계산하고, 여러 신경망 블록을 거치며 문맥을 반영한 표현을 만드는 구조입니다. 2017년 「Attention Is All You Need」에서 제안되었으며, 원래는 번역을 위한 Encoder-Decoder 구조로 소개됐습니다. Transformer의 등장과 구조1. 토큰 사이의 관계를 직접 계산한다기존 순환신경망(RNN)은 이전 위치의 상태를 다음 위치로 전달하며 문장을 처리합니다. 한 문장 안에서 위치별 계산이 순차적으로 연결되는.. 2026. 10. 23.
[전자/인공지능] ChatGPT는 어떻게 사람의 언어를 이해하고 답변할까?" [전자/인공지능] ChatGPT는 어떻게 사람의 언어를 이해하고 답변할까?" ChatGPT에 질문하면 설명부터 번역, 코드 작성까지 자연스러운 답변이 돌아옵니다. 컴퓨터는 숫자를 계산하는 기계인데, 어떻게 문장의 의미와 대화의 흐름을 다룰 수 있을까요?핵심은 언어를 숫자로 표현하고, 문맥 속 관계를 계산하며, 그다음에 이어질 토큰을 생성하는 과정입니다. 아래에서는 GPT 계열 언어 모델의 텍스트 처리 원리를 단순화해 살펴보겠습니다.1. 문장을 작은 조각, 토큰으로 나눈다모델은 입력 문장을 토큰(Token)이라는 단위로 처리합니다. 토큰은 단어 하나일 수도 있고, 단어의 일부나 문장부호일 수도 있습니다. 따라서 한글 한 글자나 단어 하나가 항상 토큰 하나에 대응하지는 않습니다. 분할 방식은 사용하는 토크나이저에 따라 달라집니다. OpenAI: 토큰 설명각 토큰에는 ID가 붙고, 모.. 2026. 10. 22.
[전자/소자/기본/반도체] Energy Band는 왜 생길까? 원자의 에너지 준위에서 고체까지 [전자/소자/기본/반도체] Energy Band는 왜 생길까? 원자의 에너지 준위에서 고체까지 Energy Band는 왜 생길까? 원자의 에너지 준위에서 고체까지하나의 고립된 원자에서 전자는 아무 에너지나 가질 수 없습니다. 정해진 Orbital과 Discrete Energy Level만 허용됩니다. 그런데 수많은 원자가 모여 고체가 되면 이 선들이 매우 촘촘한 Energy Band로 바뀝니다.Energy Band는 사람이 편의를 위해 그린 선이 아니라, 원자 사이의 상호작용과 Quantum Mechanics가 만든 고체의 허용 에너지 영역입니다.핵심부터 말하면원자들이 서로 가까워지면 Electron Wave Function이 겹치고 각 원자가 독립적으로 갖던 에너지 준위가 영향을 주고받습니다. Pauli Exclusion Principle 때문에 모든 전자가 완전히 같은 Quantum State.. 2026. 10. 22.
[전자/소자/기본/반도체] 도핑 농도가 올라가면 Fermi Level은 어떻게 움직일까? [전자/소자/기본/반도체] 도핑 농도가 올라가면 Fermi Level은 어떻게 움직일까? Donor를 넣으면 n형, Acceptor를 넣으면 p형 반도체가 된다고 배웁니다. 여기서 도핑 농도를 더 높이면 단순히 Carrier 수만 증가하는 것이 아니라 Fermi Level의 위치도 Energy Band 쪽으로 이동합니다.Fermi Level은 Carrier가 에너지 상태를 채우려는 경향을 나타내므로, 전자나 정공 농도의 변화를 Band Diagram에 압축해서 보여 주는 지표입니다.핵심부터 말하면Donor 농도 증가: 전자 농도 증가 → EF가 EC 쪽으로 이동Acceptor 농도 증가: 정공 농도 증가 → EF가 EV 쪽으로 이동비축퇴 반도체에서는 Carrier 농도가 지수함수로 EF와 연결됩니다. 따라서 도핑 농도가 여러 배 증가해도 EF의 이동은 로그 관계를 가집니다.매우 높은 도핑에서.. 2026. 10. 21.
[전자/소자/기본/반도체] Intrinsic Semiconductor와 Extrinsic Semiconductor의 차이는 무엇일까? [전자/소자/기본/반도체] Intrinsic Semiconductor와 Extrinsic Semiconductor의 차이는 무엇일까? 순수한 Silicon도 완전한 절연체는 아닙니다. 열에너지를 얻은 일부 전자가 Valence Band에서 Conduction Band로 올라가며 전자와 정공을 만듭니다. 하지만 실제 반도체 소자는 이 자연적인 Carrier만으로는 원하는 전도성을 만들기 어렵습니다.그래서 소량의 불순물을 넣어 전자 또는 정공 농도를 의도적으로 조절합니다. 이것이 Intrinsic과 Extrinsic Semiconductor를 나누는 출발점입니다.핵심부터 말하면Intrinsic Semiconductor(진성 반도체): 의도적인 도핑이 없고 열적으로 생성된 전자와 정공 농도가 같음Extrinsic Semiconductor(불순물 반도체): Donor 또는 Acceptor를 도핑해 한 종류의 Carrier를 다수 Carrier.. 2026. 10. 21.
반응형

티스토리툴바