Transformer 기반 모델 이란
Transformer 기반 모델은 2017년 구글이 발표한 논문 "Attention is All You Need"에서 소개된 새로운 유형의 신경망 아키텍처입니다. Transformer는 특히 자연어 처리(NLP)에서 뛰어난 성능을 보여주며, 이후 많은 혁신적인 모델의 기초가 되었습니다. Transformer 아키텍처의 주요 구성 요소1. 입력 임베딩 (Input Embedding) - 입력 텍스트를 고차원 벡터로 변환합니다. 일반적으로 각 단어 또는 토큰을 임베딩 벡터로 매핑합니다.2. 포지셔널 인코딩 (Positional Encoding) - Transformer 모델은 순서를 고려하지 않는다는 단점을 보완하기 위해 포지셔널 인코딩을 사용합니다. 입력 임베딩에 위치 정보를 추가하여 단어의 순서를..
ai
2024. 7. 4. 06:39
