폴리프레임

Transformer 기반 모델은 2017년 구글이 발표한 논문 "Attention is All You Need"에서 소개된 새로운 유형의 신경망 아키텍처입니다. Transformer는 특히 자연어 처리(NLP)에서 뛰어난 성능을 보여주며, 이후 많은 혁신적인 모델의 기초가 되었습니다. Transformer 아키텍처의 주요 구성 요소1. 입력 임베딩 (Input Embedding)   - 입력 텍스트를 고차원 벡터로 변환합니다. 일반적으로 각 단어 또는 토큰을 임베딩 벡터로 매핑합니다.2. 포지셔널 인코딩 (Positional Encoding)   - Transformer 모델은 순서를 고려하지 않는다는 단점을 보완하기 위해 포지셔널 인코딩을 사용합니다. 입력 임베딩에 위치 정보를 추가하여 단어의 순서를..

ai 2024. 7. 4. 06:39

Hugging Face는 인공지능 및 머신러닝 관련 도구와 리소스를 제공하는 플랫폼입니다. 이 플랫폼은 크게 세 가지 주요 카테고리로 분류하고 있습니다. 1. Models Models 카테고리는 다양한 사전 훈련된 머신러닝 모델을 제공하는 공간입니다. 사용자는 여기서 여러 분야의 모델을 찾아보고 사용할 수 있습니다. 예를 들어, 자연어 처리(NLP), 컴퓨터 비전(CV), 오디오 처리 등 다양한 용도의 모델들이 포함됩니다.대표적인 모델로는 BERT, GPT, T5, RoBERTa 등이 있으며, 이는 텍스트 분류, 번역, 생성, 요약 등 다양한 작업에 활용될 수 있습니다.2. Datasets Datasets 카테고리는 머신러닝 모델을 훈련시키거나 평가하는 데 필요한 데이터셋을 공유하고 관리하는 공간입니다...

ai 2024. 7. 3. 09:40

.env 파일에 default 인 OPENAI_API_KEY로 셋팅을 했어도, server randering 이 디폴트인 Next.js 에서도, "use server" 가  별도 표기 되지 않으면 읽지를 못합니다. 물 .env 파일이 아니고 직접 apiKey= "xxxxx" 하면 실행은 되지만, 키가 프론트에 노출되므로 사용하면은 안되겠지요. 따라서 server 코드를 별도의 파일로 만들고, client 파일로 물러와야 해결이 됩니다.'use server';import { generateText } from "ai";import { openai } from "@ai-sdk/openai"export const generateTextAction = async ()=>{ const result = awa..

ai 2024. 6. 19. 12:51

langchain에서는 api 키를 .env 파일에만, OPENAI_API_KEY 로 등록하면, 자동으로 인식 시켜줍니다.// .envOPENAI_API_KEY="sk-4xxxxxxxxxxxxxxxxxxxx43" 이제는 아무 파일에서나 불러서 사용 할 수 있습니다. 여기 ChatOpenAI 클래스는 OpenAI의 대화형 언어 모델 (예: ChatGPT)과 상호작용하기 위한 기능을 제공합니다. 대화형 애플리케이션에서 사용하기 적합하며, 대화 상태를 관리하고 연속적인 대화를 처리하는 데 유용합니다. 반면에 "import { OpenAI } from "langchain/llms/openai" 의 OpenAI클라스는 OpenAI의 언어 모델을 사용하기 위한 기본 기능을 제공합니다. 주로 언어 모델을 초기화하고 ..

ai 2024. 6. 13. 10:16

// 설치npm i faiss-node"faiss-node"는 Facebook AI Research에서 개발한 FAISS (Facebook AI Similarity Search) 라이브러리의 Node.js 바인딩입니다. FAISS는 매우 효율적인 유사성 검색 및 밀집 벡터의 클러스터링을 수행하는 라이브러리로, 특히 대규모 데이터셋에서의 빠른 근사 k-최근접 이웃 검색(k-NN search)을 위해 설계되었습니다.주요 기능은 다음과 같습니다:벡터 검색: 대규모 벡터 데이터베이스에서 유사한 벡터를 신속하게 검색합니다.효율성: 고차원 벡터 공간에서의 검색 속도가 매우 빠릅니다.확장성: 수백만 개 이상의 벡터를 처리할 수 있습니다.유연성: 다양한 인덱싱 방법을 제공하여 다양한 응용 프로그램 요구사항에 맞출 수 ..

ai 2024. 6. 13. 09:59

LangChain은 LLM(Large Language Model) 모델을 통해 다양한 작업을 수행할 수 있게 하는 라이브러리입니다. 주로 자연어 처리(NLP)와 인공지능(AI) 애플리케이션을 구축하는 데 사용됩니다. LangChain.js는 이러한 LangChain의 기능을 JavaScript 환경에서 사용할 수 있도록 하는 라이브러리입니다. 핵심 기능은 RAG ( Retrieval Augmented Generation) 이라고 할 수 있으며, 추후 자세히 이야기 해보겠습니다. LangChain.js의 주요 구성 요소Core: LangChain.js의 핵심 기능을 제공하며, 언어 모델과의 상호작용, 데이터 소스 통합, 체인 생성 등의 기능을 포함합니다.Prompts: 다양한 작업을 수행하기 위해 사용자 ..

ai 2024. 6. 8. 00:58

The science of making things smart. Human instelligence exhibited by machines.인공지능(AI, Artificial Intelligence)은 컴퓨터 시스템이 인간의 지능적 행동을 모방하거나 이를 뛰어넘을 수 있도록 하는 기술과 이론의 집합을 말합니다. AI는 학습, 추론, 문제 해결, 이해, 인식, 언어 처리 등의 작업을 수행할 수 있습니다. AI 시스템은 데이터를 분석하고, 패턴을 인식하며, 결정을 내리고, 학습을 통해 성능을 향상시킬 수 있습니다. AI의 주요 영역1. 기계 학습 (Machine Learning)정의: 데이터를 분석하고 학습하여 예측 모델을 만드는 기술입니다.방법론:지도 학습 (Supervised Learning): 레이블이..

ai 2024. 6. 8. 00:28