.md .pdf

repository open issue

Contents

2. Auto-regressive 모델

Summary

Auto-regressive 모델은 과거의 데이터를 기반으로 미래의 값을 예측하는 통계 모델입니다. LLM(대형 언어 모델)에서 auto-regressive 모델은 이전 단어를 기반으로 다음 단어를 예측하여 문장의 일관성과 문맥을 유지하는 데 사용됩니다. 이러한 모델은 텍스트 생성, 언어 이해, 그리고 다양한 자연어 처리 작업에 중요한 역할을 합니다.

Key Concepts

• Auto-regressive 모델의 정의 : 과거의 데이터를 기반으로 미래의 값을 예측하는 통계 모델로, LLM에서 이전 단어를 기반으로 다음 단어를 예측합니다.

• LLM에서의 역할 : 문장의 일관성과 문맥을 유지하기 위해 사용되며, 텍스트 생성, 언어 이해 등 다양한 자연어 처리 작업에 중요합니다.

• 예시 : GPT-3와 같은 LLM에서 auto-regressive 모델을 사용하여 인간과 유사한 텍스트를 생성합니다.

• 장점 : 문장의 일관성과 문맥을 유지할 수 있으며, 대규모 훈련 데이터를 통해 모델의 정확성을 향상시킬 수 있습니다.

• 한계 : 계산 비용이 높고, 예측 프로세스를 병렬화하기 어려울 수 있습니다.

References

URL 이름	URL
Demystifying Large Language Models	https://www.linkedin.com/pulse/demystifying-large-language-models-beginners-guide-hype-fiagbor
Yann LeCun on Auto-Regressive LLMs	https://www.linkedin.com/posts/yann-lecun_i-have-claimed-that-auto-regressive-llms-activity-7045908925660950528-hJGk
What is Autoregressive Model: LLMs Explained	https://www.chatgptguide.ai/2024/02/29/what-is-autoregressive-model-llms-explained/
What are Autoregressive Models? - AR Models Explained	https://aws.amazon.com/what-is/autoregressive-models/
What are Auto-regressive Models? - Hopsworks	https://www.hopsworks.ai/dictionary/auto-regressive-models

previous

1. Transformer 아키텍쳐

next

3. DPO, RLHF