Ingesting in LLM

Contents

Ingesting in LLM¶

Summary¶

Ingesting in LLM은 대형 언어 모델을 훈련시키기 위해 필요한 데이터를 수집, 처리, 준비하는 복잡한 과정입니다. 이 과정은 데이터 수집, 전처리, 특징 엔지니어링, 저장의 여러 단계로 구성됩니다. 데이터 수집은 웹 스크래핑, 데이터베이스, 공개 데이터셋 등 다양한 소스로부터 데이터를 수집하는 것을 포함하며, 전처리는 데이터를 정리, 정규화, 토큰화하는 것을 포함합니다. 특징 엔지니어링은 데이터를 모델에 적합한 형태로 변환하는 것을 포함하며, 저장은 데이터를 모델이 쉽게 접근할 수 있는 형태로 저장하는 것을 포함합니다.

Key Concepts¶

데이터 수집 : 웹 스크래핑, 데이터베이스, 공개 데이터셋 등 다양한 소스로부터 데이터를 수집하는 과정입니다.
전처리 : 데이터를 정리, 정규화, 토큰화하는 과정입니다.
특징 엔지니어링 : 데이터를 모델에 적합한 형태로 변환하는 과정입니다.
저장 : 데이터를 모델이 쉽게 접근할 수 있는 형태로 저장하는 과정입니다.

References¶

URL 이름	URL
Apify Blog	https://blog.apify.com/what-is-data-ingestion-for-large-language-models/
Vectara Blog	https://vectara.com/blog/vectara-ingest-llm-data-ingestion-made-easy/
smcleod.net	https://smcleod.net/2024/07/ingest-streamlining-content-preparation-for-llms/
LlamaIndex Docs	https://docs.llamaindex.ai/en/stable/understanding/loading/loading/
Deepgram Learn	https://deepgram.com/learn/llm-training-data-ingestion-model-tuning

previous

Embedding Models

next

Splitting in LLM