Edge in LLM

Contents

Edge in LLM¶

Summary¶

Edge in LLM은 Large Language Model(대형 언어 모델)을 엣지 디바이스(Edge Device)에서 실행하는 기술을 의미합니다. 엣지 디바이스는 클라우드 서버와 달리 사용자와 가까운 곳에서 데이터 처리를 수행하여, 네트워크 지연을 줄이고, 개인 정보 보호를 강화하며, 에너지 효율을 높일 수 있습니다. 그러나 엣지 디바이스의 제한된 컴퓨팅 리소스와 메모리 용량으로 인해, LLM을 효율적으로 실행하기 위한 기술적 과제가 있습니다.

Key Concepts¶

엣지 디바이스: 사용자와 가까운 곳에서 데이터 처리를 수행하는 디바이스로, 네트워크 지연을 줄이고, 개인 정보 보호를 강화하며, 에너지 효율을 높일 수 있습니다.
LLM 최적화: 엣지 디바이스의 제한된 컴퓨팅 리소스와 메모리 용량을 고려하여, LLM을 효율적으로 실행하기 위한 기술적 과제입니다.
모델 압축: LLM의 크기를 줄여 엣지 디바이스에서 실행할 수 있도록 하는 기술입니다.
에너지 효율: 엣지 디바이스에서 LLM을 실행할 때, 에너지 소비를 최소화하여 배터리 수명을 연장하는 기술입니다.

References¶

URL 이름	URL
Edge Impulse의 LLM 구현	https://www.edgeimpulse.com/blog/roundup-edge-impulses-implementations-of-llm-tools-and-techniques-for-edge-ai/
모바일 엣지 인텔리전스	https://arxiv.org/abs/2407.18921
EDGE-LLM	https://arxiv.org/abs/2406.15758
엣지 컴퓨팅과 LLM	https://www.expedera.com/blog/2023/11/16/unlocking-the-power-of-edge-computing-with-large-language-models/
엣지 LLM 솔루션	https://www.rgnets.com/_assets/The Edge LLM AI-237e656fcc17f145cc46c2ca888fd18700d93094fca6f98f8f9556a6036debfb.pdf

previous

Demo in LLM

next

Local in LLM