Intro¶

LLM Engieering Handbook - Introduction¶

이 책은 “genAI handbook”으로부터 영감을 받아 만들어졌습니다. 서문은 원 저자의 말을 있는 거의 그대로 가져왔습니다.

이 문서는 최신 AI 시스템의 핵심 개념들 중 “엔지니어링” 관련 부분을 학습하기 위한 핸드북 역할을 하는 것을 목표로 합니다.
우리의 목표는 이런 자료들 중에서 최고를 엄선한 다음 교과서 스타일로 구성하는 겁니다. 이를 통해 AI쪽 학습을 위해 필요한 사전 지식들을 이해 채울 수 있게끔 도와주는 로드맵을 제공합니다.
우리는 이 문서가 새로운 지식이 나오는 실시간으로 업데이트 될 수 있는 “살아있는 문서”가 되기를 바라고, 집단 지성 기여를 통해 생명을 유지할 수 있기를 바랍니다.
genAI Handbook과 다른 점은 두 가지입니다.
1. Engineering Part : 원 저서는 생성형 AI를 이해하기 위한 모든 내용을 다룹니다. 고전적 nlp부터 이론적인 부분을 아주 깊게 파고 들어가며, 시계열 너머와 멀티모달까지 범위도 무척 넓게 학문적 담론을 다룹니다**.** 그러다보니 ****상대적으로 application 부분이 개발자 입장에서 보았을 때 내용이 빈약합니다. 이 책은 그 두 챕터에 집중하여 깊이 파고, genAi -Handbook을 보완하는 문서가 되려고 합니다. ****
2. 단체 차원에서 문서를 만들고 유지하려고 합니다. 우리는 ML Engineer/Software Engineer들의 스터디 그룹이며, Pseudolab이라는 한국 기반 커뮤니티를 본진으로 활동하고 있습니다. 우리 그룹의 학습 목표는 지식을 모으고, 그 지식을 적용하여 실제 프로젝트를 개선하는 겁니다.
- 따라서 이 가이드는 software engineer들을 주 타겟으로 하며, 다소 전문적일 수 있습니다.

AI Content Landscape¶

2024년 “AI 뉴스”는… 중대한 내용들이 쉴 새 없이 쏟아져 나옵니다. 이걸 그냥 따라가는 것 만으로도 전업 일자리 수준의 시간이 필요합니다. 특히 이제 막 관심을 가지기 시작한 입장이라면 어디서부터 시작해야 할 지 모를 수도 있습니다.
고퀄리티고 접근하기 쉬운 컨텐츠가 매우 많지만 정리가 안 되어 있습니다. 요즘 배우기 제일 좋은 자료들은 단발성 블로그 글이나 유튜브 비디오 형태로 이곳저곳에 흩어져 있거든요.
혁신이 워낙 많다보니… 어디서 시작해야 하지? 어떤 토픽들은 꼭 알아야 하고, 어떤 순서로 배우고, 어떤 건 좀 버려도 될까? 이런 질문이 들며 막막한 느낌이 드실 겁니다.
이 문서는 이 모든 컨텐츠를 정리해놓은 로드맵을 만들고 텍스트북 형태로 보여줄 수 있게 가공해두는 겁니다. 세상에 흩어져있는 ‘컨텐츠’라는 구슬들을 꿰어서 하나의 육기적인 목걸이로 만드는 셈이죠. 영상, 블로그, 논문들 중 가장 이해에 도움이 되는 것들을 순서대로 나열하고, 이 토픽들을 이해하기 위한 “멘탈 모델” 및 그 토픽들의 관계를 설명하는 부분을 낼 까 합니다.
궁극적으로 우리 프로젝트는 개인 학습자들의 소요시간을 줄여주는 것이 목표입니다. 최초 시작의 시행착오를 줄여줄 수 있게 되는게 물론이고, 어느 정도 따라온 뒤에는 정보수집과 관계 이해에 드는 시간을 줄이게 되는 거죠. 즉, “내가 안 본 사이 새로운 것이 무엇이 나왔나?” 궁금해졌을 때 여기에 접속하면 바로 정리된 리포트를 볼 수 있게 하는게 목표인 것입니다.
우리 그룹은 “생성AI 전문가”를 자처하지 않습니다. 그보다는, 짧은 시간동안 생성AI를 숨가쁘게 학습해야 했던 사람들 입장에서 쓴 글로 봐 주시면 좋겠습니다. 이 프로젝트가 널리 알려지게 되는 만큼 정말 전문성 있는 분들의 기여를 받아 더 본격적인 문서를 만들어보고 싶습니다.

이 책의 특징¶

글, 강의는 기본적으로 작성하지 않습니다. 대신 추천할 만한 리소스를 찾아 배치합니다. 문서의 기본 골격은 다음과 같습니다.
- 문서 상단에는 AI를 통한 얇은 요약 문서, 그리고 이 개념이 왜 중요하며 어떤 개념과 어떻게 연결되는지에 대한 부분을 기본적으로 작성합니다.
- 문서 하단에는 이 개념을 이해하기 위한, 가장 훌륭한 자료가 무엇인지 정리해 둡니다.
- 매주 진행되는 스터디에서 특정 컨텐츠를 깊게 소화시킨 자료를 만듭니다. 보다 자세한 내용이 다뤄진 경우, 이 경우라고 생각하시면 됩니다.
기본적으로, gen-ai Handbook과 순서를 같이 합니다. 다만, 응용 프로그램을 만드는 개발자 입장에서 가장 효율적인 학습 순서를 추가했습니다. 제일 처음으로는 FM/VDB/Orchestration을 활용하여 프롬프팅과 RAG로 원하는 걸 만들고, 다음으로는 OS 모델과 파인튜닝, 이후 경량화를 진행하는 식입니다. 그러므로 같은 내용이라도 Intro/Advance 등으로 우선순위를 부여해 다른 챕터로 배치해 두었습니다.
프로젝트를 직접 만들어보는게 제일 이해가 빠릅니다. 웹에서 찾은 좋은 튜토리얼 링크를 모아둡니다. 추가로, 우리 그룹에서 만들어 본 예시 프로젝트도 아래 따로 첨부합니다.

깃헙에 NLP 잔디심기 5: “코딩 도장”¶

이 문서를 만들어가는 우리들에 대한 소개입니다. Pseudolab에서 활동하는 에이전트 빌더 길드Agent Builder Guild라는 “리서치 팀”입니다. 이 llm 엔지니어링 핸드북 프로젝트는 “깃헙에 NLP 잔디심기 시즌 5”. (리서치 팀 안에 여러개의 스터디가 있어서, 이렇게 구분합니다)
책장에 책을 모아 두는 것과 그 내용을 아는 것은 다른 문제입니다. 이렇게 만든 자료를 매일 조금씩 읽어나가도록 장치를 만들어두었습니다. 24년 현재 4년째 운영중입니다.
우리의 운영 방식은 다음과 같습니다
1. LLM 엔지니어링의 content landscape를 각자 탐사한 후 공유 합니다.
2. 각자의 프로젝트를 개선하는데 필요한 이론, 기술 문서들을 찾아봅니다
3. 실제로 구현하여 프로젝트를 개선해 봅니다.
4. 시즌 동안 2회 발표합니다.
5. 서로 흐트러지지 않게끔, 출석과 스프린트를 통해 격려해 줍니다!
멤버가 되어서 이 책을 함께 만들고 개발 근육을 단련하실 분들을 구합니다. 자세한 내용은 이 문서를 참조해 주십시오 (_)
- 시간상, 모든 분들이 프로젝트를 발표할 수는 없습니다. 프로젝트를 만들며 참여하실 분은 인원 제한이 있습니다. 기술 탐색과 정리하여 발표하실 분들은 몇명이던지 오셔도 됩니다!
- 청강은 늘 자유롭습니다. 유튜브를 통해 따로 송출됩니다. *채널 추후 공개
꼭 여기에 참여하지 않으시더라도, 이 문서에 기여하실 분들을 환영입니다. 아래의 “컨트리뷰션 가이드” 문서를 확인해 주시면 감사하겠습니다.

LLM Engineering Handbook

Intro

Contents

Intro¶

LLM Engieering Handbook - Introduction¶

AI Content Landscape¶

이 책의 특징¶

깃헙에 NLP 잔디심기 5: “코딩 도장”¶