Foundation Models

Foundation Modelsยถ

Summaryยถ

Foundation Models์€ ๋Œ€๊ทœ๋ชจ ์‹ ๊ฒฝ๋ง์œผ๋กœ ๊ตฌ์„ฑ๋œ AI ์‹œ์Šคํ…œ์œผ๋กœ, ๊ด‘๋ฒ”์œ„ํ•œ ๋ฐ์ดํ„ฐ์…‹์— ๋Œ€ํ•ด ํ•™์Šต๋˜์–ด ๋‹ค์–‘ํ•œ ์ž‘์—…์— ์ ์šฉ๋  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ์ด๋Ÿฌํ•œ ๋ชจ๋ธ์€ ํŠน์ • ์ž‘์—…์„ ์ˆ˜ํ–‰ํ•˜๊ธฐ ์œ„ํ•ด ๋ฏธ์„ธ ์กฐ์ •๋  ์ˆ˜ ์žˆ์œผ๋ฉฐ, ๊ธฐ์กด์˜ AI ์‹œ์Šคํ…œ๊ณผ ๋‹ฌ๋ฆฌ ๋‹ค์–‘ํ•œ ์ž‘์—…์— ์ ์šฉ๋  ์ˆ˜ ์žˆ๋Š” ๊ด‘๋ฒ”์œ„ํ•œ ๋Šฅ๋ ฅ์„ ์ œ๊ณตํ•ฉ๋‹ˆ๋‹ค. Foundation Models์€ ์–ธ์–ด ๋ชจ๋ธ, ์ด๋ฏธ์ง€ ์ƒ์„ฑ ๋ชจ๋ธ, ์ฝ”๋“œ ์ƒ์„ฑ ๋ชจ๋ธ ๋“ฑ ๋‹ค์–‘ํ•œ ํ˜•ํƒœ๋กœ ์กด์žฌํ•˜๋ฉฐ, AI ์—ฐ๊ตฌ ๋ฐ ๊ฐœ๋ฐœ์„ ์œ„ํ•œ ๊ธฐ๋ฐ˜์„ ์ œ๊ณตํ•ฉ๋‹ˆ๋‹ค.

Key Conceptsยถ

  • Foundation Model : ๋Œ€๊ทœ๋ชจ ์‹ ๊ฒฝ๋ง์œผ๋กœ ๊ตฌ์„ฑ๋œ AI ์‹œ์Šคํ…œ์œผ๋กœ, ๊ด‘๋ฒ”์œ„ํ•œ ๋ฐ์ดํ„ฐ์…‹์— ๋Œ€ํ•ด ํ•™์Šต๋˜์–ด ๋‹ค์–‘ํ•œ ์ž‘์—…์— ์ ์šฉ๋  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

  • Large Language Model (LLM) : Foundation Model์˜ ํ•˜์œ„ ์ง‘ํ•ฉ์œผ๋กœ, ์ž์—ฐ์–ด ์ฒ˜๋ฆฌ ์ž‘์—…์„ ์ˆ˜ํ–‰ํ•  ์ˆ˜ ์žˆ๋Š” ์–ธ์–ด ๋ชจ๋ธ์ž…๋‹ˆ๋‹ค.

  • Transfer Learning : ๊ธฐ์กด์˜ ํ•™์Šต๋œ ๋ชจ๋ธ์„ ์ƒˆ๋กœ์šด ์ž‘์—…์— ์ ์šฉํ•˜๊ธฐ ์œ„ํ•ด ๋ฏธ์„ธ ์กฐ์ •ํ•˜๋Š” ๊ธฐ์ˆ ์ž…๋‹ˆ๋‹ค.

  • Self-Supervised Learning : ๋ชจ๋ธ์ด ์ž…๋ ฅ ๋ฐ์ดํ„ฐ๋กœ๋ถ€ํ„ฐ ์ง์ ‘ ๋ ˆ์ด๋ธ”์„ ์ƒ์„ฑํ•˜์—ฌ ํ•™์Šตํ•˜๋Š” ๋ฐฉ๋ฒ•์ž…๋‹ˆ๋‹ค.