์ ๋ชจ๋ธ ๊ณต๊ฐ ์ดํ ์์คํ ๊ณผ๋ถํ…์คํAI·๊ตฌ๊ธ, ์์ ์์ ๋ฉ์ถฐ ์ฐ๋ค
์ต๊ทผ ๊ตฌ๊ธ๊ณผ ์คํAI๊ฐ ์ ๋ณด์ธ ์๋ก์ด ์์ฑํ AI ๋ชจ๋ธ๋ก ์ธํด ์์ฌ์ ๋ฐ์ดํฐ์ผํฐ์ ๊ณผ๋ถํ๊ฐ ๊ฑธ๋ ธ๋ค. ๋ ์ ์ฒด ๋ชจ๋ ๊ธ์ฆํ ์์๋ฅผ ๊ฐ๋นํ๊ธฐ ์ํด ๋์์ ๋์ฐ๋ค. ์คํAI๋ ๊ณผ๊ฑฐ์๋ AI ์ธํ๋ผ๊ฐ ๊ณผ
www.itworld.co.kr
๋ด์ฉ ์ ๋ฆฌ
์ต๊ทผ ๊ตฌ๊ธ์ ์ ๋ฏธ๋์ด 2.5 AI ๋ชจ๋ธ๊ณผ, ์คํAI์ 4o image generation์ ๊ณต๊ฐํ๋ฉด์ ์์ฌ์ ๋ฐ์ดํฐ์ผํฐ์ ๊ณผ๋ถํ๊ฐ ๊ฑธ๋ ธ๋ค. chatGPT์ ์๋น์ค๋ ์ฃผ๋ก ์๋น๋์ GPU์ ์์กดํ๊ณ ์๋๋ฐ, ์คํ AI๋ ์์คํ ์ด ๊ฐ์ ๋ ๋๊น์ง GPU ๊ธฐ๋ฐ AI ์์ฑ ๊ธฐ๋ฅ ์ฌ์ฉ์ ์ ํํ๋ ์๋ ์ ํ์ ๋์ ํ๋ค.
๊ตฌ๊ธ์ ์ ๋ฏธ๋์ด ์คํ์ ์์ฒด ์ ์ TPU๋ฅผ ์ฌ์ฉํ๋ค. TPU๋ GPU๋ณด๋ค AI, ๊ทธ๋ํฝ ๋ฑ์ ๋ ์ ์ฒ๋ฆฌํ๋ ์นฉ์ด๋ค.
์๋น๋์์ GPU๋ ์ ๋ ฅ์ ๋๋์ผ๋ก ์๋ชจํ๊ณ ์๋ค. ๊ณผ๋ถํ๊ฐ ๊ฑธ๋ฆฌ๊ฑฐ๋ ๊ณผ์ด๋๋ฉด ์๋์ผ๋ก ์ค๋กํ๋ง ํ์์ด ๋ฐ์ํ๋ค. ์ด๋ ์ฑ๋ฅ ํ๋ฝ์ผ๋ก ์ด์ด์ง๋ค.
๐์ค๋กํ๋ง(Throttling)
๊ณผ๋ํ ์์ฒญ์ด๋ ์ฒ๋ฆฌ๋์ด ์๊ธฐ๋ฉด ๊ณผ๋ถํ๋ฅผ ๋ง๊ธฐ์ํด ์ฒ๋ฆฌ๋์ ์ค์ด๊ฑฐ๋ ์ฒ๋ฆฌํ๋ ๋จธ์ ์ ์คํ์ ๋ฎ์ถฐ์ ๊ณผ๋ถํ๋ฅผ ๋ฐฉ์งํ๋ ์ฒ๋ฆฌ ๋ฐฉ์
โ ์ํํธ์จ์ด: API ์์ฒญ์ ์ผ์ ์๊ฐ๋ง๋ค ํ ๋ฒ๋ง ํ์ฉํ๋ค๋ ๊ฐ, ๊ณผ๋ํ ์ด๋ฒคํธ ๋ฐ์์ ๋ฌด์ (ex. scroll, resize ์ด๋ฒคํธ ์ ํ, API ์์ฒญ rate limit)
โ ํ๋์จ์ด: ์ฑ๋ฅ(ํด๋ญ ์๋ ๋ฑ)์ ์๋์ ์ผ๋ก ๋ฎ์ถฐ์ ๋ฐ์ด์ ์ค์ด๊ณ , ๊ธฐ๊ธฐ ์์์ ๋ฐฉ์ง
๋ง๋ถ์ฌ, ์ด์ ๋ ์ปดํจํ ์์์ ๋ถ์กฑ์ผ๋ก AI ํ์ฅ์ด ์ง์ฐ๋์ง๋ ์๋๋ค๊ณ ํ๋ค. ๋ํ GPT๋ ์ ๋ฏธ๋์ด ๊ฐ์ LLM์ ์์ค๊ฐ ๋๋ฌด ๋ฌด๊ฑฐ์ฐ๋ ๋ชจ๋ธ ํฌ๊ธฐ๋ฅผ ์ค์ด๊ฑฐ๋ ์ฝ๋๋ฅผ ์ต์ ํํ๋ ๋ฐฉํฅ์ผ๋ก ์ฑ์ฅํ ์๋ ์๋ค. ๋ฅ์ํฌ๋ GPT๋ณด๋ค ๋ ๊ฒฝ๋์ ๋ชจ๋ธ๋ก ๋ ๋์ ์ฑ๋ฅ์ ๋ํ๋๋ค. ํ๋์จ์ด๋ง์ด ๋ต์ ์๋๋ค๋ ๋ง์ด๋ค.
๋ด ์๊ฐ
TPU ์นฉ์ ๋ํด ๊ธฐ์ด์ธ๊ณต์ง๋ฅ ์๊ฐ์ ๋ฐฐ์ด ์ ์ด ์์๋๋ฐ, ๊ตฌ๊ธ์์ ์์ฒด ์ ์ํ ๊ฑด ์ค์ ์ฒ์ ์์๋ค.
Throttling์ ๊ฒ์ํด๋ณด๋ค๊ฐ ์๊ฒ ๋ ๊ฒ์ธ๋ฐ, ์ง๋ง์ผ์ ๋๊ธฐ์ด ๊ณผ๋ํ๋ฅผ ์ฒ๋ฆฌํ๊ธฐ ์ํด์ redis๋ฅผ ์ฌ์ฉํ redcarpet ์์คํ ์ ์ฌ์ฉํ๋ค๊ณ ํ๋ค. 2022๋ ํ ํฌ๊ธ์ด์ฌ์ ์์ง๋ ์ฌ์ฉํ๋ ์ง๋ ์ ์ ์์ง๋ง max 5๋ง tps ๊น์ง ๋ฌธ์ ์์ด ์ฒ๋ฆฌํ๋ค๊ณ ํ๋ ๋๋จํ๊ฑฐ ๊ฐ๊ธด ํ๋ค.
๋ฅ์ํฌ๊ฐ GPT๋ณด๋ค ๊ฒฝ๋์ ๋ชจ๋ธ๋ก ๋ ๋์ ์ฑ๋ฅ์ ๋ณด์ฌ์ค๋ค๋ ์ ์ด ์ฌ๊ธฐ์๋ ๋ ๋์จ๋ค. GPT๋ ๋์ฒด ์ด๋ป๊ฒ ๋ง๋ค์๊ณ , ๋ฅ์ํฌ๋ ๋์ฒด ์ด๋ป๊ฒ ๋ง๋ค์์๊น? ๊ทธ๋ฆฌ๊ณ ๊ฒฐ๊ตญ ๋ด ์ปดํจํฐ๋ GPT๋ ๋ค ํ๋์จ์ด๊ฐ ํ์ํ์ง ์๋๊ฐ... ํ๊ณ๋ ์์ ์ ๋ฐ์ ์์ ๊ฒ์ด๋ค. ๋ค๋ง ๊ทธ ํ๊ณ๋ฅผ ์ด๋๊น์ง ๋ฏธ๋ฃจ๋๋์ ์ฐจ์ด์ผ ๊ฒ์ด๋ค.
์ด ๋ถ๋ถ์ ์์ฑํ๋ฉด์ ์กธ์ ํ๋ก์ ํธ๋ก "์จ๋๋ฐ์ด์ค ํ์ ํ์ ์๋น์ค"๋ฅผ ๋ง๋ค์์ ๋๊ฐ ๊ธฐ์ต๋ฌ๋ค. ๊ทธ๋๋ ์ ์ ๋๋ถ๋ถ์ด ๊ณ ์ฑ๋ฅ GPU๋ฅผ ์ฅ์ฐฉํ์ง ์์ ๋ ธํธ๋ถ์ผ๋ก ํ์๋ฅผ ํ ๊ฒ์ด๋ผ๊ณ ์๊ฐํด์ ์จ๋๋ฐ์ด์ค์ ์์๋ฅผ ๋ฃ๋๋ฐ์ ๊ฝค ์ ๋ฅผ ๋จน์๋ค. GPU๋ฅผ ๋์ด TPU๋ ์ฐ์ด๊ณ ์๋๋ฐ, ๋ฏธ๋์๋ CPU๊ฐ ์์ด์ง๊น?
'๐ฐ๊ธฐ์ฌ ์คํฌ๋ฉ' ์นดํ ๊ณ ๋ฆฌ์ ๋ค๋ฅธ ๊ธ
GitHub Action ์นจํด๋ก 23,000๊ฐ ์ด์์ ๋ฆฌํฌ์งํ ๋ฆฌ CI/CD ๋ณด์์ด ์ํ์ ์ฒํ๋ค (0) | 2025.03.20 |
---|