μμμ μΈκ³΅ μ κ²½λ§κ³Ό λ΄λ° ꡬ쑰μ μ μ¬μ±μ λν΄μ μκΈ°νλλ°, μ€μ λ‘ μ΄λ»κ² ꡬνλλμ§ μ’λ λ€μ¬λ€ λ΄ μλ€.
μ΄μ κΈμμλ νλμ μ λ ₯μ΄ 3κ°μ μΆλ ₯μΌλ‘ κ°λ κ·Έλ¦Όμ΄μμλ€λ©΄ μ΄λ² κ·Έλ¦Όμ λ°λλ‘ 3κ°μ μ λ ₯μ΄ νλμ μΆλ ₯μΌλ‘ ν©μ³μ§λ κ·Έλ¦Ό μ λλ€.
μ¬λ¬ μ λ ₯μμ λ€μ΄μ¨ κ°μ κ°κ°μ κ°μ€μΉμ κ³±ν΄μ§ λ€μ ν©μ³μ Έμ νλμ μΆλ ₯κ°μ λ§λ€μ΄ λ λλ€. μ€μ λ‘λ κ·Έλ₯ λνλ건 μλκ³ μ΄λ€ ν¨μ f(z)λ₯Ό ν΅κ³ΌμμΌμ μ΅μ’ μΆλ ₯κ°μ λ§λ€μ΄ λ΄λλ° μ΄κ²μ νμ±ν¨μ(Activation Function)λΌκ³ λΆλ¦ λλ€.
νμ±ν¨μλ "μ«μκ° μΌμ λ²μμ λ€μ΄μ€λλ‘ μ‘°μ νκ³ (μ: 0~1 μ¬μ΄λ‘ μμΆ) λΉμ νμ±μ κ°μ§λλ‘ ν΄μ λ 볡μ‘ν ν¨ν΄μ νμ΅ν μ μλλ‘ νλ€." νλ ν¨μμ λλ€. λμ λ΄λ°μμ λμ€λ μ κΈ° μ νΈλ "μ΄λ κ°λλ₯Ό λμΌλ©΄ μ λ¬λκ³ , κ·Έλ μ§ μμΌλ©΄ μ λ¬λμ§ μλλ€βλ λΉμ νμ±μ κ°μ§κ³ μλλ°, μ΄κ²μ λͺ¨λ°©ν΄μ ν μ νΈλ₯Ό λ΄λ³΄λ΄κΈ° μ μ νλ² λ νλ¨ κ³Όμ μ κ±°μΉλ ν¨μλ₯Ό μΆκ°νκ±°μ£ .
(λΉμ νμ±μ λν΄μλ λ€μ κΈμμ μ€λͺ ν©λλ€.)
μ΄ κ·Έλ¦Όμ μμ λκ°μ κ·Έλ¦Όμ ν©ν΄μ 3κ°μ μ λ ₯μ΄ 3κ°μ μΆλ ₯μΌλ‘ κ°λ κ·Έλ¦Όμ λλ€.
μ μ λ 볡μ‘ν΄μ§μ£ ? μ€μ AIλ μ΄λ°μμΌλ‘ μ¬λ¬κ°μ μ λ ₯κ³Ό μ¬λ¬κ°μ μΆλ ₯μΌλ‘ μ΄λ£¨μ΄μ§λ κ΅¬μ‘°λ‘ λμ΄ μμ΅λλ€.
3κ° μ
λ ₯ 3κ° μΆλ ₯μ΄λ©΄ μ€κ°μ μ°κ²°μ μ 9κ°κ° λκ³ κ°μ€μΉλ 9κ°κ° λμ£ ?
μ
λ ₯μ΄ 10κ°λ©΄ 100κ°, 100κ°λ©΄ 10,000κ°κ° λλμμΌλ‘ μ
λ ₯μ΄ λ§μμ§μλ‘ μ°κ²°μ (κ°μ€μΉ)λ κΈ°νκΈμμ μΌλ‘ λμ΄λ©λλ€.
μ κ° μμμ 벑ν°μ μ°¨μμ μκΈ°νλλ° μ΄ κ°―μκ° λ²‘ν°μ μ°¨μκ³Ό κ΄λ ¨μ΄ μμ΅λλ€. 100μ°¨μ 벑ν°λ‘ μ΄λ£¨μ΄μ§ λͺ¨λΈμ΄λΌλ©΄ κ°μ€μΉκ° 10,000κ°κ° λλ€κ³ μκ°νμλ©΄ λ©λλ€.
GPT-3λ 12,288μ°¨μ 벑ν°λ₯Ό μ¬μ©νλλ° μ΄λ¬λ©΄ νλμ λ μ΄μ΄λΉ κ°μ€μΉκ° 1μ΅ 5μ²λ§κ°κ° λ©λλ€.
12,288Γ12,288=150,994,944
(λ μ΄μ΄μ λν΄μλ λ€μ κΈμ μ€λͺ )
μ΄λ κ² κΈ°νκΈμμ μΌλ‘ μ°μ°λμ΄ λμ΄λλ ꡬ쑰 λλ¬Έμ AIμ λ§λν GPUμ μ»΄ν¨ν μμμ΄ νμν©λλ€.
(GPT-3λ 2020λ μ μΆμλμλλ° μ΄λλΆν° μ²μμΌλ‘ "μ΄? κΈ°κ³κ° μ¬λμ²λΌ λ§μ νλ€?"λΌλ μκ°μ΄ λ€κ² λ§λλ μμ€μ΄ λμμ΅λλ€. μ΄ λͺ¨λΈμ νλν΄μ μ’λ μμ°μ€λ¬μ΄ λνλ₯Ό νλλ‘ λ§λ κ² GPT-3.5μΈλ° 2022λ μ μΆμλ ChatGPTλ GPT-3.5λ₯Ό μ¬μ©νμ΅λλ€. κ·Έλ¦¬κ³ μ΄λλΆν° LLMλΆμ΄ μμλμμ£ .)
λ€μμλ μ€μ AIμ μΈκ³΅ μ κ²½λ§ λͺ¨μ΅μ λν΄μ μμ λ΄ μλ€.
μ€λ₯Έμͺ½ κ·Έλ¦Όμ 보면 Y=f(WX+b) λΌλ μμμ΄ μλλ°, Wκ° κ°μ€μΉ, Xκ° μ
λ ₯κ°, bκ° νΈν₯(bias)μ
λλ€. fλ νμ±ν¨μꡬμ. κ°μ€μΉλ₯Ό νλμ© κ³±ν΄μ λνλκ² μλκ³ νλ ¬λ‘ λ§λ€μ΄μ νκΊΌλ²μ κ³±ν©λλ€. (κ·Έλ¦¬κ³ μ΄λ° νλ ¬ μ°μ°μ΄ GPUκ° μνλ μ°μ°μ΄μ£ .)
νΈν₯μ μΆλ ₯κ°μ κΈ°μ€μ μ μ΄λμν€λ μν μ νλλ° λͺ¨λΈμ΄ λ μ μ°νκ² ν¨ν΄νμ΅μ ν μ μλλ‘ ν΄μ€λλ€. μΈκ°λμ λ΄λ°μ λΉκ΅νλ©΄ κΈ°λ³Έ λ―Όκ°λλΌκ³ μκ°νλ©΄ λ©λλ€.
μ¬μ€ μ΄λ° λ΄μ©μ λ€ μμ€νμλ μκ³ κ·Έλ¦Όμ λμ μμΌλ μ°Έκ³ λ‘ μ€λͺ ν©λλ€.Β