@@ -166,7 +166,7 @@ BERT ์ ์ฌ์์ ์ธ์ด ํํ์ ์ฌ์ ํ์ตํ๊ณ , ๋ฌธ์ ์ ํนํ๋ ๋งค
166166๊ฐ๋ฅํ ์ ๊ฒ ์ฌ์ฉํ๋ฉด์๋, ์ฌ์ ํ์ต๋ ์๋ฐฉํฅ ํํ์ ๋ง์ ๋ฌธ์ ๋ค์ ๋ง๊ฒ
167167๋ฏธ์ธ์กฐ์ ํ์ฌ ์ต๊ณ ์ ์ฑ๋ฅ์ ์ป๋ ๊ฒ์
๋๋ค. ์ด ํํ ๋ฆฌ์ผ์์๋ ์ฌ์ ํ์ต๋
168168BERT ๋ชจ๋ธ์ MRPC ๋ฌธ์ ์ ๋ง๊ฒ ๋ฏธ์ธ์กฐ์ ํ์ฌ ์๋ฏธ์ ์ผ๋ก ๋์ผํ ๋ฌธ์ฅ์
169- ๋ถ๋ฅํด๋ณด๊ฒ ์ต๋๋ค .
169+ ๋ถ๋ฅํด ๋ณด๊ฒ ์ต๋๋ค .
170170
171171์ฌ์ ํ์ต๋ BERT ๋ชจ๋ธ(HuggingFace transformer๋ค ์ค ``bert-base-uncased `` ๋ชจ๋ธ)์
172172MRPC ๋ฌธ์ ์ ๋ง๊ฒ ๋ฏธ์ธ์กฐ์ ํ๊ธฐ ์ํด `์์๋ค <https://github.com/huggingface/transformers/tree/master/examples#mrpc >`_
@@ -433,7 +433,7 @@ HuggingFace BERT ๋ชจ๋ธ์ ๋์ ์์ํ๋ฅผ ์ ์ฉํ๊ธฐ ์ํด
433433 3.1 ๋ชจ๋ธ ํฌ๊ธฐ ํ์ธํ๊ธฐ
434434^^^^^^^^^^^^^^^^^^^^^^^^
435435
436- ๋จผ์ ๋ชจ๋ธ ํฌ๊ธฐ๋ฅผ ํ์ธํด๋ณด๊ฒ ์ต๋๋ค . ๋ณด๋ฉด, ๋ชจ๋ธ ํฌ๊ธฐ๊ฐ ์๋นํ ์ค์ด๋ ๊ฒ์
436+ ๋จผ์ ๋ชจ๋ธ ํฌ๊ธฐ๋ฅผ ํ์ธํด ๋ณด๊ฒ ์ต๋๋ค . ๋ณด๋ฉด, ๋ชจ๋ธ ํฌ๊ธฐ๊ฐ ์๋นํ ์ค์ด๋ ๊ฒ์
437437์ ์ ์์ต๋๋ค(FP32 ํ์์ ๋ชจ๋ธ ํฌ๊ธฐ : 438MB; INT8 ํ์์ ๋ชจ๋ธ ํฌ๊ธฐ : 181MB):
438438
439439.. code :: python
@@ -458,7 +458,7 @@ HuggingFace BERT ๋ชจ๋ธ์ ๋์ ์์ํ๋ฅผ ์ ์ฉํ๊ธฐ ์ํด
458458^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
459459
460460๋ค์์ผ๋ก, ๊ธฐ์กด์ FP32 ๋ชจ๋ธ๊ณผ ๋์ ์์ํ๋ฅผ ์ ์ฉํ INT8 ๋ชจ๋ธ๋ค์
461- ์ถ๋ก ์๋์ ์ ํ๋๋ฅผ ๋น๊ตํด๋ณด๊ฒ์ต๋๋ค .
461+ ์ถ๋ก ์๋์ ์ ํ๋๋ฅผ ๋น๊ตํด ๋ณด๊ฒ ์ต๋๋ค .
462462
463463.. code :: python
464464
@@ -492,7 +492,7 @@ HuggingFace BERT ๋ชจ๋ธ์ ๋์ ์์ํ๋ฅผ ์ ์ฉํ๊ธฐ ์ํด
492492 MRPC ๋ฌธ์ ์ ๋ง๊ฒ ๋ฏธ์ธ์กฐ์ ํ BERT ๋ชจ๋ธ์ ํ์ต ํ ๋์ ์์ํ๋ฅผ ์ ์ฉํ
493493๊ฒฐ๊ณผ, 0.6% ๋ฎ์ F1 ์ ์๊ฐ ๋์์ต๋๋ค. ์ฐธ๊ณ ๋ก, `์ต๊ทผ ๋
ผ๋ฌธ <https://arxiv.org/pdf/1910.06188.pdf >`_
494494(ํ 1)์์๋ ํ์ต ํ ๋์ ์์ํ๋ฅผ ์ ์ฉํ์ ๋, F1 ์ ์ 0.8788์ด ๋์๊ณ ,
495- ์์ํ ์์ ํ์ต์ ์ ์ฉํ์ ๋๋ 0.8956์ด ๋์์ต๋๋ค. ์ฐ๋ฆฌ๋ Pytorch์ ๋น๋์นญ
495+ ์์ํ ์์ ํ์ต์ ์ ์ฉํ์ ๋๋ 0.8956์ด ๋์์ต๋๋ค. ์ฐ๋ฆฌ๋ PyTorch์ ๋น๋์นญ
496496์์ํ๋ฅผ ์ฌ์ฉํ์ง๋ง, ์ฐธ๊ณ ํ ๋
ผ๋ฌธ์์๋ ๋์นญ์ ์์ํ๋ง์ ์ฌ์ฉํ๋ค๋ ์ ์ด ์ฃผ์ํ
497497์ฐจ์ด์
๋๋ค.
498498
0 commit comments