DopeorNope
commited on
Commit
โข
10303ba
1
Parent(s):
a8ca302
Update README.md
Browse files
README.md
CHANGED
@@ -1,3 +1,13 @@
|
|
1 |
---
|
2 |
license: cc-by-nc-sa-4.0
|
3 |
-
---
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
1 |
---
|
2 |
license: cc-by-nc-sa-4.0
|
3 |
+
---
|
4 |
+
|
5 |
+
|
6 |
+
์ด ๋ชจ๋ธ์ Mistral Base์ ์๋ก์ด ์ํคํ
์ณ์ด๋ฉฐ, 10.7B์ ํ๋ผ๋ฏธํฐ๋ก ๊ตฌ์ฑ๋์์ต๋๋ค. (Solar๋, ์๋ํธ๋ผ ๋ฒ ์ด์ค ๋ชจ๋ธ์ด ์๋๋๋ค.)
|
7 |
+
|
8 |
+
์ฝ 1.5B์ ํ ํฐ์ผ๋ก pretrain ๋์์ผ๋, ์คํ๋จ๊ณ๋ก ํฅํ ๋ค์ ํ๋ จ๋์ด ์๋กญ๊ฒ ๋์ฌ ์์ ์
๋๋ค.
|
9 |
+
|
10 |
+
ํ
์คํธ์ฉ์ผ๋ก ์ฌ๋ ค๋ด
๋๋ค.
|
11 |
+
|
12 |
+
Context length๊ฐ 32k ๊น์ง์ง์ ๊ฐ๋ฅํ ๋ชจ๋ธ์ด๋ฉฐ, ํฅํ ๋ ์๋ฒฝํ๊ฒ ์ค๊ณํ์ฌ ์ฌ๋ฆฌ๋๋ก ํ๊ฒ ์ต๋๋ค.
|
13 |
+
|