Update README.md
Browse files
README.md
CHANGED
@@ -5,8 +5,6 @@ license: apache-2.0
|
|
5 |
|
6 |
LG์์ ๋์ผ ๋ผ์ด์ผ์ค ์ฌ๋ฐฐํฌ์กฐ์ฐจ ๋ง์๋ฒ๋ฆฐ ๊ด๊ณ๋ก ๋ชจ๋ธ์ ๊ณต์ ํ ์ ์๊ฒ ๋์์ต๋๋ค. vLLM, ์ถ๋ก ๋ฐ ๊ธฐํ ํ์ฉ์ผ๋ก Llamafied ๋ชจ๋ธ์ด ํ์ํ๋ค๋ฉด ์๋ ์คํฌ๋ฆฝํธ๋ฅผ ์คํํด์ ์ฌ์ฉํด์ฃผ์๋ฉด ๊ฐ์ฌํ๊ฒ ์ต๋๋ค.
|
7 |
|
8 |
-
์๋ modeling_exaone๊ณผ configuration_exaone์ ๊ฒฝ์ฐ์๋ ์๋ณธ repository๋ฅผ ์ฐธ์กฐํด์ฃผ์ธ์.
|
9 |
-
|
10 |
```python
|
11 |
import torch
|
12 |
import gc
|
@@ -19,7 +17,6 @@ def unload_model(model):
|
|
19 |
"""Clear memory by deleting a model and calling the garbage collector."""
|
20 |
del model
|
21 |
gc.collect()
|
22 |
-
# if torch.cuda.is_available():
|
23 |
if torch.cuda.is_available():
|
24 |
torch.cuda.empty_cache()
|
25 |
|
|
|
5 |
|
6 |
LG์์ ๋์ผ ๋ผ์ด์ผ์ค ์ฌ๋ฐฐํฌ์กฐ์ฐจ ๋ง์๋ฒ๋ฆฐ ๊ด๊ณ๋ก ๋ชจ๋ธ์ ๊ณต์ ํ ์ ์๊ฒ ๋์์ต๋๋ค. vLLM, ์ถ๋ก ๋ฐ ๊ธฐํ ํ์ฉ์ผ๋ก Llamafied ๋ชจ๋ธ์ด ํ์ํ๋ค๋ฉด ์๋ ์คํฌ๋ฆฝํธ๋ฅผ ์คํํด์ ์ฌ์ฉํด์ฃผ์๋ฉด ๊ฐ์ฌํ๊ฒ ์ต๋๋ค.
|
7 |
|
|
|
|
|
8 |
```python
|
9 |
import torch
|
10 |
import gc
|
|
|
17 |
"""Clear memory by deleting a model and calling the garbage collector."""
|
18 |
del model
|
19 |
gc.collect()
|
|
|
20 |
if torch.cuda.is_available():
|
21 |
torch.cuda.empty_cache()
|
22 |
|