Spaces:
Running
on
Zero
Running
on
Zero
tori29umai
commited on
Update app.py
Browse files
app.py
CHANGED
@@ -13,6 +13,7 @@ from functools import partial
|
|
13 |
import threading
|
14 |
import asyncio
|
15 |
import csv
|
|
|
16 |
|
17 |
# 定数
|
18 |
DEFAULT_INI_FILE = 'settings.ini'
|
@@ -289,7 +290,13 @@ class LlamaAdapter:
|
|
289 |
repeat_penalty=repeat_penalty
|
290 |
)
|
291 |
|
|
|
|
|
|
|
|
|
|
|
292 |
|
|
|
293 |
class CharacterMaker:
|
294 |
def __init__(self):
|
295 |
self.llama = None
|
@@ -330,7 +337,7 @@ class CharacterMaker:
|
|
330 |
|
331 |
try:
|
332 |
# 新しいモデルをロード
|
333 |
-
self.llama =
|
334 |
self.current_model = model_type
|
335 |
self.model_loaded.set()
|
336 |
print(f"{model_type} モデルをロードしました。モデルパス: {model_path}、GPUレイヤー数: {n_gpu_layers}")
|
|
|
13 |
import threading
|
14 |
import asyncio
|
15 |
import csv
|
16 |
+
from utils.dl_utils import dl_guff_model
|
17 |
|
18 |
# 定数
|
19 |
DEFAULT_INI_FILE = 'settings.ini'
|
|
|
290 |
repeat_penalty=repeat_penalty
|
291 |
)
|
292 |
|
293 |
+
@spaces.GPU(duration=120)
|
294 |
+
def load_model_gpu(model_type, model_path, n_gpu_layers, params):
|
295 |
+
llama = LlamaAdapter(model_path, params, n_gpu_layers)
|
296 |
+
print(f"{model_type} モデル {model_path} のロードが完了しました。(n_gpu_layers: {n_gpu_layers})")
|
297 |
+
return llama
|
298 |
|
299 |
+
|
300 |
class CharacterMaker:
|
301 |
def __init__(self):
|
302 |
self.llama = None
|
|
|
337 |
|
338 |
try:
|
339 |
# 新しいモデルをロード
|
340 |
+
self.llama = load_model_gpu(model_type, model_path, n_gpu_layers, params)
|
341 |
self.current_model = model_type
|
342 |
self.model_loaded.set()
|
343 |
print(f"{model_type} モデルをロードしました。モデルパス: {model_path}、GPUレイヤー数: {n_gpu_layers}")
|