tori29umai commited on
Commit
984d81b
·
verified ·
1 Parent(s): 4e9e6ca

Update app.py

Browse files
Files changed (1) hide show
  1. app.py +8 -1
app.py CHANGED
@@ -13,6 +13,7 @@ from functools import partial
13
  import threading
14
  import asyncio
15
  import csv
 
16
 
17
  # 定数
18
  DEFAULT_INI_FILE = 'settings.ini'
@@ -289,7 +290,13 @@ class LlamaAdapter:
289
  repeat_penalty=repeat_penalty
290
  )
291
 
 
 
 
 
 
292
 
 
293
  class CharacterMaker:
294
  def __init__(self):
295
  self.llama = None
@@ -330,7 +337,7 @@ class CharacterMaker:
330
 
331
  try:
332
  # 新しいモデルをロード
333
- self.llama = LlamaAdapter(model_path, params, n_gpu_layers)
334
  self.current_model = model_type
335
  self.model_loaded.set()
336
  print(f"{model_type} モデルをロードしました。モデルパス: {model_path}、GPUレイヤー数: {n_gpu_layers}")
 
13
  import threading
14
  import asyncio
15
  import csv
16
+ from utils.dl_utils import dl_guff_model
17
 
18
  # 定数
19
  DEFAULT_INI_FILE = 'settings.ini'
 
290
  repeat_penalty=repeat_penalty
291
  )
292
 
293
+ @spaces.GPU(duration=120)
294
+ def load_model_gpu(model_type, model_path, n_gpu_layers, params):
295
+ llama = LlamaAdapter(model_path, params, n_gpu_layers)
296
+ print(f"{model_type} モデル {model_path} のロードが完了しました。(n_gpu_layers: {n_gpu_layers})")
297
+ return llama
298
 
299
+
300
  class CharacterMaker:
301
  def __init__(self):
302
  self.llama = None
 
337
 
338
  try:
339
  # 新しいモデルをロード
340
+ self.llama = load_model_gpu(model_type, model_path, n_gpu_layers, params)
341
  self.current_model = model_type
342
  self.model_loaded.set()
343
  print(f"{model_type} モデルをロードしました。モデルパス: {model_path}、GPUレイヤー数: {n_gpu_layers}")