Update app.py

app.py

@@ -7,21 +7,31 @@ import json
 from datetime import datetime
 import torch
 from transformers import AutoModelForCausalLM, AutoTokenizer
-import tempfile
 
 # 환경 변수 설정
 HF_TOKEN = os.getenv("HF_TOKEN")
 MODEL_ID = "CohereForAI/c4ai-command-r-plus-08-2024"
 
-# 임시 디렉토리 설정
-TEMP_DIR = tempfile.mkdtemp()
-os.environ["TRANSFORMERS_CACHE"] = os.path.join(TEMP_DIR, "transformers_cache")
-os.environ["TORCH_HOME"] = os.path.join(TEMP_DIR, "torch_cache")
-os.environ["HF_HOME"] = os.path.join(TEMP_DIR, "huggingface")
+# 영구 스토리지 경로 설정
+PERSISTENT_DIR = "/persistent/model_cache"
+os.makedirs(PERSISTENT_DIR, exist_ok=True)
+
+# 환경 변수 설정
+os.environ["TRANSFORMERS_CACHE"] = os.path.join(PERSISTENT_DIR, "transformers_cache")
+os.environ["TORCH_HOME"] = os.path.join(PERSISTENT_DIR, "torch_cache")
+os.environ["HF_HOME"] = os.path.join(PERSISTENT_DIR, "huggingface")
+
+# 각 캐시 디렉토리 생성
+for cache_dir in [
+    os.environ["TRANSFORMERS_CACHE"],
+    os.environ["TORCH_HOME"],
+    os.environ["HF_HOME"]
+]:
+    os.makedirs(cache_dir, exist_ok=True)
 
 class ModelManager:
     def __init__(self):
-        self.cache_dir = os.path.join(TEMP_DIR, "model_cache")
+        self.cache_dir = os.path.join(PERSISTENT_DIR, "model_files")
         os.makedirs(self.cache_dir, exist_ok=True)
         self.model = None
         self.tokenizer = None
@@ -29,6 +39,7 @@ class ModelManager:
     
     def setup_model(self):
         try:
+            print(f"캐시 디렉토리 경로: {self.cache_dir}")
             print("토크나이저 로딩 시작...")
             self.tokenizer = AutoTokenizer.from_pretrained(
                 MODEL_ID,
@@ -51,18 +62,7 @@ class ModelManager:
             print("모델 로딩 완료")
         except Exception as e:
             print(f"모델 로딩 중 오류 발생: {e}")
-            try:
-                print("기본 설정으로 다시 시도...")
-                self.model = AutoModelForCausalLM.from_pretrained(
-                    MODEL_ID,
-                    token=HF_TOKEN,
-                    torch_dtype=torch.float16,
-                    trust_remote_code=True,
-                    cache_dir=self.cache_dir
-                )
-                print("기본 설정으로 모델 로딩 완료")
-            except Exception as e2:
-                raise Exception(f"모델 로딩 완전히 실패: {e2}")
+            raise Exception(f"모델 로딩 실패: {e}")
 
 class ChatHistory:
     def __init__(self):