Update app.py

app.py

@@ -7,76 +7,24 @@ import json
 from datetime import datetime
 import torch
 from transformers import AutoModelForCausalLM, AutoTokenizer
-import shutil
 
 # 환경 변수 설정
 HF_TOKEN = os.getenv("HF_TOKEN")
 MODEL_ID = "CohereForAI/c4ai-command-r7b-12-2024"
 
-# 사용자 홈 디렉토리 기반 경로 설정
-USER_HOME = os.path.expanduser("~")
-PERSISTENT_DIR = os.path.join(USER_HOME, "persistent_storage", "model_cache")
-
-# 스토리지 상태 확인
-def check_storage():
-    try:
-        total, used, free = shutil.disk_usage(USER_HOME)
-        print(f"스토리지 상태:")
-        print(f"총 용량: {total // (2**30)}GB")
-        print(f"사용 중: {used // (2**30)}GB")
-        print(f"남은 용량: {free // (2**30)}GB")
-    except Exception as e:
-        print(f"스토리지 확인 실패: {e}")
-
-# 디렉토리 생성
-try:
-    os.makedirs(PERSISTENT_DIR, exist_ok=True)
-    print(f"캐시 디렉토리 생성 완료: {PERSISTENT_DIR}")
-except Exception as e:
-    print(f"캐시 디렉토리 생성 실패: {e}")
-    # 임시 디렉토리로 폴백
-    PERSISTENT_DIR = os.path.join("/tmp", "model_cache")
-    os.makedirs(PERSISTENT_DIR, exist_ok=True)
-    print(f"임시 캐시 디렉토리 사용: {PERSISTENT_DIR}")
-
-# 환경 변수 설정
-os.environ["TRANSFORMERS_CACHE"] = os.path.join(PERSISTENT_DIR, "transformers_cache")
-os.environ["TORCH_HOME"] = os.path.join(PERSISTENT_DIR, "torch_cache")
-os.environ["HF_HOME"] = os.path.join(PERSISTENT_DIR, "huggingface")
-
-# 각 캐시 디렉토리 생성
-for cache_dir in [
-    os.environ["TRANSFORMERS_CACHE"],
-    os.environ["TORCH_HOME"],
-    os.environ["HF_HOME"]
-]:
-    try:
-        os.makedirs(cache_dir, exist_ok=True)
-        print(f"생성된 캐시 디렉토리: {cache_dir}")
-    except Exception as e:
-        print(f"캐시 디렉토리 생성 실패: {cache_dir} - {e}")
-
-# 시작 시 스토리지 상태 확인
-check_storage()
-
-
 class ModelManager:
     def __init__(self):
-        self.cache_dir = os.path.join(PERSISTENT_DIR, "model_files")
-        os.makedirs(self.cache_dir, exist_ok=True)
         self.model = None
         self.tokenizer = None
         self.setup_model()
     
     def setup_model(self):
         try:
-            print(f"캐시 디렉토리 경로: {self.cache_dir}")
             print("토크나이저 로딩 시작...")
             self.tokenizer = AutoTokenizer.from_pretrained(
                 MODEL_ID,
                 token=HF_TOKEN,
-                trust_remote_code=True,
-                cache_dir=self.cache_dir
+                trust_remote_code=True
             )
             print("토크나이저 로딩 완료")
             
@@ -84,11 +32,9 @@ class ModelManager:
             self.model = AutoModelForCausalLM.from_pretrained(
                 MODEL_ID,
                 token=HF_TOKEN,
-                torch_dtype=torch.float16,
                 device_map="auto",
                 trust_remote_code=True,
-                low_cpu_mem_usage=True,
-                cache_dir=self.cache_dir
+                torch_dtype=torch.float16
             )
             print("모델 로딩 완료")
         except Exception as e: