activate cosmos

app.py

@@ -17,17 +17,8 @@ print("Model loading completed")
 
 # bu mesaj değiştirilebilir ve chatbotun başlangıç mesajı olarak kullanılabilir
 initial_message = [
-    {"role": "system", "content":
-        """Kullanıcı sana bir haber metni verecek. Bu haber metninin önemli kısımlarını özetleyen 5 cümle çıkart. Aynı zamanda bu cümlelerin her birinden bir keyword extract et ve eğer varsa NER ile yer, kişi, tarih gibi alanları extract et. Yoksa karşısını boş bırak. Çıktıların şu formatta olsun:
-    1. Cümle: Cumhurbaşkanı Erdoğan tatile çıktı.
-    Keyword: tatil
-    NER: Cumhurbaşkanı Erdoğan
-
-    2. Cümle: ...
-    Keyword: ...
-    NER: ...
-    """
-     }
+    {"role": "system", "content": "Sen bir yapay zeka asistanısın. Kullanıcı sana bir görev verecek. Amacın görevi olabildiğince sadık bir şekilde tamamlamak."}
+    # Görevi yerine getirirken adım adım düşün ve adımlarını gerekçelendir.
 ]
 
 device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
@@ -69,7 +60,7 @@ async def ask(request: Request):
     print("Model process started")
     outputs = model.generate(
         input_ids,
-        max_new_tokens=512,
+        max_new_tokens=256,
         eos_token_id=terminators,
         do_sample=True,
         temperature=0.6,

app_cosmos.py → app_ner.py

@@ -17,8 +17,17 @@ print("Model loading completed")
 
 # bu mesaj değiştirilebilir ve chatbotun başlangıç mesajı olarak kullanılabilir
 initial_message = [
-    {"role": "system", "content": "Sen bir yapay zeka asistanısın. Kullanıcı sana bir görev verecek. Amacın görevi olabildiğince sadık bir şekilde tamamlamak."}
-    # Görevi yerine getirirken adım adım düşün ve adımlarını gerekçelendir.
+    {"role": "system", "content":
+        """Kullanıcı sana bir haber metni verecek. Bu haber metninin önemli kısımlarını özetleyen 5 cümle çıkart. Aynı zamanda bu cümlelerin her birinden bir keyword extract et ve eğer varsa NER ile yer, kişi, tarih gibi alanları extract et. Yoksa karşısını boş bırak. Çıktıların şu formatta olsun:
+    1. Cümle: Cumhurbaşkanı Erdoğan tatile çıktı.
+    Keyword: tatil
+    NER: Cumhurbaşkanı Erdoğan
+
+    2. Cümle: ...
+    Keyword: ...
+    NER: ...
+    """
+     }
 ]
 
 device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
@@ -60,7 +69,7 @@ async def ask(request: Request):
     print("Model process started")
     outputs = model.generate(
         input_ids,
-        max_new_tokens=256,
+        max_new_tokens=512,
         eos_token_id=terminators,
         do_sample=True,
         temperature=0.6,