Spaces:
Paused
Paused
Update app.py
Browse files
app.py
CHANGED
@@ -131,9 +131,9 @@ base_model = "EleutherAI/gpt-neo-1.3B" #load_8bit = False (in load_tokenizer_
|
|
131 |
#####################################################
|
132 |
#Tokenizer und Model laden
|
133 |
#tokenizer,model,device = load_tokenizer_and_model(base_model, False)
|
|
|
134 |
|
135 |
|
136 |
-
#tokenizer.add_special_tokens({'pad_token': '[PAD]'}) #not necessary with fast Toekenizers like GPT2
|
137 |
'''
|
138 |
#für Baize.... da spezieller Tokenizer geladen werden muss...
|
139 |
# hier werden aber Chat-Daten geladen!!!!
|
|
|
131 |
#####################################################
|
132 |
#Tokenizer und Model laden
|
133 |
#tokenizer,model,device = load_tokenizer_and_model(base_model, False)
|
134 |
+
#tokenizer.add_special_tokens({'pad_token': '[PAD]'}) #not necessary with fast Toekenizers like GPT2
|
135 |
|
136 |
|
|
|
137 |
'''
|
138 |
#für Baize.... da spezieller Tokenizer geladen werden muss...
|
139 |
# hier werden aber Chat-Daten geladen!!!!
|