helizac commited on
Commit
128958b
1 Parent(s): 34648ff

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +40 -11
README.md CHANGED
@@ -135,6 +135,12 @@ For more documentation on downloading with `huggingface-cli`, please see: [HF ->
135
 
136
  # Example `colab` usage
137
 
 
 
 
 
 
 
138
  ```shell
139
  %%shell
140
  # Update and install dependencies
@@ -149,9 +155,6 @@ source $HOME/.cargo/env
149
 
150
  # Cloning Candle from Huggingface
151
  git clone https://github.com/huggingface/candle.git
152
-
153
- # Use read CLI or a CLI that has read permissions
154
- huggingface-cli login
155
  ```
156
 
157
  ```shell
@@ -159,23 +162,49 @@ huggingface-cli login
159
  ```
160
 
161
  ```python
162
- def run_turna_gguf(prompt="Bir varmış bir yokmuş, ", temperature=1, quantization_method="Q8_1", config_file="config.json", model_id = "helizac/TURNA_GGUF"):
163
- os.system(f'cargo run --example quantized-t5 --release -- --model-id "{model_id}" --prompt "[S2S]{prompt}<EOS>" --temperature {temperature} --weight-file "TURNA_{quantization_method}.gguf" --config-file "{config_file}"')
164
  ```
165
 
166
- ```python
167
- run_turna_gguf("Bir varmış bir yokmuş") # test
168
- ```
169
 
170
- Sure, here's an explanation for the function `run_turna_gguf`:
 
171
 
172
- ### Function Explanation: `run_turna_gguf`
 
 
173
 
174
  ```python
 
 
 
175
  def run_turna_gguf(prompt="Bir varmış bir yokmuş, ", temperature=1, quantization_method="Q8_1", config_file="config.json", model_id = "helizac/TURNA_GGUF"):
176
- os.system(f'cargo run --example quantized-t5 --release -- --model-id "{model_id}" --prompt "[S2S]{prompt}<EOS>" --temperature {temperature} --weight-file "TURNA_{quantization_method}.gguf" --config-file "{config_file}"')
 
 
 
 
 
 
 
 
 
 
 
 
 
 
177
  ```
178
 
 
 
 
 
 
 
 
179
  #### Parameters:
180
  - **prompt** (`str`, default: "Bir varmış bir yokmuş, "):
181
  - The initial text provided as input to the model.
 
135
 
136
  # Example `colab` usage
137
 
138
+ You can copy the notebook from here:
139
+
140
+ https://colab.research.google.com/drive/1vH3V5kFn1mlhAUtH4E-diq-6DhWBCT3T?usp=sharing
141
+
142
+ or use the codes below:
143
+
144
  ```shell
145
  %%shell
146
  # Update and install dependencies
 
155
 
156
  # Cloning Candle from Huggingface
157
  git clone https://github.com/huggingface/candle.git
 
 
 
158
  ```
159
 
160
  ```shell
 
162
  ```
163
 
164
  ```python
165
+ import os
166
+ os.environ['PATH'] += ':' + os.path.expanduser('~/.cargo/bin')
167
  ```
168
 
169
+ ```shell
170
+ %%shell
 
171
 
172
+ # Add CUDA Features to cargo
173
+ cargo add --git https://github.com/huggingface/candle.git candle-core --features "cuda" --package candle-core
174
 
175
+ # Use read CLI or a CLI that has read permissions
176
+ huggingface-cli login
177
+ ```
178
 
179
  ```python
180
+ import subprocess
181
+ import os
182
+
183
  def run_turna_gguf(prompt="Bir varmış bir yokmuş, ", temperature=1, quantization_method="Q8_1", config_file="config.json", model_id = "helizac/TURNA_GGUF"):
184
+ cmd = (
185
+ f'cargo run --example quantized-t5 --release -- '
186
+ f'--model-id "{model_id}" '
187
+ f'--prompt "[S2S]{prompt}<EOS>" '
188
+ f'--temperature {temperature} '
189
+ f'--weight-file "TURNA_{quantization_method}.gguf" '
190
+ f'--config-file "{config_file}" '
191
+ )
192
+ process = subprocess.Popen(cmd, shell=True, stdout=subprocess.PIPE, stderr=subprocess.STDOUT, universal_newlines=True)
193
+ for line in process.stdout:
194
+ print(line, end='') # Print each line of output from the command
195
+ process.stdout.close()
196
+ return_code = process.wait()
197
+ if return_code != 0:
198
+ print(f"Command '{cmd}' failed with error code {return_code}")
199
  ```
200
 
201
+ ```python
202
+ run_turna_gguf("Bir varmış bir yokmuş") # shingaava’nın yöneticisi, kâhyası vs garip şeyler ihityacına göre Mudanya'nın ileri gelen köylerine kadar gitmiş, kâhya Uşak’a kadar gelmiş, yatacak yer dahi yoksa kışı bir Osmanlı zabitleri olarak geçirirmiş.Diğerleri falan bilmemnereye, efendi masiste yazlık, geçici işlerde de kışları olamıyormuş. Japonlar da gelmesini sabırsızlıkla beklermişiz. Oysa her köyde yaşamıyormuş. Sonra korsanlar Karamürsel’e her geldiğinde gelirmişiz, durmadan, her mayıstaki yataverememi diye şikayet ederlermiş. Her isteyen gemiyle gelirmiş, bazen birkaç sandık güruhla kaçırtırmış. Bir defasında bir arkadaşım seyahate muavin olarak İstanbul ve Adapazarı’ndan teyzesinin yanına baradan. Yazın sonu şöyle kara olan mahalleye geçer, oraya, annem gibi, bir başkasının yanına gidermiş tüm olarak. O da bütün herkese sormuş. Hac için gelirlermiş. Anlatmaktan vaz geçmiş, söylenerek işaretlemiş buradayan ülkeye. Bursa’nın neresine gidermiş anlayamadığımı söyler, biz çoktan kimsenin sırrını açıklamamışız. Dostumuz olan Emine Teyze’miz hükümet hesap evine, hatta yüzüne bile bakmayız. Artık memlekete yerlerini bulurmuş, “tatlı canınız oralardan geçiyormuşa. Annemin oradaki yataverenleri ziyareti, yapmam dediği fiil ayakta işnallah demişim. Bu arada Tiran-Japon’muş. Sohbet görene, şuursuz bir hergele nasıl merasim tanıda ilişkilerin zirvesine ulaşmış, sonra Hacettepe’yle kesişiriş ve dumanlar çıkar yengemden, hakkını isteriz, geç konuşmasının çok üstü kapalı söylemeleri, ocağında besenebiliy uşaklar, durumu öğrenmiş ben ayrı muamele görmüşüz. Ohooo gülmezsin tabi, paşa da andımıza saygısından bir sadakaya göndertir, efendim evlenmişiz. Senin gelin olamamış akrabalıkJagyok adı altında ölü gelirlermiş. Ben burada bestenasarya’daki balığın çekirgeleri de pek severim. Dede’ye böbreğini bile götürmek günlere getirirmiş. ( Taoyi ile akrabamızın). Sen beni tanımazsın, üreyin, bol bol türbeleri varmış. Yakala onu ve Tanman’a yatacak yer olmadığı için kimsenin haberini eksikmiş Tepe hanımın rahmetliye anlatmaya. bildiğiniz ölülermiş bunlar karılar ve insanlar MEfcan’ı yindeikmiş, alayında kalsınlar hep Remzi Görki kendisini o da lerine doğuranın ağına ihtiyacım var dermiş
203
+ 513 tokens generated (5.11 token/s)
204
+ ```
205
+
206
+ ### Function Explanation: `run_turna_gguf`
207
+
208
  #### Parameters:
209
  - **prompt** (`str`, default: "Bir varmış bir yokmuş, "):
210
  - The initial text provided as input to the model.