README.md

!git clone https://github.com/ggerganov/llama.cpp


%cd llama.cpp


!make


!./llama-cli -h

!./llama-gguf-split --split-max-size 5G /content/dracarys2-72b-instruct.Q2_K.gguf dracarys2-72b-instruct.gguf

from huggingface_hub import upload_file

# رفع جزء النموذج الأول
upload_file(
    path_or_fileobj="/content/llama.cpp/dracarys2-72b-instruct.gguf-00001-of-00006.gguf",  # استبدل <PATH_TO_PART_1> بمسار الجزء الأول
    path_in_repo="dracarys2-72b-instruct.gguf-00001-of-00006.gguf",  # اسم الملف في المستودع
    repo_id=repo_name,  # اسم المستودع
)

# رفع جزء النموذج الثاني
upload_file(
    path_or_fileobj="/content/llama.cpp/dracarys2-72b-instruct.gguf-00002-of-00006.gguf",  # استبدل <PATH_TO_PART_2> بمسار الجزء الثاني
    path_in_repo="dracarys2-72b-instruct.gguf-00002-of-00006.gguf",  # اسم الملف في المستودع
    repo_id=repo_name,  # اسم المستودع
)

# وهكذا لبقية الأجزاء


!./llama-cli -m "/content/dracarys2-72b-instruct.Q2_K.gguf" -p "who is ai?" -n 50 -e -t 4 --no-warmup

!./bin/llama-cli -m "/content/dracarys2-72b-instruct.Q2_K.gguf" -p "Hi you how are you" -n 50 -e -ngl 33 -t 4






run it
!./llama-cli -m "/content/llama.cpp/dracarys2-72b-instruct.gguf-00001-of-00006.gguf" -p "who is ai?" -n 50 -e -t 4 --no-warmup