metadata
language:
- ne
datasets:
- Someman/alpaca-nepali
trained for only 700 steps, -> 1.75 epochs (so the output may not be good enough to call it a good model)
Usage
Here is an example to use the model:
from transformers import StoppingCriteria, StoppingCriteriaList
from unsloth import FastLanguageModel
import torch
hf_token = "<Your-hf-token>"
max_seq_length = 2048 # Choose any! We auto support RoPE Scaling internally!
dtype = None # None for auto detection. Float16 for Tesla T4, V100, Bfloat16 for Ampere+
load_in_4bit = True # Use 4bit quantization to reduce memory usage. Can be False.
model, tokenizer = FastLanguageModel.from_pretrained(
model_name = "Someman/Indic-gemma-2b-finetuned-sft-Navarasa-adapters-ne-v1.0",
max_seq_length = max_seq_length,
dtype = dtype,
load_in_4bit = load_in_4bit,
token=hf_token
)
FastLanguageModel.for_inference(model)
alpaca_prompt = """
### Instruction:
{}
### Input:
{}
### Response:
{}"""
inst = "LinkedIn मा कसरी बढ्ने? ५ अंकमा व्याख्या गर्नुहोस्"
input = ""
inputs = tokenizer(
[
alpaca_prompt.format(
inst, # instruction
input, # input
"", # output - leave this blank for generation!
)
], return_tensors = "pt").to("cuda")
# since we use packing = True it starts generating another similar sample starting with <bos>. So we are using eos_token_id = tokenizer.bos_token_id
outputs = model.generate(**inputs, max_new_tokens = 800, use_cache = True)
result = tokenizer.batch_decode(outputs)[0]
print (result)
Input:
Response:
- आफ्नो पृष्ठमा आकर्षक र आकर्षक रचनात्मक कथा सिर्जना गर्नुहोस्।
- आफ्नो पृष्ठमा अन्य प्रयोगकर्ताहरूसँग संलग्न हुनुहोस् र आफ्नो पृष्ठमा अन्य प्रयोगकर्ताहरूसँग सम्बन्ध निर्माण गर्नुहोस्।
- आफ्नो पृष्ठमा अन्य प्रयोगकर्ताहरूको काम र सफलताहरूको बारेमा जानकारी दिनुहोस्।
- आफ्नो पृष्ठमा अन्य प्रयोगकर्ताहरूलाई सम्पर्क गर्न र तिनीहरूको पृष्ठहरूमा जवाफ दिन अनुमति दिनुहोस्।
- आफ्नो पृष्ठमा अन्य प्रयोगकर्ताहरूलाई आफ्नो पृष्ठमा जडान गर्न प्रोत्साहन दिनुहोस्।