Added inference reference

README.md

@@ -21,6 +21,26 @@ language:
 
 **Uso Recomendado:** O Legislinho pode ser usado por indivíduos que procuram uma compreensão básica de assuntos legais no Brasil. É recomendável que os usuários procurem orientação legal profissional para situações específicas ou complexas.
 
+**Inferencia:** Para executar inferencia se necessita ter os seguintes pacotes instalados:
+```
+(pip install / poetry add)peft accelerate bitsandbytes safetensors transformers
+```
+Códico completo para inferência:
+```
+from transformers import AutoTokenizer, AutoModelForCausalLM
+model = AutoModelForCausalLM.from_pretrained('MagusCorp/legislinho')
+tokenizer = AutoTokenizer.from_pretrained('MagusCorp/legislinho')
+preprompt = 'Você é um agente de auxílio jurídico que não repete palavras de forma redundante e redige de forma clara concisa, como alguém formado em direito. Você não cita leis de forma alguma apenas procedimentos legais e operações. Você apenas é uma primeira consulta antes da pessoa procurar um advogado. Utilize todo o seu conhecimento da constituição brasileira para responder. Não repita a mesma informação em sua resposta. Seja assertivo. Atente-se a pergunta e elabore uma estratégia de solução do problema contemplando toda a pergunta, tal como faz um advogado. Pergunta:\n'
+pospromt = "\nResposta:"
+
+prompt = 'Minha mae vendeu a casa dela sem consultar nem um dos filhos ela pode fazer isso?'
+
+inputs = tokenizer(preprompt+prompt+pospromt, return_tensors='pt').to('cuda')
+outputs = model.generate(**inputs,max_new_tokens=1000)
+answer = tokenizer.decode(outputs[0], skip_special_tokens=True)
+print(answer.split(prompt)[1])
+```
+
 **Avaliação:** O modelo ainda não foi avaliado em um ambiente de produção.
 
 **Contato:** Para mais informações ou dúvidas sobre o Legislinho, entre em contato conosco. [email](costa@maguscorp.com.br)