gpt2-vrabac — Mali generativni model za srpski jezik.

  • Generiše novi tekst, ili nastavlja započeti tekstualni unos
  • Zasnovan na GPT2-small arhitekturi, 130 miliona parametara
  • Obučavan na korpusu srpskog jezika veličine 4 milijarde tokena
  • Jednaka podrška unosa i na ćirilici i na latinici!

Upotreba

>>> from transformers import pipeline, set_seed
>>> generator = pipeline('text-generation', model='jerteh/gpt2-vrabac')
>>> set_seed(23)
>>> generator("", max_length=30, num_return_sequences=5)
[{'generated_text': 'Ja, međutim, ne idem na put da idem već da se vratim na aerodrom.'},
 {'generated_text': 'Domaćinstvo se nalazilo na mestu zvanom Kutuzov kod Niša.'},
 {'generated_text': 'Regionalne razlike:'},
 {'generated_text': 'Od tada do sada smo u veoma teškoj situaciji“, poručio je on.'},
 {'generated_text': 'Iz tog razloga, na ovaj način u potpunosti bi se izbegla dodatna mogućnost da se sa istim problemima suoči i Vlada.'}]

Pored navedenih, model je obučavan i na ostalim korpusima Društva za jezičke resurse i tehnologije, uključujući korpuse savremenog srpskog jezika: SrpKor2013 i SrpKor2021, kao i korpus PDRS 1.0 razvijen od strane Instituta za Srpski jezik SANU.

U slučaju potrebe za većim modelom, pogledajte gpt2-orao — najveći generativni model za srpski jezik.

Autor
Mihailo Škorić
Computation
Nacionalna AI platforma
Data
JeRTeh

Citiranje

@article{skoric24modeli,
  author    = {Mihailo \vSkori\'c},
  title     = {Novi jezi\vcki modeli za srpski jezik},
  journal   = {Infoteka},
  volume    = {24},
  issue     = {1},
  year      = {2024},
  publisher = {Zajednica biblioteka univerziteta u Srbiji, Beograd},
  url       = {https://arxiv.org/abs/2402.14379}
}
Downloads last month
516
Safetensors
Model size
136M params
Tensor type
F32
·
BOOL
·
Inference Examples
This model does not have enough activity to be deployed to Inference API (serverless) yet. Increase its social visibility and check back later, or deploy to Inference Endpoints (dedicated) instead.

Model tree for jerteh/gpt2-vrabac

Finetunes
4 models
Quantizations
1 model

Datasets used to train jerteh/gpt2-vrabac