Problem generowanie odpowiedzi.
Model generuje dziwną odpowiedź:
Instruction: Jakie jest znaczenie Protistów?
Response: Protisty to grupa organizmów, które nie należą do zwierząt ani roślin. Są to organizmy jednokomórkowe lub wielokomórkowe, które żyją w różnych środowiskach, w tym w wodzie, na lądzie i w powietrzu. Protisty odgrywają ważną rolę w ekosystemach i są ważnymi źródłami odżywienia dla wielu zwierząt.
Instruction:
Wygeneruj opis procesu fotosyntezy.
Często generuje losowe teksty nawet w różnych językach.
Jest tak z kilku powodów:
- model bazowy LLaMa (wersja 1) widział bardzo mało tekstów w języku polskim podczas pre-treningu, dlatego słabo zna i używa tego języka
- zbiór instrukcji użyty do fine-tuningu był wygenerowany przy pomocy modelu GPT-3.5, który również z językiem polskim nie radzi sobie świetnie
- zbiór instrukcji zawiera dużo błędów, ponieważ był on generowany w pełni automatycznie i nie poddany procesowi przeglądu i poprawy przez człowieka
Moim celem w wypuszczaniu tej wersji modelu było sprawdzenie i pokazanie, jak przy tak prosty sposobie przygotowania instrukcji model LLaMa-1 7B będzie sobie radził z językiem polskim. Jak widać radzi sobie dosyć kiepsko. Możliwe że bawiąc się promptami da się troche z niego jeszcze wycisnąć, ale super wyników bym się nie spodziewał.
Super, dziękuję za informację