dataset_infos_llama_2

This model is a fine-tuned version of meta-llama/Llama-2-7b-chat-hf on an unknown dataset.

Model description

Llama-2-7b-chat-hf은 meta에서 개발한 사전학습 텍스트 생성 언어모델 입니다. 문자열을 입력으로 하며, 문자열을 생성합니다. 해당 모델(meta-llama/Llama-2-7b-chat-hf)을 베이스 모델로 하여 미세튜닝을 진행하였습니다.

'Llama-2-7b-chat-hf' is a pre-trained text generation language model developed by Meta. It takes a string as input and generates text. We fine-tuned this model based on it(meta-llama/Llama-2-7b-chat-hf).

Intended uses & limitations

nsmc 데이터셋의 사용자가 입력한 리뷰 문장을 분류하는 에이전트입니다. 사용자 리뷰 문장으로부터 '긍정' 또는 '부정'을 판단합니다.

This agent classifies user-input review sentences from NSMC dataset. It determines whether the user review is 'positive' or 'negative' based on the input review sentence.

Training and test data

Training 및 test 데이터는 nsmc 데이터 셋에서 로딩해 사용합니다. (elvaluation 데이터는 사용하지 않습니다.)

We load and use training and test data from the NSMC dataset. (We do not use an evaluation data.)

Training procedure

사용자의 영화 리뷰 문장을 입력으로 받아 문장을 '긍정(1)' 또는 '부정(0)'으로 분류합니다.

Accepts movie review sentences from the user as input and classifies the sentences as 'Positive (1)' or 'Negative (0)'.

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 0.0001
• train_batch_size: 1
• eval_batch_size: 1
• seed: 42
• gradient_accumulation_steps: 2
• total_train_batch_size: 2
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: cosine
• lr_scheduler_warmup_ratio: 0.03
• training_steps: 900
• mixed_precision_training: Native AMP

Training results

• Binary Confusion Matrix | | TP | TN |

|:-----|:------------:|:------------:| | PP | 425 | 67 | | PN | 66 | 442 |

• Accuracy: 0.894

Framework versions

• Transformers 4.35.2
• Pytorch 2.1.0+cu118
• Datasets 2.15.0
• Tokenizers 0.15.0