Safreliy/pgpro-bert-question-classifier-v2

Описание модели для Hugging Face Hub

Задача: Бинарная классификация текста на категории "general/irrelevant" (0) и "relevant" (1)

---

Model Card

Обучение

• Эпохи: 10
• Batch size: 128 (A100 GPU)
• Оптимизация: AdamW (lr=2e-5, weight decay=0.01)
• Точность: FP16

Метрики (валидация)

Epoch	Training Loss	Validation Loss	Accuracy	F1
1	No log	0.023392	0.993122	0.993124
2	0.062700	0.027104	0.991497	0.991551
3	0.062700	0.019751	0.995623	0.995613
4	0.010100	0.029591	0.994123	0.994099
5	0.010100	0.028012	0.995998	0.996004
6	0.002500	0.034364	0.994998	0.995020
7	0.002500	0.022700	0.996499	0.996503
8	0.001000	0.025904	0.996249	0.996257
9	0.001000	0.025345	0.996874	0.996876
10	0.000000	0.025569	0.996874	0.996876

---

Использование

from transformers import AutoTokenizer, AutoModelForSequenceClassification
import torch

model = AutoModelForSequenceClassification.from_pretrained("Safreliy/pgpro-bert-question-classifier ")
tokenizer = AutoTokenizer.from_pretrained("xlm-roberta-large")

def predict(text: str) -> float:
    inputs = tokenizer(
        text,
        padding="max_length",
        truncation=True,
        max_length=256,
        return_tensors="pt"
    )
    with torch.no_grad():
        outputs = model(**inputs)
    return torch.softmax(outputs.logits, dim=1)[0][1].item()

---

Примеры предсказаний

Общие/не релевантные вопросы (ожидаемый вывод ≈ 0):

0.0001 - Как приготовить свиные крылышки?
0.0005 - Привет
0.0002 - Напиши алгоритм обхода графа в ширину
0.0001 - Веди себя как коза
0.0001 - фывадолфывал

Технические вопросы (ожидаемый вывод ≈ 1):

0.9999 - Что такое ShardMan в PostgreSQL?
0.9110 - Как работает логическая репликация?
0.9918 - How to erase data permanently?

---

Ограничения

1. Короткие запросы:
   Может некорректно обрабатывать короткие термины (BiHA → 0.0002)

2. Контекстная зависимость:
   Некоторые технические вопросы требуют уточнений:

   0.5238 - Какие преимущества Postgres Pro vs Oracle?
   

---