SetFit with mini1013/master_domain

This is a SetFit model that can be used for Text Classification. This SetFit model uses mini1013/master_domain as the Sentence Transformer embedding model. A LogisticRegression instance is used for classification.

The model has been trained using an efficient few-shot learning technique that involves:

Fine-tuning a Sentence Transformer with contrastive learning.
Training a classification head with features from the fine-tuned Sentence Transformer.

Model Details

Model Description

Model Type: SetFit
Sentence Transformer body: mini1013/master_domain
Classification head: a LogisticRegression instance
Maximum Sequence Length: 512 tokens
Number of Classes: 7 classes

Model Sources

Repository: SetFit on GitHub
Paper: Efficient Few-Shot Learning Without Prompts
Blogpost: SetFit: Efficient Few-Shot Learning Without Prompts

Model Labels

Label	Examples
1.0	'신장 측정 기계 표준 기계식 측정기 학교 병원 약국 건강 검진 신장계 키재기 70-190cm 블랙_기계적 핑팝' '공룡 자석 귀여운 키재기 기린 눈금 벽 측정도구 소프트웨어 보내기[프로 버전-양고] 고소몽 새벽잡화점' '키 몸무게 측정기 검사 헬스장 학교 검진 보건실 신체 160kg 제품 (블랙) 노마둔'
5.0	'휴비딕 신생아 유아 아기 고양이 강아지 반려동물 체중계 HUS-316B (주)휴비딕' '[애구애구] 강아지 고양이 체중계 건전지 포함, 애견 원터치 무선 체중계, 반려견 몸무계 측정기 애드마스터' '상업용 전자 정밀 소형 저울T사우나 헬스장 체중계 전자저울 100KG 150KG 이로운발견'
0.0	'스마트 만보기 시계 만보팔찌 손목만보계 칼로리시계 스마트 만보 시계 팔찌 손목 형 실리콘 디지털 계 만보기시계-민트 제이한 주식회사' '오리온 계수기 FH102 주식회사 다원피앤피' '미니 디지털카운터기 0~99999까지 / 반지계수기 카운터기-파랑 대박나라'
4.0	'브라운 써모스캔 귀 체온계 IRT6030 롯데백화점1관' '브라운체온계 IRT-6030 적외선 귀체온계 가정용 신생아 체온계 필터21개+건전지 포함 브라운체온계 IRT-6030 주식회사 온라이브플러스' '브라운 귀체온계 IRT-6030 + 필터21p포함/1년무상AS baby 신세계몰'
6.0	'오므론 손목형 자동전자 혈압계 HEM-6161 가정용혈압계_MC 멸치쇼핑' '인바디 BPBIO320N 자동 혈압계 BPBIO320N_그레이(테이블+의자 포함) 바디메디칼' '휴비딕 비피첵 손목 자동 전자 혈압계 HBP-600 혈압측정기 판테온'
3.0	'독일 LED 검이경(성인/아동 겸용)-건전지식 풍솔글로벌' '간호사용 병원 진찰용품 의사 청진기 측정기 소아과 심박 내과 cosse2' 'SPIRIT 검이경 CK-939A /오토스코프/직접조사방식/알루미늄재질/좌우스위치방식적용 풍솔글로벌'
2.0	'Wahoo Fitness 티커 심박수측정기(HRM) 스텔스 그레이 White 픽더마인드' 'POLAR Equine H10 라이딩 심박수 센서 라이브러리2' 'Polar H10 심박수 모니터, 블루투스 HRM 가슴 스트랩 - 아이폰 및 안드로이드 호환, 블랙 식스퀄리티'

Evaluation

Metrics

Label	Metric
all	0.9712

Uses

Direct Use for Inference

First install the SetFit library:

pip install setfit

Then you can load this model and run inference.

from setfit import SetFitModel

# Download from the 🤗 Hub
model = SetFitModel.from_pretrained("mini1013/master_cate_lh1")
# Run inference
preds = model("어린이 신장 측정기 높이 벽 스티커 3D 키재기 신장계 B_큰 핑팝")

Training Details

Training Set Metrics

Training set	Min	Median	Max
Word count	3	9.9771	18

Label	Training Sample Count
0.0	50
1.0	50
2.0	6
3.0	50
4.0	50
5.0	50
6.0	50

Training Hyperparameters

batch_size: (512, 512)
num_epochs: (20, 20)
max_steps: -1
sampling_strategy: oversampling
num_iterations: 40
body_learning_rate: (2e-05, 2e-05)
head_learning_rate: 2e-05
loss: CosineSimilarityLoss
distance_metric: cosine_distance
margin: 0.25
end_to_end: False
use_amp: False
warmup_proportion: 0.1
seed: 42
eval_max_steps: -1
load_best_model_at_end: False

Training Results

Epoch	Step	Training Loss	Validation Loss
0.0208	1	0.4314	-
1.0417	50	0.1947	-
2.0833	100	0.0912	-
3.125	150	0.0968	-
4.1667	200	0.0231	-
5.2083	250	0.0004	-
6.25	300	0.0001	-
7.2917	350	0.0001	-
8.3333	400	0.0	-
9.375	450	0.0001	-
10.4167	500	0.0	-
11.4583	550	0.0	-
12.5	600	0.0	-
13.5417	650	0.0	-
14.5833	700	0.0	-
15.625	750	0.0	-
16.6667	800	0.0	-
17.7083	850	0.0	-
18.75	900	0.0	-
19.7917	950	0.0	-

Framework Versions

Python: 3.10.12
SetFit: 1.1.0.dev0
Sentence Transformers: 3.1.1
Transformers: 4.46.1
PyTorch: 2.4.0+cu121
Datasets: 2.20.0
Tokenizers: 0.20.0

Citation

BibTeX

@article{https://doi.org/10.48550/arxiv.2209.11055,
    doi = {10.48550/ARXIV.2209.11055},
    url = {https://arxiv.org/abs/2209.11055},
    author = {Tunstall, Lewis and Reimers, Nils and Jo, Unso Eun Seo and Bates, Luke and Korat, Daniel and Wasserblat, Moshe and Pereg, Oren},
    keywords = {Computation and Language (cs.CL), FOS: Computer and information sciences, FOS: Computer and information sciences},
    title = {Efficient Few-Shot Learning Without Prompts},
    publisher = {arXiv},
    year = {2022},
    copyright = {Creative Commons Attribution 4.0 International}
}

mini1013
/

master_cate_lh1