SetFit with mini1013/master_domain

This is a SetFit model that can be used for Text Classification. This SetFit model uses mini1013/master_domain as the Sentence Transformer embedding model. A LogisticRegression instance is used for classification.

The model has been trained using an efficient few-shot learning technique that involves:

Fine-tuning a Sentence Transformer with contrastive learning.
Training a classification head with features from the fine-tuned Sentence Transformer.

Model Details

Model Description

Model Type: SetFit
Sentence Transformer body: mini1013/master_domain
Classification head: a LogisticRegression instance
Maximum Sequence Length: 512 tokens
Number of Classes: 7 classes

Model Sources

Repository: SetFit on GitHub
Paper: Efficient Few-Shot Learning Without Prompts
Blogpost: SetFit: Efficient Few-Shot Learning Without Prompts

Model Labels

Label	Examples
6.0	'디자이너스킨 올 액세스 태닝로션 여름 크림 옵션없음 라이브프롬잇' '코스노리 올웨이즈 핏 바 비키니 코드 바디젤 263003 J 옵션없음 제이피샵온(JPshopon)' 'Bronzer Tanning Lotion by 디자이너스킨 400ml 옵션없음 라이브프롬잇'
5.0	'썬범 프리미엄 하이드레이팅 애프터 썬 젤 쿨다운 237ml - 썬 젤 쿨다운 237ml x 2개_없음 나대몰' 'Allurials 알로에 베라 젤 354ml 옵션없음 해외쇼핑 잘왔네' '웰더마 지플러스 쿨링 에센스 알로에베라 수딩젤 120g × 3개 120g × 3개 하이블리스'
1.0	'SVR 선시큐어 울트라 라이트 인비저블 선 스프레이 SPF50 200ml 옵션없음 주식회사하늘' '선스프레이 청광 진주 마린 제이엠솔루션 선 스프레이 펄 옵션없음 유토피아' '청광 선 180ml 스프레이 제이엠솔루션 마린 진주 펄 옵션없음 포뿔샵'
0.0	'큐어 쿨링 선스틱 23g 2개 옵션없음 씨유니' '라운드랩 자작나무 수분 선스틱 19g SPF 50+ 자작 수분 선스틱 19g 원스원컴퍼니' 'AHC 내추럴 퍼펙션 더블 쉴드 선스틱 (파랑)14g 골프 등산 워터프루프 썬크림 옵션없음 위얼드(WEALD)'
4.0	'엘로엘 2024 시즌8 팡팡 빅선쿠션 S8 스마일썬쿠션 본품 25g 옵션없음 더블아이' '엘로엘 팡팡 빅 선쿠션 시즌 8 본품25g + 리필25g 옵션없음 미소샵' 'BRTC 마일드 선쿠션 본품+리필 기획 (디즈니) 옵션없음 지구상사'
3.0	'듀이셀 필터링크림 40ml (SPF50+) 옵션없음 오션컴퍼니' '아쿠아선크림40ml+미니폼40ml / 24시간촉촉 비건 무기자차 SPF50+ PA++++ 옵션없음 에프엔지뷰티랩 주식회사' '알리코제약 이나벨로 유기,무기자차 혼합자차 톤업 선크림 옵션없음 알리코제약(주)'
2.0	'리쥬란 바이옴 힐러 선케어 2종 세트(바이옴 힐러 선 크림 50mL SPF50+ + 바이옴 힐러 선 밤 19g SPF50+) 리쥬란 힐러' '라로제 클린 선스틱 SPF50 18.5g+수분스틱 15ml 세트 라로제 코스메틱' '[로우퀘스트] 베리어 인핸싱 선크림(SPF50+PA++++) + 에키네시아 선스틱(SPF50+PA++++) 2종 세트 로우퀘스트'

Evaluation

Metrics

Label	Accuracy
all	0.7883

Uses

Direct Use for Inference

First install the SetFit library:

pip install setfit

Then you can load this model and run inference.

from setfit import SetFitModel

# Download from the 🤗 Hub
model = SetFitModel.from_pretrained("mini1013/master_cate_bt7_test")
# Run inference
preds = model("제주온 큐테라 풋귤 알로에베라 수딩젤 200ml × 1개 구대연구소")

Training Details

Training Set Metrics

Training set	Min	Median	Max
Word count	4	10.1504	24

Label	Training Sample Count
0.0	20
1.0	10
2.0	17
3.0	28
4.0	20
5.0	15
6.0	23

Training Hyperparameters

batch_size: (512, 512)
num_epochs: (50, 50)
max_steps: -1
sampling_strategy: oversampling
num_iterations: 60
body_learning_rate: (2e-05, 1e-05)
head_learning_rate: 0.01
loss: CosineSimilarityLoss
distance_metric: cosine_distance
margin: 0.25
end_to_end: False
use_amp: False
warmup_proportion: 0.1
l2_weight: 0.01
seed: 42
eval_max_steps: -1
load_best_model_at_end: False

Training Results

Epoch	Step	Training Loss	Validation Loss
0.0625	1	0.4924	-
3.125	50	0.291	-
6.25	100	0.0536	-
9.375	150	0.0011	-
12.5	200	0.0002	-
15.625	250	0.0001	-
18.75	300	0.0001	-
21.875	350	0.0001	-
25.0	400	0.0001	-
28.125	450	0.0001	-
31.25	500	0.0001	-
34.375	550	0.0001	-
37.5	600	0.0001	-
40.625	650	0.0001	-
43.75	700	0.0001	-
46.875	750	0.0001	-
50.0	800	0.0001	-

Framework Versions

Python: 3.10.12
SetFit: 1.1.0
Sentence Transformers: 3.3.1
Transformers: 4.44.2
PyTorch: 2.2.0a0+81ea7a4
Datasets: 3.2.0
Tokenizers: 0.19.1

Citation

BibTeX

@article{https://doi.org/10.48550/arxiv.2209.11055,
    doi = {10.48550/ARXIV.2209.11055},
    url = {https://arxiv.org/abs/2209.11055},
    author = {Tunstall, Lewis and Reimers, Nils and Jo, Unso Eun Seo and Bates, Luke and Korat, Daniel and Wasserblat, Moshe and Pereg, Oren},
    keywords = {Computation and Language (cs.CL), FOS: Computer and information sciences, FOS: Computer and information sciences},
    title = {Efficient Few-Shot Learning Without Prompts},
    publisher = {arXiv},
    year = {2022},
    copyright = {Creative Commons Attribution 4.0 International}
}

mini1013
/

master_cate_bt7_test