model BAAI/bge-reranker-v2-m3
params 566705152
embeds 256002048
torch.bfloat16
model Symato/bge-reranker-v2-m3__trimm_vocab__bf16
params 359397376
embeds 47644672
torch.float16
Giảm vocab size từ 250002 / 46000 => 5.43 lần
=> embeddings giảm từ 256m xuống 47m
=> model size giảm từ 567m xuống 359m (còn 63%)
Phở bert large 370M, phở bert base 135M