| ``` | |
| model BAAI/bge-reranker-v2-m3 | |
| params 566705152 | |
| embeds 256002048 | |
| torch.bfloat16 | |
| model Symato/bge-reranker-v2-m3__trimm_vocab__bf16 | |
| params 359397376 | |
| embeds 47644672 | |
| torch.float16 | |
| Giảm vocab size từ 250002 / 46000 => 5.43 lần | |
| => embeddings giảm từ 256m xuống 47m | |
| => model size giảm từ 567m xuống 359m (còn 63%) | |
| Phở bert large 370M, phở bert base 135M | |
| ``` |