tiendung commited on
Commit
60ae786
1 Parent(s): f17dfc3

Create README.md

Browse files
Files changed (1) hide show
  1. README.md +9 -0
README.md ADDED
@@ -0,0 +1,9 @@
 
 
 
 
 
 
 
 
 
 
1
+ model BAAI/bge-reranker-v2-m3
2
+ params 566705152
3
+ embeds 256002048
4
+ torch.bfloat16
5
+
6
+ Giảm vocab size từ 250002 / 46000 => 5.43 lần
7
+ => embeddings giảm từ 256m xuống 47m
8
+ => model size giảm từ 567m xuống 359m (còn 63%)
9
+ Phở bert large 370M, phở bert base 135M