File size: 1,145 Bytes
019abef
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
       ╔══════════════════════════╗
       β•‘                 _______  β•‘
       β•‘            /\   |_   _|  β•‘
       β•‘  __  __   /  \    | |    β•‘
       β•‘  \ \/ /  / /\ \   | |    β•‘
       β•‘   >  <  / ____ \ _| |_   β•‘
       β•‘  /_/\_\/_/    \_\_____|  β•‘
       β•‘                          β•‘
       β•‘  Understand the Universe β•‘
       β•šβ•β•β•β•β•β•β•β•β•β•β•β•β•β•β•β•β•β•β•β•β•β•β•β•β•β•β•

           ╔═══════════════════╗
           β•‘ xAI Grok-1 (314B) β•‘
           β•šβ•β•β•β•β•β•β•β•β•β•β•β•β•β•β•β•β•β•β•β•

╔═════════════════════════════════════════╗
β•‘ 314B parameter Mixture of Experts model β•‘
β•‘ - Base model (not finetuned)            β•‘
β•‘ - 8 experts (2 active)                  β•‘
β•‘ - 86B active parameters                 β•‘
β•šβ•β•β•β•β•β•β•β•β•β•β•β•β•β•β•β•β•β•β•β•β•β•β•β•β•β•β•β•β•β•β•β•β•β•β•β•β•β•β•β•β•β•