gaudi_config.json

{
  "hmp_bf16_ops": [
    "add",
    "addmm",
    "bmm",
    "div",
    "dropout",
    "gelu",
    "iadd",
    "linear",
    "layer_norm",
    "matmul",
    "mm",
    "rsub",
    "softmax",
    "truediv"
  ],
  "hmp_fp32_ops": [
    "embedding",
    "nll_loss",
    "log_softmax"
  ],
  "hmp_is_verbose": false,
  "hmp_opt_level": "O1",
  "optimum_version": "1.1.1",
  "transformers_version": "4.18.0",
  "use_fused_adam": true,
  "use_fused_clip_norm": true,
  "use_habana_mixed_precision": true
}