# c4ai-command-r-08-2024 GPTQ量子化モデル

## モデル概要
- **モデル名**: nejumi/c4ai-command-r-08-2024-GPTQ-Int8-calib-ja-1k および nejumi/c4ai-command-r-08-2024-GPTQ-Int4-calib-ja-1k
- **ベースモデル**: [CohereForAI/c4ai-command-r-08-2024](https://huggingface.co/CohereForAI/c4ai-command-r-08-2024)
- **モデルサイズ**: 32,296,476,672 パラメータ
- **カテゴリ**: 30B≤

## 量子化の詳細
- **Calibration データ**: nejumi/wikipedia-ja-20230720-4k の先頭1024行
- **量子化パラメータ**:
  - group_size: 128
  - perc_damp: 0.0
  - desc_act: True
  - use_exllama: False
  - model_seqlen: 2048

## 性能評価（総合）
[Nejumi LLMリーダーボード3](https://wandb.ai/wandb-japan/llm-leaderboard3/reports/Nejumi-LLM-3---Vmlldzo4NTI1NTUx)による評価結果
| 指標 | Int8 | Int4 | ベースモデル |
|------|------|------|--------------|
| 汎用的言語性能(GLP)平均 | 0.6020 | 0.6072 | 0.6125 |
| アラインメント(ALT)平均 | 0.6924 | 0.6893 | 0.6943 |
| 総合平均 | 0.6472 | 0.6482 | 0.6534 |


![image/png](https://cdn-uploads.huggingface.co/production/uploads/64bcb332b7375f6b8456d937/3x13gIjOqXR3JXjbvQFfP.png)
青: Original
緑: GPTQ 4bit
赤: GPTQ 8bit

### 詳細評価（詳細）
#### 汎用的言語性能(GLP)
| サブカテゴリ | Int8 | Int4 | ベースモデル |
|-------------|------|------|--------------|
| 表現 | 0.8517 | 0.8450 | 0.8450 |
| 翻訳 | 0.8450 | 0.8440 | 0.8465 |
| 情報検索 | 0.8070 | 0.8062 | 0.8179 |
| 推論 | 0.4500 | 0.4800 | 0.4850 |
| 数学的推論 | 0.3900 | 0.4017 | 0.4033 |
| 抽出 | 0.2501 | 0.2560 | 0.2671 |
| 知識・質問応答 | 0.6416 | 0.6431 | 0.6549 |
| 英語 | 0.6842 | 0.6807 | 0.6877 |
| 意味解析 | 0.6420 | 0.6540 | 0.6430 |
| 構文解析 | 0.4585 | 0.4613 | 0.4744 |

#### アラインメント(ALT)
| サブカテゴリ | Int8 | Int4 | ベースモデル |
|-------------|------|------|--------------|
| 制御性 | 0.8530 | 0.8503 | 0.8539 |
| 倫理・道徳 | 0.8900 | 0.9200 | 0.8800 |
| 毒性 | 0.6454 | 0.6481 | 0.6588 |
| バイアス | 0.7700 | 0.7700 | 0.7600 |
| 堅牢性 | 0.4566 | 0.4283 | 0.4736 |
| 真実性 | 0.5395 | 0.5189 | 0.5395 |

## ベンチマークごとのスコア
| ベンチマーク | Int8 | Int4 | ベースモデル |
|-------------|------|------|--------------|
| JASTER (0-shot) | 0.5314 | 0.5217 | 0.5367 |
| JASTER (2-shot) | 0.6126 | 0.6269 | 0.6224 |
| MT-Bench | 6.6625 | 6.6750 | 6.7813 |
| LCTG | 0.7720 | 0.7640 | 0.7720 |

## 注意事項
- この量子化モデルは、オリジナルのCohereForAI/c4ai-command-r-08-2024モデルをGPTQ手法を用いて圧縮したものです。
- Int8とInt4の2つのバリエーションがあり、それぞれ異なる精度と効率のトレードオフを提供します。
- 性能指標は、オリジナルモデルと比較してわずかな違いがありますが、多くの指標で大きな性能低下を伴わない結果を示しています。
- 量子化プロセスには、日本語Wikipediaデータの一部が使用されており、日本語タスクに最適化されている可能性があります。

## 使用上の注意
- このモデルは2048トークンのコンテキスト長で訓練されていると想定されます。より長いコンテキストでの使用は、性能に影響を与える可能性があります。
- 量子化により、モデルのサイズが大幅に削減されていますが、一部のタスクでわずかな精度の低下が見られる場合があります。
- Int8版とInt4版で異なる特性を持つ可能性があるため、用途に応じて適切なバージョンを選択してください。
- 特定のタスク（例：堅牢性）では、量子化モデルがベースモデルと比較して若干の性能低下を示していますので、これらのタスクに重点を置く場合は注意が必要です。

## ライセンス
このモデルは、ベースモデルのライセンスを継承しています。詳細については、[原モデルのライセンス](https://huggingface.co/CohereForAI/c4ai-command-r-08-2024)を参照してください。