AudreyVM commited on
Commit
e26d665
·
verified ·
1 Parent(s): 8c327f4

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +24 -24
README.md CHANGED
@@ -736,35 +736,35 @@ Evaluation was conducted using MT-Lens and is reported as accuracy computed usin
736
 
737
  | | Source | Target | Masc | Fem | Pair |
738
  |:---------------------------------|:---------|:---------|-------:|-------:|-------:|
739
- | SalamandraTA-7b-instruct | en | de | **0.8833333333333333** | **0.8833333333333333** | **0.7733333333333333** |
740
- | SalamandraTA-7b-base | en | de | 0.8566666666666667 | 0.77 | 0.66 |
741
- | MADLAD400-7B | en | de | 0.8766666666666667 | 0.8233333333333334 | 0.7133333333333334 |
742
- | TowerInstruct-7B-v0.2 | en | de | 0.8633333333333333 | 0.84 | 0.7266666666666667 |
743
  | | | | | | |
744
- | SalamandraTA-7b-instruct | en | es | 0.8666666666666667 | **0.85** | **0.7366666666666667** |
745
- | SalamandraTA-7b-base | en | es | **0.89** | 0.7333333333333333 | 0.6433333333333333 |
746
- | MADLAD400-7B | en | es | 0.8866666666666667 | 0.78 | 0.6866666666666666 |
747
- | TowerInstruct-7B-v0.2 | en | es | 0.85 | 0.8233333333333334 | 0.6933333333333334 |
748
  | | | | | | |
749
- | SalamandraTA-7b-instruct | en | fr | **0.9** | 0.82 | **0.7366666666666667** |
750
- | SalamandraTA-7b-base | en | fr | 0.8866666666666667 | 0.71 | 0.6166666666666667 |
751
- | MADLAD400-7B | en | fr | 0.8733333333333333 | 0.7766666666666666 | 0.6633333333333333 |
752
- | TowerInstruct-7B-v0.2 | en | fr | 0.88 | **0.8233333333333334** | 0.7166666666666667 |
753
  | | | | | | |
754
- | SalamandraTA-7b-instruct | en | it | 0.9 | **0.7633333333333333** | 0.6833333333333333 |
755
- | SalamandraTA-7b-base | en | it | 0.8933333333333333 | 0.5933333333333334 | 0.5133333333333333 |
756
- | MADLAD400-7B | en | it | 0.9066666666666666 | 0.6633333333333333 | 0.5966666666666667 |
757
- | TowerInstruct-7B-v0.2 | en | it | **0.9466666666666667** | 0.7466666666666667 | **0.7133333333333334** |
758
  | | | | | | |
759
- | SalamandraTA-7b-instruct | en | pt | 0.92 | **0.77** | **0.7066666666666667** |
760
- | SalamandraTA-7b-base | en | pt | **0.9233333333333333** | 0.65 | 0.5966666666666667 |
761
- | MADLAD400-7B | en | pt | **0.9233333333333333** | 0.6866666666666666 | 0.6266666666666667 |
762
- | TowerInstruct-7B-v0.2 | en | pt | 0.9066666666666666 | 0.73 | 0.67 |
763
  | | | | | | |
764
- | SalamandraTA-7b-instruct | en | ru | **0.95** | **0.8366666666666667** | **0.7933333333333333** |
765
- | SalamandraTA-7b-base | en | ru | 0.9333333333333333 | 0.7133333333333334 | 0.6533333333333333 |
766
- | MADLAD400-7B | en | ru | 0.94 | 0.7966666666666666 | 0.74 |
767
- | TowerInstruct-7B-v0.2 | en | ru | 0.9333333333333333 | 0.7966666666666666 | 0.7333333333333333 |
768
 
769
  <img src="./images/geneval.png"/>
770
 
 
736
 
737
  | | Source | Target | Masc | Fem | Pair |
738
  |:---------------------------------|:---------|:---------|-------:|-------:|-------:|
739
+ | SalamandraTA-7b-instruct | en | de | **0.883** | **0.883** | **0.773** |
740
+ | SalamandraTA-7b-base | en | de | 0.857 | 0.77 | 0.66 |
741
+ | MADLAD400-7B | en | de | 0.877 | 0.823 | 0.713 |
742
+ | TowerInstruct-7B-v0.2 | en | de | 0.863 | 0.84 | 0.727 |
743
  | | | | | | |
744
+ | SalamandraTA-7b-instruct | en | es | 0.867 | **0.85** | **0.737** |
745
+ | SalamandraTA-7b-base | en | es | **0.89** | 0.733 | 0.643 |
746
+ | MADLAD400-7B | en | es | 0.887 | 0.78 | 0.687 |
747
+ | TowerInstruct-7B-v0.2 | en | es | 0.85 | 0.823 | 0.693 |
748
  | | | | | | |
749
+ | SalamandraTA-7b-instruct | en | fr | **0.9** | 0.82 | **0.737** |
750
+ | SalamandraTA-7b-base | en | fr | 0.8867 | 0.71 | 0.617 |
751
+ | MADLAD400-7B | en | fr | 0.873 | 0.777 | 0.663 |
752
+ | TowerInstruct-7B-v0.2 | en | fr | 0.88 | **0.823** | 0.717 |
753
  | | | | | | |
754
+ | SalamandraTA-7b-instruct | en | it | 0.9 | **0.763** | 0.683 |
755
+ | SalamandraTA-7b-base | en | it | 0.893 | 0.593 | 0.513 |
756
+ | MADLAD400-7B | en | it | 0.907 | 0.663 | 0.597 |
757
+ | TowerInstruct-7B-v0.2 | en | it | **0.947** | 0.747 | **0.713** |
758
  | | | | | | |
759
+ | SalamandraTA-7b-instruct | en | pt | 0.92 | **0.77** | **0.707** |
760
+ | SalamandraTA-7b-base | en | pt | **0.923** | 0.65 | 0.597 |
761
+ | MADLAD400-7B | en | pt | **0.923** | 0.687 | 0.627 |
762
+ | TowerInstruct-7B-v0.2 | en | pt | 0.907 | 0.73 | 0.67 |
763
  | | | | | | |
764
+ | SalamandraTA-7b-instruct | en | ru | **0.95** | **0.837** | **0.793** |
765
+ | SalamandraTA-7b-base | en | ru | 0.933 | 0.713 | 0.653 |
766
+ | MADLAD400-7B | en | ru | 0.94 | 0.797 | 0.74 |
767
+ | TowerInstruct-7B-v0.2 | en | ru | 0.933 | 0.797 | 0.733 |
768
 
769
  <img src="./images/geneval.png"/>
770