Update README.md

fixed 512-dims JMTEB scores

README.md

@@ -24,10 +24,9 @@ library_name: sentence-transformers
 
 # static-embedding-japanese
 
-
 文章の密ベクトルは、情報検索・文章判別・類似文章抽出など、さまざまな用途に使うことができます。しかしながら最先端のTransformerモデルは小さいモデルでも、とりわけCPU環境では処理速度が遅いため実用でないこともしばしばあります。
 
-しかしながら、先日公開されたTransformerモデル「ではない」 [StaticEmbeddingモデル](https://huggingface.co/blog/static-embeddings)は、例えば [intfloat/multilingual-e5-small](https://huggingface.co/intfloat/multilingual-e5-small) (以下mE5-small)とのベンチマーク比較では85%のスコアという最低十分な性能で、何よりCPUで動作時に126倍高速に文ベクトルを作成することができる、という驚きの速度です。
+この課題を解決する新しいアプローチとして、先日公開されたTransformerモデル「ではない」 [StaticEmbeddingモデル](https://huggingface.co/blog/static-embeddings)は、例えば [intfloat/multilingual-e5-small](https://huggingface.co/intfloat/multilingual-e5-small) (以下mE5-small)とのベンチマーク比較では85%のスコアという最低十分な性能で、何よりCPUで動作時に126倍高速に文ベクトルを作成することができる、という驚きの速度です。
 
 というわけで、早速日本語(と英語)で学習させたモデル sentence-embedding-japanese を作成し、公開しました。
 
@@ -185,20 +184,21 @@ JMTEB では、出力時にモデルのパラメータを制御できるため
 
 | 次元数 | Avg(micro) | スコア割合(%) | Retrieval | STS   | Classification | Reranking | Clustering | PairClassification |
 |--------|------------|---------------|-----------|-------|----------------|-----------|------------|---------------------|
-| 1024  | 67.17      | 100.00     | 67.92     | 80.16 | 67.96          | 91.87     | 40.39      | 62.37               |
-| 512   | 56.65      | 84.34      | 47.85     | 80.11 | 55.57          | 88.27     | 43.11      | 62.37               |
-| 256   | 65.94      | 98.17      | 66.99     | 79.93 | 63.53          | 91.73     | 42.55      | 62.37               |
-| 128   | 64.25      | 95.65      | 64.87     | 79.56 | 60.52          | 91.62     | 41.81      | 62.33               |
-| 64    | 61.79      | 91.98      | 61.15     | 78.34 | 58.23          | 91.50     | 39.11      | 62.35               |
-| 32    | 57.93      | 86.24      | 53.35     | 76.51 | 55.95          | 91.15     | 38.20      | 62.37               |
+| 1024  | 67.17      | 100.00        | 67.92     | 80.16 | 67.96          | 91.87     | 40.39      | 62.37               |
+| 512   | 66.57      | 99.10         | 67.63     | 80.11 | 65.66          | 91.54     | 41.25      | 62.37               |
+| 256   | 65.94      | 98.17         | 66.99     | 79.93 | 63.53          | 91.73     | 42.55      | 62.37               |
+| 128   | 64.25      | 95.65         | 64.87     | 79.56 | 60.52          | 91.62     | 41.81      | 62.33               |
+| 64    | 61.79      | 91.98         | 61.15     | 78.34 | 58.23          | 91.50     | 39.11      | 62.35               |
+| 32    | 57.93      | 86.24         | 53.35     | 76.51 | 55.95          | 91.15     | 38.20      | 62.37               |
 
 
-スコアの変化を見ると、512次元へと次元削減した場合はやたらRetrieval, Classification,Reranking の性能が悪くなります。むしろ256次元まで次元削減してしまった方が良好な結果に。256次元では、スコア的には次元削減する前のモデルの98.93%なんですが、これはクラスタリングの結果がなぜか1024次元よりも良くなってしまったためですね。
+~~スコアの変化を見ると、512次元へと次元削減した場合はやたらRetrieval, Classification,Reranking の性能が悪くなります。むしろ256次元まで次元削減してしまった方が良好な結果に。256次元では、スコア的には次元削減する前のモデルの98.93%なんですが、これはクラスタリングの結果がなぜか1024次元よりも良くなってしまったためですね。~~
 
-クラスタリングタスクにおいては128次元まで次元削減しても1024次元よりもスコアが高い、という本来情報量を削らない方がスコアが良いくなりそうなのに、クラスタリングタスクのみは逆にスコアが上がってしまう興味深い結果となりました…。マトリョーシカ表現学習では、先頭の次元の方が全体的な特徴を踏まえているので、クラスタリング用途には(クラスタリングのアルゴリズムにもよると思いますが)、特徴的な前の方の次元のみで後ろの次元を使わない方が良質な結果が得られる、ということなのかもしれません。
+512次元でのスコア計測が間違っていたので修正しました。マトリ���ーシカ表現学習がうまく反映され、次元数を削ると若干のスコア低下が見られますが、次元数が減ったためその後のコストが抑えられそうですね。
 
-というわけで、static-embedding-japanese モデルで次元削減する時は、256,128次元あたりが性能と次元削減のバランスが取れてそうですね。逆に512次元はとりわけRetrievalの結果が悪いので、使わない方が良さそうです。
+クラスタリングタスクにおいては128次元まで次元削減しても1024次元よりもスコアが高い、という本来情報量を削らない方がスコアが良いくなりそうなのに、クラスタリングタスクのみは逆にスコアが上がってしまう興味深い結果となりました…。マトリョーシカ表現学習では、先頭の次元の方が全体的な特徴を踏まえているので、クラスタリング用途には(クラスタリングのアルゴリズムにもよると思いますが)、特徴的な前の方の次元のみで後ろの次元を使わない方が良質な結果が得られる、ということなのかもしれません。
 
+というわけで、static-embedding-japanese モデルで次元削減する時は、512,256,128次元あたりが性能と次元削減のバランスが取れてそうですね。
 
 ## StaticEmbedding モデルを作ってみて