機械学習の英語論文で頻出の英単語 35 語

機械学習の論文は、カタカナで済ませがちな語(ablation、baseline、inference など)に、ふだんの英語とは違う決まった意味があります。実験の節で手法をどう比べたかを読むには、これらの語の正確な意味が欠かせません。

各語に、品詞、機械学習の論文での意味、一般的な意味との違い(ある場合)、例文を載せています。例文は説明のために作った文で、実在の論文からの引用ではありません。

A

ablation名詞
アブレーション。モデルの構成要素を 1 つずつ取り除き、それぞれの寄与を調べる実験。
一般の意味との違い医学・一般では「切除、除去」。
An ablation study shows that removing the auxiliary loss reduces accuracy by 2.1 points.
attention名詞
アテンション(注意機構)。入力のどの部分を重視するかを重みとして計算するしくみ。
一般の意味との違い一般には「注意、注目」。
Each layer applies multi-head self-attention followed by a feed-forward network.

B

baseline名詞
ベースライン。提案手法と比べる対象となる、既存の手法や単純な手法。
一般の意味との違い一般には「基準線、基準値」。
Our method outperforms all baselines on four of the five datasets.
batch名詞
バッチ。パラメータを 1 回更新するために、まとめて処理するサンプルの集まり。
一般の意味との違い一般には「(一回分の)束、一群」。
We train with a batch size of 256 and a learning rate of 3e-4.
benchmark名詞
ベンチマーク。手法の性能を比べるための、標準的なデータセットや課題。
一般の意味との違い一般には「基準、水準点」。
We evaluate on three widely used benchmarks for open-domain question answering.

C

converge動詞
収束する。学習を続けると、損失やパラメータが一定の値に落ち着く。
一般の意味との違い一般には「集まる、一点に集中する」。
Training converges within 20 epochs when the learning rate is warmed up.

D

distribution shift名詞句
分布シフト。学習時と評価・運用時で、データの分布が異なること。
Performance drops sharply under distribution shift to images from a new hospital.
downstream task名詞句
下流タスク。事前学習したモデルを転用して解く、具体的な目的の課題。
The pretrained encoder transfers well to a range of downstream tasks.

E

embedding名詞
埋め込み(表現)。単語や画像などを、意味を反映した連続値のベクトルに変換したもの。
一般の意味との違い一般には「埋め込むこと」。
Sentence embeddings are obtained by mean pooling over the final hidden states.
empirically副詞
実験的に、経験的に。理論的な証明ではなく、実験の結果として。
We empirically find that larger models are more sample-efficient.
epoch名詞
エポック。学習データ全体を 1 回通して学習すること。
一般の意味との違い一般には「時代、新時代」。
Models are trained for 100 epochs with early stopping on the validation loss.

F

fine-tune動詞
ファインチューニングする。事前学習したモデルを、目的のデータで追加学習する。
一般の意味との違い一般には「微調整する」。
We fine-tune the model on 10,000 labeled examples for each target language.

G

generalize動詞
汎化する。学習に使っていないデータに対しても性能を保つ。
一般の意味との違い一般には「一般化する、概括する」。
The model fails to generalize to sequences longer than those seen during training.
gradient名詞
勾配。損失をパラメータで微分した値。この向きにパラメータを更新する。
一般の意味との違い一般には「傾斜、(色の)グラデーション」。
We clip the gradient norm to 1.0 to stabilize training.
ground truth名詞句
正解(データ・ラベル)。予測を評価する基準となる真の値。
一般の意味との違いもとはリモートセンシングで「現地で実測した値」。
Predicted masks are compared with ground truth annotations from two radiologists.

H

held-out形容詞
学習に使わずに取っておいた。評価用に分けておいたデータを指す。
We report accuracy on a held-out test set of 5,000 images.
hyperparameter名詞
ハイパーパラメータ。学習率や層の数など、学習の前に人が決める設定値。
All hyperparameters were selected on the validation set.

I

inference名詞
推論。学習済みのモデルで、新しい入力に対する予測を出すこと。
一般の意味との違い統計学では「統計的推測」、一般には「推論、推測」。機械学習では予測の実行(計算)を指すことが多い。
Quantization reduces inference latency by 40% with negligible loss in accuracy.

L

latent形容詞
潜在の。直接は観測されず、モデルの内部で表される(latent space: 潜在空間)。
一般の意味との違い一般には「隠れた、潜伏している」。
The decoder maps a latent vector to an image.
loss名詞
損失(関数)。予測と正解のずれを数値にしたもの。学習ではこれを小さくする。
一般の意味との違い一般には「失うこと、損失」。
We add a contrastive loss term weighted by λ = 0.1.

O

objective名詞
目的関数。学習で最小化(または最大化)する量。
一般の意味との違い一般には「目標」、形容詞では「客観的な」。
The training objective combines a reconstruction term with a KL penalty.
outperform動詞
(性能で)上回る。
The proposed model outperforms the previous state of the art by 3.4 F1 points.
overfit動詞
過学習する。学習データに合わせすぎて、未知のデータでの性能が落ちる。
Without dropout, the model quickly overfits the small training set.

P

pretrain動詞
事前学習する。大量のデータで汎用的な学習を先に行う。
The encoder is pretrained on 1.2 billion unlabeled sentences.
prompt名詞
プロンプト。言語モデルに与える指示や入力の文。
一般の意味との違い一般には「きっかけ、促し」、形容詞では「即座の」。
Accuracy varies considerably with the wording of the prompt.

R

regularization名詞
正則化。過学習を防ぐため、モデルの複雑さに罰則を加えるなどの工夫。
一般の意味との違い一般には「(制度上の)正規化、合法化」。機械学習の normalization(正規化。値の尺度をそろえる処理)とは別の概念。
We apply weight decay as regularization with a coefficient of 0.01.
representation名詞
表現。入力をモデルの内部でベクトルなどとして表したもの。
一般の意味との違い一般には「代表、描写」。
Intermediate representations capture syntactic information better than the final layer.
robust形容詞
頑健な。ノイズや攻撃、分布の変化があっても性能が落ちにくい。
一般の意味との違い一般には「たくましい、丈夫な」。
Adversarial training makes the classifier more robust to small input perturbations.

S

scalable形容詞
スケーラブルな。データやモデルが大きくなっても、計算量やコストが現実的な範囲に収まる。
The method is scalable to graphs with millions of nodes.
sparse形容詞
疎な。ほとんどの要素がゼロである(sparse matrix: 疎行列)。
一般の意味との違い一般には「まばらな、乏しい」。
Sparse attention reduces the cost from quadratic to linear in sequence length.
state-of-the-art形容詞
既存の最高性能の。その時点で最も良い結果を出している手法(SOTA)を指す。
一般の意味との違い一般には「最新式の」。
Our approach achieves state-of-the-art results on both benchmarks.

T

token名詞
トークン。モデルが扱うテキストの最小単位(単語やその一部)。
一般の意味との違い一般には「しるし、代用硬貨」。
Inputs longer than 512 tokens are truncated.
tractable形容詞
計算可能な、扱いやすい。現実的な時間で計算できる。反対は intractable。
一般の意味との違い一般には「(人や動物が)従順な」。
The exact posterior is intractable, so we optimize a tractable lower bound.
trade-off名詞
トレードオフ。一方を良くするともう一方が悪くなる関係。
Figure 3 shows the trade-off between accuracy and inference speed.
tune動詞
調整する。ハイパーパラメータなどを、検証データでの性能を見ながら決める。
一般の意味との違い一般には「(楽器を)調律する」。
The temperature was tuned on the development set.

読んでいる論文から、自分の辞書を作る。

Goipon では、機械学習の論文の PDF を開いて、引っかかった単語をタップするだけで、その一文での意味と出典がそろったカードができます。ここにない単語も、自分が読んだ文で覚えられます。

この分野の論文を Goipon で読む

辞書 100 語まで無料。クレジットカードの登録は不要です。