tokenizationの意味・使い方・読み方 | Weblio英和辞書

マイクロソフト用語集

tokenization

対訳トークン化

解説

In text mining or Full-Text Search, the process of identifying meaningful units within strings, either at word boundaries, morphemes, or stems, so that related tokens can be grouped. For example, although "San Francisco" is two words, it could be treated as a single token.

調べた例文を記録して、効率よく覚えましょう

Weblio会員無料で登録できます

履歴機能過去に調べた単語を確認できる

語彙力診断診断回数が4回に増加

マイ単語帳便利な学習機能付き

マイ例文帳文章で意味を理解できる

Weblio会員登録(無料)はこちらから▶

日英・英日専門用語辞書

tokenization

トークン化

Wiktionary英語版

出典：Wiktionary

tokenization

出典:『Wiktionary』 (2017/02/09 20:30 UTC 版)

語源

token +‎ -ization

名詞

tokenization (countable かつ uncountable, 複数形 tokenizations)

The act or process of tokenizing.
Something tokenized.

This was an unlikely tokenization of the input string.

音声を聞く

閲覧履歴

検索結果に戻る

全履歴クリア

・tokenization

単語帳に追加

tokenizationのページの著作権

© 2026 Microsoft
Copyright © 2026 CJKI. All Rights Reserved
Wiktionary
Text is available under Creative Commons Attribution-ShareAlike (CC-BY-SA) and/or GNU Free Documentation License (GFDL).
Weblio英和・和英辞典に掲載されている「Wiktionary英語版」の記事は、Wiktionaryのtokenization (改訂履歴)の記事を複製、再配布したものにあたり、Creative Commons Attribution-ShareAlike (CC-BY-SA)もしくはGNU Free Documentation Licenseというライセンスの下で提供されています。