tokenizationとは 意味・読み方・使い方
追加できません
(登録数上限)
単語を追加
マイクロソフト用語集での「tokenization」の意味 |
|
tokenization
対訳 トークン化
解説
In text mining or Full-Text Search, the process of identifying meaningful units within strings, either at word boundaries, morphemes, or stems, so that related tokens can be grouped. For example, although "San Francisco" is two words, it could be treated as a single token.
「tokenization」を含む例文一覧
該当件数 : 1件
An apparatus for detecting differences between program sources includes a tokenization and generation means for tokenizing two or more program sources, and generating token strings; and a token difference detection means for detecting token differences by comparing the token strings with each other generated by the tokenization and generation means.例文帳に追加
２以上のプログラムソースをそれぞれトークン分解し、トークン列を生成するトークン分解生成手段と、前記トークン分解生成手段によって生成されたそれぞれの前記トークン列を相互に比較することにより、トークン差分を検出するトークン差分検出手段とを備える。 - 特許庁
-
履歴機能
過去に調べた
単語を確認! -
語彙力診断
診断回数が
増える! -
マイ単語帳
便利な
学習機能付き! -
マイ例文帳
文章で
単語を理解! -
|
|
|
tokenizationのページの著作権
英和・和英辞典
情報提供元は
参加元一覧
にて確認できます。
| © 2025 Microsoft | |
| Copyright © 2025 CJKI. All Rights Reserved | |
|
Text is available under Creative Commons Attribution-ShareAlike (CC-BY-SA) and/or GNU Free Documentation License (GFDL). Weblio英和・和英辞典に掲載されている「Wiktionary英語版」の記事は、Wiktionaryのtokenization (改訂履歴)の記事を複製、再配布したものにあたり、Creative Commons Attribution-ShareAlike (CC-BY-SA)もしくはGNU Free Documentation Licenseというライセンスの下で提供されています。 |
ピン留めアイコンをクリックすると単語とその意味を画面の右側に残しておくことができます。 |
ログイン |
Weblio会員(無料)になると
|
検索履歴を保存できる！
みんなの検索ランキング
閲覧履歴
 | 「tokenization」のお隣キーワード |
weblioのその他のサービス
|
ログイン |
Weblio会員(無料)になると
|
