token analysisとは 意味・読み方・使い方

miscellaneous routines for token analysis and debugging発音を聞く 例文帳に追加

字句解析とデバッギングのための様々なルーチン - コンピューター用語辞典

worst-case analysis considering the actual token utilisation発音を聞く 例文帳に追加

:現実のトークン利用を考慮した最悪例解析 - コンピューター用語辞典

worst-case analysis considering the actual token utilisation発音を聞く 例文帳に追加

現実のトークン利用を考慮した最悪例解析 - コンピューター用語辞典

The output of the language analysis means 2 is converted according to the output of the information extraction means 3 by a token generation means 4 to generate a token used for sorting calculation.例文帳に追加

トークン生成手段４によって、情報抽出手段３の出力によって言語解析手段２の出力を変換し、分類計算に用いるトークンを生成する。 - 特許庁

The lexical analysis means 22 extracts a pre-registered lexical token from among lexical tokens included in a monitor message, so as to obtain attribute information and state information respectively made to correspond one to one to the pre-registered lexical token.例文帳に追加

字句解析手段２２は、監視メッセージに含まれる字句の中から予め登録された字句を抽出して、これと１対１に対応させた属性情報と状態情報を得ている。 - 特許庁

Then, the token list preparing part 11 registers the tokens obtained by decomposing the natural language sentence to be processed in the token list by removing the tokens dividable into much smaller tokens according to conditions applied to the morphemic analysis.例文帳に追加

そして、トークンリスト作成部１１は、形態素解析に対して与えられた条件に応じて、処理対象の自然言語文を分解して得られたトークンのうち、より小さいトークンに分割可能なトークンを除いてトークンリストに登録する。 - 特許庁