Lexical tokenとは 意味・読み方・使い方

Input to the parser is a stream of tokens, generated by the lexical analyzer.例文帳に追加

パーザへの入力は、字句解析器 (lexical analyzer) によって生成された一連の トークン (token) からなります。 - Python

The lexical analysis means 22 extracts a pre-registered lexical token from among lexical tokens included in a monitor message, so as to obtain attribute information and state information respectively made to correspond one to one to the pre-registered lexical token.例文帳に追加

字句解析手段２２は、監視メッセージに含まれる字句の中から予め登録された字句を抽出して、これと１対１に対応させた属性情報と状態情報を得ている。 - 特許庁

A lexical token analyzing part 11 analyzes lexical tokens in accordance with a first programming language and sends terminal signs.例文帳に追加

字句解析部１１は、第１のプログラミング言語に従って字句を解析し終端記号を送出する。 - 特許庁