Lexical analyzerとは 意味・読み方・使い方

Input to the parser is a stream of tokens, generated by the lexical analyzer.例文帳に追加

パーザへの入力は、字句解析器 (lexical analyzer) によって生成された一連の トークン (token) からなります。 - Python

The linguistic processor is composed of a linguistic analyzer (274) for performing a linguistic analysis on character strings, and a lexical analyzer (290) for determining the most probable meaning of each character of each character string.例文帳に追加

本発明による言語的プロセッサは、文字ストリングの言語的な解析を実行する言語的アナライザ（２７４）と、文字ストリングのそれぞれの文字の最も蓋然的な意味を決定する字句アナライザ（２９０）と、から構成される。 - 特許庁

a lexical analyzer generator発音を聞く 例文帳に追加

字句解析プログラムジェネレーター《ユーザーが与えた規則にしたがって字句解析プログラムを生成するツール; Unix の標準ツール lex が有名; これに対し, parser は分析ではなく, 分解したものを文法に則って解釈するもの》 - 研究社 英和コンピューター用語辞典

Actually, the first three errors are detected by the parser; only the last error is found by the lexical analyzer -- the indentation of return r does not match a level popped off the stack.例文帳に追加

実際は、最初の 3 つのエラーはパーザによって検出されます; 最後のエラーのみが字句解析器で見つかります -- return r のインデントは、スタックから逐次除去されていくどのインデントレベル値とも一致しません - Python

A sequence of three periods has a special meaning as an ellipsis in slices. The second half of the list, the augmented assignment operators, servelexically as delimiters, but also perform an operation. The following printing ASCII characters have special meaning as part of other tokens or are otherwise significant to the lexical analyzer:例文帳に追加

ピリオド三つの列はスライス表記における省略符号 (ellipsis) として特別な意味を持っています。 リスト後半の累算代入演算子 (augmentedassignment operator) は、字句的にはデリミタとして振舞いますが、演算も行います。 - Python