tokenizingとは 意味・読み方・使い方

The method includes a step of tokenizing and parsing first input data and second input data.例文帳に追加

方法は、第１入力データ及び第２入力データをトークン化及び構文解析するステップを含む。 - 特許庁

These module support tokenizing, parsing, syntaxanalysis, bytecode disassembly, and various other facilities.These modules include:発音を聞く 例文帳に追加

これらのモジュールはトークンの切り出し、パース、構文解析、バイトコードのディスアセンブリおよびその他のさまざまな機能をサポートしています。 これらのモジュールには、次のものが含まれています: - Python

An apparatus for detecting differences between program sources includes a tokenization and generation means for tokenizing two or more program sources, and generating token strings; and a token difference detection means for detecting token differences by comparing the token strings with each other generated by the tokenization and generation means.例文帳に追加

２以上のプログラムソースをそれぞれトークン分解し、トークン列を生成するトークン分解生成手段と、前記トークン分解生成手段によって生成されたそれぞれの前記トークン列を相互に比較することにより、トークン差分を検出するトークン差分検出手段とを備える。 - 特許庁