「tokenization」に関連した英語例文の一覧と使い方

「tokenization」を含む例文一覧(1)

An apparatus for detecting differences between program sources includes a tokenization and generation means for tokenizing two or more program sources, and generating token strings; and a token difference detection means for detecting token differences by comparing the token strings with each other generated by the tokenization and generation means.
２以上のプログラムソースをそれぞれトークン分解し、トークン列を生成するトークン分解生成手段と、前記トークン分解生成手段によって生成されたそれぞれの前記トークン列を相互に比較することにより、トークン差分を検出するトークン差分検出手段とを備える。 - 特許庁