「tokenization」に関連した英語例文の一覧と使い方 - Weblio英語例文検索

An apparatus for detecting differences between program sources includes a tokenization and generation means for tokenizing two or more program sources, and generating token strings; and a token difference detection means for detecting token differences by comparing the token strings with each other generated by the tokenization and generation means.例文帳に追加

２以上のプログラムソースをそれぞれトークン分解し、トークン列を生成するトークン分解生成手段と、前記トークン分解生成手段によって生成されたそれぞれの前記トークン列を相互に比較することにより、トークン差分を検出するトークン差分検出手段とを備える。 - 特許庁