tokenizedとは 意味・読み方・使い方

An archiving process tokenizes archive data, optimizes the tokenized archive data, and extracts archive metadata from the tokenized data.例文帳に追加

保管プロセスにおいては、アーカイブデータをトークン化し、このトークン化されたアーカイブデータを最適化し、トークン化データからアーカイブメタデータを抽出する。 - 特許庁

The document is then filtered by one or more filters 334 and tokenized by one or more wordbreakers 332 under the restricted security setting before being passed to the indexer 322.例文帳に追加

次いで文書は、インデクサ３２２に受け渡される前に、限定セキュリティ設定下で１つまたは複数のフィルタ３３４でフィルタリングされ、かつ１つまたは複数のワードブレーカ３３２によってトークン化される。 - 特許庁

The method further includes a step of including a second token in second output data if the first formatting rule component in the formatting rule is a second valid index to the second tokenized input data.例文帳に追加

方法は、前記フォーマッティングルールにおける前記第１フォーマッティングルールコンポーネントが、前記第２トークン化入力データに対する第２有効インデックスである場合、第２出力データに第２トークンを含ませるステップをさらに含む。 - 特許庁

The method further includes a step of including a first token in first output data if a first formatting rule component in a formatting rule is a first valid index to the first tokenized input data.例文帳に追加

方法は、フォーマッティングルールにおける第１フォーマッティングルールコンポーネントが、前記第１トークン化入力データに対する第１有効インデックスである場合、第１出力データに第１トークンを含ませるステップをさらに含む。 - 特許庁