Tokenizerとは 意味・読み方・使い方

tokenizer extension.発音を聞く 例文帳に追加

tokenizer 拡張モジュール - PEAR

18.5 tokenize -- Tokenizer for Python source発音を聞く 例文帳に追加

18.5 tokenize -- Pythonソースのためのトークナイザ - Python

compiler string Default is 'Flexy' - The Flexy Tokenizer Driver engine.発音を聞く 例文帳に追加

初期値は 'Flexy' で、これは Flexy トークナイザドライバエンジンを表します。 - PEAR

(the long term aim of Flexy is to integrate support for all of these PHP Generator templates into a simple package) The Standard Compiling Backend uses a Tokenizer, which offers the possiblities of using HTML tags and attributes to provide looping and conditionals, and make dynamic XML_Tree like elements of HTML Forms that can be manipulated in your code.発音を聞く 例文帳に追加

（Flexy の長期的な目標は、これらの PHP コード生成型のテンプレートのサポートをひとつのパッケージで行うという所にあります。 ） 標準のコンパイルバックエンドは Tokenizer を使用しており、HTML のタグと属性を使用してループや条件分岐処理を行えます。 - PEAR

The segmentalizing device is provided with a tokenizer engine for proposing segmentation, and for presenting this to a language knowledge component for judging validity.例文帳に追加

本発明の特徴の１つによれば、セグメント化装置は、セグメント化を提案し、それを有効性判断のために言語知識コンポーネントに提出するトークナイザ・エンジンを含む。 - 特許庁

This can be used in conjuction with PEAR::Cache, or in the example below, with a email template (note this still needs testing.. - the backend should eventually support a native tokenizer for email templates.)発音を聞く 例文帳に追加

PEAR::Cache と組み合わせたり、下記に示すように電子メールテンプレートと組み合わせる事が出来ます (電子メールテンプレートにはまだテストが必要です - 最終的にはバックエンドで電子メールテンプレート用のネイティブトークナイザをサポートする予定です)。 - PEAR