「tokenizer」に関連した英語例文の一覧と使い方 - Weblio英語例文検索

tokenizer extension. 例文帳に追加

tokenizer 拡張モジュール - PEAR

18.5 tokenize -- Tokenizer for Python source 例文帳に追加

18.5 tokenize -- Pythonソースのためのトークナイザ - Python

compiler string Default is 'Flexy' - The Flexy Tokenizer Driver engine. 例文帳に追加

初期値は 'Flexy' で、これは Flexy トークナイザドライバエンジンを表します。 - PEAR

(the long term aim of Flexy is to integrate support for all of these PHP Generator templates into a simple package) The Standard Compiling Backend uses a Tokenizer, which offers the possiblities of using HTML tags and attributes to provide looping and conditionals, and make dynamic XML_Tree like elements of HTML Forms that can be manipulated in your code. 例文帳に追加

（Flexy の長期的な目標は、これらの PHP コード生成型のテンプレートのサポートをひとつのパッケージで行うという所にあります。 ） 標準のコンパイルバックエンドは Tokenizer を使用しており、HTML のタグと属性を使用してループや条件分岐処理を行えます。 - PEAR

The segmentalizing device is provided with a tokenizer engine for proposing segmentation, and for presenting this to a language knowledge component for judging validity.例文帳に追加

本発明の特徴の１つによれば、セグメント化装置は、セグメント化を提案し、それを有効性判断のために言語知識コンポーネントに提出するトークナイザ・エンジンを含む。 - 特許庁