text tokenとは 意味・読み方・使い方

The segmenting device segmentalizes a text input segment into a token, and advances natural language processing.例文帳に追加

セグメント化装置は、テキスト入力セグメントをトークンにセグメント化し、更に自然言語処理を進める。 - 特許庁

This text allows the manager of the token game machine to speedily take a concrete measure only by the display of a screen.例文帳に追加

これによりメダルゲーム機の管理者は画面表示だけで速やかに具体的な対応を取ることができる。 - 特許庁

The apparatus comprises a registration processing means 3, which selects a text dividing means 6 in response to language information for the document data input from an input means 1, and divides the document data into a token using the text dividing means 6.例文帳に追加

入力手段１から入力される文書データの言語情報に応じて登録処理手段３がテキスト分割手段６を選択し、該選択したテキスト分割手段６を用いて文書データをトークンに分割する。 - 特許庁

To provide a method for dividing a sentence image into a text and a continuous tone area by detecting which part in the high contrast area of an image corresponds to the text by means of form comparison or making token.例文帳に追加

イメージの圧縮・伸長が実装されている環境において、連続トーンイメージは目に見える品質劣化なしにテキストより低い解像度で保存できるため、イメージの他の部分からテキストを分割することが重要である。 - 特許庁

To provide a processing to decompose a morphemic analytic text or the like into words for efficiently executing the division processing of a composite word, and for guaranteeing that a token column to be obtained as the analytic result is the optimal even when the composite word is divided.例文帳に追加

形態素解析等の文章を単語に分解する処理において、複合語の分割処理を効率的に行い、かつ複合語を分割した際にも解析結果として得られるトークン列が最適なものであることを保証できるようにする。 - 特許庁