クン語の英語

処理対象の自然言語文をかかる自然言語文の構成要素であるトークンに分解してトークンリストに登録するトークンリスト作成部１１と、このトークンリスト作成部１１にて作成されたトークンリストに基づいて処理対象の自然言語文を構成するのに最適なトークン列を選択するトークン列選択部１３とを備える。例文帳に追加

This morphemic analyzing device is provided with a token list preparing part 11 for decomposing a natural language sentence to be processed into tokens being the constituting elements of the natural language sentence, and for registering the tokens in a token list and a token column selecting part 13 for selecting the token column optimal for constituting the natural language sentence to be processed based on a token list prepared by the token list preparing part 11. - 特許庁

文を構成するトークンの品詞を正確に解析する言語解析システムを提供する。例文帳に追加

To provide a language analysis system which exactly analyzes parts of speech of tokens constituting a sentence. - 特許庁

そして、トークンリスト作成部１１は、形態素解析に対して与えられた条件に応じて、処理対象の自然言語文を分解して得られたトークンのうち、より小さいトークンに分割可能なトークンを除いてトークンリストに登録する。例文帳に追加

Then, the token list preparing part 11 registers the tokens obtained by decomposing the natural language sentence to be processed in the token list by removing the tokens dividable into much smaller tokens according to conditions applied to the morphemic analysis. - 特許庁

音声認識方法は、隠れマルコフモデルにおける音響モデルおよび複数の言語モデルと、複数の単語要素および音声波形データを関連づけた発音辞書とを利用する音声認識方法であって、トークン毎に、複数の言語モデルの中から、特定の言語モデルを予め設定し、これらの特定の言語モデルの確率値を参照して、音声認識する。例文帳に追加

This voice recognizing method uses a sound model and a plurality of language models of a hidden Markov model and a pronunciation dictionary wherein word elements and voice waveform data are related, previously sets specific language models among the language models, token by token, and refers the probability value of those specified language models to perform voice recognition. - 特許庁

形態素解析等の文章を単語に分解する処理において、複合語の分割処理を効率的に行い、かつ複合語を分割した際にも解析結果として得られるトークン列が最適なものであることを保証できるようにする。例文帳に追加

To provide a processing to decompose a morphemic analytic text or the like into words for efficiently executing the division processing of a composite word, and for guaranteeing that a token column to be obtained as the analytic result is the optimal even when the composite word is divided. - 特許庁

セグメント化装置は、テキスト入力セグメントをトークンにセグメント化し、更に自然言語処理を進める。例文帳に追加

The segmenting device segmentalizes a text input segment into a token, and advances natural language processing. - 特許庁

トークンパタン認識規則は、文字パタン認識規則を組み込むことで、順に並んだ言語トークン列の曖昧な部分に含まれる文字を、構文パタンの対応する部分を定義する文字パタンと照合する。例文帳に追加

The token pattern recognition rule compares a character included in a fuzzy part of the language token string sequenced in order with a character pattern defining the corresponding part in the syntax pattern by incorporating a character pattern recognition rule. - 特許庁

登録処理部１２は、所定の区切り文字を境界として、文書データ又はテキストを単語単位の文字列であるトークンに分割し、該トークンを少なくともその出現位置情報と共に抽出する。例文帳に追加

A registration processing part 12 divides document data or text into tokens being a character string of a word unit by using a prescribed delimiter as a boundary, and extracts the tokens together with at least the appearance position information of the tokens. - 特許庁