rounding precisionとは 意味・読み方・使い方

Returns a value equal to x after rounding and having the exponent ofy.Unlike other operations, if the length of the coefficient after the quantizeoperation would be greater than precision, then an InvalidOperation is signaled.例文帳に追加

x に値丸めを適用し、指数を y にした値を返します。 他の演算と違い、量子化後の係数の長さが精度よりも大きい場合にはInvalidOperation をシグナルします。 - Python

A lower limit of prediction error for a motion vector of decimal pixel precision is calculated using an already calculated rounding error (S3), and this lower limit is compared with a value stored as the minimum value of the prediction error (S4).例文帳に追加

小数画素精度の動きベクトルに対する予測誤差の下限値を，既に計算済みの丸め誤差を用いて算出し（Ｓ３），この下限値と予測誤差の最小値として格納された値との大小を比較する（Ｓ４）。 - 特許庁

To improve the estimate precision of a frequency error, that is, the accuracy of automatic frequency control by rounding off only reception information clearly low in reliability.例文帳に追加

明らかに信頼度の低い受信情報だけを切り捨てることにより、周波数誤差の推定精度すなわち自動周波数制御の精度を向上できるようにすることを課題とする。 - 特許庁

To secure logic simulation precision by previously detecting a decrease in delay verification information due to an increase in delay due to waveform rounding and malfunction of a hardware macro under the influence of an output load when an output signal is fed back to the inside of the hardware macro itself.例文帳に追加

波形鈍りに起因する遅延増加による遅延検証精度の低下と、出力信号がハードマクロ自身の内部へフィードバックする場合の出力負荷の影響によるハードマクロの誤動作とを事前に検出し、論理シミュレーション精度を確保する。 - 特許庁

To provide a polishing apparatus and a method capable of performing polishing so that edge rounding is eliminated, thus improving the finish precision of a polished workpiece, and a large amount of a polishing solution can be supplied to the surface to be polished, thereby increasing polishing speed and improving productivity.例文帳に追加

研磨対象物の縁だれを解消し仕上げ精度を高くする研磨と、被研磨面に多量の砥液を供給し、研磨速度を高くして生産性の高くする研磨の両方に対応することができる研磨装置、および研磨方法を提供すること。 - 特許庁

To reduce precision requested for positioning, a calculation time in a vibration analysis process and a rounding error in confirming calculation by a computer in supporting the design of optical equipment in consideration of the deformation of optical components to be used by using a method for analyzing the optimal mechanical structure of the optical equipment by optical path analysis and mechanical system analysis.例文帳に追加

光学機器の最適な機械構造を光路解析及び機械系解析の手法を用いて、使用する光学部品の変形を考慮しつつ光学機器を設計支援する際、位置決めに要求される精度、振動解析工程での計算時間、コンピュータで計算する際の丸め誤差を減らす。 - 特許庁

To provide a high-speed, high-precision semiconductor laser driving unit that has superior tone reproducibility, especially, at low density by improving pulse thinning and waveform rounding and also reducing variance in light quantity among light sources by correcting a driving current according to a light emission state of the light source, and to provide an image forming apparatus including the same.例文帳に追加

光源の発光状態に応じて駆動電流を補正することにより、パルス細りや波形鈍りを改善するとともに、光源間での光量ばらつきを低減し、特に低濃度における階調再現性に優れた高速・高精度の半導体レーザ駆動装置、及びこれを含む画像形成装置を提供すること。 - 特許庁