round off errorとは 意味・読み方・使い方

Further, calculating ψ=Ψ-π×round (Ψ/π) (round stands for the operation of rounding off) for the component Ψ to remove the random component (π component), and detecting the sampling error component.例文帳に追加

さらに、位相成分Ψに対してモジュラス演算部２１６においてψ＝Ψ−π×ｒｏｕｎｄ（Ψ／π）（ｒｏｕｎｄは四捨五入演算）なる演算を行いランダム成分（π成分）を除去しサンプリング誤差成分を検出する。 - 特許庁

To provide a resolution compression method wherein an error generated by round-off of a lower bit or carry of a medial magnitude or higher is improved, in resolution compression processing of waveform data of a waveform display device such as a digital oscilloscope.例文帳に追加

デジタルオシロスコープなどの波形表示装置の波形データの解像度圧縮処理において、下位ビットの切り捨て、半値以上桁上がりにより発生する誤差を改善した解像度圧縮方法を提供する。 - 特許庁