labview的深入探索----双精度数精度问题
扫描二维码
随时随地手机看文章
日前帮朋友看一个程序,一个WHILE循环,退出条件是等于一个双精度数,结果程序未按照预想条件退出,由此想到了双精度数的精度问题。
计算机中的双精度数都存在精度损失的问题,因此一般不宜用相等进行判断。
可以看出,0.8+(0.42-0.5)!=0而下面(0.08+0.42)-0.5 =0
上面!=0但是+1后却等于1。
双精度浮点数的确不适合用相等来判断。
扫描二维码
随时随地手机看文章
日前帮朋友看一个程序,一个WHILE循环,退出条件是等于一个双精度数,结果程序未按照预想条件退出,由此想到了双精度数的精度问题。
计算机中的双精度数都存在精度损失的问题,因此一般不宜用相等进行判断。
可以看出,0.8+(0.42-0.5)!=0而下面(0.08+0.42)-0.5 =0
上面!=0但是+1后却等于1。
双精度浮点数的确不适合用相等来判断。