机械必威体育网址

找回密码
注册会员

QQ登录

只需一步,快速开始

搜索
查看: 1850 | 回复: 2
打印 上一主题 下一主题

请教,那位大侠能解决宏程序计算中的数值溢出问题

[复制链接]
跳转到指定楼层
1#
发表于 2009-9-6 12:15:43 | 只看该作者 回帖奖励 | 倒序浏览 | 阅读模式
最近编了一个宏程序,其中有一个计算数值的程序段“#110=6.0-6.3+0.3”其结果应该得0。但在存储器中显示的是“******" 这应该是十进制转换为二进制计算后出现的溢出现象,但要是采用取整的方法,加工精度会受到影响。请教各位大侠,是否有更好的方法。
2#
发表于 2009-9-6 16:00:15 | 只看该作者
用INT表示向上取整,假如你要的精度是0.001,那么
# U2 c. v. z$ Y; G#110=(INT(INT((6.0-6.3+0.3)*1000))-0.1))/1000
3#
楼主 | 发表于 2012-1-19 13:31:08 | 只看该作者
谢谢大侠指教{:soso_e179:}
您需要登录后才可以回帖 登录| 注册会员

本版积分规则

小黑屋|手机版|Archiver|机械必威体育网址(京ICP备10217105号-1,京ICP证050210号,浙公网安备33038202004372号)

GMT+8, 2024-8-13 06:36, Processed in 0.050536 second(s), 14 queries , Gzip On.

Powered byDiscuz!X3.4Licensed

? 2001-2017Comsenz Inc.

快速回复 返回顶部 返回列表