2008年02月04日
自分メモ-20080203
http://wiki.secondlife.com/wiki/Float
floatの精度は IEEE754 に従うそうな。
この辺を見ながら考える。
http://docs.sun.com/source/806-4847/ncg_math.html
頭がよければ証明を書いて終わりなんだろうが、馬鹿なので電卓で計算してノートに手で書く。
指数部があるのに固定少数点で途中まで考えていたのは内緒だ。
演算をするつもりは無いが、どこでどう使われるか分からないし、
integerとfloatの変換の際におかしくなると根底からくつがえってしまうので、
さいわい項が2つある所だったのでケタを小さめにして2つに分けて格納することに。
ループで全数チェックしようとしたがちっとも終わらないので、
あやしそうな所のみチェック。といっても3点法や5点法ではなく、2のn乗の所だけ。
あふれてマイナスになってループを抜けないとかいつものメニューもこなす。
ちなみにintegerは32bitで2,147,483,648 ~ +2,147,483,647 だそうな。
floatの精度は IEEE754 に従うそうな。
この辺を見ながら考える。
http://docs.sun.com/source/806-4847/ncg_math.html
頭がよければ証明を書いて終わりなんだろうが、馬鹿なので電卓で計算してノートに手で書く。
指数部があるのに固定少数点で途中まで考えていたのは内緒だ。
演算をするつもりは無いが、どこでどう使われるか分からないし、
integerとfloatの変換の際におかしくなると根底からくつがえってしまうので、
さいわい項が2つある所だったのでケタを小さめにして2つに分けて格納することに。
ループで全数チェックしようとしたがちっとも終わらないので、
あやしそうな所のみチェック。といっても3点法や5点法ではなく、2のn乗の所だけ。
あふれてマイナスになってループを抜けないとかいつものメニューもこなす。
ちなみにintegerは32bitで2,147,483,648 ~ +2,147,483,647 だそうな。
Posted by march at 00:35│Comments(0)