Вопросы по теме 'rounding-error'
Как мне справиться с ошибками округления на дублях в vb.net?
Я пытаюсь сбалансировать набор значений валют с помощью vb.net. Итоговые значения для обоих этих значений представляются как двойные. В некоторых ситуациях я получаю ошибки округления.
Как лучше всего этого избежать? Есть ли тип, который я могу...
3083 просмотров
schedule
12.02.2022
php intval() и floor() возвращают слишком низкое значение?
Поскольку тип данных float в PHP неточен, а FLOAT в MySQL занимает больше места, чем INT (и является неточным), я всегда сохраняю цены как INT, умножая их на 100 перед сохранением, чтобы гарантировать, что у нас есть ровно 2 десятичных знака точности....
10527 просмотров
schedule
01.03.2023
Ошибка округления .NET в ToString(f2)
Здравствуйте, у меня есть этот код на С#:
float n = 2.99499989f;
MessageBox.Show("n = " + n.ToString("f2", CultureInfo.InvariantCulture));
И этот код на С++:
float n = 2.99499989f;
printf("n = %.2f", n);
Первый выдает 3,00 ....
11430 просмотров
schedule
30.03.2023
Конечная разница в Haskell, или как отключить потенциальные оптимизации
Я хотел бы реализовать следующую наивную (первого порядка) функцию конечных разностей:
finite_difference :: Fractional a => a -> (a -> a) -> a -> a
finite_difference h f x = ((f $ x + h) - (f x)) / h
Как вы, возможно, знаете,...
567 просмотров
schedule
28.05.2023
Уменьшить влияние ошибки числа с плавающей запятой (округления)
Мы реализуем некоторые геометрические алгоритмы, но обнаружили, что влияние ошибки вычисления числа с плавающей запятой велико. Существуют ли какие-либо рекомендации по уменьшению такого рода эффектов?
Алгоритмы содержат много частей и очень...
1047 просмотров
schedule
26.12.2023
R проблема с округлением миллисекунд
Учитывая следующую проблему с округлением миллисекунд в R. Как мне обойти это, чтобы время было правильным?
> options(digits.secs=3)
> as.POSIXlt("13:29:56.061", format='%H:%M:%OS', tz='UTC')
[1] "2012-06-07 13:29:56.060 UTC"
>...
4532 просмотров
schedule
24.08.2022
Ошибка округления в программе интеграции c
Я делаю программу, которая находит интеграл функции для разных значений степени n и константы a. моя программа, кажется, работает правильно, но я получаю небольшую ошибку округления в своих результатах, и я не могу понять, почему. я знаю, что у меня...
163 просмотров
schedule
28.08.2023
Ошибка округления Javascript
Это функция округления, которую мы используем (которая взята из ответов stackoverflow о том, как округлить). Округляет половину до 2dp (по умолчанию)
например 2.185 должно перейти на 2.19
function myRound(num, places) {
if (places==...
245 просмотров
schedule
06.11.2022
Тестирование ошибок округления в JavaScript
Как я могу определить, является ли число слишком большим (вызовет ошибки округления при выполнении математики) в JavaScript.
Например, у меня есть функция, которая форматирует проценты. Если он не может правильно отформатировать переданное...
387 просмотров
schedule
30.05.2023
Проблема округления Java с BigDecimal и вычислениями
У меня есть набор данных, состоящий из BigDecimal чисел. Я хочу представить это в отчете. Мне удалось сформировать отчет в следующем формате. Это чем-то похоже на пробный баланс в бухгалтерском учете. Но это не так! Значения данных в таблице...
821 просмотров
schedule
27.04.2022
Округленные значения не суммируются с их неокругленными аналогами [дубликаты]
Предполагая, что у меня есть некоторые значения (представляющие доли некоторой общей суммы), которые в сумме точно равны 100 , например:
13.44500
35.35500
40.39877
10.80123
Если я округлю их до двух знаков после запятой, я получу следующие...
766 просмотров
schedule
06.07.2022
Magento 1.9.1 Проблемы с округлением
Я провел последние 2 недели, пытаясь решить проблемы с округлением при установке magento, я уже искал в Google, я уже прочитал все сообщения здесь, в stackoverflow, но, похоже, ничего не помогает.
Здесь возникает ошибка округления
Как вы...
596 просмотров
schedule
02.07.2022
Обход ошибок округления с помощью пола журнала в python
Чтобы найти количество цифр числа в определенной базе, я попытался написать строку:
numdigits = math.floor(math.log(num, base)) + 1
где math.log(num, base) эквивалентно math.log(num)/math.log(base)
Однако в обоих случаях это иногда...
140 просмотров
schedule
20.11.2022
Ошибка округления в пандах
Почему это
>>> pd.Series(94.175).values[0]
>>> 94.174999999999997
Я использую python3.5 и pandas0.20 под ноутбуком jupyter.
720 просмотров
schedule
23.05.2022
Как предотвратить ошибки округления валюты с десятичным типом переменной?
Я работаю над калькулятором плана платежей. Я переключился с «двойных» на «десятичные» типы переменных, чтобы предотвратить ошибки округления, но я все еще где-то их получаю. Я придумал этот набор данных, чтобы использовать его для тестирования...
524 просмотров
schedule
30.01.2023
Как эффективно хранить числа в python в виде суммированных выражений без потери точности из-за ошибок округления
У меня есть номер, над которым я продолжаю добавлять/суб/мульт/дел. В настоящее время я храню эти операции в виде списка.
Теперь я хочу обобщить этот список, не теряя при этом точности. Поэтому я ожидаю сократить список, но не обязательно свести...
28 просмотров
schedule
27.03.2022
Обнаружена ошибка округления, требуемый допуск (или значение по умолчанию) не может быть достигнут. Попробуйте использовать большие допуски в SCILAB
Я использую команду интеграции, но scilab показывает мне обнаруженную ошибку округления и говорит мне использовать высокое значение допуска, о котором я понятия не имею.
a=4
b1=1
b2=3
N=6
v=-50
for n=1:N...
471 просмотров
schedule
27.01.2023
Ошибка округления в функции SECOND при преобразовании чч: мм: сс.000 в миллисекунды в Excel?
Я пытаюсь написать функцию для преобразования столбца времени, введенного в формате [чч]:мм:сс.000, в миллисекунды, используя следующую функцию:
=MINUTE(C75)*60000+SECOND(C75)*1000+RIGHT(TEXT(C75, "hh:mm:ss.000"),3)
Играя с числами на...
171 просмотров
schedule
06.06.2022
Полная ширина SVG, ошибки округления в Safari
На следующем изображении обратите внимание, что слева и справа от розового SVG есть черные границы:
Демонстрация: https://codepen.io/mhulse/pen/PoZGEqJ
Это происходит в Safari при просмотре в определенных размерах области просмотра...
73 просмотров
schedule
18.04.2023
Ошибка округления по всем значениям столбца в Python
Добрый день,
У меня есть полезный фрагмент кода, скопированный ниже, который, кажется, работает с моими фиктивными данными, увы, он не работает со всеми значениями, поскольку он идет вниз по данным столбца.
Код:
import pandas as pd
from decimal...
52 просмотров
schedule
22.06.2023
