Публикации по теме 'entropy'
ML Scikit Learn: деревья решений
Дерево решений — это тип алгоритма контролируемого обучения (с заранее определенной целевой переменной), который в основном используется в задачах классификации. Деревья решений задают множество линейных вопросов для классификации данных. то есть сформировать границу решения в наборе классификационных данных.
Прирост информации, энтропия и загрязнение:
Энтропия — это мера нечистоты в ряде примеров. то есть это помогает нашему дереву решений решить, где разделить данные...
Энтропия: от термодинамики к машинному обучению.
Введение :
Я познакомился со словом энтропия, когда учился в инженерной школе. Это слово снова появилось, когда я изучал науку о данных. Поэтому мне было любопытно, как слово «энтропия» используется в разных академических областях. В этой статье я попытаюсь установить связь. Я осторожно начну с энтропии в ее применении к термодинамике, затем расскажу об энтропии в теории информации, а затем в науке о данных. Наконец, мы увидим его применение в построении дерева решений —..
Визуализируйте деревья решений и понимайте энтропию
Чем больше я работаю над проектами машинного обучения, тем больше у меня возникает вопросов о деревьях решений. Но деревья — это черный ящик для новичков. Что делают деревья?
В этом посте я покажу, как визуализировать деревья и понять энтропию, стоящую за этим методом. Идея деревьев решений — это просто бинарные вопросы для каждого разделения данных.
В этой записной книжке Jupyter я предоставил несколько кодов для визуализации деревьев решений, если вы хотите попробовать это..
Информативность и энтропия
Информационное содержание —
Если я скажу, что сегодня солнце взойдет на востоке, мы не получим никакого информационного прироста, потому что это универсальная истина. Если мы установим вероятность этого условия, то мы можем обнаружить, что вероятность этого состояния очень высока.
Но если я скажу вам, что завтра произойдет землетрясение, это очень редкое событие, поэтому прирост информации для этого события очень высок. Это вызывает много удивления и на основании этого мы..
ДРЕВО РЕШЕНИЙ
Дерево решений подпадает под категорию контролируемого машинного обучения, оно также называется КОРЗИНА (деревья классификации и регрессии) . Он использует древовидную структуру для моделирования отношений между функциями и результатами . Он состоит из узлов , которые представляют функцию принятия решения , и ветвей , которые представляют собой выходные данные функций принятия решений . Таким образом, это блок-схема для решения, как классифицировать новую точку..
Вопросы по теме 'entropy'
Формула энтропии Шеннона. Помогите моему замешательству
Насколько я понимаю, формула энтропии заключается в том, что она используется для вычисления минимального количества битов, необходимых для представления некоторых данных. Обычно это формулируется по-другому, когда определяется, но до сих пор я...
4333 просмотров
schedule
06.04.2022
Можно ли генерировать случайные числа с помощью физических датчиков?
Я слышал о людях, использующих датчики света, счетчики Гейгера и другие физические датчики для генерации случайных чисел, но я настроен скептически. Есть ли способ генерировать случайные числа на основе измерений физического мира (используя Arduino...
4321 просмотров
schedule
16.12.2022
Самый быстрый способ вычисления энтропии в Python
В моем проекте мне нужно много раз вычислять энтропию векторов 0-1. Вот мой код:
def entropy(labels):
""" Computes entropy of 0-1 vector. """
n_labels = len(labels)
if n_labels <= 1:
return 0
counts =...
144172 просмотров
schedule
01.02.2024
Справедливо увеличить размер набора случайных чисел?
Вопрос по математике/программированию, который возник, когда я пытался использовать набор случайных данных в качестве источника энтропии. В ситуации, когда я использую что-то вроде предварительно созданных случайных файлов от Random.org в качестве...
92 просмотров
schedule
02.08.2023
Низкая энтропия на Android
Всякий раз, когда пул энтропии уменьшается в Android, мы можем легко наблюдать вялость устройства, но я не вижу подобного поведения в Linux (ubuntu). Я использую 2 ГБ оперативной памяти в обоих. Почему пул энтропии так сильно влияет на...
2615 просмотров
schedule
23.05.2024
Побитовая эффективная равномерная генерация случайных чисел
Я помню, как читал о методе эффективного использования случайных битов в статье на веб-сайте, ориентированном на математику, но я больше не могу найти правильные ключевые слова в Google, чтобы найти его, и его нет в истории моего браузера.
Суть...
241 просмотров
schedule
24.01.2023
CFHTTP: первый запрос быстрый, следующий медленный
В данный момент у меня большие проблемы с CFHTTP CF10.
Во-первых, мой тестовый скрипт:
<CFSET results = arraynew(1) />
<CFLOOP from="1" to="10" index="idx">
<CFSET timer_start = getTickCount() />
<CFHTTP...
1311 просмотров
schedule
16.07.2023
Спектральная энтропия и спектральная энергия вектора в Matlab
Я собираюсь использовать спектральную энергию и спектральную энтропию в качестве функций для данных временных рядов на основе окна. Тем не менее, я немного смущен формулой, используемой для этого в Интернете, особенно в отношении специальной...
6369 просмотров
schedule
17.04.2023
Сколько (или мало) энтропийных паролей, сгенерированных таким образом, имеют
Поэтому я знаю, что создание пароля следующим образом - плохая идея. Я бы сказал, что у него всего несколько (например, 5 или около того) битов энтропии, но я не могу правильно ее рассчитать.
Может ли кто-нибудь показать мне, как рассчитать...
72 просмотров
schedule
27.10.2022
добавление эпсилон в расчет энтропии
Используя некоторые математические приемы и MATLAB, мы можем легко вычислить энтропию заданного входа. Например
x = [10 25 4 10 9 4 4];
[a,b]=hist(x,unique(x));
x =
10 25 4 10 9 4 4
a =
3 1 2 1
b =...
183 просмотров
schedule
04.06.2023
Энтропия и информационное отношение
С точки зрения теории сжатия и информации энтропия источника — это среднее количество информации (в битах), которую могут передать символы из источника. Неформально говоря, если мы уверены в исходе события, то энтропия меньше.
J. Principe, D. Xu,...
311 просмотров
schedule
17.03.2023
Что на самом деле означает получение информации при интеллектуальном анализе данных?
Information Gain= (Information before split)-(Information after split)
Информационный прирост можно найти с помощью приведенного выше уравнения. Но чего я не понимаю, так это в чем именно смысл этого сбора информации? Означает ли это, что...
515 просмотров
schedule
06.08.2022
Самый быстрый способ вычислить энтропию каждой строки массива numpy?
У меня есть массив размером MxN, и мне нравится вычислять значение энтропии каждой строки. Какой способ сделать это быстрее всего?
18656 просмотров
schedule
28.04.2023
Как рассчитать энтропию кластеризации? Рабочий пример или программный код
Я хотел бы рассчитать энтропию этой примерной схемы
http://nlp.stanford.edu/IR-book/html/htmledition/evaluation-of-clustering-1.html
Кто-нибудь может объяснить шаг за шагом с реальными значениями? Я знаю, что существует неограниченное...
14204 просмотров
schedule
15.07.2022
Различия между библиотеками поколения UUIDv4 - и - просто созданием собственной со случайными шестнадцатеричными символами или битами
На тему состава UUID4, согласно Википедии .. .
UUID версии 4 имеют вид xxxxxxxx-xxxx-4xxx-yxxx-xxxxxxxxxxxx, где x — любая шестнадцатеричная цифра, а y — одна из 8, 9, A или B.
Итак, я могу придумать три возможных метода, которые...
272 просмотров
schedule
14.06.2022
Как вычисляются градиент и гессиан логарифмических потерь в примере сценария пользовательской целевой функции в репозитории xgboost на github?
Я хотел бы понять, как вычисляются градиент и гессиан функции logloss в пример скрипта xgboost .
Я упростил функцию, чтобы принимать массивы numpy, и сгенерировал y_hat и y_true , которые являются образцами значений, используемых в скрипте....
4040 просмотров
schedule
12.05.2023
Matlab - сравнение энтропии гистограмм
Я пытаюсь понять энтропию вектора. Я начал с создания выборки размером 1000000 из нормального распределения со средним значением 130 и дисперсией 1:
kk=normrnd(130,20,1000000,1);
kk=uint8(kk);%did this or else the result was 0
entropy(kk)...
679 просмотров
schedule
19.02.2022
Codename One - Сбор энтропии
Есть ли какой-то прямой способ (без написания кода для конкретной платформы) собрать некоторую энтропию из базовой системы?
Есть ли у вас планы добавить кроссплатформенный механизм сбора энтропии? Это будет очень полезная функция.
33 просмотров
schedule
03.01.2023
Как найти энтропию каждого столбца набора данных Python?
У меня есть набор данных, квантованный Python до 10 уровней, и он выглядит так:
9 9 1 8 9 1
1 9 3 6 1 0
8 3 8 4 4 1
0 2 1 9 9 0
Это означает, что компонент (9 9 1 8 9) принадлежит классу 1. Я хочу найти энтропию каждой функции (столбца)....
6375 просмотров
schedule
01.01.2023
Энтропия Шеннона на массиве, содержащем нули
Я использую следующий код, чтобы вернуть энтропию Шеннона для массива, представляющего распределение вероятностей.
A = np.random.randint(10, size=10)
pA = A / A.sum()
Shannon2 = -np.sum(pA*np.log2(pA))
Это отлично работает, если массив не...
2121 просмотров
schedule
14.12.2022
