Термин вывод в теории Карла Фристона означает вывод неизвестной причины из известного следствия. Согласно Фристону, живые существа догадываются о скрытой от них (марковским одеялом) причине по неожиданному для них исходу — именно по отсутствию очевидной причины.
"Этот сюрприз можно рассматривать как ошибку прогноза, которую можно использовать для обновления наилучшего предположения, чтобы обеспечить более точное прогнозирование", – пояснил Фристон, помогая мне, наконец, понять, что странное событие может быть также классифицируется как ошибка прогноза, хотя заранее не было сделано никакого конкретного прогноза в отношении такого события. Выброс - это действительно ошибка прогноза!
Когда они находят подходящую причину или объяснение своим ощущениям, ошибка предсказания устраняется. Если им удается объяснить ошибку предсказания или неожиданность, то их новое объяснение или причинно-следственная связь (закономерность, закономерность) дополняет их картину мира (объективную реальность). Это известно как обновление байесовских убеждений как дань основным правилам вероятности и вывода.
Таким образом, живые существа устраняют неопределенность, как выразился Фристон. Удивление служит их движущим мотивом, но удивляет их не неуверенность, а неожиданность.
Именно неожиданная неопределенность, которую я так люблю, одновременно стимулирует обучение и дает возможность чему-то научиться, потому что неожиданность здесь эквивалентна неизвестности.
Мы не знаем, что послужило причиной того, что это событие произошло, и нам любопытно узнать, почему оно произошло. Мы не знаем, а значит, можем узнать. Это означает, что мы можем чему-то научиться. Как только мы узнаем причину этого необъяснимого события, мы не удивимся, если подобное событие произойдет снова. Короче говоря, сведение к минимуму неожиданностей заставляет нас быть любопытными существами.
Мне кажется, что все, что я до сих пор писал о теории Фристона, должно быть не только легко для понимания, но и должно показаться до боли знакомым любому человеку, прочитавшему первый раздел этой книги о естественном методе обучения. По-моему, это оно, слово в слово.
Начинаются дальнейшие подробности. Мы не просто размышляем о причине на кофейной гуще, но используем для этого байесовский вывод, но применяемый в обратном порядке. То есть мы берем наблюдаемый результат в виде необработанных данных, пропускаем его через индивидуальный фильтр нашего структурированного опыта (субъективного восприятия) и получаем актуализацию картины мира (объективной реальности) либо с помощью мы изобрели новый паттерн — сочетание причины со следствием или определение события, выпадающего из этой картины как выброс.
Меня, естественно, ничуть не удивляет, что в данном случае распределение вероятностей по формуле Байеса рассчитывается лишь приблизительно. Фристон на самом деле использует вероятностный силлогизм Налимова-Байеса, скорее всего, даже не осознавая этого.
Далее смысл распаковывается в текст математическими средствами, которыми я не владею. Впрочем, я не удивлюсь, если математика Фристона будет напоминать математику колмогоровской сложности, описывающую как процесс сжатия текста (набора алгоритмов) в смысл (кратчайший алгоритм, способный воспроизвести узор целиком), так и обратный процесс извлечения текст по смыслу. «Действительно, именно здесь в 1950-х годах зародился прогностический подход к минимизации свободной энергии, когда он использовался для сжатия звуковых файлов. Сжатие, эффективность и минимизация сложности были центральными и повторяющимися темами повсюду», — прокомментировал Фристон, еще больше укрепив эту связь.
Где здесь свободная энергия? Свободная энергия Фристона — мера неожиданности. Она не имеет семантического отношения к термодинамической свободной энергии, которую мы обсуждали в предыдущих главах. Возможно, какое-то формальное сходство есть только в математике. Поэтому я не использую этот термин при описании теории Фристона. Больше всего меня в нем интересует смысл.
Теория Фристона, однако, противоречит поведению мудрого писка-пескаря в сказке Михаила Салтыкова-Щедрина. Он сидел в своей норе, не высовывая головы, потому что боялся ожидаемой (известной) неопределенности и в результате ждал единственной неожиданной определенности, именуемой смертью. При оценке вероятности быть или не быть съеденным щукой или пойманным на удочку, мудрый пескарь всегда исходил из наихудшего хода событий, вероятность которого казалась пескарю-пищухе просто огромной.
Ну да бог с ним. Мудрый пескарь-пищаль — вымышленный персонаж, но поведение людей часто ничем не отличается от поведения этого пескаря-пищала. О каком, к черту, разрешении неопределенности вы говорите?! Нам остается только сидеть в норах и дрожать! «Жил трепетом и умер трепетом», как писал Салтыков-Щедрин.
Ожидаемая (известная) неопределенность не может быть разрешена, потому что она уже является результатом разрешения неожиданной неопределенности. Мы ничего не можем узнать, исследуя его дальше. Вы можете подбросить монету миллион раз, но это не поможет предсказать, какой стороной она упадет в следующий раз. Хотя вероятность известна: 50 на 50. Ни орел, ни решка нас не удивят. Мы удивимся, если монета встанет на ребро. Только тогда мы начнем искать причину и чему-то научимся, если найдем (и даже если не найдем).
Различные события происходят с разной степенью вероятности. Некоторые почти наверняка случаются, другие лишь изредка. Зная вероятности, мы можем использовать это знание, чтобы свести к минимуму плохие результаты (и их последствия) и максимизировать хорошие. Это называется эксплуатацией знаний. Это важно, но не является предметом этой книги.
Мне очень нравится метафора знания как нечто вроде термодинамической свободной энергии. Знания могут работать. Однако в процессе работы часть знаний рассеивается точно так же, как часть энергии, производящей работу, рассеивается в тепло. Уровень информационной энтропии системы увеличивается, но мы не можем экспортировать эту энтропию в окружающую среду, если уровень энтропии там выше, чем в нашей системе.
Чтобы экспортировать энтропию в окружающую среду, мы должны понизить уровень нашей внутренней энтропии ниже уровня внешней энтропии.
Если энтропия (т. е. средняя неожиданность) является мерой невежества, то нам нужно понизить наше невежество. Как мы можем сделать это?
Это можно сделать, разрешив неожиданную неопределенность и тем самым уменьшив энтропию. Каждое правильное решение на этом пути лишь на долю увеличивает наши знания, но во много раз расширяет пространство нашего невежества. Снижая энтропию знаний в сфере эксплуатации знаний, мы одновременно увеличиваем ее в сфере создания знаний.
Я пока не готов описывать, как выглядит этот процесс, но полагаюсь на свое суждение по свидетельствам очевидцев. Эйнштейн, Планк, Фейнман — мне кажется, что этот список можно продолжить еще многими именами великих ученых — все говорили и писали, что каждое новое открытие открывает огромное новое поле неизведанного.
В ответ на правильный ответ мы получаем целый десяток новых вопросов. Выдающийся американский физик-теоретик Джон Арчибальд Уилер сравнил знания с островом в океане невежества. Чем больше становится остров, тем длиннее тянется его береговая линия с невежеством.
Устраняя одну причину удивления, мы одновременно создаем массу новых причин. Возможно, кто-то скажет, что это увеличение энтропии за счет ее уменьшения противоречит какому-то важному закону природы, но это не значит, что оно нереально.
Теперь мне кажется, что Эрвин Шредингер писал об этом виде отрицательной энтропии, когда утверждал, что жизнь питается ею. Любая мертвая материя способна следовать законам природы, но изобретать эти законы может только жизнь.
В статье о любознательности, исследовании и озарении Фристон и его коллеги действительно очень подробно и, с моей точки зрения, очень точно описали метод естественного обучения. Однако в их описании все снова сводилось к тому, чтобы свести к минимуму неожиданность.
Нахождение причины действительно превращает неожиданное событие в ожидаемое, однако лишь в очень узких пределах — только тогда, когда мы наблюдаем событие, которое мы обозначили как причину. Фристон видит эту узость и вводит еще несколько уровней, на которых также сводится к минимуму неожиданное. Он получает достаточно законченную и последовательную конструкцию, которая, тем не менее, основана ни на чем, кроме минимизации внезапности.
Ребенок рождается в мире, полном сюрпризов. Для него все происходит впервые. Он не только ищет причины всего, что происходит вокруг него, но и постоянно расширяет свое пространство, встречая все новые и новые сюрпризы.
Не могу отделаться от мысли, что поведение живого существа, по теории Фристона, есть все-таки модификация поведения мудрого писка-пескаря.
«Если хочешь радоваться жизни, держи глаза открытыми», — наставлял отец пескаря-пискала. «Щука в луже, чтобы карась не дремлет», — гласит русская народная пословица. Это, конечно, совершенно антинаучно, но давайте разберемся, о чем они говорят. Почему пескарю-пискалю необходимо держать глаза открытыми? Мы стремимся не пропустить ожидаемое событие или неожиданное?
Если карась уже знает, что щука сидит в луже, то для него нападение щуки будет ожидаемым событием, вписывающимся в его модель мира. Однако он не знает, когда и с какой стороны будет атака. Как он может свести к минимуму этот сюрприз с моделью Фристона?
По-моему, получается, что никак не может, разве что спрячется в норе, как мудрая пищаля-песак, или не выпрыгнет из воды на берег. Смерть сводит к минимуму все неожиданности, недавно написал мой постоянный оппонент в Facebook.
Получается, что после рождения мы максимизируем сюрпризы, а потом начинаем их минимизировать, пока с помощью смерти не сведем их к нулю. Хотя мы больше об этом не узнаем, модель, по которой мы предсказываем будущее по Фристону, перестанет существовать.
Наверное, я бы смирился с теорией Фристона, заменив минимизацию едой. Жизнь питается неожиданностями. Мы впитываем удивление, потому что оно питает наш разум. Мы минимизируем удивление, съев его.
Конечно, обед можно назвать процессом минимизации еды. Но сведение к минимуму еды не является целью. Наша цель – насытиться и получить удовольствие от процесса.
Я не знаю, можно ли адаптировать выдающуюся математику Фристона к процессу подпитки ума вместо минимизации. Было бы здорово, если бы это было возможно. Фристон нашел превосходную аналогию с кормлением ума, так что теперь это определенно будет сделано.
Использованная литература:
- Фристон, К.Дж., Лин, М., Фрит, К.Д., Пеццуло, Г., Хобсон, Дж.А., и Ондобака, С. (2017). Активный вывод, любопытство и проницательность. Нейронные вычисления, 29(10), 2633–2683. https://doi.org/10.1162/neco_a_00999
- Михаил Салтыков-Щедрин (1883) Сказки для несовершеннолетних детей
- В. В. Налимов, Жанна Дрогалина-Налимова, К. Зуев (2000) Вселенная смыслов
- Александр Шень, Владимир Андреевич Успенский, Николай Верещагин. Колмогоровская сложность и алгоритмическая случайность. Американское математическое общество, 2017 г., 9781470431822. fflirmm-01803620f
- «Мы живем на острове, окруженном морем невежества. По мере роста нашего острова знаний растет и берег нашего невежества». Джон А. Уилер. Цитата из «Новых вызовов». Scientific American (декабрь 1992 г.)
- Шредингер, Э., и Пенроуз, Р. (1992). Что такое жизнь?: С разумом и материей и Автобиографические очерки (Песнь). Кембридж: Издательство Кембриджского университета. https://doi.org/10.1017/CBO9781139644129
