расширить 1 тусклый вектор, используя ряд Тейлора log (1 + e ^ x) в python

Это действительно интересный вопрос, но я пока не могу сказать, что я в нем разобрался. Итак, хотя у меня есть некоторые мысли, я могу упустить суть того, что вы хотите сделать.

Похоже, вы хотите разработать свою собственную функцию активации вместо использования чего-то RELU или softmax. Вреда точно нет. И вы дали трех кандидатов: e^x, log(x), and log(1+e^x).

Обратите внимание, что log(x) асимптотически приближается к отрицательной бесконечности x --> 0. Таким образом, log(x) верен. Если это было предназначено для проверки ответов, которые вы получили, или что-то было записано, когда вы засыпали, не беспокойтесь. Но если это не так, вам следует потратить некоторое время и убедиться, что вы понимаете основы того, что вы делаете, потому что последствия могут быть весьма серьезными.

Вы указали, что искали канонический ответ, и здесь вы получаете два к одному. Вы получаете как канонический ответ, так и высокопроизводительный код.

Учитывая, что вы вряд ли сможете писать более быстрый и оптимизированный код, чем ребята из SciPy, Numpy или Pandas. Или ПиПи. Или Cython, если уж на то пошло. Вещи у них стандартные. Так что не пытайтесь конкурировать с ними, написав свою собственную, менее производительную (и, возможно, с ошибками) версию, которую вам придется поддерживать с течением времени. Вместо этого максимизируйте время разработки и выполнения, используя их.

Давайте взглянем на реализацию e^x в SciPy и дадим вам код для работы. Я знаю, что на данном этапе вам не нужен график, но они красивы и могут помочь вам понять, как Тейлор (или Маклорен, он же Эйлер-Маклорен) будет работать при изменении порядка аппроксимации. Так уж получилось, что SciPy имеет встроенную аппроксимацию Тейлора.

import scipy
import numpy as np
import matplotlib.pyplot as plt

from scipy.interpolate import approximate_taylor_polynomial

x = np.linspace(-10.0, 10.0, num=100)

plt.plot(x, np.exp(x), label="e^x", color = 'black')

for degree in np.arange(1, 4, step=1):

    e_to_the_x_taylor = approximate_taylor_polynomial(np.exp, 0, degree, 1, order=degree + 2)

    plt.plot(x, e_to_the_x_taylor(x), label=f"degree={degree}")

plt.legend(bbox_to_anchor=(1.05, 1), loc='upper left', borderaxespad=0.0, shadow=True)

plt.tight_layout()
plt.axis([-10, 10, -10, 10])
plt.show()

Это производит это:

Но скажем, если вы хорошо разбираетесь в «математике», так сказать, и готовы использовать что-то немного более медленное, если оно более «математическое», поскольку оно хорошо обрабатывает символическую запись. Для этого позвольте мне предложить SymPy.

Имея это в виду, вот немного кода SymPy с графиком, потому что он выглядит хорошо И потому что нам нужно вернуться и снова попасть в другую точку.

from sympy import series, Symbol, log, E
from sympy.functions import exp
from sympy.plotting import plot
import matplotlib.pyplot as plt
%matplotlib inline

plt.rcParams['figure.figsize'] = 13,10
plt.rcParams['lines.linewidth'] = 2

x = Symbol('x')

def taylor(function, x0, n):
    """ Defines Taylor approximation of a given function
    function -- is our function which we want to approximate
    x0 -- point where to approximate
    n -- order of approximation
    """    
    return function.series(x,x0,n).removeO()

# I get eyestain; feel free to get rid of this
plt.rcParams['figure.figsize'] = 10, 8
plt.rcParams['lines.linewidth'] = 1

c = log(1 + pow(E, x))

plt = plot(c, taylor(c,0,1), taylor(c,0,2), taylor(c,0,3), taylor(c,0,4), (x,-5,5),legend=True, show=False)

plt[0].line_color = 'black'
plt[1].line_color = 'red'
plt[2].line_color = 'orange'
plt[3].line_color = 'green'
plt[4].line_color = 'blue'
plt.title = 'Taylor Series Expansion for log(1 +e^x)'
plt.show()

Я думаю, что любой из этих вариантов приведет вас туда, куда вам нужно.

Хорошо, теперь о другом. Вы четко заявили после небольшого пересмотра, что log(1 +e^x) был вашим первым выбором. Но остальные не проходят тест на обнюхивание. e^x сильно колеблется при изменении степени полинома. Из-за непрозрачности алгоритмов и того, как мало людей могут концептуально понять эти вещи, специалисты по данным могут напортачить до такой степени, которую люди даже не могут себе представить. Поэтому убедитесь, что вы очень хорошо разбираетесь в теории.

И последнее, рассмотрите возможность рассмотрения CDF дистрибутива Эрланга как функции активации (при условии, что я прав, и вы хотите использовать свою собственную функцию активации в качестве области исследования). Я не думаю, что кто-то смотрел на это, но это кажется многообещающим. Я думаю, вы могли бы выделить каждый канал RGB как один из двух параметров, а другой — физическую координату.

Вы можете использовать tf.tile и tf.math.pow для создания элементов расширения серии. Затем вы можете использовать tf.math.cumsum для вычисления частичных сумм s_i. В конце концов вы можете умножить на веса w_i и вычислить окончательную сумму.

Вот пример кода:

import math
import tensorflow as tf

x = tf.keras.Input(shape=(32, 32, 3))  # 3-channel RGB.

# The following is determined by your series expansion and its order.
# For example: log(1 + exp(x)) to 3rd order.
# https://www.wolframalpha.com/input/?i=taylor+series+log%281+%2B+e%5Ex%29
order = 3
alpha = tf.constant([1/2, 1/8, -1/192])  # Series coefficients.
power = tf.constant([1.0, 2.0, 4.0])
offset = math.log(2)

# These are the weights of the network; using a constant for simplicity here.
# The shape must coincide with the above order of series expansion.
w_i = tf.constant([1.0, 1.0, 1.0])

elements = offset + alpha * tf.math.pow(
    tf.tile(x[..., None], [1, 1, 1, 1, order]),
    power
)
s_i = tf.math.cumsum(elements, axis=-1)
y = tf.math.reduce_sum(w_i * s_i, axis=-1)