Самоконтролируемое обучение (LASSO) — это метод обучения без учителя, который направлен на обнаружение скрытых переменных или внутренних структурных паттернов в наборах данных \[[@B1]\]. Первоначальный LASSO, предложенный Тибширани и Фридманом \[[@B3]\], называется регуляризованным LASSO (RLS), который заменяет штраф за наименьшее абсолютное отклонение (LAD) штрафом за разреженную обратную ковариацию (SIC), который является регуляризацией терм, основанный на разреженной матрице, чтобы избежать проблемы переобучения \[[@B2]\]. Кроме того, SIC имеет на один параметр меньше, поэтому имеет небольшое смещение и, таким образом, больше подходит для изучения разреженных наборов данных.
В SIC LASSO сложно точно определить уровень разреженности, потому что разреженность не может быть непосредственно измерена и непосредственно оценена на практике. В SIC LASSO было две ключевые проблемы: разреженность матрицы *W* и шаблон разреженности для переменных. Разреженность матрицы *W* является необходимым условием выбора переменных, обеспечивающим идентифицируемость вектора разреженных коэффициентов. На практике разреженность матрицы *W* измерить непросто, поскольку обычно она неизвестна. Таким образом, шаблон разреженности переменных также является ключевым предположением для выбора переменных. Однако не очевидно, как точно оценить шаблон разреженности переменных.
В последнее время многие исследования выявили важность оценки модели разреженности переменных. Одним из направлений исследований является разработка методов выявления внутренней структуры переменных \[[@B4], [@B5]\]. Кроме того, другие направления исследований направлены на поиск оптимального штрафа за разреженность, который делает матрицу *W* разреженной, путем одновременной оптимизации штрафа за разреженность и параметризации модели \[[@B6], [@B7], [@B8]\]. Кроме того, было установлено, что оптимальный штраф за разреженность должен быть решением задачи выпуклой оптимизации \[[@B9]\]. Однако оптимальный штраф за разреженность не всегда является решением задачи выпуклой оптимизации. Это означает, что найти оптимальный штраф за разреженность непросто. Чтобы преодолеть эту ситуацию, существует несколько существующих методов эффективной оценки шаблона разреженности переменных. Например, в \[[@B10]\] штраф за наименьшее абсолютное отклонение (LAD) используется для решения задачи выпуклой оптимизации простым способом для оценки шаблона разреженности переменных при обучении без учителя. В \[[@B11]\] применяется штраф за разреженную обратную ковариацию (SIC) для решения задачи разреженной обратной ковариации LASSO (SIC-LASSO). Эти существующие методы не учитывают, что шаблон разреженности переменных неизвестен *априори*. Существующие методы требуют некоторых начальных значений для построения целевой функции. Такое требование может быть легко выполнено в случае, когда переменные известны *априори*. Однако предлагаемая структура не требует начальных значений. Предлагаемая структура также может быть использована для задачи обучения без учителя с использованием известного шаблона разреженности.
Основная цель предлагаемой нами структуры — эффективное решение SIC LASSO. Есть несколько факторов, которые затрудняют эффективное решение SIC LASSO. Во-первых, шаблон разреженности переменных заранее неизвестен. Во-вторых, количество переменных велико, многие переменные имеют несколько записей, и многие переменные сильно коррелированы. В-третьих, штрафные члены являются нелинейными функциями и могут не иметь эффективного решения. Предлагаемая структура предназначена для решения шаблона разреженности переменных, который может одновременно определять шаблон разреженности переменных и условия штрафа. Для шаблона разреженности переменных его можно легко определить и оценить на основе вектора разреженных коэффициентов. Для штрафных членов легко определить, являются ли они положительно определенными или нет, и являются ли они выпуклыми или нет в задаче оптимизации.
Более того, в НИЦ ЛАССО задача рассматривается как переполная система, в которой часть активных переменных не имеет элементов. Когда количество переменных, имеющих несколько записей, невелико, более вероятно, что активные переменные не имеют записей. По сравнению с одномерной линейной регрессией разреженная модель чрезмерно полна. Предлагаемая структура может использоваться для разреженной модели и, следовательно, больше подходит для задачи обучения без учителя с использованием известного шаблона разреженности.
В SIC LASSO есть две основные трудности. Во-первых, разреженность матрицы *W* является необходимым условием выбора переменной. Разреженность матрицы *W* является обязательным условием для выбора переменных, что обеспечивает идентификацию активных переменных и идентифицируемость вектора разреженных коэффициентов. Это также используется для определения разреженности матрицы *W.* В SIC LASSO трудно точно определить шаблон разреженности и разреженность матрицы *W.* Следовательно, шаблон разреженности переменных также является ключевое предположение для выбора переменной. Однако не так просто определить шаблон разреженности переменных. На самом деле, определить шаблон разреженности переменных непросто.
Вектор разреженных коэффициентов является решением задачи оптимизации. Предлагаемая структура может быть использована для решения разреженного вектора коэффициентов. Целевая функция и штрафные условия строятся на основе разреженного вектора коэффициентов. Вектор разреженных коэффициентов является решением задачи оптимизации. Следовательно, предложенную структуру можно использовать для решения вектора разреженных коэффициентов.
Спасибо.
