- Распределение и регуляризация параметров с учетом сложности задач для обучения на протяжении всей жизни (arXiv)
Автор: Вэньцзинь Ван, Юнцин Ху, Цянлун Чен, Инь Чжан.
Аннотация: Методы регуляризации или распределения параметров эффективны для преодоления катастрофического забывания при обучении на протяжении всей жизни. Однако они решают все задачи в последовательности единообразно и игнорируют различия в обучаемости разных задач. Таким образом, методы регуляризации параметров сталкиваются со значительным забыванием при изучении новой задачи, сильно отличающейся от изученных задач, а методы распределения параметров сталкиваются с ненужными накладными расходами параметров при изучении простых задач. В этой статье мы предлагаем распределение параметров и регуляризацию (PAR), которые адаптивно выбирают подходящую стратегию для каждой задачи из распределения параметров и регуляризации в зависимости от сложности обучения. Задача проста для модели, которая выучила задачи, связанные с ней, и наоборот. Мы предлагаем метод оценки дивергенции, основанный на расстоянии ближайшего прототипа, для измерения связанности задачи с использованием только характеристик новой задачи. Кроме того, мы предлагаем эффективную по времени стратегию поиска архитектуры на основе выборки с учетом связанности, чтобы уменьшить накладные расходы на выделение параметров. Экспериментальные результаты на нескольких тестах показывают, что по сравнению с SOTA наш метод является масштабируемым и значительно снижает избыточность модели при одновременном повышении производительности модели. Дальнейший качественный анализ показывает, что PAR получает разумную связанность с задачей.
2. Обучение на протяжении всей жизни для обнаружения аномалий: новые вызовы, перспективы и идеи (arXiv)
Автор: Камиль Фабер, Роберто Кориццо, Бартломей Снежински, Натали Япкович.
Аннотация: Обнаружение аномалий имеет первостепенное значение во многих областях реального мира, характеризующихся развивающимся поведением. Обучение на протяжении всей жизни представляет собой новую тенденцию, отвечающую потребности в моделях машинного обучения, которые постоянно адаптируются к новым задачам в динамичных средах, сохраняя при этом прошлые знания. Тем не менее, ограниченные усилия направлены на создание основ для обнаружения аномалий на протяжении всей жизни, что создает принципиально иные проблемы по сравнению с более широко изученными параметрами классификации. В этой статье мы сталкиваемся с этой проблемой, исследуя, мотивируя и обсуждая обнаружение аномалий на протяжении всей жизни, пытаясь заложить основу для его более широкого внедрения. Во-первых, мы объясняем, почему актуально обнаружение аномалий на протяжении всей жизни, определяя проблемы и возможности для разработки методов обнаружения аномалий, которые решают проблемы обучения на протяжении всей жизни. Во-вторых, мы характеризуем условия обучения и процедуру генерации сценариев, которая позволяет исследователям экспериментировать с обнаружением аномалий на протяжении всей жизни с использованием существующих наборов данных. В-третьих, мы проводим эксперименты с популярными методами обнаружения аномалий в предлагаемых сценариях на протяжении всей жизни, подчеркивая разрыв в производительности, который может быть достигнут с внедрением обучения на протяжении всей жизни. В целом, мы пришли к выводу, что внедрение обнаружения аномалий на протяжении всей жизни важно для разработки более надежных моделей, которые обеспечивают всестороннее представление об окружающей среде, а также одновременную адаптацию и сохранение знаний.
