1. Введение

Покупки сопряжены со значительными когнитивными издержками. Потребители собирают, анализируют и сравнивают информацию о продуктах для рационального потребления. Однако сделать оптимальный выбор, сравнивая множество продуктов, действительно сложно. В конце концов, потребители сталкиваются с парадоксом выбора, когда они чувствуют себя неудовлетворенными, когда диапазон выбора слишком широк.

Этот пост начался с вопроса о том, как использовать ИИ для снижения когнитивных затрат при совершении покупок. Мы не можем просто ожидать, что компании будут рекомендовать продукты, которые нам нужны. Цель состоит в том, чтобы создать ИИ, который может оценивать и сравнивать продукты на основе моих собственных критериев.

Однако без данных сложно обучить рекомендательную модель. Создание обучающих данных требует много времени и усилий. Поэтому в этом проекте я использую Natural Language Inference, который используется для различных нулевых задач NLP. Анализируя отзывы с моделью NLI, я могу выбрать продукт, который лучше всего соответствует моим потребностям.

2. Связанные работы

2.1. Вывод естественного языка

Вывод естественного языка (NLI) — это подраздел обработки естественного языка (NLP), который фокусируется на определении логической связи между двумя заданными предложениями. Цель NLI состоит в том, чтобы определить, может ли данная гипотеза быть выведена из данной предпосылки.

Например,
Посылка: животное сидит на коврике.
Гипотеза 1: На коврике лежит животное. (заключение)
Гипотеза 2: На коврике лежит кошка. (нейтрально)
Гипотеза 3: Животное не сидит на коврике. (противоречие)

2.2. NLI для нулевого выстрела

Модель NLI можно применять к другим задачам NLP, поскольку она изучает логические отношения между предложениями. В классификации предложений, например, предложение, которое нужно классифицировать, устанавливается как предпосылка, а метка устанавливается как гипотеза.

Предпосылка: у Леброна Джеймса и «Лос-Анджелес Лейкерс» еще есть шанс
Гипотеза 1: Тема предложения — политика.
Гипотеза 2: Тема предложения — спорт.

Модель NLI вычисляет вероятность следствия для каждой гипотезы и классифицирует предложение в класс гипотезы с наибольшей вероятностью.

Модель NLI можно применять не только к классификации предложений, но и к различным задачам обработки естественного языка, таким как распознавание именованных сущностей и извлечение отношений. Дополнительную информацию можно найти здесь [1–3].

3. Метод

В этом посте я рассматриваю модель NLI как персонализированный рецензент. Я использую обзоры продуктов от потребителей в качестве предпосылок и свои критерии в качестве гипотез. Модель NLI предскажет, насколько продукт соответствует моим критериям.

Обзор предлагаемого метода состоит в следующем.

  1. Определите список продуктов-кандидатов (человеком).
  2. Определите критерии оценки (по человеку).
  3. Соберите обзоры продуктов (по машинам).
  4. Оценивайте и сравнивайте продукты, используя модель NLI (по машинам).

3.1. Определите список продуктов-кандидатов

Сначала я определяю кандидатов с помощью быстрого поиска. Если вы хотите проанализировать все найденные продукты, вы можете пропустить этот шаг.

Способ определения продуктов зависит от торговой платформы. В этом посте я использую Naver Shopping и определяю продукты по идентификатору продукта, используемому на этой платформе.

3.2. Определите критерии оценки

Далее я определяю свои собственные критерии оценки. Например, при покупке фритюрницы я могу использовать следующие критерии.

3.3. Соберите отзывы о продуктах

Я просканировал обзоры продуктов на Naver Shopping. Я использовал selenium и BeautifulSoup для динамического сканирования.

3.4. Оценивайте и сравнивайте продукты с помощью модели NLI

Наконец, модель NLI анализирует собранные отзывы. Если модель NLI классифицирует обзор и критерии как следствие, добавляется один балл, а если она классифицирует их как противоречие, один балл вычитается.

Я доработал предварительно обученную модель корейского языка tunib/electra-ko-base, выпущенную TUNiB. Я объединил два корейских набора данных NLI, KLUE NLI и Kakao KorNLI, и использовал их в качестве набора данных. Найти доработанную модель можно здесь.

3.5. Результаты

Я получил результаты, как показано на следующем рисунке. Это позволяет мне легко сравнивать продукты на основе моих критериев. Кроме того, присваивая вес каждому критерию, я могу получить скалярное значение для каждого продукта, что еще больше упрощает выбор.

4. Вывод

В этом посте я представил персонализированного помощника по покупкам с использованием модели NLI. Предлагаемый метод может помочь мне оценить и сравнить продукты-кандидаты на основе моих критериев.

Одной из возможных будущих работ является улучшение модели NLI за счет расширения данных. Я мог бы использовать наборы данных на английском языке или создать набор данных NLI для предметной области с помощью LLM.

Спасибо за прочтение этого поста!

Ссылка

[1] Инь, В., Хэй, Дж., и Рот, Д. (2019). Сравнительная оценка нулевой классификации текста: наборы данных, оценка и подход к следствию. препринт arXiv arXiv:1909.00161.

[2] Сайнс, О., и Ригау, Г. (2021). Ask2transformers: нулевая маркировка домена с предварительно обученными языковыми моделями. препринт arXiv arXiv:2101.02661.

[3] Сайнс, О., Цю, Х., де Лакалль, О.Л., Агирре, Э., и Мин, Б. (2022). ZS4IE: Набор инструментов для извлечения нулевой информации с помощью простых формулировок. препринт arXiv arXiv:2203.13602.

[4] Пак С., Мун Дж., Ким С., Чо В.И., Хан Дж., Парк Дж., … и Чо К. (2021). Klue: оценка понимания корейского языка. препринт arXiv arXiv:2105.09680.

[5] Хэм, Дж., Чоу, Ю.Дж., Парк, К., Чой, И., и Сох, Х. (2020). Kornli и korsts: новые эталонные наборы данных для понимания естественного корейского языка. препринт arXiv arXiv:2004.03289.