1. Введение
Покупки сопряжены со значительными когнитивными издержками. Потребители собирают, анализируют и сравнивают информацию о продуктах для рационального потребления. Однако сделать оптимальный выбор, сравнивая множество продуктов, действительно сложно. В конце концов, потребители сталкиваются с парадоксом выбора, когда они чувствуют себя неудовлетворенными, когда диапазон выбора слишком широк.
Этот пост начался с вопроса о том, как использовать ИИ для снижения когнитивных затрат при совершении покупок. Мы не можем просто ожидать, что компании будут рекомендовать продукты, которые нам нужны. Цель состоит в том, чтобы создать ИИ, который может оценивать и сравнивать продукты на основе моих собственных критериев.
Однако без данных сложно обучить рекомендательную модель. Создание обучающих данных требует много времени и усилий. Поэтому в этом проекте я использую Natural Language Inference, который используется для различных нулевых задач NLP. Анализируя отзывы с моделью NLI, я могу выбрать продукт, который лучше всего соответствует моим потребностям.
2. Связанные работы
2.1. Вывод естественного языка
Вывод естественного языка (NLI) — это подраздел обработки естественного языка (NLP), который фокусируется на определении логической связи между двумя заданными предложениями. Цель NLI состоит в том, чтобы определить, может ли данная гипотеза быть выведена из данной предпосылки.
Например,
Посылка: животное сидит на коврике.
Гипотеза 1: На коврике лежит животное. (заключение)
Гипотеза 2: На коврике лежит кошка. (нейтрально)
Гипотеза 3: Животное не сидит на коврике. (противоречие)
2.2. NLI для нулевого выстрела
Модель NLI можно применять к другим задачам NLP, поскольку она изучает логические отношения между предложениями. В классификации предложений, например, предложение, которое нужно классифицировать, устанавливается как предпосылка, а метка устанавливается как гипотеза.
Предпосылка: у Леброна Джеймса и «Лос-Анджелес Лейкерс» еще есть шанс
Гипотеза 1: Тема предложения — политика.
Гипотеза 2: Тема предложения — спорт.
Модель NLI вычисляет вероятность следствия для каждой гипотезы и классифицирует предложение в класс гипотезы с наибольшей вероятностью.
Модель NLI можно применять не только к классификации предложений, но и к различным задачам обработки естественного языка, таким как распознавание именованных сущностей и извлечение отношений. Дополнительную информацию можно найти здесь [1–3].
3. Метод
В этом посте я рассматриваю модель NLI как персонализированный рецензент. Я использую обзоры продуктов от потребителей в качестве предпосылок и свои критерии в качестве гипотез. Модель NLI предскажет, насколько продукт соответствует моим критериям.
Обзор предлагаемого метода состоит в следующем.
- Определите список продуктов-кандидатов (человеком).
- Определите критерии оценки (по человеку).
- Соберите обзоры продуктов (по машинам).
- Оценивайте и сравнивайте продукты, используя модель NLI (по машинам).
3.1. Определите список продуктов-кандидатов
Сначала я определяю кандидатов с помощью быстрого поиска. Если вы хотите проанализировать все найденные продукты, вы можете пропустить этот шаг.
Способ определения продуктов зависит от торговой платформы. В этом посте я использую Naver Shopping и определяю продукты по идентификатору продукта, используемому на этой платформе.
3.2. Определите критерии оценки
Далее я определяю свои собственные критерии оценки. Например, при покупке фритюрницы я могу использовать следующие критерии.
3.3. Соберите отзывы о продуктах
Я просканировал обзоры продуктов на Naver Shopping. Я использовал selenium и BeautifulSoup для динамического сканирования.
3.4. Оценивайте и сравнивайте продукты с помощью модели NLI
Наконец, модель NLI анализирует собранные отзывы. Если модель NLI классифицирует обзор и критерии как следствие, добавляется один балл, а если она классифицирует их как противоречие, один балл вычитается.
Я доработал предварительно обученную модель корейского языка tunib/electra-ko-base, выпущенную TUNiB. Я объединил два корейских набора данных NLI, KLUE NLI и Kakao KorNLI, и использовал их в качестве набора данных. Найти доработанную модель можно здесь.
3.5. Результаты
Я получил результаты, как показано на следующем рисунке. Это позволяет мне легко сравнивать продукты на основе моих критериев. Кроме того, присваивая вес каждому критерию, я могу получить скалярное значение для каждого продукта, что еще больше упрощает выбор.
4. Вывод
В этом посте я представил персонализированного помощника по покупкам с использованием модели NLI. Предлагаемый метод может помочь мне оценить и сравнить продукты-кандидаты на основе моих критериев.
Одной из возможных будущих работ является улучшение модели NLI за счет расширения данных. Я мог бы использовать наборы данных на английском языке или создать набор данных NLI для предметной области с помощью LLM.
Спасибо за прочтение этого поста!
Ссылка
[1] Инь, В., Хэй, Дж., и Рот, Д. (2019). Сравнительная оценка нулевой классификации текста: наборы данных, оценка и подход к следствию. препринт arXiv arXiv:1909.00161.
[2] Сайнс, О., и Ригау, Г. (2021). Ask2transformers: нулевая маркировка домена с предварительно обученными языковыми моделями. препринт arXiv arXiv:2101.02661.
[3] Сайнс, О., Цю, Х., де Лакалль, О.Л., Агирре, Э., и Мин, Б. (2022). ZS4IE: Набор инструментов для извлечения нулевой информации с помощью простых формулировок. препринт arXiv arXiv:2203.13602.
[4] Пак С., Мун Дж., Ким С., Чо В.И., Хан Дж., Парк Дж., … и Чо К. (2021). Klue: оценка понимания корейского языка. препринт arXiv arXiv:2105.09680.
[5] Хэм, Дж., Чоу, Ю.Дж., Парк, К., Чой, И., и Сох, Х. (2020). Kornli и korsts: новые эталонные наборы данных для понимания естественного корейского языка. препринт arXiv arXiv:2004.03289.