Я создал код для моделирования некоторых сервисов ChatGPT с помощью машинного обучения.
Я использовал инструменты обработки естественного языка для обработки слов и предложений.
Получите код:
Studypool: https://www.studypool.com/services/25340023
Шаблон monster.com: https://account.templatemonster.com/profile
payhub: https://payhip.com/products
Среди услуг ChatGPT извлечение информации из статьи:
1 — Тема статьи:
С помощью машинного обучения мы можем извлечь тему статьи.
Мы будем извлекать слова не из стоп-слов (у них есть значения в статье) с помощью модели, называемой LDA (латентное распределение Дирихле).
from sklearn.decomposition import LatentDirichletAllocation
LDA = LatentDirichletAllocation(n_components=2,random_state=42) #two topic
LDA.fit(dtm)
for index,topic in enumerate(LDA.components_):
print(f'THE TOP 10 WORDS FOR TOPIC #{index}')
print([cv.get_feature_names()[i] for i in topic.argsort()[-10:]])
print('\n')
THE TOP 10 WORDS FOR TOPIC #0
['numerous', 'logics', 'natural', 'computational', 'later', 'critics', 'professor', 'classifiers', 'according', 'superintelligent']
THE TOP 10 WORDS FOR TOPIC #1
['companies', 'neural', 'neurons', 'future', 'general', 'language', 'robotics', 'heuristics', 'robot', 'ontology']
/opt/conda/lib/python3.7/site-packages/sklearn/utils/deprecation.py:87: FutureWarning: Function get_feature_names is deprecated; get_feature_names is deprecated in 1.0 and will be removed in 1.2. Please use get_feature_names_out instead.
warnings.warn(msg, category=FutureWarning)
Затем мы извлечем тему статьи, как показано в коде.
2 - Обобщить текст:
Обобщение текста в НЛП — это процесс разбиения длинного текста на понятные абзацы или предложения. Этот метод извлекает важную информацию, сохраняя при этом смысл текста. Это сокращает время, необходимое для понимания длинных сегментов, таких как статьи, без потери важной информации.
sent_score = {}
for sent in sentence_list:
for word in nltk.word_tokenize(sent.lower()):
if word in word_freq.keys():
if len(sent.split(' ')) < 30:
if sent not in sent_score.keys():
sent_score[sent] = word_freq[word]
else:
sent_score[sent] += word_freq[word]
Мы сосредоточились на предложениях с большим весом, используя функцию word_tokenize, которая представляет собой большую библиотеку, содержащую классификации слов, влияющих на контекст текста. И это было сделано с помощью функции heapq, которая будет связывать предложения, на которые мы нацелены, чтобы построить резюме текста, мы можем контролировать количество строк резюме, так как это навредит вам в коде.
Среди услуг ChatGPT есть то, что определение имени дает вам объяснение слова, его значения и его структуру в предложении:
В своей простейшей форме лексика — это словарный запас человека, языка или отрасли знания. это каталог слов, часто используемых в сочетании с грамматикой, набор правил для использования этих слов. Элементы в лексиконе называются лексемами, а группы лексем называются леммами, которые часто используются для описания размера лексика. Кроме того, лексика делится на две основные секции, открытые и закрытые категории. Открытая категория определяется лексемами, которые являются более семантическими по своей природе, такими как существительные и глаголы, тогда как закрытая категория определяется синтаксическими лексемами, такими как местоимения и определители.
Нейронные сети для поиска информации или поиска документов используют лексиконы в качестве выборочных данных. Каждой лексеме может быть назначен связанный вектор, где сущность лексемы определяется как координаты, а ее частота в базе данных определяет ее величину (длину). Использование методов Подобно косинусному сходству, алгоритмы машинного обучения могут быстро различать и сравнивать документы друг с другом на основе их лексического сходства и совпадения тем.
for i in range(len(syns)):
print(syns[i]) #folders in wordnet model
print(' ')
print('Definition :', syns[i].definition())
print(' ')
print('Example :', syns[i].examples())
Synset('plan.n.01')
Definition : a series of steps to be carried out or goals to be accomplished
Example : ['they drew up a six-step plan', 'they discussed plans for a new bond issue']
===========================================================================
Synset('program.n.02')
Definition : a system of projects or services intended to meet a public need
Example : ['he proposed an elaborate program of public works', 'working mothers rely on the day care program']
===========================================================================
Synset('broadcast.n.02')
Definition : a radio or television show
Example : ['did you see his program last night?']
===========================================================================
Synset('platform.n.02')
Definition : a document stating the aims and principles of a political party
Example : ['their candidate simply ignored the party platform', 'they won the election even though they offered no positive program']
wordnet = wn.synsets("cat")
for i in wordnet:
print(f'Definition : {i.definition()}')
print(f'Example : {i.examples()}')
print('==================================================')
Вы найдете значения слова CAT в выводе
Вы также узнаете, как сформировать функцию для получения синонимов и антонимов.
И один из самых мощных сервисов ChatGPT — это перевод лучше, чем у Google, и точнее:
Мы создадим модель для перевода, используя модель Translator из библиотеки deep_translator.
def T(text) :
return Translator(source='ar' , target='en').translate(text)
T('اسمي اندرو رايس انا امريكية وادرس برمجة الذكاء الاصطناعي')
'My name is Andro rice, I am American and I am studying artificial intelligence programming'
Интеллектуальная революция, которую совершил ChatGPT, — это генерация текста, когда ChatGPT самостоятельно пишет контент и создает любую тему, о которой вы хотите поговорить.
prompt = "tell me about you ..." . . . . . . . print(res[0]['generated_text']) tell me about you ... your life, your dreams, your hopes, your fears, your sorrows?" "Is this what you wanted to hear?" "Well... yeah... um... anyway, I really like your story." "And I like the
Финнали
Это был код симуляции чата, который пытался вместить в него самые важные идеи, которые я изучал в последний период, как симуляцию некоторых функций чата, это правда, что это простые идеи, но я надеюсь, что они будут вам полезны. .и спасибо.
Моя работа с аккаунтами:
Фиверр:
https://www.fiverr.com/ot94ever/nlp-computer-vision-predict-включая-finance-healthcare-marketing
