Прокси-серверы могут использовать не только ИТ-разработчики, они также полезны в финансовой индустрии, а именно в анализе финансовых настроений. Позволь мне объяснить.

В финансах данные очень важны: они дают понимание и помогают принимать лучшие решения. Финансовые данные окружают нас, поэтому самые успешные компании - это те, которые

Самая разнообразная аудитория на сегодняшний день на FMLS 2020 - там, где финансы встречают инновации

1. знать, как его собрать, и
2. знать, как это интерпретировать.

Важное подмножество данные настроения - информация о том, как люди воспринимают данный продукт, событие, идею и т. Д. Основные категории здесь «Воспринимать позитивно» и «Воспринимать негативно».

До недавнего времени данных о настроениях не было количественному: Невозможно было точно измерить чувства людей. Однако с появлением обработки естественного языка и машинного обучения эта задача, наконец, стала достижимой.

В этой статье мы рассмотрим, как вы можете использовать анализ настроений и анализ веб-страниц для принятия лучших финансовых решений.

Обзор анализа настроений

Даже лучшие профессионалы отрасли не могут быть в курсе всех последних новостей, отчетов, обновлений и слухов. Эти данные часто определяют решение, скажем, купить или продать акции данной компании. Вот типичный пример: 

• На фоне растущих опасений по поводу COVID-19, правительство Страна Х решает использовать видеоконференции вместо проведения личных встреч.
• Программное обеспечение для видеоконференций Y является одним из самых популярных решений для видеоконференций на рынке, поэтому рынки ожидают Программное обеспечение Y приобрести множество новых пользователей.
• Программное обеспечение YРост популярности компании отражается на ее цене акций. 

Сценарий выше заимствует в значительной степени из ZoomНедавний успех, который можно проиллюстрировать на следующем графике:

investing.com

В определенной степени процесс анализа этих данных - новостей, отчетов, обновлений и слухов - может быть автоматизирован

, Заметив заголовок, как «Coronavirus: Zoom Video нанимает 500 новых разработчиков программного обеспечения по мере роста использования», это программное обеспечение будет действовать в соответствии с предоставленными нами рекомендациями (например, купить акции Zoom.)

Акции Tesla подскочили на 2.5% после того, как Tencent заявила, что собрала 5% акций производителя электромобилей. Ocwen подскочил на 12% на премаркете после того, как сообщил, что достиг соглашения с нью-йоркскими регуляторами, которое прекратит сторонний мониторинг его бизнеса в течение следующих трех недель. Кроме того, могут быть сняты ограничения на покупку прав на ипотечное обслуживание. Акции Cara Therapeutics выросли на 16% на премаркете после того, как биотехнологическая компания сообщила о положительных результатах в испытании лечения уремического зуда.

Еще один замечательный пример - недавний Tweet Элона Маск: «Цена акций Tesla слишком высока, imo».

Это снизило стоимость акций Tesla. Обратите внимание на падение 1 мая:

investing.com

Система, которая делает возможным анализ настроений, называется обработки естественного языка (или НЛП для краткости.) Как следует из их названия, алгоритмы НЛП предназначены для анализа значения текстов в natural (т.е. искусственные: английский или китайский) языки. 

Хотя создание и внедрение системы НЛП требует много ресурсов, преимущества делают это усилие стоящим:

• Алгоритм имеет превосходство время реакции: он выполняет команды всего за миллисекунды и работает 24/7.
• Это также предлагает Масштабируемость: Это «Опыт» может применяться - при наличии достаточных вычислительных ресурсов - к любому источнику финансовых данных.

Как работает анализ настроений?

Каждый текст имеет определенное отношение, положительное, отрицательное или нейтральное. Анализ настроений направлен на определение отношения данного текста (в большинстве случаев к отдельным фразам и предложениям) путем разделения его на отдельные слова (называемые лексемы), определение их отношения, а затем определение общего отношения целевого текста.

Этот принцип может показаться запутанным, поэтому давайте поиграем с этой технологией сами.

Язык программирования Python имеет NLP-ориентированную библиотеку под названием NLTK (Инструментарий естественного языка). Этот веб-сайт имеет интерактивную реализацию алгоритма анализа настроений НЛТК. Попробуйте ввести разные предложения, чтобы увидеть, как их воспринимает алгоритм.

Давайте проверим следующие предложения:

• «Этот проект является отличным инструментом для обработки необработанных данных».Алгоритм определяет, что этот текст положительный.
• «Этот проект изменит технологический ландшафт». Алгоритм определяет, что этот текст нейтральный.
• «Этот проект не смог реализовать свой потенциал». Алгоритм определяет, что этот текст отрицательный.

Недостатки алгоритмов анализа настроений

Ранее в интерактивной подсказке мы использовали предложения с довольно простыми значениями: "Великий" и "потерпеть поражение" обычно отмечают весь контекст. Как насчет чего-то более сложного? Давайте попробуем это. 

Давайте возьмем эту фразу в качестве примера: «Автомобильная индустрия видела лучшие времена». Алгоритм определяет, что этот текст нейтральный.

Эти примеры показывают, что традиционным алгоритмам NLP трудно разобрать неявные значения:

• Нюансированные фразы,
• Идиомы,
• Метафоры и т. Д.

Улучшение анализа настроений с помощью машинного обучения

Это где обучение с помощью машины приходит на помощь: мы можем обучить алгоритм ML на бесчисленных примерах, чтобы сделать его "Понимаю" контекст текста. Вот план для такого проекта:

1. Соберите набор данных, который фокусируется на финансовых настроениях.
2. Отметьте каждый текст настроения.
3. Создайте модель анализа настроений, оптимизированную для «Финансовый язык».

В основе алгоритма машинного обучения лежат огромные объемы данных для обучения: в нашем случае алгоритм будет анализировать заголовки новостей и заголовки социальных сетей, чтобы попытаться увидеть корреляцию между текстами и их значениями. При наличии достаточного количества учебного материала алгоритм может "учить" (отсюда и название, машина изучение) о контексте вокруг данного текста.

Дэвид Уоллах, создатель различных инструментов очистки финансовых данных, повторяет недостатки традиционных алгоритмов (без глубокого обучения):

Одной из основных целей этого проекта является классификация настроений компаний на основе проверенных твитов пользователей, а также статей, опубликованных авторитетными источниками. Используя текущие (свободные) текстовые пакеты для анализа настроений, такие как nltk, textblob и другие, я не смог добиться достойного анализа настроений в отношении инвестиций. 

Например, в твите говорится, что Amazon - это покупка, вы должны инвестировать сейчас, и эти библиотеки классифицируют его как негативное или нейтральное мнение. Это из-за учебных наборов, на которых были построены эти классификаторы. По этой причине я решил написать скрипт (scripts / classify.py), который принимает представление базы данных json, загруженное из консоли Firebase (с использованием опции экспорта в JSON), и позволяет вручную классифицировать каждое предложение.

Теперь мы видим важность данных в рабочем процессе анализа настроений. Но как мы можем приобрести это?

Обзор веб-соскоб

В срок «Анализ настроений», "анализ" Часть относится к пониманию данных - и алгоритмы НЛП, которые мы исследовали ранее в этой статье, могут сделать именно это. Веб-соскобс другой стороны, позволяет нам фактически получать данные для анализа.

Владимир Фоменко, основатель и генеральный директор Infatica.io

Этот термин относится к процессу извлечения и организации данных с веб-сайтов. 

Как работает очистка веб-страниц?

Очистка веб-страниц возможна благодаря тому, что веб-сайты организуют данные. Каждый элемент веб-сайта - текст, ссылка, изображение, динамическая функциональность и т. Д. - относится к своей соответствующей категории, обозначаемой стандартизированными тегами HTML. 

Веб-скребок может с легкостью перемещаться по этим элементам, находя и сохраняя данные, которые необходимо собрать. 

НЛП приложения в FinTech

Например, СтокерПрограммное обеспечение для сбора финансовых данных следует процессам, которые мы описали выше: 

1. Он генерирует запросы Google, собирая последние статьи, посвященные конкретной компании.
2. Затем он анализирует статьи на предмет информации, пытаясь определить, являются ли важные фрагменты информации положительными или отрицательными.

Мы также можем использовать анализ настроений в других областях:

Анализ кредитного рейтинга, Программный продукт под названием LenddoScore может обрабатывать доступные данные о кандидате в режиме онлайн: это может включать в себя их профили в социальных сетях, поведение в Интернете, историю просмотров и другие маркеры. Затем программное обеспечение оценивает кредитоспособность заемщика.

Анализ договоров, JP Морган имеет в XNUMX году множество алгоритмов машинного обучения для многочисленных задач. Компания протестировала алгоритм НЛП, разработанный для анализа контрактов, и ей удалось сэкономить 360,000 XNUMX человеко-часов в год.

Поддержка, Чатботы, самая современная технология последних лет, работают на основе алгоритмов НЛП. Финансовые учреждения часто гордятся тем, что предлагают отличный опыт работы с клиентами, и масштабирование их поддержки с помощью чат-ботов является отличным способом сделать это. 

Использование прокси для обеспечения успешного выполнения анализа

Большинство веб-сайтов не допускают использование веб-страниц по различным причинам. Вот типичный пример: агрегатор цен пытается собрать данные о ценах от нескольких предприятий электронной коммерции. Как только эти данные будут опубликованы на сайте агрегатора, потенциальные клиенты увидят, что Продавец М предлагает лучшую цену. Чтобы предотвратить это, другие поставщики могут ограничить просмотр своих веб-сайтов.

Получив запрос на свой веб-сайт, они пытаются определить, исходит ли он от подлинного пользователя или от веб-робота. Пока подлинный пользователь получает пропуск, бот блокируется.

Однако это is Можно обойти эти анти-бот системы: используя прокси, вы можете сделать ваши скребки реальными пользователями.

Из всех многочисленных типов прокси, жилые прокси являются оптимальным решением: как следует из их названия, они позволяют вашему скребку появляться в качестве реального пользователя, резидента выбранной вами страны. Это позволяет вам обходить антискребущие системы.

Заключение

Каждый трейдер решает, какой тип анализа использовать и какие методы торговли использовать. Но, на мой взгляд, улучшение анализа финансовых настроений с помощью AI и прокси-серверов - это новое слово в торговле. 

Владимир Фоменко - основатель и генеральный директор Infatica.io, глобальная одноранговая прокси-сеть