Амазонка Redshift — это быстрое, полностью управляемое облачное хранилище данных объемом в петабайт. У вас есть возможность выбирать между подготовленными и бессерверной режимы вычислений. Вы можете удобно начать загрузку и выполнение запросов к большим наборам данных в Amazon Redshift, используя Редактор запросов Amazon Redshift v2, клиентское веб-приложение SQL.

Query Editor v2 расширяет возможности ваших технических и бизнес-групп, предоставляя несколько простых в использовании функций. Ниже приведены некоторые важные действия, которые вы можете выполнить:

• Просматривайте несколько хранилищ баз данных и объекты кода с помощью иерархической панели древовидного представления.
• Создавайте базы данных, схемы, таблицы, функции и многое другое с помощью удобного графического интерфейса.
• Загрузите стандартные отраслевые наборы данных, такие как tpcds, tpch и tickit, всего за несколько кликов.
• Загрузить данные из Простой сервис хранения Amazon (Амазон С3). Вы можете запрашивать внешние наборы данных в Amazon S3 или Сервис реляционной базы данных Amazon (Amazon RDS) Базы данных PostgreSQL и MySQL.
• Создайте несколько редакторов SQL и Блокноты SQL в отдельных вкладках для создания и выполнения запросов. Это предлагает следующие возможности:
  • Используйте каждую вкладку для выполнения запросов к базе данных другого подготовленного кластера или к базе данных бессерверной рабочей группы. Вы можете выбрать, где подключиться, или изменить, где вы подключены, используя раскрывающееся меню.
  • Создавайте диаграммы для визуализации результатов с помощью встроенного мастера создания диаграмм. Он поддерживает различные типы диаграмм, такие как гистограмма, столбчатая диаграмма, диаграмма с областями и многое другое.
  • Экспорт результатов запроса в форматы JSON или CSV.
  • Включите график объяснения, чтобы отобразить графическое представление плана объяснения вашего запроса.
• Сохраняйте запросы и делитесь ими для совместной работы со своими командами.
• Используйте записные книжки SQL, чтобы упорядочивать, комментировать и совместно использовать несколько запросов SQL в одном документе. С помощью записных книжек SQL вы можете представить заинтересованным сторонам убедительную историю данных.
• Определите переменные уровня сеанса.

В этом посте мы опишем две наиболее востребованные функции Query Editor v2:

• Выполнять несколько запросов одновременно
• Просмотр истории запросов для отдельной вкладки или консолидированной истории запросов для всех вкладок

Выполнять запросы одновременно

С помощью Amazon Redshift Query Editor версии 2 вы можете одновременно выполнять несколько запросов к подготовленной базе данных кластера или к базе данных бессерверной рабочей группы. Раньше вам приходилось ждать завершения выполнения запроса на других вкладках, чтобы начать новый запуск запроса. Это больше не относится к Query Editor v2. Вы можете использовать несколько редакторов или записных книжек, использующих изолированные сеансы, для одновременного выполнения нескольких запросов.

Чтобы выполнять запросы в редакторах SQL или записных книжках SQL в редакторе запросов версии 2, вы начинаете с подключения к бессерверной рабочей группе или подготовленной базе данных кластера. Затем вы создаете вкладку редактора SQL или вкладку блокнота SQL для создания запросов и загрузок. Каждая вкладка может использовать либо изолированный сеанс, либо общий сеанс. Новые вкладки в редакторе запросов версии 2 по умолчанию используют изолированный сеанс. Если вкладка использует изолированный сеанс, запросы на других вкладках не могут видеть внесенные ею изменения на уровне сеанса. Например, временная таблица действительна только в рамках сеанса. Если вы создаете временную таблицу с помощью вкладки редактора SQL, которая использует изолированный сеанс, другие вкладки, даже если они подключены к той же конечной точке и базе данных, не смогут увидеть эту временную таблицу.

Вы можете изменить изолированный сеанс на общий сеанс, отключив Изолированная сессия вариант. Вкладки, использующие общий сеанс, могут видеть изменения на уровне сеанса (например, временные таблицы), созданные на других вкладках, использующих общие подключения к той же базе данных. Соединение уникально для подготовленной базы данных кластера или базы данных бессерверной рабочей группы. Вкладки, подключенные к одной и той же конечной точке (подготовленный кластер или бессерверная рабочая группа), но к разным базам данных, не могут использовать одно и то же подключение, поскольку базы данных, к которым они подключены, разные.

В редакторе запросов версии 2 вы можете одновременно выполнять запросы к одной и той же базе данных с вкладок, использующих изолированные сеансы. Вкладки, использующие общее подключение, должны дождаться завершения выполнения запроса на других вкладках, использующих то же подключение.

Давайте посмотрим, как вы можете загружать данные в несколько таблиц одновременно с помощью Query Editor V2. Таблицы, которые мы загружаем для этого примера, — это заказы, поставщик и клиент из tpcds набор данных.

Выполните следующие действия для одновременного выполнения запросов:

1. В консоли Amazon Redshift перейдите к редактору запросов Amazon Redshift v2.
2. На панели древовидного представления выберите подготовленный кластер Amazon Redshift или рабочую группу Amazon Redshift Serverless, к которой вы хотите подключиться.

Вы можете перемещаться по нескольким подключениям и просматривать объекты, как показано на следующем снимке экрана.

3. Подключиться, выбрав один из режимов аутентификации.
4. Выберите знак «плюс», чтобы создать столько редакторов SQL, сколько требуется одновременных запросов. Поскольку мы собираемся выполнять запросы для одновременной загрузки трех таблиц, мы создали три редактора.

5. Чтобы сохранить SQL-запросы, выберите (дважды щелкните) имя и введите имя, описывающее запрос (например, query1, query2, query3).
6. Вы можете выбрать бессерверную рабочую группу или подготовленный кластер для подключения с помощью раскрывающегося меню, как показано на следующем снимке экрана. Вы также можете выбрать базу данных для подключения. Поскольку мы хотим запускать запросы для загрузки всех трех таблиц в одну и ту же базу данных, выберите одни и те же вычисления и базу данных для всех вкладок редактора SQL.

7. Создавайте запросы, которые вы хотите выполнять одновременно, в каждом редакторе SQL.
8. Выберите Run на каждой вкладке для одновременного выполнения запросов.

Как и в редакторах SQL, вы можете выполнять запросы в нескольких Блокноты SQL одновременно. После создания блокнотов выберите Запустить все в каждой из тетрадей.

Настройки учетной записи для одновременных подключений

По умолчанию у вас может быть три одновременных соединения, выполняющих запросы с помощью Query Editor v2. Это параметр на уровне учетной записи, который может изменить только пользователь с правами администратора. В настройках учетной записи вы можете изменить максимальное значение одновременных подключений со значения по умолчанию 3 на значение от 1 до 10. Чтобы открыть настройки учетной записи, выберите значок настроек и выберите Настройки аккаунта.

Под Настройки соединения, выберите число от 1 до 10 для Максимальное количество одновременных подключений , а затем выбрать Сохранить. Изменения вступят в силу в течение 10 минут.

Это позволяет вам контролировать количество запросов, которые ваши пользователи могут выполнять одновременно, чтобы они не создавали большой нагрузки на базу данных. Если ваши пользователи выполняют больше разрешенного количества одновременных запросов, они получают сообщение об ошибке, указывающее, что «Текущий предел < > соединения были достигнуты. Закройте другое соединение, используйте неизолированный сеанс или обратитесь к администратору учетной записи Query Editor v2, чтобы изменить ограничение».

Просмотр подключений

Чтобы просмотреть подключения, выберите значок настроек и выберите Коммутация.

Для каждого подключения отображаются имя кластера или рабочей группы, имя базы данных, пользователь базы данных, тип сеанса (изолированный или общий) и статус (занят, если запрос активно выполняется, простаивает, если запрос не выполняется). Ты можешь выбрать Перейти на вкладку для перехода на вкладку, связанную с подключением. Ты можешь выбрать Закрыть чтобы закрыть соединение.

Посмотреть историю запросов

Вы можете просмотреть историю последних 1,000 запросов, выполненных в Query Editor v2, в истории запросов. Если вы забыли сохранить свои запросы, вы можете получить их из истории запросов. Вы также можете увидеть продолжительность, статус, время выполнения и текст запроса ваших запросов. Запросы, выполненные из всех редакторов SQL и записных книжек SQL, доступны в истории запросов.

Для начала перейдите в История запросов страница в редакторе запросов v2. Вы можете просмотреть последние 1,000 запросов, выполненных за последние 3 дня, на этой неделе, в этом месяце, в этом году или за все время.

Поиск запросов в истории запросов

Вы также можете искать запросы. Например, чтобы найти запросы со словом «нация», введите nation в поле поиска и нажмите Enter. Страница журнала запросов обновится, чтобы отобразить запросы с ключевым словом «страна».

Точно так же вы можете искать запросы, которые выполнялись в подготовленном кластере или бессерверной рабочей группе. Например, чтобы найти запросы, которые выполнялись в рабочей группе Amazon Redshift Serverless и в названии которых содержится словосочетание «curate», введите curate в окне поиска.

Вы также можете искать запросы, которые выполнялись в базе данных. Введите имя базы данных в поле поиска. Например, ниже приведены запросы, которые выполнялись в базе данных. sample_data_dev.

Просмотр сведений о запросе

Для любого запроса в истории запросов можно просмотреть сведения о запросе, выбрав Просмотр сведений о запросе на Действия меню для этого запроса.

Для выбранного запроса вы можете увидеть следующие детали:

• Местное время начала выполнения запроса
• Местное время окончания выполнения запроса
• Общее время выполнения запроса
• Статус запроса (Running, Succeeded, Failedили Canceled)
• Кластер или рабочая группа, в которой выполнялся запрос
• База данных, в которой выполнялся запрос

Из сведений о запросе, чтобы вернуться к истории запросов, просто выберите Назад.

Открыть запрос в новой вкладке

Вы можете открыть запрос в новой вкладке, выбрав запрос в истории запросов и выбрав Открыть запрос в новой вкладке на Действия .

Запрос открывается в новом безымянном редакторе SQL.

Открытие сохраненных запросов, сохраненных блокнотов или вкладки источника

Вы можете сохранять редакторы SQL и записные книжки SQL, созданные с помощью Query Editor v2. Чтобы увидеть их, вы можете перейти к Сохраненные запросы и Сохраненные блокноты страниц соответственно. Если запрос, который вы видите в истории запросов, является частью сохраненного запроса, Открыть сохраненный запрос опция доступна на Действия меню. Затем вы можете открыть сохраненный запрос, выбрав этот параметр.

Если запрос, который вы видите в истории запросов, является частью сохраненной записной книжки, Открыть сохраненный блокнот опция доступна на Действия меню. Затем вы можете открыть сохраненную записную книжку, выбрав эту опцию.

Если вы запустили запрос из несохраненной вкладки редактора, и эта вкладка еще не закрыта, вы можете открыть исходную вкладку, используемую для выполнения запроса, выбрав значок Вкладка с открытым исходным кодом вариант на Действия .

Посмотреть историю вкладок

В редакторе запросов версии 2, помимо просмотра сводной истории запросов для всех редакторов SQL и записных книжек SQL, вы можете просматривать историю выполнения запросов на уровне вкладок. Вкладки могут представлять либо редактор, либо блокнот SQL. Вы можете увидеть историю вкладок для них обоих.

Просмотр истории вкладок для вкладок редактора SQL

Вкладки редактора SQL представлены значком файла. Чтобы просмотреть историю вкладок, откройте меню параметров (три точки) и выберите История вкладок.

Когда открывается история вкладки, вы можете увидеть запросы, которые были выполнены на этой вкладке редактора SQL, и как давно они были выполнены. Вы можете скопировать запрос, открыть его на новой вкладке редактора SQL или просмотреть сведения о запросе, выбрав меню параметров (три точки) рядом с каждым запросом.

Просмотр истории вкладок для вкладок записной книжки

Вкладки блокнота представлены значком блокнота. На вкладке записной книжки, чтобы просмотреть историю вкладок, выберите меню параметров (три точки) и выберите История вкладок.

Когда откроется история вкладки, вы увидите запросы, которые выполнялись на этой вкладке блокнота, и как давно они выполнялись. Вы можете скопировать запрос, открыть его на новой вкладке редактора SQL или просмотреть сведения о запросе, выбрав меню параметров (три точки) рядом с каждым запросом.

Заключение

В этом посте мы познакомили вас с одновременным выполнением запросов и функциями журнала запросов в Amazon Redshift Query Editor v2. Он имеет мощные, но простые в использовании функции, которые ваши команды могут использовать для запроса и загрузки наборов данных. Если у вас есть какие-либо вопросы или предложения, пожалуйста, оставьте комментарий.

Удачных запросов!

Об авторах

Ануша Чалла — старший специалист по аналитике, архитектор решений, специализирующийся на Amazon Redshift. Она помогла многим клиентам создать крупномасштабные хранилища данных в облаке и локально.

Бахадир Озавчи — старший инженер-программист, специализирующийся на Amazon Redshift. В основном он работает над проектированием и созданием функций для клиентов Amazon Redshift, чтобы обеспечить им удобную работу с IDE. Вне работы вы можете найти его готовящим или играющим в видеоигры в жанре roguelike.

Мохамед Шаабан является старшим инженером-программистом в Amazon Redshift и базируется в Берлине, Германия. Он имеет более чем 12-летний опыт разработки программного обеспечения. Он увлечен облачными сервисами и созданием решений, которые радуют клиентов. Вне работы он фотограф-любитель, который любит исследовать и запечатлевать уникальные моменты.

Эрол Муртезаоглу, технический менеджер по продуктам в AWS, — любознательный и увлеченный мыслитель, стремящийся к самосовершенствованию и обучению. Он обладает сильным и проверенным техническим опытом в области разработки программного обеспечения и архитектуры, а также стремлением создавать коммерчески успешные продукты. Компания Erol высоко ценит процесс понимания потребностей и проблем клиентов, чтобы предлагать решения, превосходящие ожидания.

• Коинсмарт. Лучшая в Европе биржа биткойнов и криптовалют.Кликните сюда
• Платоблокчейн. Интеллект метавселенной Web3. Расширение знаний. Доступ здесь.
• Источник: https://aws.amazon.com/blogs/big-data/run-queries-concurrently-and-see-query-history-using-amazon-redshift-query-editor-v2/