DBA: хранение списков — таблица, массив, строка?

Достаточно часто при проектировании схемы БД возникает задача сохранить по основной сущности некоторый набор простых второстепенных данных.Например, это могут быть ФИО сотрудников, принимающих участие во встрече, список приложенных к сообщению файлов …

[Перевод] Почему стоит обратить внимание на PlanetScale

Ваша база данных — это первоисточник информации для бизнеса, и при принятии решений на ее основе рисковать не желательно. Хотя многие организации могут менять свою платформу несколько раз за период эксплуатации продукта, однако причиной вашей неуверенн…

Обновить данные в ClickHouse без UPDATE: кейс IBS

Привет, Хабр! Меня зовут Антон, я – старший разработчик в отделе разработки баз данных в IBS. В этой статье я расскажу о том, как нашей командой была решена задача по сохранению в ClickHouse большого количества данных, генерируемых веб-приложением, с п…

[Перевод] Детальное рассмотрение поведения при использовании INCLUDE

Некоторые базы данных такие, как Microsoft SQL Server, IBM Db2, а также PostgreSQL начиная с 11 версии – предлагают прибегнуть к оператору include для генерации индекса. Представление данного функционала в PostgreSQL (исходная статья вышла 30.04.2019) …

PostgreSQL Antipatterns: простой(?) INSERT… VALUES

Представим, что у вас есть некоторая табличка статистики, куда вы периодически скидываете таймстамп последнего «текущего» состояния в паре координат — например, (ID организации, ID сотрудника).Как больно наступить на грабли в совсем простом, казалось б…

Анализ больших данных в Excel: используем сводную таблицу для работы с BigQuery, Snowflake и ClickHouse

BigQuery и другие аналитические хранилища в сочетании с современными BI инструментами перевернули работу с данными за последние годы. Возможность обрабатывать терабайты информации за секунды, интерактивные дашборды в DataStudio и PowerBI, сделали работ…

Полезная подборка для будущих айтишников: какие есть специальности в IT и как стать программистом с нуля

Программисты остаются востребованными на рынке, и этот спрос постоянно растет. Компании помогают IT-специалистам с переездом, поддерживают финансово, оплачивают обучение, пересматривают заработную плату и заинтересованы в их карьерном росте.  В партнер…

Рецепт собственной системы контроля качества данных

Привет! Меня зовут Василий, я работаю в роли Data Engineer в подразделении Big Data Solutions компании Neoflex. Так сложилось, что уже на двух проектах за прошедший год мне довелось заниматься разработкой систем, помогающих контролировать качество данн…