Как быстро разрабатывать сервисы обработки данных в реальном времени с помощью PySpark Structured Streaming и Kafka

Данная статья обобщает базовые шаги по установке и началу работы с PySpark Structured Streaming при участии брокера сообщений Kafka. Предполагается, что читатель уже знаком с языком программирования Python и сервисом Kafka.При помощи PySpark Structured…

Ускоряем сериализацию JSON в Python с orjson и Rust

Немного контекста о том, как возникло это исследование…В один из тех летних дней, когда на улице стояла ясная, солнечная, жаркая погода, когда стрижи быстро пролетали за окном, распространяя веселые звуки, мы закончили очередную задачу по проекту (в …

Защищаем API – что важно знать?

В фундаменте каждой информационной защиты лежит глубокое понимание технологии целевой системы. В этой статье речь пойдет о защите API (Application Programming Interface) — важнейшего набора функций для каждого прогера.Интересно узнать об актуальных инс…

Apache Atlas – доступный data catalog

В задачах построения и развития Data Platform с течением времени мы всегда приходим к вопросу эффективного управления данными.Chief Data Officer, задавшись целью развить, вывести на новый уровень функцию управления данными, склоняются к “тяжеловесным” …

Механизмы сериализации в Java и Kotlin

В этой статье Илья Гершман, ведущий разработчик Юзтех, рассматривает понятия сериализации и десериализации в сравнении между двумя языками программирования — Java и Kotlin. Читать далее…

Регистрозависимые ли ключи в JSON

Конечно, да, скажете вы. Но не было бы этой статьи, если бы не было вопроса.Так же эта статья будет вам полезна, если вы используете эквайринг от Тинькофф.Немного предыстории. Какое-то время назад на одном из своих проектов я поменял онлайн-эквайринг н…

Не делайте лишних колонок в ваших таблицах, вам это не нужно

Всем привет.Я люблю базы данных, люблю строить запросы, люблю проектировать БД. Раскладывать по полочка, систематизировать это моё любимое занятие. Конечно первые годы я проектировал таблицы БД как меня научили в ВУЗе — каждому свойству отдельная колон…

Мечтают ли алгоритмы о финансовой отчётности: новый способ работы с ФО в ВТБ

Финансовая отчетность (ФО) — штука предельно ответственная. Получаемая от бизнеса ФО постоянно нужна банку для организации повседневной деятельности. Но процесс получения важной для нас отчётности омрачается тем, что работа с ФО — это монотонный неэффе…

Фильтрация JSON: как мы проводили конкурс на самый быстрый алгоритм

Привет, меня зовут Костя Плешаков, я Архитектор в Quadcode. В статье расскажу, как мы организовали конкурс, который помог решить проблему исключения некоторых данных (в нашем API) в процессе отправки на фронт. В результате мы получили высокопроизводите…

Yet another JSON-парсер

Здравствуйте, дорогие читатели. В данной статье описана реализация ещё одного, очередного, JSON-парсера, который способен извлекать целые JSON-объекты с содержимым из текста. Данный парсер использует стэки явно без рекурсии, для отслеживания контекста …