Что такое Parquet и чем открыть файл этого формата

Что такое формат Parquet и зачем он нужен

Parquet — это открытый столбчатый (columnar) формат хранения данных, разработанный Apache Software Foundation. В отличие от привычных табличных форматов, где данные хранятся построчно, Parquet группирует значения одного столбца вместе. Такой подход создавался под конкретную задачу: эффективную работу с большими объёмами данных в аналитике, Big Data и датасетах для машинного обучения, где нужно быстро читать не всю таблицу целиком, а лишь нужные столбцы.

Согласно официальной документации Apache Parquet, формат поддерживает высокопроизводительные схемы компрессии и кодирования, а его экосистема включает инструменты для разных языков и платформ — от Java и C++ до Python, Go и Rust. Файл Parquet редко открывают так же, как открывают обычный документ: чаще его загружают в аналитический инструмент или библиотеку, которая умеет читать столбчатую структуру.

Чем Parquet отличается от CSV, JSON и Excel

CSV, Excel и большинство текстовых форматов хранят данные построчно: чтобы узнать значения одного столбца, программе приходится пройти через каждую строку целиком. Файл Parquet устроен иначе — столбцы физически лежат в файле отдельными блоками, поэтому аналитический запрос, которому нужны три столбца из тридцати, читает с диска только эти три, а не всю таблицу. Это напрямую экономит время и ввод-вывод на больших датасетах, где счёт идёт на миллионы строк — похожую проблему разбирали в материале как открыть большой CSV-файл.

Второе принципиальное отличие — компрессия и встроенная схема. Файл Parquet обычно весит заметно меньше, чем аналогичный по данным CSV, потому что столбцы с однородными значениями сжимаются эффективнее вперемешку лежащих строк. При этом сам файл Parquet хранит описание своей структуры — какие есть столбцы, какого они типа — а «голый» CSV никакой схемы не несёт: её нужно либо угадывать, либо знать заранее. Сравнение форматов данных другого типа — JSON и XML или YAML, JSON и TOML — разобрано в соседних статьях сайта, если нужен более широкий контекст о том, как устроены разные форматы хранения.

Как устроен файл .parquet внутри

Внутренняя структура файла Parquet организована в три уровня, вложенных друг в друга. Row group — крупный блок строк, на которые делится весь файл; внутри него данные уже разложены по столбцам. Column chunk — это данные одного конкретного столбца внутри row group: именно такая группировка позволяет читать только нужные столбцы, не трогая остальные. Самый мелкий уровень — page, минимальная единица, в которой фактически хранятся и сжимаются значения.

Удобство этой структуры в том, что метаданные и схема данных записаны в самом файле Parquet, обычно в его конце. Программе не нужен отдельный файл-описание или ручная настройка типов столбцов — она читает метаданные и сразу понимает, как устроены данные внутри.

Рядом с Parquet часто упоминают форматы Avro и ORC — если нужно углубиться в разницу между ними, это тема для отдельного материала.

Чем открыть Parquet без программирования

Если задача — просто посмотреть, что внутри файла .parquet, без навыков программирования, проще всего открыть его в онлайн-вьюере. Принцип у таких сервисов общий: вы загружаете файл прямо в браузере, а инструмент показывает структуру данных — список столбцов, типы, строки — и у некоторых из них можно даже выполнить простой SQL-запрос по содержимому, не устанавливая никакого ПО на компьютер.

Как открыть Parquet в Python и других инструментах

Для более серьёзной работы с данными — фильтрации, объединения, агрегации — Parquet открывают программно. Python-библиотека pandas умеет читать файлы Parquet одной командой (pandas.read_parquet()), а дальше с данными можно работать как с обычной таблицей. В экосистему формата также входят DuckDB (удобен для быстрых SQL-запросов прямо по файлу, без загрузки в базу данных) и Apache Spark (для распределённой обработки по-настоящему больших датасетов) — оба инструмента официально входят в список реализаций, поддерживающих Parquet.

1. Установите библиотеку pandas (и движок для чтения Parquet, обычно pyarrow) в своём окружении Python.
2. Прочитайте файл командой pandas.read_parquet("файл.parquet") — данные загрузятся в привычную таблицу.
3. Посмотрите структуру: список столбцов, их типы и первые строки, чтобы убедиться, что данные прочитались корректно.
4. При необходимости экспортируйте результат в другой формат — например, в CSV, если дальше с данными будет работать не Python, а Excel.

Как конвертировать Parquet в CSV или Excel

Самый частый практический сценарий — получить файл .parquet и захотеть открыть его в Excel или переслать коллеге, который не работает с Python. Проще всего это сделать тем же pandas: прочитать файл через read_parquet(), а затем вызвать to_csv() — на выходе получится обычный CSV, который открывается в Excel без проблем. Если программировать не хочется, часть онлайн-вьюеров Parquet умеет экспортировать просмотренные данные в CSV прямо из браузера. Если результат конвертации нужно донастроить под Excel — например, поправить разделители или кодировку, — пригодится отдельный гайд как конвертировать Excel в CSV с обратным сценарием.

Где на практике встречаются Parquet-файлы

Чаще всего файл .parquet попадает на компьютер не потому, что кто-то создал его вручную, а как результат работы других систем. Это типичный формат выгрузки из BI-систем и аналитических платформ: когда дашборд или отчёт нужно сохранить в «сыром» виде для дальнейшей обработки, многие инструменты по умолчанию предлагают именно Parquet — он компактнее CSV и сохраняет схему данных. Та же история с датасетами для машинного обучения: наборы данных для обучения моделей часто распространяются в Parquet, потому что формат читается быстро и выборочно, без необходимости загружать весь файл в память. Ещё один источник — выгрузки из облачных хранилищ данных, где Parquet де-факто стандарт для хранения больших таблиц. Если файл, который вам прислали, предназначен не для человека, а для загрузки в нейросеть или ИИ-инструмент, полезно свериться со списком поддерживаемых форматов в материале какие форматы файлов принимают нейросети.

Частые вопросы