Apache Parquet
Parquet 文件格式是一种列式存储格式，它将数据按列存储在文件中，而不是按行存储。这种存储方式有助于提高查询和分析性能。
优势：
- 高效的压缩：parquet 使用高效的压缩算法，可以显著减小存储空间。
- 列式存储：parquet 文件以列的方式存储数据，这样可以更快地进行列级别的操作和查询。
- 高效的扫描性能：parquet 文件格式支持更快的扫描性能，特别是在大数据量下。
- 处理复杂数据类型：parquet 文件格式支持复杂的数据类型，如嵌套数据结构和数组。
- 跨平台兼容性：parquet 文件格式可以被多种不同的处理框架支持，如Hadoop, Spark, Hive等。
劣势：
- 不适合小数据量：对于小数据量的情况，parquet 文件格式可能会有一些额外的开销，不如其他格式高效。
- 不适合频繁更新：parquet 文件格式不适合频繁更新的场景，因为它是一种列式存储格式，更新操作可能会比较慢。
总的来说，parquet 文件格式适合大规模的数据存储和分析场景，特别是对于需要高效压缩和快速扫描的情况。
-
文件结构：Parquet 文件由多个数据块（Row Groups）组成，每个数据块包含一组行数据。
-
列式存储：每个数据块中的数据按列存储，即所有行的某一列值连续存储在一起。这种存储方式有助于减少 I/O 操作，提高查询效率。
-
数据页：每个列值被划分为多个数据页（Data Pages），数据页存储了列值的实际数据。数据页可以使用不同的压缩算法进行压缩，以减小存储空间。
-
元数据：Parquet 文件中还包含元数据（Metadata），用于描述文件的结构和存储信息，包括列的数据类型、编码方式、压缩方式等。
-
统计信息：Parquet 文件中还可以包含统计信息（Statistics），用于帮助查询优化器进行查询计划的生成，例如最小值、最大值、空值个数等。
总的来说，Parquet 文件格式通过列式存储、数据页和元数据的结构，实现了高效的数据存储和查询功能，适合大规模数据分析和处理场景。
以下是一个使用Python实现写入和读取Parquet文件的示例：
import pandas as pd
import pyarrow as pa
import pyarrow.parquet as pq
# 创建示例数据
data = {'name': ['Alice', 'Bob', 'Charlie'],
'age': [30, 25, 35]}
df = pd.DataFrame(data)
# 将Pandas DataFrame 转换为 PyArrow Table
table = pa.Table.from_pandas(df)
# 写入Parquet文件
pq.write_table(table, 'users.parquet')
# 读取Parquet文件
table_read = pq.read_table('users.parquet')
df_read = table_read.to_pandas()
print(df_read)
在这个示例中，首先创建了一个简单的Pandas DataFrame，并将其转换为PyArrow Table。然后使用pq.write_table将Table写入到Parquet文件users.parquet中。接着使用pq.read_table读取Parquet文件，并将其转换为Pandas DataFrame进行打印。你可以根据实际需求修改数据内容和文件名。