Apache ORC
ORC（Optimized Row Columnar）是一种用于存储大规模数据的列式存储文件格式，常用于Apache Hive等数据处理工具中。下面是ORC格式的优势和劣势：
优势：
- 高压缩比：ORC文件格式支持多种压缩算法，能够有效地减小存储空间，节省存储成本。
- 高性能：由于采用列式存储，ORC文件格式在数据扫描和查询时能够实现更高的性能，特别是在大规模数据处理场景下。
- 支持复杂数据类型：ORC格式支持复杂的数据类型，如结构体、数组、映射等，能够更灵活地存储和查询数据。
- 列式存储：列式存储可以只读取需要的列，减少IO开销，提高查询效率。
劣势：
- 不适合小规模数据：由于ORC格式的优势主要体现在大规模数据的存储和查询上，对于小规模数据可能会存在一定的性能损失。
- 不支持追加操作：和Avro一样，ORC文件格式一般用于静态数据存储，不支持在文件末尾追加数据，需要重新写入整个文件来更新数据。
- 不易于人类阅读：由于ORC文件格式是二进制存储的，不适合人类直接阅读，需要专门的工具来解析和查看文件内容。
- 需要额外的解析工具：为了读取和处理ORC文件，需要使用特定的工具或库，可能需要一定的学习成本。