数据工程知识库

数据工程知识库

基础知识
- 编程语言
  - SQL
  - Python
    - Python相关工具
  - Java
    - Java相关工具
  - Scala
    - Scala相关工具
数据存储
- SQL数据库
  - 事务性数据库
  - 分析型数据库
- 文件格式
  - Avro
  - Apache ORC
  - Apache Parquet
  - JSON
  - yaml格式
  - CSV
  - Delta Lake
  - Protocol Buffers
- NOSQL数据库
  - 列存储数据库
  - 图数据库
    - Graph Database
  - 文档型数据库
    - MongoDB
    - elasticsearch
    - Amazon DynamoDB
  - 其他
    - ClickHouse
    - Timeseries Database
  - 键值对数据库
    - Redis
- 分布式文件存储
  - 分布式文件存储
- 对象存储
  - Amazon S3 Glacier
  - Amazon S3
数据处理
数据摄取
数据挖掘
数据可视化
- Power BI
- Qlikview
- Kibana
- Grafana
- Prometheus
- Prometheus和Grafana的集成
- Apache Superset
数据管道
- Apache Airflow
数据治理
- 数据合规
  - 数据传输
  - 数据加密
  - 数据容灾
  - 数据监控
- 数据血缘
- 数据质量
- Choosing your optimal messaging service
- Cost Optimization in the Cloud
- SQL Guide
- Testing Your Data Pipeline
- Guides
- Data Governance Guide
- Getting Started With Data Engineering
- Data Pipeline Best Practices
数据仓库
数据上云
- AWS
- Azure
  - Microsoft Azure
- Google Cloud Platform
  - Google Cloud Platform
- Aliyun
数据架构
草稿
- 问题集