数据工程知识库

CN
- English*

数据工程知识库
- 基础知识
  - 编程语言
    - SQL
    - Python
      - Python相关工具
    - Java
      - Java相关工具
    - Scala
      - Scala相关工具
- 数据存储
  - SQL数据库
    - 事务性数据库
    - 分析型数据库
  - 文件格式
    - Avro
    - Apache ORC
    - Apache Parquet
    - JSON
    - yaml格式
    - CSV
    - Delta Lake
    - Protocol Buffers
  - NOSQL数据库
    - 列存储数据库
    - 图数据库
      - Graph Database
    - 文档型数据库
      - MongoDB
      - elasticsearch
      - Amazon DynamoDB
    - 其他
      - ClickHouse
      - Timeseries Database
    - 键值对数据库
      - Redis
  - 分布式文件存储
    - 分布式文件存储
  - 对象存储
    - Amazon S3 Glacier
    - Amazon S3
- 数据处理
- 数据摄取
- 数据挖掘
- 数据可视化
  - Power BI
  - Qlikview
  - Kibana
  - Grafana
  - Prometheus
  - Prometheus和Grafana的集成
  - Apache Superset
- 数据管道
  - Apache Airflow
- 数据治理
  - 数据合规
    - 数据传输
    - 数据加密
    - 数据容灾
    - 数据监控
  - 数据血缘
  - 数据质量
  - Choosing your optimal messaging service
  - Cost Optimization in the Cloud
  - SQL Guide
  - Testing Your Data Pipeline
  - Guides
  - Data Governance Guide
  - Getting Started With Data Engineering
  - Data Pipeline Best Practices
- 数据仓库
- 数据上云
  - AWS
  - Azure
    - Microsoft Azure
  - Google Cloud Platform
    - Google Cloud Platform
  - Aliyun
- 数据架构
- 草稿
  - 问题集

数据工程知识库
/
数据工程知识库
/
数据架构

数据架构

Kappa架构
CAP不可能三角原则
Fan-out
Claim Check Pattern
Lambda Architecture
云厂商数据架构

Google Cloud Platform Kappa架构