hot, warm and cold data 热数据, 温数据, 冷数据

  • 分类依据 classification criteria
    • data access frequency 数据访问频率

热数据

  • 指频繁访问的在线类数据
  • 对存储性能要求高

Hot data is frequently accessed on faster storage

热数据是需要被计算节点频繁访问的在线类数据,比如可以是半年以内的数据,用户经常会查询它们,
适合放在数据库中存储,比如MySQL、MongoDB和HBase。

部分热数据是需要通过 redis memcache 等 cache (缓冲) 非持久化内存数据库进行访问, 数据的实际存储还是放在持久化数据库中

温数据

  • 访问频率和存储性能要求介于冷热数据之间

warm data is accessed less frequently and stored on slightly slower storage

温数据是非即时的状态和行为数据,也可以简单理解为把热数据和冷数据混在一起就成了温数据。

如果整体数据量不大, 不区分温数据和热数据。

冷数据

  • 不经常访问的离线类数据
    • 备份数据
    • 归档数据
  • 存储性能要求相对低
  • 存储介质要求容量大

cold data is rarely accessed and stored on even slower storage.

冷数据是指离线类不经常访问的数据,用于灾难恢复的备份或者因为要遵守法律规定必须保留一段时间,比如企业备份数据、业务与操作日志数据、话单与统计数据。通常会存储在性能较低、价格较便宜的文件系统里,适用于离线分析,比如机器学习中的模型训练或者大数据分析。