印尼医疗龙头企业Halodoc的数据平台转型之路:数据平台V1.0


1. 摘要

数据是每项技术业务的支柱,作为一个健康医疗技术平台,Halodoc 更是如此,用户可以通过以下方式与 Halodoc 交互:

  • 送药
  • 与医生交谈
  • 实验室测试
  • 医院预约和药物

所有这些交互都会产生高度敏感、多样化且通常是非结构化的数据。 因此随着公司的成长,必须拥有一个强大的数据平台,平台需要满足如下需求:

  • 确保数据的隐私和安全
  • 在处理结构化和半/非结构化数据时可靠、可扩展、快速且高可用
  • 促进为业务/运营团队生成报告和实时仪表板
  • 为数据科学团队提供一个平台来运行实验、模型和存储结果

2. 数据平台

Halodoc 基础设施托管在 AWS 上,公司的数据基础设施是 AWS 托管服务和自托管服务的组合,Amazon Redshift 是我们存储各类型数据的主要数据仓库。

印尼医疗龙头企业Halodoc的数据平台转型之路:数据平台V1.0

该平台的关键组件如下所述

2.1 数据源

Halodoc 生成的数据属于以下类别:

  • 事务数据 - 各种后端服务生成的数据,如咨询、药房订单、约会等,这些数据主要来自关系数据库 (MySQL)。
  • 数字健康记录 - 医生预约、医疗账单、处方、保险索赔等的医疗报告。这些可能是图像或文件,具体取决于医院和商家合作伙伴。
  • 商户库存数据 - 我们商户药店的库存数据可以采用不同的格式(csv、xls),通过不同的工具(SFTP、定制软件)上传。
  • 来自后端服务的事件——我们的后端由微服务和一个事件生成/消费平台组成,用于这些服务之间的异步通信。因此跨不同后端服务生成的事件需要进行实时处理。
  • 保险索赔/医疗账单- Halodoc作为 TPA 还参与索赔解决、验证索赔和检测欺诈。这些文档可以以各种格式(csv、xls、PDF)获取,需要及时处理以便为患者和保险提供商提供更顺畅的理赔体验。

2.2 批处理管道

批处理管道是我们数据平台的核心,对后端服务和第三方分析工具生成的事务/临时数据进行处理并写入数据仓库。该管道的主要组成部分包括:

  • ETL 工具:ETL 代表提取、转换、加载,ETL 工具有多种选择。在 Halodoc ETL 主要使用 Airflow 和 Pentaho。
  • Pentaho:Pentaho 是一个提供数据提取、集成、转换、挖掘和加载功能的工具。Pentaho 很大程度上是由 UI 驱动,并且受限于软件提供的功能,在 Halodoc我们正在慢慢地从 Pentaho 转向 Airflow。
  • Airflow:Airflow 是一个非常灵活的工具,可以更好地控制转换,同时还可以在现有operator之上构建自己的框架,Airflow 还提供了一个很好的仪表板来监控和查看作业运行状态。

数据仓库和数据湖:数据仓库是经过优化的数据库,可以分析来自不同系统的关系型数据,数据结构和模式是预先定义的,以优化快速 SQL 查询,结果通常用于报告和分析。数据被清理、丰富和转换,以便它可以作为用户可以信任的“单一事实来源”。数据湖则是不同的,因为它存储来自业务线应用程序的关系数据以及来自移动应用程序、物联网设备和社交媒体的非关系数据,捕获数据时未定义数据结构或模式。

  • Amazon S3 数据湖:Amazon S3 是 Halodoc 的数据湖。 来自各种来源的所有数据首先转储到各种 S3 存储桶中,然后再加载到 Redshift(我们的数据仓库)中,S3 中的数据也充当备份,以防任何 ETL 作业失败。
  • Amazon Redshift:我们使用 Amazon 的 Redshift 作为集中式数据仓库,包含一个六节点 Redshift 集群,数据以有规律的节奏从各种来源流入,Amazon Redshift 针对批量加载和通过复制命令从 S3 加载进行了优化,我们所有的业务分析师、数据科学家和决策者都通过各种可视化工具(Looker/Metabase)、SQL 客户端和其他分析应用程序访问数据。

存储在 Redshift 中的数据被建模为星型模式,根据我们拥有的业务单位,由维度表包围中心事实表。

2.3 实时处理管道

实时数据处理管道作为 Halodoc 事件平台的底层基础设施,Halodoc 的所有后端服务在每次操作/状态更改后都会生成事件,并通过此管道进行处理,大多数基于流的系统由以下 4 个组件组成:

  • 基于日志的事件存储:分布式、可追加的基于日志的系统,它收集和存储来自不同来源的数据。例如:Kafka、AWS Kinesis Streams、Google PubSub 等。
  • 流计算系统:使用来自事件存储的数据并在其上运行聚合函数,然后将结果存储在服务层存储中,例如AWS Kinesis Data Analytics、Apache Flink、Apache Storm、Apache Spark 等。
  • 服务层存储:存储聚合数据并提供优化的查询响应,它也可以存储时间序列数据。例如InfluxDB、Elasticsearch、AWS DynamoDB 等。
  • 服务层:为聚合数据提供可视化表示,例如:Kibana、Grafana 等。

架构

  • Apache Kafka – Kafka 已成为大多数开源流处理存储层的事实标准,用于以低延迟的流方式存储大量数据。
  • Apache Flink:开源平台,为数据流上的分布式计算提供数据分发、通信、状态管理和容错。
  • Elasticsearch:开源数据存储,主要针对搜索进行了优化,但后来作为运营和业务指标的服务层存储变得非常流行。
  • Kibana/Grafana :一个连接到 Elasticsearch 数据存储并充当服务层的开源可视化框架。

2.4 数据可视化

有很多可用的数据可视化工具,其中大多数都支持用于构建仪表板的各种数据源。 我们对工具的选择主要受以下因素驱动:

  • 易用性:BI 开发人员/分析师必须很容易即可创建和维护报告和仪表板。
  • RBAC:我们应该能够为公司中的不同用户提供细粒度的访问。
  • 可维护性:工具必须易于维护,无论是在软件升级、部署和故障排除等方面。

考虑到所有这些因素,我们得出了以下工具:

Looker

  • Looker 是一款高级工具,可提供丰富的可视化效果,是我们所有 BI 报告的一站式平台。
  • 它提供了一种简单的方法来衡量 WoW / MoM 增长并跟踪我们的年度目标。
  • 在解决问题时Looker 的支持团队反应迅速,同时提供具有最新功能的软件升级。

Metabase

  • Metabase 是一个简单的开源工具,可供公司中的每个人提问和可视化数据。
  • 在 Halodoc,Metabase 用作自助服务工具,操作人员和 BI/后端开发人员可以在其中查询以创建自定义报告和仪表板。
  • 集成插件以发送有关某些关键业务指标的实时警报,警报渠道包括slack/电子邮件。

Kibana

  • 由于使用 Elasticsearch 作为数据源,Kibana 提供了方便的仪表板可视化。
  • 所有用于监控实时指标(如商家取消、医生取消等)的实时仪表板都在 Kibana 中创建。
  • 客户支持和运营团队依靠这些仪表板做出及时的决策。

2.5 监控数据基础设施

监控和警报对于检查系统和发现生产问题是不可或缺的,它还直接影响平台的可靠性。Halodoc 数据基础设施由各种工具组成,其中一些由 AWS 管理(Redshift、MSK),而另一些则由内部托管(Elasticsearch、Flink)并由我们的开发运营/数据团队维护,用于监控的工具包括:
Cloudwatch:它是 AWS 用于监控指标和警报的事实标准,所有 AWS 托管服务(Redshift、MSK、RDS、DynamoDB)都将其指标发布到 Cloudwatch,我们为以下各项设置了警报:

  • CPU 使用率和 Redshift 集群运行状况
  • RDS 上的慢查询
  • Lambda 错误
  • 数据库连接数等等

警报渠道包括通过 Lambda 发送的 slack/电子邮件。
Prometheus 与 Grafana:Prometheus 和 Grafana 的组合越来越流行,作为 DevOps 团队用于存储和可视化时间序列数据的监控,Prometheus 充当存储后端,Grafana 充当分析和可视化的界面。Prometheus 通过这些目标上的导出器从 HTTP 端点抓取指标,从受监控的目标收集指标。
我们已经自托管了一些平台组件,例如 Airflow、Elasticsearch、Flink 等,自托管这些工具的决定是考虑到成本、devops/数据团队的经验和监控成本。
我们为所有这些工具提供了 prometheus 指标导出器,并且使用了用于 Elasticsearch、Airflow 和 Flink 的开源 Grafana 仪表板,同时在 prometheus 上设置了基于多种可用指标的各种阈值的警报设置,以通过 slack/email 告警。

3. 总结

在这篇博客中总结了Halodoc的数据平台,从不同来源的数据到各种可视化工具,我们在选择这些工具时的思考过程,维护和运行此基础设施是一项艰巨的任务,我们不断挑战自己以保持基础设施简单并更有效地解决问题。
可扩展性、可靠性和可维护性是构建 Halodoc 技术平台的三大支柱。后续还将介绍数据平台架构到Lakehouse架构的演进,敬请期待。

发表评论

相关文章