核心内容摘要
毕业设计实战：用 ‘give me some credit‘ 构建信用评分模型的端到端工程实践
简介接口中台为消费者应用(数据需求)和数据提供者集成提供一站式的服务是系统间的数据枢纽支持各种数据源可视化构建数据集可视化编排接口发布服务0代码实现系统间数据交换。
本文解释接口平台架构设计规划和特性1 数据源和连接器2 接口数据集数据集构建器3 服务编排4 执行架构还有授权可观测和监控术语/关键词连接器提供各种适配器用于连接不同的提供者如数据库、HTTP API、FTP服务器、消息队列等是平台的基础能力数据集定义返回什么数据如数据库的sql可设置参数定制化返回的数据接口数据集的出入口其自身是可调用服务编排 组合协调接口数据管道输出预期数据服务 编排的执行体参考资料逻辑架构下图是接口中台的逻辑架构数据源和连接器连接器实现数据源的访问协议连接和通讯读取和写入接口和数据集数据集定义返回的数据可视化定制接口是数据集的出入口但接口不直接对client使用通过服务输出服务和编排编排 组合接口搭建数据处理管道获取期望的数据服务 输出编排接口技术架构本节介绍接口平台的技术架构介绍平台运行逻辑实现高可用高吞吐(百万QPS)大容量(百万接口)高伸缩等架构要求上图是技术架构图管理侧首先看管理侧负责构建接口和数据集服务编排在线测试服务(pipeline)和接口服务发布构建接口业务人员(操作员)新增接口通过数据源对应的构建器构建数据集编排和发布服务业务人员编排接口形成数据管道(pipeline)发布消费者可以调用服务获取/写入数据。
业务人员发布服务推到发布桶执行目录和索引同步新增服务执行侧服务发布后消费者调用服务接口服务网关(ISG)接收请求执行目录和索引查找合适的执行器 轮询随机负载最少等策略推送请求到选定的执行器执行器执行任务任务预解释到缓存执行器快速执行分布式协调器(zookeeper)发现执行器下线重新分配下线执行器的调用请求调用的断点执行幂等性服务负责综述执行器的上下线发现调用重分配保证调用执行高可用执行器的注册机制提供高伸缩执行器选择服务执行图缓存提供高吞吐大容量支撑数据源和连接器上图是数据源设计类万物皆数据只要给连接器数据源/连接器数据源和连接器是配套连接器提供数据源通讯连接功能实现读写的协议常用的数据源有数据库文件rest服务等连接器根据协议类型提供统一的读写如数据库-jdbc文件-oss数据集依赖连接器构建数据操作视图接口和数据集上图是接口和数据集的设计类数据集统一接口读写数据源接口提供大粒度面向业务的api定制化的数据支持多数据源融合引入flink多数据源通常时长在分钟级数据集构建器数据集构建器提供可视化构建数据集的能力每种类型对应构建器接口接口是数据集的出入口核心是配置数据集下图是接口的属性设置异步接口一些接口执行时间比较久例如多数据源的融合分钟级别异步接口支持事件驱动长时间接口完成后通知服务继续流水线。
服务和编排上图是服务和编排的设计类编排/拓扑组合接口合成需要的数据直接面向应用业务拓扑有链状和图状链状较简单数据一个接一个地通过各节点(接口)图状拓扑需要合并和分叉的处理节点对数据合流和分流。
服务服务是可调用的实体设置执行要素包括url负载均衡转换器转换器负责格式的转换(json/xml)字段的映射对照使用规则引擎映射和转换接口的输入和输出以适应消费者的需要