个人网站建立 学生,东莞常平镇地图全图,网站开发三剑客,青岛建设监理协会网站一#xff0c;订单中心 1#xff0c;调拨单
融通(Rocketmq)-订单中心#xff1a;ECC_BMS123(已出单)#xff0c;125(分配),127(发货),129(收货) 通过RocketMq接入多场景订单数据 2#xff0c;销售单
sap#xff08;FTP#xff09;-订单中心#xff0c;下发1002,1003,…一订单中心 1调拨单
融通(Rocketmq)-订单中心ECC_BMS123(已出单)125(分配),127(发货),129(收货) 通过RocketMq接入多场景订单数据 2销售单
sapFTP-订单中心下发1002,1003,1004接口 Job定时读取FTP XML文件解析各订单类型实现自己的业务 类型sap bms b2b shibai连接不同FTP读取不同业务类型路径下数据下载解析不同订单各自处理移动已处理文件。设计模式枚举 策略 模版 3主数据替换
所有主数据替换原来查询数据库现在统一查询商品接口查询Redis或者ES
【调拨单】 数据层级供应商 采购组织 大区 门店 商品分类 商品 。门店商品 1:N 1.1店间调拨单下传ECC_BMS123 【正常流程】 ● 落原始数据 状态流延时待处理/延时已处理/未使用/已使用/延时异常数据 说明入库门店商品信息不存在下发门店商品信息小于实际查询到的门店商品信息延时待处理流程结束否则未使用 ● 主数据查询组装数据分批查询2000一批 查询商品中心门店商品 查询供应商中心根据供应商编码和采购组织查询方案组 查询价格中心根据供应商门店商品 ● 组装数据并写入订单明细跟踪核心跟踪订单整个流程 状态流80-已取消 10 -待审核 20 -已审核 30 -已出单 40 -待发货/已分配 50 -待收货 60 -已收货 70 -已完成 初始状态已出单 A分表根据大类分表生鲜11 食百1213 B订单明细跟踪同步ES批量操作 ● 增加在途 A通过MQ发送库存中心更新库存信息Topic/tags/source/key/msg B异常消息记录异常或者发送结果状态非OK封装多种场景 CJOB定时批量补偿异常消息重新发送
【异常流程】 1JOB检查123异常数据补偿处理门店商品数据是否正常 2超过3天未处理同步异常单数据到ES 3补偿细节 每次处理一定的量10条 查询订单号再根据订单号查询数据充分利用索引 限定创建时间近期 根据更新时间排序循环处理
1.2店间调拨单出库单出库数量上传 125 【正常流程】 查询123基础数据检查数据完整性 检查下发数量和申请数据123是否一致否同步ES异常数据 查询订单明细跟踪并更新 更新123状态为已使用乐观锁 扣减库存MQ正向/反向库存标识加或者减
【异常单流程】 JOB补偿
1.3SAP销售退货单的DN下传云POS 店间调拨过账后的交货单下传 1.4店间调拨入库单的入库数量上传
2. 销售单sapFTP以1004为例下发发货指令 发货单商品数量订单维度匹配订单明细跟踪该订单号所有明细商品数量。 场景下发0-直接关单匹配-完成订单不匹配-延时数据JOB定时处理 更新订单明细跟踪 更新库存MQ
二独立活动类 1生鲜价格动态app活动 2咏悦汇酒会独立设计开发app活动门店茅台洋酒百威暗码换购活动
三报表 1商品资料非实时报表大数据通过binlog同步主数据到es批量查询多个索引数据。 2巡检报表查询es数据大数据推送数据到es根据不同维度分组求和聚合求和聚合求和后再合计聚合后排序总计分页from/search_after。
四渠道/商品中心 对接云创系统渠道标识同步云创。云创系统-渠道中心(MQ)-渠道同步中心 封装大量es查询接口
五爬虫 重构大数据爬虫框架使用java Gecco框架二次开发。 1.爬取内容朴朴多点每日优化京东盒马鲜生 2.数据处理抓取数据发送kafka消息推送给大数据。flume消费kafka消息到hdfs同步到hivehue查看数据。3.代理ip处理
