从吉客云获取并导入金蝶云星空的数据处理案例

2023-07-15 06:37:27
轻易云集成顾问-黄宏棵

VMI调回出库对接采购退料技术案例分享

在现代企业运作中，系统间的数据集成已成为提升效率和保证数据一致性的重要环节。本次案例分享聚焦于吉客云与金蝶云星空之间的系统对接，通过API接口实现VMI调回出库对接采购退料流程。这里，我们将探讨一个已测试、实施有效的解决方案。

为实现这一目标，主要依赖两个关键API：获取吉客云数据的erp.storage.goodsdocout.v2接口，以及将数据写入金蝶云星空的batchSave接口。下面我们逐步解析此次集成中的核心技术点及其实现方法：

高吞吐量的数据写入能力
为处理大量业务数据，在设计时确保接口具有高吞吐量特性，使得批量数据能够迅速从吉客云读取并可靠写入到金蝶云星空。这样不仅提高了整体处理速度，还减少了因延迟引起的数据积压问题。
定时抓取与分页请求
利用轻易云平台提供的定时任务功能，设定周期性地调用吉客云API erp.storage.goodsdocout.v2以获取最新业务数据。同时，为应对大数据量传输带来的负荷压力，通过分页机制分批次进行请求和处理，从而避免单次请求过大导致接口超时或限制的问题。
自定义转换逻辑与格式差异处理
吉客云和金蝶云星空采用不同的数据结构。在集成过程中，需要应用自定义转换逻辑，将源头数据按照目标系统要求重新映射。例如，对日期格式、字段命名规则等进行调整，以确保两端系统的数据交互无缝兼容。
实时监控与异常重试机制
借助集中化监控和告警系统，全程追踪每个集成任务状态，及时发现并报告潜在问题。当出现异常情况，比如网络抖动导致某个步骤失败，则触发自动重试机制，提高整体流程的鲁棒性。另外，在每一步骤都记录详细日志，为后续排查提供依据。
灵活可视化操作界面
通过使用轻易云平台提供的可视化工具，开发团队能够直观地设计和管理整个数据流。从源端抓取到目标端写入，每个节点都清晰呈现，使复杂的数据流过程变得更加透明且易于维护。

上述策略在"VMI调回出库对接采购退料"项目中已经过全面测试，并证明其具备高效、稳定运行特点。在下一部分内容中，我们将进一步深入介绍如何对接金蝶云星空API接口

调用吉客云接口erp.storage.goodsdocout.v2获取并加工数据

在数据集成生命周期的第一步，我们需要从源系统获取数据，并对其进行初步加工。本文将深入探讨如何通过调用吉客云的erp.storage.goodsdocout.v2接口来实现这一目标。

接口配置与调用

首先，我们需要了解接口的基本配置和调用方式。根据元数据配置，erp.storage.goodsdocout.v2接口采用POST方法进行请求，主要参数如下：

pageIndex: 分页页码
pageSize: 分页页数，默认值为50
goodsDocNo: 出库单号
startDate: 创建时间的起始时间，使用动态变量{{LAST_SYNC_TIME|datetime}}
endDate: 创建时间的结束时间，使用动态变量{{CURRENT_TIME|datetime}}
inouttype: 类型，固定值为202（调拨出库）
其他字段如sourceBillNo, warehouseCode, vendCode, billNo, userName, outBillNo, gmtModifiedStart, gmtModifiedEnd

请求示例如下：

{
  "pageIndex": "1",
  "pageSize": "50",
  "startDate": "{{LAST_SYNC_TIME|datetime}}",
  "endDate": "{{CURRENT_TIME|datetime}}",
  "inouttype": "202"
}

数据过滤与条件设置

为了确保获取的数据符合业务需求，我们需要设置一些过滤条件和逻辑判断。根据元数据配置中的condition_bk和condition字段，我们可以定义以下条件：

基础条件:
- goodsDocDetailList.quantity > 0
业务条件:
- 仓库名称包含“VMI”的记录不包含在结果中。
- 仓库名称不包含“弧秒”的记录。

这些条件可以帮助我们筛选出有效的数据，提高数据质量。

数据清洗与转换

在获取到原始数据后，需要对其进行清洗和转换。元数据配置中的beatFlat字段指定了需要扁平化处理的字段，例如goodsDocDetailList。这意味着我们需要将嵌套结构的数据展开，以便后续处理。

此外，自动填充响应（autoFillResponse）功能可以帮助我们简化部分字段的处理，使得数据清洗过程更加高效。

异常处理与补偿机制

在实际操作中，不可避免地会遇到一些异常情况，例如网络问题或接口响应超时等。为了确保数据集成过程的稳定性，我们需要设计相应的异常处理机制。

元数据配置中的omissionRemedy字段提供了一种补偿机制，通过定时任务（crontab）来定期检查并补偿遗漏的数据。例如，每天凌晨2点9分执行一次任务，从当前时间向前推3天的数据进行补偿：

{
  "crontab": "9 2 * * *",
  "takeOverRequest": [
    {
      "label": "接管字段",
      "formModel": {"enable": false},
      "tableModel": {"enable": false},
      "physicalModel": {"enable": false},
      "field": "startDate",
      "type": "string",
      "value": "_function FROM_UNIXTIME( unix_timestamp() -259200 , '%Y-%m-%d %H:%i:%s' )"
    }
  ]
}

实际应用案例

假设我们需要从吉客云系统中获取过去一天内所有调拨出库类型的数据，并将其导入到目标系统中。具体步骤如下：

构建请求参数：根据当前时间和上次同步时间构建请求参数，并设置分页信息。
调用接口：使用POST方法调用erp.storage.goodsdocout.v2接口，获取原始数据。
数据过滤与清洗：根据预定义的条件过滤无效数据，并对嵌套结构进行扁平化处理。
异常处理与补偿：在定时任务中检查并补偿遗漏的数据，确保数据完整性。

通过上述步骤，我们可以高效地完成从吉客云系统获取并加工数据，为后续的数据转换与写入打下坚实基础。这不仅提升了业务透明度和效率，也为实现不同系统间的数据无缝对接提供了有力支持。电商OMS与ERP系统接口开发配置

数据集成案例：将源平台数据转换并写入金蝶云星空API接口

在数据集成生命周期的第二步，我们需要将已经集成的源平台数据进行ETL转换，转为目标平台金蝶云星空API接口所能够接收的格式，并最终写入目标平台。以下是一个具体的技术案例，展示如何通过轻易云数据集成平台实现这一过程。

API 接口配置

首先，我们需要配置与金蝶云星空系统对接的API接口。根据元数据配置，我们使用的是batchSave API，采用POST方法进行数据传输。以下是具体的配置参数：

{
  "api": "batchSave",
  "effect": "EXECUTE",
  "method": "POST",
  "idCheck": true,
  "request": [
    {
      "field": "FBillTypeID",
      "label": "单据类型",
      "type": "string",
      "describe": "单据类型",
      "parser": {
        "name": "ConvertObjectParser",
        "params": "FNumber"
      },
      "value": "TLSQDD01_SYS"
    },
    {
      "field": "FDate",
      "label": "采购日期",
      "type": "string",
      "describe": "日期",
      "value": "{inOutDate}"
    },
    ...
  ],
  ...
}

数据字段映射与转换

在这个过程中，关键的一步是将源平台的数据字段映射到金蝶云星空所需的数据格式。我们通过元数据配置中的parser和mapping参数来实现这一点。例如：

单据类型 (FBillTypeID): 使用 ConvertObjectParser 将值转换为 FNumber 格式。
采购组织 (FPURCHASEORGID): 同样使用 ConvertObjectParser 并指定目标映射 6441f0214af70a2f240adb22。
供应商 (FSUPPLIERID): 转换并映射到 651143e1ec266b0099244c67。

这些字段的转换和映射确保了数据能够被金蝶云星空正确识别和处理。

明细信息处理

对于复杂的数据结构，如明细信息（FEntity），我们需要进一步处理每个子字段。例如：

{
  "field": "FEntity",
  ...
  "children": [
    {
      "field": "FMaterialId",
      ...
      {
        ...
        }
    },
    {
      ...
    }
  ]
}

在这里，每个子字段如物料编码（FMaterialId）、采购数量（FPurQty）等都需要根据相应的规则进行转换和映射。

数据写入操作

最后，通过API调用，将处理后的数据写入金蝶云星空系统。我们设置了以下参数以确保操作顺利进行：

FormId: 指定业务对象表单ID，如 PUR_MRAPP。
IsAutoSubmitAndAudit: 设置为 true，表示自动提交并审核。
Operation: 执行操作类型，如 Save。
IsVerifyBaseDataField: 设置为 true，验证基础资料有效性。

这些参数确保了数据在写入过程中能够被正确处理，并且符合业务流程需求。

实际应用示例

假设我们有一批采购退料数据，需要通过上述配置写入金蝶云星空系统。具体步骤如下：

准备源数据：从源平台获取采购退料相关的数据。
ETL转换：利用轻易云平台，根据元数据配置对源数据进行清洗、转换和映射。
调用API：通过配置好的API接口，将转换后的数据发送至金蝶云星空系统。

通过这种方式，我们可以高效地实现不同系统间的数据无缝对接，确保业务流程顺畅运行。如何开发金蝶云星空API接口