Files

本文档提供有关配置 Excel、CSV、Json、XML 的信息。

数据库类型为“File(s)”的,允许接受 Excel、CSV、Json、XML 文件作为源数据库。

用户可通过正则表达式选择采集什么类型的文件。

当 Excel/CSV 作为源时

支持的版本

  • Excel:xls、xlsx

  • CSV:分隔符自定义

基本配置

文件存放规则

一个文件表示一张表,包括 Excel 和 CSV

文件内容

  • 第一行必须是 header (字段名)

  • 第二行开始是数据行

目前支持的文件获取方式有:

  • FTP

  • 本地目录(共享目录)

  • Windows 共享目录

页面配置

  1. 创建连接,“数据库类型”选择“File(s)”

  2. “协议”选择“Local File”

  3. “文件保存时间”即通过该连接采集到的文件生命周期,单位为分钟

  4. “目录/文件”允许用户添加多个路径,以下是每个输入框的解释:

    • “路径”:填写的是绝对路径,注意:这里只能填写路径,不需要填写具体文件名

    • “包含文件名”:正则表达式填写的就是您希望获取的文件

    • “排除文件名”:正则表达式填写的就是您希望排除的文件

    • 例如:

      • 路径: /home/dianke/files/

      • 包含文件名:.*.xlsx

      • 排除文件名:<空>

  5. 若“协议”选择“FTP”后,只需要填入对应的ftp地址、端口、账号名、密码即可。

    • FTP的连接超时时间用来控制用户连接ftp后的超时时间。

    • FTP的数据传输超时时间用来控制采集文件时的超时时间。

  6. FTP主动模式和被动模式:

    • 这里的主被动模式就是指FTP本身的2种模式

    • 建议:使用被动模式,缓解服务器压力

当 Json 作为源时

支持的版本

列表Json:

[
{...},
{...},
...
]

一行一个字典

{...}
{...}
...

页面配置

同 Excel/CSV 配置

举例:

  • 路径: /home/dianke/files/

  • 包含文件名:.*.json

  • 排除文件名:<空>

当 XML 作为源时

支持的版本

标准XML格式

<DATA>
<RECORD>
<NAME>...</NAME>
<AGE>...</AGE>
...
</RECORD>
<RECORD>
...
</RECORD>
...
</DATA>

页面配置

同 Excel/CSV 配置

举例:

  • 路径: /home/dianke/files/

  • 包含文件名:.*.xml

  • 排除文件名:<空>