设置DataHub

DataHub充当一个集中式收集器,帮助您防止敏感数据离开环境。如果您的组织希望保护私人数据,例如个人身份信息(PII),您可以设置过滤规则。例如,如果您的组织有信用卡信息、用户名、电子邮件地址,甚至您想要混淆的特定条目(如INFO级别的消息),那么DataHub可以帮助您。

DataHub将路由规则应用于聚合数据,然后擦洗和删除敏感信息,使其不被发送到InsightOps。信息不会被暴露,您仍然可以在其上运行分析函数。

要设置DataHub,您需要:

  1. 下载并安装DataHub。
  2. 创建路由规则。
  3. 配置客户端以发送数据至您的InsightOps帐户。

在Linux上安装

DataHub可以运行在云中的服务器实例上,也可以运行在本地环境中。目前,DataHub仅支持Linux系统。

在Linux上设置DataHub:

  1. 在InsightOps的左侧菜单中,选择数据收集
  2. 点击管理DataHub,打开“管理DataHub路由”页面。
  3. 单击在Linux上设置DataHub按钮。会出现一个侧面板,显示在Linux上安装DataHub的说明。使用说明中提供的链接下载安装程序。
  4. 在您的Ubuntu或Debian系统上运行sudo apt-get更新;sudo apt-get升级更新和升级您的系统。
  5. 运行Sudo apt-get安装openjdk-8-jre如果系统中没有openjdk-8-jre,则需要安装。
  6. 运行sudo dpkg -i DataHub_2.0.deb安装DataHub组件。
  7. 运行sudo vi /etc/datahub/datahub.config打开datahub.config文件。
  8. 将以下参数添加到您的数据hub。配置文件:api_key": "读写API密钥".要获取读/写密钥,请执行设置> API密钥
  9. 运行: wq保存更改。

非欧盟账户的额外步骤

修改需要在datahubLocal.config文件。

将REGION替换为您各自的区域。以下区域可用:

美国:美国:欧盟:欧洲CA:加拿大AU:澳大利亚AP:日本

          
json
1
2
“设置”
3.
“api_url”“https://REGION.rest.logs.insight.rapid7.com”
4
“api_url_log”“https://REGION.rest.logs.insight.rapid7.com/management/logs”
5
“主机”“REGION.data.logs.insight.rapid7.com”
6
“api_url_logset”“https://REGION.rest.logs.insight.rapid7.com/management/logsets”
7
“api_url_rule”“https://REGION.rest.logs.insight.rapid7.com/datahub/rules”
8
9

创建路由规则

路由规则允许您查找匹配某些模式或值的日志条目,并将它们路由到特定的日志和日志集。通过定义希望匹配的模式和希望将数据发送到的日志,可以配置路由规则。

设置DataHub后,您将能够访问管理路由规则区域以创建和查看规则。当您第一次设置DataHub时,将有一个称为“默认”的规则。该规则将通过DataHub将所有收集的日志数据路由到一个名为“Default”的日志。

创建路由规则。

  1. 在InsightOps的左侧菜单中,选择管理数据的路线
  2. 单击添加路由按钮。
  1. 添加路由面板出现时,输入规则的名称。
  2. 使用以下参数创建规则:
    • 线路名称:任何表示路由名称的通用字符串。
    • 路线描述:任何表示路由描述的通用字符串。
    • Syslog主机名:如果需要,可以根据主机名划分到特定日志的路由。输入主机名,例如邮件服务器。
    • Syslog标签:如果需要,可以根据进程将路由分解到特定的日志。输入进程名,例如sshd。
    • 匹配模式:DataHub使用模式匹配要放入定义的日志文件中的日志条目。如果需要转发指定主机的所有日志,请使用“。*”。
    • 日志名称和目的日志集:指定要加载所有日志项的位置。
  3. 创建路线。它将在创建后出现在路由表中。

配置客户端

insights代理和syslog客户端都可以通过DataHub进行通信。对于代理,您需要提供Datahub使用的IP或主机名和端口。

对于syslog客户端,您需要在以及文件。

配置syslog客户端。

  1. 运行# / sbin / ifconfig查找查找DataHub服务器的IP地址。
  2. 在每个客户端的/etc/rsyslog.conf文件中添加如下代码:* . * @@ < IPADDRESS_TO_DATAHUB >: 10000
  3. 运行重启Sudo服务重启rsyslog守护进程。
  4. 运行logger -t test from InsightOps测试集成。

查看健康和调试日志

默认情况下,DataHub会将额外的数据记录到您的InsightOps帐户。

新增数据如下:

  • datahub.log:可用于调试任何运行问题的DataHub日志。它总是可以帮助您跟上当前版本的DataHub。你可以登录/var/log/datahub/datahub.log
  • Heartbeat.log:Heartbeat日志是每5分钟发送到DataHub的一次健康检查。它将向您的日志发布一条简单的消息,让您知道DataHub当前正在进行日志记录。有了这个特性,您可以使用非活动警报让您知道何时DataHub不再向insighttops发送日志。