阿里云SLS采集标准Docker容器日志
本文介绍通过阿里云 sls 服务来采集 docker 容器的日志，分为采集标准输出日志和采集日志文件。
1 基础配置
1.1 阿里云 SLS 相关配置
1.1.1 创建 Project
同时会提示创建 Logstore
创建成功后会询问是否立即接入数据，目前先取消暂不接入。
1.1.2 创建机器组自定义标识
详情请参见创建用户自定义标识机器组
在/etc/ilogtail/user_defined_id文件中配置用户自定义标识。
例如：您要配置用户自定义标识为log-docker，则执行如下命令编辑文件，在文件中输入log-docker。
mkdir /etc/ilogtail
echo "log-docker" > /etc/ilogtail/user_defined_id1.1.3 整理 logtail 容器所需信息
日志服务 Project 所在地及网络类型：cn-shanghai，地域信息请参见表 1。即下面用到的your_region_name
阿里云账号 ID 可以直接查看阿里云账号管理页面获取，详情请参见配置用户标识。即下面用到的your_aliyun_user_id
机器组的自定义标识：log-docker。即下面用到的your_machine_group_user_defined_id
1.1.4 创建机器组
回到阿里云进入 Project
填写之前定义的机器组标识
2 部署Logtail容器
2.1 拉取 Logtail 镜像
docker pull registry.cn-shanghai.aliyuncs.com/log-service/logtail您需要根据实际情况替换registry.cn-hangzhou.aliyuncs.com，地域信息请参见Logtail安装参数。
2.2 启动 Logtail 容器
请在配置参数前执行以下任意一种配置，否则删除其他container时可能出现错误container text file busy。
- Centos 7.4及以上版本（除Centos 8.0以外），需设置fs.may_detach_mounts=1。更多信息，请参见Bug 1468249、Bug 1441737和issue 34538。
- 为Logtail授予
privileged权限，即在启动参数中添加--privileged。更多信息，请参见docker run命令。
根据实际情况替换模板中的3个参数：${your_region_name}、${your_aliyun_user_id}和${your_machine_group_user_defined_id}。
docker run -d \
-v /:/logtail_host:ro \
-v /var/run:/var/run \
--env ALIYUN_LOGTAIL_CONFIG=/etc/ilogtail/conf/${your_region_name}/ilogtail_config.json \
--env ALIYUN_LOGTAIL_USER_ID=${your_aliyun_user_id} \
--env ALIYUN_LOGTAIL_USER_DEFINED_ID=${your_machine_group_user_defined_id} \
--name logtail \
registry.cn-shanghai.aliyuncs.com/log-service/logtail如果您要自定义配置Logtail容器的启动参数，只需保证以下前提条件。
- 启动时，必须配置3个环境变量
ALIYUN_LOGTAIL_USER_DEFINED_ID、ALIYUN_LOGTAIL_USER_ID、ALIYUN_LOGTAIL_CONFIG。 - 将宿主机上的/var/run目录挂载到Logtail容器的/var/run目录。
- 将宿主机根目录挂载到Logtail容器的
/logtail_host目录。 - 如果Logtail日志（/usr/local/ilogtail/ilogtail.LOG）中出现
The parameter is invalid : uuid=none的错误日志，请在宿主机上创建一个product_uuid文件，在其中输入任意合法UUID（例如169E98C9-ABC0-4A92-B1D2-AA6239C0D261），并把该文件挂载到Logtail容器的/sys/class/dmi/id/product_uuid目录。
3 采集配置
由于这里采集 docker 日志原理与采集 k8s 一致，故文档按照采集 k8s 操作方式。
3.1 采集 Docker 标准输出
官方解释：如果您需要采集 Docker 标准输出，可以在接入数据区域的自建开源/商业软件页签下，单击Docker标准输出-容器，进入采集配置流程，其操作步骤与采集 Kubernetes 标准输出类似。具体操作，请参见通过DaemonSet-控制台方式采集标准输出。
3.1.1 logtail 配置
接入数据区域，Kubernetes - 标准输出单击。
若您已经安装 Logtail 日志组件，请点击【使用现有机器组】。
采集配置
我的内容如下
该输入源类型为： service_docker_stdout。
{
"inputs": [
{
"detail": {
"BeginLineCheckLength": 10,
"BeginLineRegex": "\\d+-\\d+-\\d+.*",
"IncludeLabel": {
"io.rancher.container.name": "tms"
},
"ExcludeLabel": {}
},
"type": "service_docker_stdout"
}
],
"processors": [
{
"detail": {
"KeepSource": false,
"NoMatchError": true,
"Keys": [
"time",
"thread",
"level",
"module",
"message"
],
"SourceKey": "content",
"Regex": "(\\[[^\\[]+)(\\[[^\\[]+)(\\[[^\\[]+)(\\S+)(.*)",
"NoKeyError": true
},
"type": "processor_regex"
}
]
}代表的意思是只采集 Label 为io.container.name=tms的日志。详情请参见通过DaemonSet-控制台方式采集标准输出。
如果日志输出为 json，使用以下配置即可。
{
"inputs": [
{
"detail": {
"IncludeLabel": {
"io.rancher.container.name": "wcpt-server"
}
},
"type": "service_docker_stdout"
}
],
"processors": [
{
"detail": {
"KeepSource": false,
"ExpandConnector": "",
"SourceKey": "content",
"NoKeyError": true
},
"type": "processor_json"
},
{
"detail": {
"DropKeys": [
"_image_name_",
"_source_",
"_container_name_",
"_time_",
"sourceclass",
"sourcefile",
"sourceline",
"sourcemethod",
"timeMillis",
"threadPriority",
"threadId",
"loggerFqcn",
"markername",
"endOfBatch"
]
},
"type": "processor_drop"
}
]
}日志数据处理详见：使用Logtail插件处理数据
3.2 采集 Docker 文本日志
官方解释：如果您需要采集 Docker 文本日志，可以在接入数据区域的自建开源/商业软件页签下，单击Docker文件-容器，进入采集配置流程，其操作步骤与采集 Kubernetes 文本日志类似。具体操作，请参见通过DaemonSet-控制台方式采集文本文件。
这一点还挺有意思的，至少我不用去挂载日志到宿主机了。
3.2.1 logtail 配置
接入数据区域，单击 Kubernetes - 文件。
若您已经安装 Logtail 日志组件，请点击【使用现有机器组】。
采集配置，由于我这里日志文件为 json 格式，不需要做太多处理。
