Technology

Chart Type 《大数据经典论文解读》 三驾马车学习 Spark 内存管理及调优 Yarn学习 从Spark部署模式开始讲源码分析 容器狂占内存资源怎么办? 多角度理解一致性 golang io使用及优化模式 Flink学习 c++学习 学习ebpf go设计哲学 ceph学习 学习mesh kvm虚拟化 学习MQ go编译器 学习go 为什么要有堆栈 汇编语言 计算机组成原理 运行时和库 Prometheus client mysql 事务 mysql 事务的隔离级别 mysql 索引 坏味道 学习分布式 学习网络 学习Linux go 内存管理 golang 系统调用与阻塞处理 Goroutine 调度过程 重新认识cpu mosn有的没的 负载均衡泛谈 单元测试的新解读 《Redis核心技术与实现》笔记 《Prometheus监控实战》笔记 Prometheus 告警学习 calico源码分析 对容器云平台的理解 Prometheus 源码分析 并发的成本 基础设施优化 hashicorp raft源码学习 docker 架构 mosn细节 与微服务框架整合 Java动态代理 编程范式 并发通信模型 《网络是怎样连接的》笔记 go channel codereview gc分析 jvm 线程实现 go打包机制 go interface及反射 如何学习Kubernetes 《编译原理之美》笔记——后端部分 《编译原理之美》笔记——前端部分 Pilot MCP协议分析 go gc 内存管理玩法汇总 软件机制 istio流量管理 Pilot源码分析 golang io 学习Spring mosn源码浅析 MOSN简介 《datacenter as a computer》笔记 学习JVM Tomcat源码分析 Linux可观测性 学习存储 学计算 Gotty源码分析 kubernetes operator kaggle泰坦尼克问题实践 kubernetes扩缩容 神经网络模型优化 直觉上理解深度学习 如何学习机器学习 TIDB源码分析 什么是云原生 Alibaba Java诊断工具Arthas TIDB存储——TIKV 《Apache Kafka源码分析》——简介 netty中的线程池 guava cache 源码分析 Springboot 启动过程分析 Spring 创建Bean的年代变迁 Linux内存管理 自定义CNI IPAM 共识算法 spring redis 源码分析 kafka实践 spring kafka 源码分析 Linux进程调度 让kafka支持优先级队列 Codis源码分析 Redis源码分析 C语言学习 《趣谈Linux操作系统》笔记 docker和k8s安全访问机制 jvm crash分析 Prometheus 学习 Kubernetes监控 容器日志采集 Kubernetes 控制器模型 容器狂占资源怎么办? Kubernetes资源调度——scheduler 时序性数据库介绍及对比 influxdb入门 maven的基本概念 《Apache Kafka源码分析》——server Kubernetes类型系统 源码分析体会 《数据结构与算法之美》——算法新解 Kubernetes源码分析——controller mananger Kubernetes源码分析——apiserver Kubernetes源码分析——kubelet Kubernetes介绍 ansible学习 Kubernetes源码分析——从kubectl开始 jib源码分析之Step实现 jib源码分析之细节 线程排队 跨主机容器通信 jib源码分析及应用 为容器选择一个合适的entrypoint kubernetes yaml配置 《持续交付36讲》笔记 mybatis学习 程序猿应该知道的 无锁数据结构和算法 CNI——容器网络是如何打通的 为什么很多业务程序猿觉得数据结构和算法没用? 串一串一致性协议 当我在说PaaS时,我在说什么 《数据结构与算法之美》——数据结构笔记 PouchContainer技术分享体会 harbor学习 用groovy 来动态化你的代码 精简代码的利器——lombok 学习 《深入剖析kubernetes》笔记 编程语言那些事儿 rxjava3——背压 rxjava2——线程切换 spring cloud 初识 《深入拆解java 虚拟机》笔记 《how tomcat works》笔记 hystrix 学习 rxjava1——概念 Redis 学习 TIDB 学习 如何分发计算 Storm 学习 AQS1——论文学习 Unsafe Spark Stream 学习 linux vfs轮廓 《自己动手写docker》笔记 java8 实践 中本聪比特币白皮书 细读 区块链泛谈 比特币 大杂烩 总纲——如何学习分布式系统 hbase 泛谈 forkjoin 泛谈 看不见摸不着的cdn是啥 《jdk8 in action》笔记 程序猿视角看网络 bgp初识 calico学习 AQS——粗略的代码分析 我们能用反射做什么 web 跨域问题 《clean code》笔记 《Elasticsearch权威指南》笔记 mockito简介及源码分析 2017软件开发小结—— 从做功能到做系统 《Apache Kafka源码分析》——clients dns隐藏的一个坑 《mysql技术内幕》笔记 log4j学习 为什么netty比较难懂? 回溯法 apollo client源码分析及看待面向对象设计 学习并发 docker运行java项目的常见问题 OpenTSDB 入门 spring事务小结 分布式事务 javascript应用在哪里 《netty in action》读书笔记 netty对http2协议的解析 ssl证书是什么东西 http那些事 苹果APNs推送框架pushy apple 推送那些事儿 编写java框架的几大利器 java内存模型 java exception Linux IO学习 netty内存管理 测试环境docker化实践 netty在框架中的使用套路 Nginx简单使用 《Linux内核设计的艺术》小结 Go并发机制及语言层工具 Linux网络源代码学习——数据包的发送与接收 《docker源码分析》小结 docker namespace和cgroup Linux网络源代码学习——整体介绍 zookeeper三重奏 数据库的一些知识 Spark 泛谈 链式处理的那些套路 netty回顾 Thrift基本原理与实践(二) Thrift基本原理与实践(一) 回调 异步执行抽象——Executor与Future Docker0.1.0源码分析 java gc Jedis源码分析 深度学习泛谈 Linux网络命令操作 JTA与TCC 换个角度看待设计模式 Scala初识 向Hadoop学习NIO的使用 以新的角度看数据结构 并发控制相关的硬件与内核支持 systemd 简介 quartz 源码分析 基于docker搭建测试环境(二) spring aop 实现原理简述 自己动手写spring(八) 支持AOP 自己动手写spring(七) 类结构设计调整 分析log日志 自己动手写spring(六) 支持FactoryBean 自己动手写spring(九) 总结 自己动手写spring(五) bean的生命周期管理 自己动手写spring(四) 整合xml与注解方式 自己动手写spring(三) 支持注解方式 自己动手写spring(二) 创建一个bean工厂 自己动手写spring(一) 使用digester varnish 简单使用 关于docker image的那点事儿 基于docker搭建测试环境 分布式配置系统 JVM执行 git maven/ant/gradle/make使用 再看tcp kv系统 java nio的多线程扩展 《Concurrency Models》笔记 回头看Spring IOC IntelliJ IDEA使用 Java泛型 vagrant 使用 Go常用的一些库 Python初学 Goroutine 调度模型 虚拟网络 《程序员的自我修养》小结 Kubernetes存储 访问Kubernetes上的Service Kubernetes副本管理 Kubernetes pod 组件 Go基础 JVM类加载 硬币和扑克牌问题 LRU实现 virtualbox 使用 ThreadLocal小结 docker快速入门

Architecture

实时训练 分布式链路追踪 helm tensorflow原理——python层分析 如何学习tensorflow 数据并行——allreduce 数据并行——ps 机器学习中的python调用c 机器学习训练框架概述 embedding的原理及实践 tensornet源码分析 大模型训练 X的生成——特征工程 tvm tensorflow原理——core层分析 模型演变 《深度学习推荐系统实战》笔记 keras 和 Estimator tensorflow分布式训练 分布式训练的一些问题 基于Volcano的弹性训练 图神经网络 pytorch弹性分布式训练 在离线业务混部 RNN pytorch分布式训练 CNN 《动手学深度学习》笔记 pytorch与线性回归 多活 volcano特性源码分析 推理服务 kubebuilder 学习 mpi 学习pytorch client-go学习 tensorflow学习 提高gpu 利用率 GPU与容器的结合 GPU入门 AI云平台 tf-operator源码分析 k8s批处理调度 喜马拉雅容器化实践 Kubernetes 实践 学习rpc BFF 生命周期管理 openkruise学习 可观察性和监控系统 基于Kubernetes选主及应用 《许式伟的架构课》笔记 Kubernetes webhook 发布平台系统设计 k8s水平扩缩容 Scheduler如何给Node打分 Scheduler扩展 controller 组件介绍 openkruise cloneset学习 controller-runtime源码分析 pv与pvc实现 csi学习 client-go源码分析 kubelet 组件分析 调度实践 Pod是如何被创建出来的? 《软件设计之美》笔记 mecha 架构学习 Kubernetes events学习及应用 CRI 资源调度泛谈 业务系统设计原则 grpc学习 元编程 以应用为中心 istio学习 下一代微服务Service Mesh 《实现领域驱动设计》笔记 serverless 泛谈 概率论 《架构整洁之道》笔记 处理复杂性 那些年追过的并发 服务器端编程 网络通信协议 架构大杂烩 如何学习架构 《反应式设计模式》笔记 项目的演化特点 反应式架构摸索 函数式编程的设计模式 服务化 ddd反模式——CRUD的败笔 研发效能平台 重新看面向对象设计 业务系统设计的一些体会 函数式编程 《左耳听风》笔记 业务程序猿眼中的微服务管理 DDD实践——CQRS 项目隔离——案例研究 《编程的本质》笔记 系统故障排查汇总及教训 平台支持类系统的几个点 代码腾挪的艺术 abtest 系统设计汇总 《从0开始学架构》笔记 初级权限系统设计 领域驱动理念入门 现有上传协议分析 移动网络下的文件上传要注意的几个问题 推送系统的几个基本问题 用户登陆 做配置中心要想好的几个基本问题 不同层面的异步 分层那些事儿 性能问题分析 当我在说模板引擎的时候,我在说什么 用户认证问题 资源的分配与回收——池 消息/任务队列


测试环境docker化实践

2017年03月29日

简介(已过时)

为什么要docker化?

  1. 标准化

    • 配置标准化,以部署tomcat为例,实际物理环境中,通常一台物理机部署多个tomcat,这就存在tomcat的端口及目录管理问题。 理想状态下:一个项目一个主机tomcat,tomcat永远位于/usr/local/tomcat(或其它你喜欢的位置)下,对外端口是8080,debug端口是8000.

    • 部署标准化,现在云平台越来越流行,同时,也不会立即丢弃物理环境,因此必然存在着同时向云环境和物理环境部署的问题。这就需要一系列工具,能够屏蔽物理环境和云环境的差异,docker在其中扮演重要角色。

  2. api化,通过api接口操作项目的部署(cpu、内存分配、机器分配、实例数管理等),而不是原来物理机环境的的手工命令行操作。
  3. 自动化,调度系统可以根据api进行一些策略性的反应,比如自动扩容缩容。

上述工作,原有的技术手段不是不可以做,可是太麻烦,可用性和扩展性都不够好。

此外还有一些调度问题,比如:测试机器多了之后(比如100台), 对于一个新项目,到底部署在哪一台机器上呢(哪一台机器的负载比较低呢)?

几个小目标

  1. 业务之间不互相干扰

    • 一个项目/war一虚拟机/容器
    • Ip-pert-task
  2. 容器之间、容器与物理机之间可以互通
  3. 容器编排:健康检查、容器调度等
  4. 使用方式:通过yaml/json来描述任务,通过api部署
  网段 对外抽象
基本环境:物理环境 192.168.0.0/16 一台台互联互通的物理机,大部分要手工
目标:容器环境 172.xx.0.0/16 marathon标准化的api,大部分操作(deploy、scal等)可以自动化

总结一下,基于n台物理机搭建容器环境,整个工作的主线:一个项目一个主机 ==> 物理机资源不够 ==> 虚拟化 ==> 轻量级虚拟化 ==> docker ==> 针对docker容器带来的网络、存储等问题 ==> 集群编排 ==> 对CI/CD的影响。

网络

虚拟化网络的两种思路:

  1. Overlay

    • 隧道,通常用到一个专门的解封包工具
    • 路由,每个物理机充作一个路由器,对外,将容器数据路由到目标机器上;对内,将收到的数据路由到目标容器中。

    通常需要额外的维护物理机以及物理机上容器ip(段)的映射关系

  2. Underlay,不准确的说,容器的网卡暴露在物理网络中,直接收发,通常由外部设备(交换机)负责网络的连通性。

经过对比,我们采用了macvlan,主要是因为:

  1. 简单
  2. 效率高
  3. 我们就是想将容器“当成”虚拟机用,容器之间互通就行,不需要支持复杂的网络伸缩、隔离、安全等策略。

关于macvlan,这涉及到lan ==> vlan => macvlan 的发展过程,请读者自行了解。网络部分参见docker macvlan实践

ip分配问题

对于物理机、kvm等虚拟机来说,其生命周期很长,ip一经分配便几乎不变,因此通常由人工通过命令或web界面手动分配。而对于docker容器来说,尤其是测试环境,容器的创建和销毁非常频繁,这就涉及到频繁的ip分配和释放。因此,ip分配必须是自动的,并且有一个ip资源池来管理ip。

在docker网络中,CNM(Container Network Management)模块通过IPAM(IP address management)driver管理IP地址的分配。我们基于TalkingData/Shrike改写了自己的ipam插件,fix了在多实例部署模式(一个docker host部署一个ipam,以防止单实例模式出现问题时,整个系统不可用的问题)下的重复存取问题。

编排

docker解决了单机的虚拟化,但当一个新部署任务到达,由集群中的哪一个docker执行呢?因此,docker之外,需要一个编排工具,实现集群的资源管理和任务调度。

编排工具 优缺点
swarm/swarm mode docker原生,但目前更多是一个docker任务分发工具;换句话说,作为docker分发工具是够用的,但作为集群资源管理和任务调度工具是勉强的
k8s k8s提供的pod、service、replicaController概念简(固)化了一些问题,但使用起来也相对复杂
mesos + marathon(本文采用) 在docker管理和分布式资源管理之间,找到了一个比较好的平衡点

这些工具均采用maser/slave架构,假设我们将物理机分为master和slave,这些工具在slave上运行一个agent(任务执行和数据上报),在master上运行一个manager(任务分发和数据汇总)。从功能上说,任务分发和容器资源汇总,这些工具基本都可以满足要求。就我的理解,其实这些工具的根本区别就是:发展历程的不同。

  1. 从一个docker/容器化调度工具, 扩展成一个分布式集群管理工具
  2. 从一个分布式资源管理工具 ,增加支持docker的feature

其中的不同,请大家自己体会一下。

到目前为止,根据我们测试环境的实践,发现我司有以下特点

  1. 对编排的需求很弱,基本都是单个微服务项目的部署。微服务项目的协同、服务发现等由公司的服务治理框架负责。
  2. 基础服务,比如mysql、hadoop等暂不上docker环境
  3. 需要查询编排工具的api接口,同时有一个良好的web界面,对编排工具的数据汇总、资源管理能力有一定要求。

因此,最终我们决定使用marathon + mesos 方案。当然,后面在实践的过程中,因为网络和编排工具的选择,ip变化的问题给我们带来很大的困扰,甚至专门开发了几个小工具,参见下文。

image的组织

docker的厉害之处,不在于发明了一系列新技术,而在于整合了一系列老技术,比如aufs、lxc等,在docker之前,我司运维也经常使用cgroup来限制一些c项目进程使用的资源。阿里、腾讯等大厂在cgroup、namespace等基础上搞一套自己的容器工具,现在也广为人知。甚至在《尽在双11:阿里巴巴技术演进与超越》关于docker部分中提到,对于阿里,使用docker初衷是docker镜像化,也就是其带来的应用环境标准化,而不是容器化。

docker镜像的实践主要涉及到以下问题:

  1. 搭建私有image repository
  2. 对layer进行组织
  3. 镜像的分发较慢

    • 预分发,但这不解决根本,只适用部分场景
    • 对layer进行压缩,京东目前采用该方案
  4. 镜像化带来的容器重启问题。因为镜像是一体的,哪怕只有一点更改,镜像的发布都必须销毁之前的容器,然后按照新镜像创建新容器。耗时是一方面,对以下场景也很不友好

    • 只是更新一个文件,项目、容器均不需要重启
    • 因为加载缓存等原因,项目、容器启动比较耗时

    对于具体的场景,可以有具体的办法规避。对于通用的解决方案,阿里通过改写docker,对镜像支持hotfix标识,deploy这类镜像,不再创建新容器,而是更新容器。

我们要对镜像的layer进行组织,以最大化的复用layer。

镜像名 功能
alpine base image
alpine+ 一些基本的命令
jdk6/7/8、ssh 新增jdk
tomcat6/tomcat7/tomcat8 新增tomcat

因为我们还只是在测试环境使用,镜像较慢的矛盾还不是太突出,这方面并没有做什么工作。

写到这里,我们可以看到一个技术之外的技术问题。阿里对于docker image feature的改造

  1. 可以减少容器的重启次数,进而减少ip的分配和释放。容器生命周期的延长,给用户的感觉是更像一个虚拟机。减少ip变化对其它组件的影响,一些组件不再必要。
  2. 影响到容器的编排策略。即deploy新的任务不再是选择一个机器运行容器,而是找到原来的容器应用变更。这大概是阿里采用docker swarm编排工具并改造docker swarm的部分原因。毕竟docker swarm起点就是一个docker编排工具,跟docker更亲近,也更容易改造。
  3. 我们在docker化的过程中,对docker的各种特性一则认为天经地义,二则逆来顺受。出现问题,要么想办法规避,要么在外围造个轮子去解决(还是规避)。这让我想到了最近在看的《大明王朝1566》,皇帝要大兴土木,严党要贪污,胡宗宪左支右绌,勉力维持。海瑞认为问题的根儿在皇帝,直接上了《治安疏》。两者都算不上什么错,胡宗宪在他的位置,重要的是保住总督的位置,这样才能打倭寇。作为一个名义上的严党分子,这样的话也不能他来说。我们在技术的选择上,也经常碰到这样的问题,各种妥协。但越早的认识到各种方案的缺陷,才会避免陷入为了方案而方案,做到预判,嗅到风向变化,随机应变。

CI

本质上jenkins如何跟marathon结合的问题,现成的方案很多,本文不再赘述。

关键是提供几套不同的模板,以方便不同业务的童鞋使用。

容器变化带来的问题

使用docker后,容器在物理机之间自由漂移,物理机的角色弱化成了:单纯的提供计算资源。但带来的问题是,影响了许多系统的正常运行。

ip变化

许多系统的正常运行依赖ip,ip不稳定带来一系列的问题。而解决ip的变化问题主要有以下方案

  1. 新增组件屏蔽ip变化
  2. 提供dns服务(有缓存和多实例问题)
  3. 不要改变ip

    • 既然重启后,ip会改变,就减少容器重启
    • 服务与ip绑定(这个方案非常不优雅)

对于web服务,ip的变化导致要经常更改nginx配置,为此,我们专门改写了一个nginx插件来解决这个问题。参见一个大牛的工具weibocom/nginx-upsync-module,我为大牛的工具新增了zk支持,参见qiankunli/nginx-upsync-module-zk

对于rpc服务,我司有自己独立开发的服务治理系统,实现服务注册和发现。但该系统有审核机制,系统认为服务部署在新的机器上时(通过ip识别新机器)应先审核才能对外使用。我们和开发同学协调,在服务上线时,进行额外处理来屏蔽掉这个问题。遗憾的是,对于跨语言调用,因为rpc客户端不通用,仍有很多不便。

文件存储

有许多项目会将业务数据存储在文件中,这就意味着项目deploy进而容器重启之后,要能找到并访问这些文件。在docker环境下主要有以下两种方案:

  1. Docker volumn + cluster fs
  2. Docker volume plugin

我们当下主要采用第一种,将cluster fs mount到每台docker host的特定目录(例如/data),打通container /data ==> docker host /data == cluster fs /data,任意容器即可共享访问/data目录下的数据。

日志采集与查看

为了将日志持久化存储,我们将容器的日志目录映射到了物理机上。but,一个项目的日志分散在多个物理机中。

我司原有日志采集报警系统,负责日志采集、汇总、报警。因此容器化后,日志的采集和报警并不会有什么影响。但该系统只采集错误日志,导致开发人员要查看日志以调试程序时,比较麻烦。最初,我们提供了一个web console来访问容器,操作步骤为:login ==> find container ==> input console ==> op。但很多童鞋依然认为过于繁琐,并且web console的性能也不理想。而直接为每个容器配置ssh server,又会对safe shutdown等产生不良影响。因此

  1. 登陆测试环境,90%是为了查看日志
  2. 和开发约定项目的日志目录,并将其映射到物理机下
  3. 间接配置ssh。每个物理机启动一个固定ip的ssh container,并映射日志目录
  4. 使用go语言实现了一个essh工具,essh -i marathon_app_name即可访问对应的ssh container实例并查看日志。

当然,日志的问题,也可以通过elk解决。

部署有状态服务

其它问题

mesos + marathon + docker的文章很多,其实这才是本文的重点。

  1. Base image的影响

  2. 时区、tomcat PermGensize、编码等参数值的修正
  3. base image为了尽可能精简,使用了alpine。其一些文件的缺失,导致一些java代码无法执行。比如,当去掉/etc/hosts中ip和容器主机名的映射后,加上/etc/sysconfig/network的缺失,导致java代码InetAddress.getLocalHost()执行失败。参见ava InetAddress.getLocalHost() 在linux里实现

  4. Safe shutdown,部分服务退出时要保存状态数据
  5. 支持sshd(已解决,但对解决其他问题是个有益的参考),以方便大家查看日志文件(web console对查看大量日志时,还是不太好用)
    1. 使用supervisord(管理ssh和tomcat),需要通过supervisord传导SIGTERM信号给tomcat,以确保tomcat可以safeshutdown。该方法比较low,经常发生supervisord让tomcat退出,但自己不退出的情况。
    2. 每台机器启动跟一个专门的容器,映射一些必要的volume,以供大家查看日志等文件
  6. Marathon多机房主备问题
  7. 容器的漂移对日志采集、分析系统的影响
  8. 对容器提供dns服务,以使其可以正确解析外部服务的hostname
  9. 如何更好的推广与应用的问题(这是个大问题,包括分享ppt的写作思路、jenkins模板的创建等,不比解决技术难题耗费的精力少)

todo

  1. 日志采集,简化日志搜索
  2. 一个集中式的DC。当下,项目部署的各个阶段分散在不同的组件中。呈现出来的使用方式,不是面向用户的。

    • jenkins负责代码的编译和marathon job的触发
    • marathon负责任务调度、销毁和回滚等
    • portainer负责容器数据的界面化以及web console

这样带来的问题是

  1. 对于运维人员人说,一些操作不能固化下来,比如回滚等,手工操作易出错。
  2. 对于用户来说,容易想当然的通过portainer进行增删改容器的操作,进而引起系统的不一致。
  3. 因为是现成系统,很难加入我们自己的逻辑,这使得配置上经常出现一些语义冲突的情况。

引用

Docker 在 Bilibili 的实战:由痛点推动的容器化