01
为什么使用IPv6
1.1
基于国家多部门发布的IPv6实施
重要建议
工业和信息化部、中央网信办、国家发展改革委、教育部、交通运输部、人民银行、国务院国资委、国家能源局等八部门近日联合发布《关于推进IPv6技术演进和应用创新发展的实施意见》。总体目标到年底，IPv6技术演进和应用创新取得显著成效，网络技术创新能力明显增强，“IPv6+”等创新技术应用范围进一步扩大，重点行业“IPv6+”融合应用水平大幅提升。《实施意见》围绕构建IPv6演进技术体系、强化IPv6演进创新产业基础、加快IPv6基础设施演进发展、深化“IPv6+”行业融合应用、提升安全保障能力等五个方面部署15项重点任务。1.2
基于我国互联网发展的现实的需要
??推动数字化经济发展的需要随着物联网、5G、云计算等技术的普及和应用，对IP地址的需求越来越高，IPv6的广泛应用可以促进数字化经济的发展。??推动技术创新的需要IPv6的推广和应用将促进新型技术的创新和发展，例如基于IPv6的物联网、人工智能、区块链等领域。??提高国际竞争力全球范围内，越来越多的国家和地区开始推广IPv6，中国也应积极跟进，提高国际竞争力和话语权。1.3
IPv6的优势
IPv6在5G、物联网、多媒体等的加持下，具有多种优势02
IPv6下容器云的网络
在容器云环境下涉及的网络有：主机网络、容器网络、业务网关、服务发布网口、中间件网络等。2.1
规范化IPv6网段
IPv6地址的分配与管理由互联网工程任务组（IETF）指导，由全球Internet号码分配机构（IANA）进行分配，然后由五个地区互联网注册管理机构（RIR）负责将地址分配给互联网服务提供商（ISP）和其他组织。以下是IPv6网段的分类：??公网地址在IPv6下网段为::/3，由IANA分配，可用于全球范围内的互联网。这是IPv6中最常用的地址类型，其特点是全球唯一，可公开路由。??内网址址-LinkLocal类型在IPv6下网段为fe80::/10，用于链路本地通信，即主机和其相邻的路由器之间的通信，基本上所有的centos7.X/Redhat7.X操作系统上网口默认都会存在，等同于IPV4协议栈下的..0.0/16,典型特征是无法实施路由。??内网地址-UniqueLocalAddress类型常见的形式如：fc00::/8，通常被用于本地局域网，不会被公开路由，等同于IPV4下的常见网段10.0.0.0/8,.16.0.0/12和..0.0/16。??多播地址-MulticastAddress网段ff00::/8，用于多播通信，可以将单个数据包发送到多个目的地址。[注意]如果网段随意划分，一是不太规范，二是很容易搞出问题，典型场景如果容器网段不小心配置了fe80::/10网段或者子网段，则容器网络是无法通讯的。2.2
容器云IPv6网络拓扑
容器网络是一层虚拟化的网络，借助于主机网络来实现容器网络层面的连通性，鲸智容器云管理平台推荐管理网络、容器网络分离的方式。鲸智容器云管理平台网络拓扑03
适配IPv6所需要做的改造
3.1
SVC的类型上的适配
SVC有多种策略，要做策略上的兼容，例如?策略-单栈singlestack-IPV4?策略-单栈singlestack-IPv6?策略-双栈RequireDualStack-强制?策略-双栈preferdualstack-优先?策略-默认策略双栈集群类型下，同一个应用可以有5种SVC，根据业务场景，选取具体的策略3.2
操作系统层面的定制化
??内核版本=4.18内核建议=4.18,特别是双栈场景下，兼容性会更好，且更稳定3.3
容器网络calico的选型
Calico是一种开源的网络和网络安全解决方案，目前被很多厂商所采取，当容器集群向IPv6演进时，也需要做相应的适配。从calico的官方发行日志上来看，在ipv6模式下有较多的优化及bug修复，几乎每次发行版本都会有,也因此可以看出calico在IPv6模式下依然在较快的迭代。??calico版本的选择从多项目的实践来看，选择calico版本=3.24具有更好的兼容性与稳定性??calico网络模式calico要选择vxLan，截止到当前，IPv6模式下尚不支持IPIP协议??calico网络的nat定制化要显示地定义出natOutgoing为true。默认是关掉的，这样集群内容器访问集群外的服务会不通，比如访问中间件等3.4
中间件的改造
中间件主要是基于IPv6做适配，现在主流的中间件像MySQL\Redis\MQ\ZK等都是支持IPv6的，做好部署上的调整即可。3.5
业务访问DB/中间件的改造
业务都是基于网络来访问中间件的，在IPv6环境下，业务访问中间件的连接串要做相应的更改??建议连接串写成[IPv6地址]:端口的形式??最佳实践--建议尽可能使用DNS如果在生产环境中且有局域网DNS服务器，则可以将域名直接定义到的dns服务器上，会更优雅。如果生产环境上没有专门的局域网DNS服务器，则可以基于K8S组件coredns及hosts插件做个扩展，达到域名解析的目的3.6
改造难点-现网旧环境的改造
现网都是IPv4协议栈下的容器集群，通常生产环境已上线多年，少则一两年，多则五六年，且有的项目的生产环境集群规模较大，多达四五百个节点，如果全新安装IPv6的容器集群是不现实的，最主要的原因是没有那么多的存量机器，且如果全部拆除现有的生产环境，然后从头重新搭建容器集群，周期过长，也是不现实的。现场的容器云从业务程序到中间件到DB，再对业务网关全是基于IPv4，那么如何从现有的IPv4切到IPv6，面临着不小的挑战。由于从IPv4切到IPv6，底层网络层面的改动以及容器需要重新获取IPv6的网址，会影响到线上业务容器，但是这是不可避免的，我们要做的是如何采用更合理的方案，力求最小化影响，在最短的时间内完成现网的容器环境从IPv4向IPv6的改造。可以基于具体的客户的要求，来实施不同的方案，常见的场景是：??场景1：只保障业务容器间的业务流量使用IPv6,容器集群的管理端不要求，可以是IPv4这种场景相对简单，只做业务层面的IPv6的改造与适配，主要是两个方面，容器网络层面直接调整即可；业务层面做适配，通常是配置上的适配，即可完成IPv6的改造。??场景2：生产环境全部IPv6的场景，无论是管理层面、还是业务层面，这种是比较彻底的全面改造，将现有的容器集群从底层架构到数据通信全部采用IPv6通讯，这种方式相对较为复杂，浩鲸科技在此方面完成了工程性的验证，是可行的，流程如下：3.7
浩鲸在国产系统上的适配
适配国产系统最佳实践??最好使用国产系统自带的版本包尽可能使用国产系统同版本自带的版本包，如果实在没有，则可以考虑公共的兼容包。??检验iptables的版本及兼容性calico网络的很多规则是基于iptables来做的，很多规则的更新也是依赖于iptables,因此，在适配的过程中要特别检查系统日志、组件日志中是否含有iptables的异常或者告警，要处理掉，否则影响规则的正常下发，最终影响容器网络通讯。??内核参数值尽可能标准化系统内核参数尽可能保持和日常生产中所形成的标准化的内核参数值一样，否则可能会导致网络层面的问题，比如曾经在适配过程中碰到的/sys/kernel/mm/transparent_hugepage/enabled参数值不一样，导致部署后容器网络出现异常04
容器云IPv6-troubleshooting
4.1
网络诊断工具
网络指令是网络诊断和故障排除中常用的一种技术手段。在IPv6容器网络中，可以使用一些常见的网络指令来进行网络诊断和故障排除。常见的网络指令包括：4.2
网络抓包
网络抓包是网络诊断和故障排除中另一种常用的技术手段。在IPv6容器网络中，可以使用一些网络抓包工具来进行网络诊断和故障排除。常见的网络抓包工具包括：?tcpdump命令：用于抓取网络数据包并进行分析。在IPv6网络中，可以使用tcpdump-ieth0ip6命令来抓取IPv6数据包。?Wireshark工具：用于抓取和分析网络数据包。在IPv6网络中，可以使用Wireshark工具来抓取和分析IPv6数据包。?tcptraceroute命令：用于跟踪数据包在网络中的传输路径。在IPv6网络中，可以使用tcptraceroute6命令来进行IPv6地址的traceroute测试，并抓取相关的IPv6数据包。4.3
其他技术手段
除了网络指令和网络抓包之外，还有一些其他的技术手段可以用于IPv6容器网络的诊断和故障排除。例如：?日志分析：在容器中，各个组件（如应用、数据库、消息队列等）都会有相应的日志文件，通过分析日志文件可以辅助定位网络问题。?应用性能分析工具：例如jstack、jmap、perf等，可以用于分析应用程序的性能和问题。?操作系统性能分析工具：例如sar、top、vmstat等，可以用作基本指标的分析05
小结
移动、电信、联通作为中国的三大运营商，已将IPv6的推广和应用放到一个很重要的位置，并且积极开展IPv6网络建设工作;再加上国家八部门联合发布的《关于推进IPv6技术演进和应用创新发展的实施意见》更在战略高度上强调了IPv6的重要性以及即将到来的演进趋势。浩鲸科技作为BOSS建设的重要厂商，较早已开始了容器云环境下的IPv6建议及适配工作，并在一些商业项目上成功落地，并将持续助力运营商的IPv6建设。本篇简述了IPv6的优势及容器云适配IPv6的背景，详细地讨论了浩鲸容器云适配IPv6的经验、难点、以及国产系统的适配，最后也分享了在IPv6容器云环境上的网络问题的常见的定位方法等，从工程角度及一些商业项目的成功实施上验证了方案的有效性。