基于Python TextFSM模块的网络设备自动化运维方法

本文作者：kevinwoo

锐捷网络技术服务部互联网服务中心

随着云计算和SDN技术的发展，数据中心规模越来越大，而网络架构逐渐向“去堆叠”、“去框”式发展，这就意味着需要维护的交换机数量在成倍的增长。随着网络维护规模越来越大，运维人员压力也成倍增加，依靠传统的人工维护已不太现实，工具化、自动化运维势在必行。这就需要运维人员具备一定编程能力，从而通过软件代替传统的人工维护。网络自动化运维理念结合软件开发领域DevOps理念而产生的NetDevOps概念已逐渐被网络运维界所接受。

网络自动化运维，首先要实现网络设备与自动化运维平台对接，即通过代码实现登录网络设备并获取信息。目前常见连接设备的方法有模拟传统的Telnet/SSH命令登录、NETCONF、gRPC、OpenFlow协议对接等等。

为了跟上SDN的发展趋势，各个传统网络设备厂商已逐渐开放API接口，比较有代表性的是NETCONF和YANG模型对网络设备的配置和信息输出的数据结构化定义。目前锐捷数据中心交换机产品已全面支持NETCONF协议，可适用于和SDN控制器或运维平台的南向接口对接。而面对网络工程师在操作网络设备时习惯于使用CLI命令行的现状，又有什么样的最佳实践呢？

本文将给大家介绍一种主流的基于CLI命令行登录的自动化运维实践案例，希望能够给大家带来帮助。

CLI(Command-Line Interface)是传统网络工程师最熟悉的与网络设备“沟通”的方式，工程师最初学习网络课程就是要熟悉各类协议的命令行配置、调试。工程师在日常工作中需要结合命令行输出结果进行排错，甚至在网络割接和变更的场景中，需要将变更的操作步骤细化到每一条命令。相比NETCONF等API接口，CLI命令行通常支持的内容更加丰富、灵活。所以在实现网络自动化运维的过程中，基于CLI的自动化是最能够被传统网络工程师所接受和执行的。

随着Python语言在近些年的快速发展，涌现了一批基于Python的优秀开源模块，比如Ansible、Paramiko、Netmiko、Pexpect等。网络工程师现在可以编写简短的Python脚本就能调用这些模块实现批量登录设备执行脚本，但是随之而来的另一个头痛的问题是传统的命令行输出结果通常是按照适合人类阅读的方式来呈现的。比如“show”命令的输出结果包含了大量的空格、缩进、换行等，而且很多命令还存在上下文关联性。这些命令行输出结果通常无法被计算机很好地识别，计算机更擅长识别XML、JSON、YAML等结构化数据类型，所以网工在编写Python脚本时不得不写一堆正则表达式去“抠”关键参数，然而使用复杂的正则表达式又进一步导致代码可维护性较差。

下面以交换机最基础的查看VLAN命令为例进行说明。如下图所示是通过“show vlan”命令的输出结果，对于同一个VLAN可能会存在多个端口同时放行的情况。关联的接口数量超过一定数量时，输出的结果将会拆分成多行显示，此时，VLAN信息只在第一行显示，后续几行内容需要与第一行进行关联匹配才能得到正确的输出信息。此时如果需要读取某个VLAN关联的所有端口号列表，使用传统的正则表达式就需要多次调用正则表达式并配合循环逻辑判断才能实现，整个过程非常繁琐。

Python常规的数据类型主要是列表或字典格式，如果有工具能够将设备的上面的输出结果直接转化为Python适配的数据类型（如下图），那么就可以直接使用Python进行处理。

下面就要隆重介绍一下本文标题中提到的TextFSM模块，它就是用于结构化输出文本的一个神奇工具。

TextFSM是Google开发的一种开源Python模块，可以基于模板的状态机来解析半格式化文本，从而实现对网络设备CLI输出信息进行结构化数据处理，最终将文本内容输出为Python的字典或列表格式（或者是两者组合）。

详细内容可以访问该模块的GitHub：https://github.com/google/textfsm。

例如，上文中需要将“show vlan”命令的输出结果进行解析，可以通过调用下面的TextFSM模板将命令输出进行格式化：

虽然有了TextFSM模块能够做到结构化解析文本信息，但是每个厂家的CLI输出内容差异较大，需要每条命令都有相应的模板来适配，导致运维人员还需要投入大量时间去编写相应的模板。ntc-templates模块就是为了解决这个痛点诞生的。ntc-templates模块是由networktocode团队开发的Python模块，该模块基于TextFSM开发，它内置了将近400个TextFSM模板，可以适配主流厂商的CLI输出结果。

详细可参考该模块的GitHub主页：

https://github.com/networktocode/ntc-templates

ntc-templates模块内置了index文件，将各类厂商平台和show命令映射到相应的TextFSM模板文件，每个厂商的不同命令都对应着一个独立的模板。我们在ntc-templates模块的基础上，开发了基于锐捷数据中心交换机产品的模板库：ruijie-templates。ruijie-templates模板库是基于TextFSM规则开发，用于适配ntc-templates模块，可以无缝衔接Netmiko模块使用。ruijie-templates模块可以将锐捷数据中心交换机CLI内容进行结构化输出，输出结果可以直接用于Python脚本使用。该模块经过多个锐捷主流数据中心交换机版本测试，覆盖RG-S6510、RG-S6520、RG-S6910、RG-S6920、RG-N18000-X系列[权5] 产品，目前已支持近50条常用命令解析，后续会逐步更新完善，敬请关注。目前ruijie-templates代码已托管至GitHub：https://github.com/kevinkrabi/ruijie-templates

下面介绍一下ruijie-templates模块使用方法。

前置条件：安装TextFSM库和ntc-templates库

方法一：将ruijie-templates并入ntc-templates模板库（推荐）

方法二：独立使用ruijie-templates库，需要设置环境变量，相对复杂（不推荐）

推荐使用方法一将本模板库合并入ntc-templates模块使用，具体操作步骤如下：

将templates目录下的所有TextFSM文件导入ntc-templates库的templates目录。

以macOS为例：

以macOS为例，index文件所在路径为：

找到index文件后用文本编辑软件打开，将以下内容全部复制粘贴到原始文件末尾即可。

注意：由于ntc-templates模板库匹配原则，为避免异常情况，以下index条目不建议调整顺序！

该案例使用Netmiko模拟CLI自动化登录一台设备，读取关键信息并输出结果。

Netmiko是基于Paramiko开发的专门用于适配网络设备的开源Python库，Netmiko同时集成了TextFSM环境，目前最新版本Netmiko（3.3.3）已支持锐捷产品，device_type参数：ruijie_os

使用Netmiko登录设备，通过执行“show int count rate up”命令获取设备输出信息，并将结果以字典方式输出。

注意关键字：device_type': 'ruijie_os'，use_TextFSM=True

该案例使用ntc-templates模块，对文本内容进行结构化输出。

以下图中BGP路由表为例，需要对“show ip bgp”命令执行结果进行结构化输出。

本文介绍了网络自动化运维的问题和解决方案，并结合两个案例介绍了ruijie-template模块的功能以及使用方法，感兴趣的读者可以参考案例下载测试，当前的命令数量还不能满足所有业务场景，如您有更好的建议和意见可以留言，希望这个模块可以帮助到有这方面需求的朋友。