Python网络编程(python网络编程基础 pdf)

Python网络编程 -- TCP/IP

首先放出一个 TCP/IP 的程序，这里是单线程服务器与客户端，在多线程一节会放上多线程的TCP/IP服务程序。

这里将服务端和客户端放到同一个程序当中，方便对比服务端与客户端的不同。

TCP/IP是因特网的通信协议，其参考OSI模型，也采用了分层的方式，对每一层制定了相应的标准。

网际协议（IP）是为全世界通过互联网连接的计算机赋予统一地址系统的机制，它使得数据包能够从互联网的一端发送至另一端，如 130.207.244.244，为了便于记忆，常用主机名代替IP地址，例如 baidu.com。

UDP (User Datagram Protocol，用户数据报协议) 解决了上述第一个问题，通过端口号来实现了多路复用（用不同的端口区分不同的应用程序）但是使用UDP协议的网络程序需要自己处理丢包、重包和包的乱序问题。

TCP (Transmission Control Protocol，传输控制协议) 解决了上述两个问题，同样使用端口号实现了复用。

TCP 实现可靠连接的方法：

socket通信模型及 TCP 通信过程如下两张图。

[图片上传失败...(image-6d947d-1610703914730)]

[图片上传失败...(image-30b472-1610703914730)]

socket.getaddrinfo(host, port, family, socktype, proto, flags)

返回： [(family, socktype, proto, cannonname, sockaddr), ] 由元组组成的列表。

family：表示socket使用的协议簇， AF_UNIX : 1, AF_INET: 2, AF_INET6 : 10。 0 表示不指定。

socktype: socket 的类型， SOCK_STREAM : 1, SOCK_DGRAM : 2, SOCK_RAW : 3

proto: 协议， 套接字所用的协议，如果不指定， 则为 0。 IPPROTO_TCP : 6, IPPRTOTO_UDP : 17

flags：标记，限制返回内容。 AI_ADDRCONFIG 把计算机无法连接的所有地址都过滤掉（如果一个机构既有IPv4，又有IPv6，而主机只有IPv4，则会把 IPv6过滤掉）

AI _V4MAPPED, 如果本机只有IPv6，服务却只有IPv4，这个标记会将 IPv4地址重新编码为可实际使用的IPv6地址。

AI_CANONNAME，返回规范主机名：cannonname。

getaddrinfo(None, 'smtp', 0, socket.SOCK_STREAM, 0, socket.AP_PASSIVE)

getaddrinfo('', 'ftp', 0, 'socket.SOCK_STREAM, 0, socket.AI_ADDRCONFIG | socket.AI_V4MAPPED)

利用已经通信的套接字名提供给getaddrinfo

mysock = server_sock.accept()

addr, port = mysock.getpeername()

getaddrinfo(addr, port, mysock.family, mysock.type, mysock.proto, socket.AI_CANONNAME)

TCP 数据发送模式：

由于 TCP 是发送流式数据，并且会自动分割发送的数据包，而且在 recv 的时候会阻塞进程，直到接收到数据为止，因此会出现死锁现象，及通信双方都在等待接收数据导致无法响应，或者都在发送数据导致缓存区溢出。所以就有了封帧(framing)的问题，即如何分割消息，使得接收方能够识别消息的开始与结束。

关于封帧，需要考虑的问题是， 接收方何时最终停止调用recv才是安全的？整个消息或数据何时才能完整无缺的传达？何时才能将接收到的消息作为一个整体来解析或处理。

适用UDP的场景：

由于TCP每次连接与断开都需要有三次握手，若有大量连接，则会产生大量的开销，在客户端与服务器之间不存在长时间连接的情况下，适用UDP更为合适，尤其是客户端太多的时候。

第二种情况： 当丢包现象发生时，如果应用程序有比简单地重传数据聪明得多的方法的话，那么就不适用TCP了。例如，如果正在进行音频通话，如果有1s的数据由于丢包而丢失了，那么只是简单地不断重新发送这1s的数据直至其成功传达是无济于事的。反之，客户端应该从传达的数据包中任意选择一些组合成一段音频（为了解决这一问题，一个智能的音频协议会用前一段音频的高度压缩版本作为数据包的开始部分，同样将其后继音频压缩，作为数据包的结束部分），然后继续进行后续操作，就好像没有发生丢包一样。如果使用TCP，那么这是不可能的，因为TCP会固执地重传丢失的信息，即使这些信息早已过时无用也不例外。UDP数据报通常是互联网实时多媒体流的基础。

参考资料：

Python网络编程4--实现IP分片与网络路径MTU探测

实验拓扑如下，linux向R2发送IP分片，并在R2接口上抓包。

??ICMP包校验和是连通头部信息加数据本身一起进行校验（ip包只需要校验头部信息）而Scapy自动添加ICMP校验和时只会计算第一分片的数据，当三个分片到达目标主机进行重组后校验不通过，将重组后的数据包丢弃；因此在手动设置IP分片时，需要手动将校验和添加入ICMP首部中。

由于手动计算校验和过程较复杂，可通过wireshark抓包，可以获取到正确的校验和。

抓包结果如下，由于单个数据包长度超过MTU,系统自动将ICMP request包分片发送，同样的ICMP reply系统也进行了分片。

??当主机发送分组的长度超过MTU又不可以分片（IP flags位DF置1），则这个分组丢弃，并用ICMP差错报文向主机报告。

参考：( )

Python网络编程5-实现DHCP Client

??DHCP（Dynamic Host Configuration Protocol，动态主机配置协议），前身是BOOTP协议，是一个局域网的网络协议，使用UDP协议工作，统一使用两个IANA分配的端口：67（服务器端），68（客户端）。主要作用是集中的管理、分配IP地址，使client动态的获得IP地址、Gateway地址、DNS服务器地址等信息。

option字段

??DHCP报文中的Options字段可以用来存放普通协议中没有定义的控制信息和参数。如果用户在DHCP服务器端配置了Options字段，DHCP客户端在申请IP地址的时候，会通过服务器端回应的DHCP报文获得Options字段中的配置信息。

获取IP地址过程

??实验使用的linux 主机由两个网络接口，其中ens33使用DHCP获取IP地址，ens37使用静态IP地址；因此需要使用ens33来发送数据包。

??Change_MAC.py用于MAC地址与Bytes类型相互转换。

??DHCP_Discover.py用于发送DHCP Discover报文;其中GET_MAC.py见ARP章节。

??DHCP_Request.py用于发送DHCP Request报文。

??DHCP_FULL.py用于完成DHCP Client与DHCP Server的报文交互

Wireshark对远程linux主机抓包，结果如下

客户端以广播发送DHCP Discover包，其中报文操作类型为1（请求报文），DHCP客户端的MAC地址设置为00:0c:29:03:a1:08，option53设置报文类型为Discover，option55（请求选项列表）中包含请求的参数。

服务器以单播向客户端回复信息，其中报文操作类型为2（应答报文），分配给客户端的IP为192.168.160.146,option 53设置报文类型为offer，Option 54设置服务器标识为192.168.160.254，其他option为客户端请求列表的应答。

值得注意的是，交互的四个报文中Transaction ID均为0x00000000，表明是同一次DHCP交互报文。

Python的就业方向有哪些？

Python十大就业方向：

1、web开发：Python拥有很多免费数据函数库、免费web网页模板系统、以及与web服务器进行交互的库。可以很好地实现web开发，搭建web框架，比较说diango。

2、桌面软件：用tkinter/PyQT框架开发各种桌面软件

3、网络编程：是Python学习的方向之一，网络编程无处不在。

4、爬虫开发：Python几乎是霸主地位，将网络一切数据作为资源，通过自动化程序进行有针对性的数据采集以及处理。

5、云计算：Python是从事云计算工作需要掌握的一门编程语言，目前非常火热的OpenStack就是由Python开发的。

6、人工智能：Python积累了丰富的科学运算库，Python在众多语言中脱颖而出，各种人工智能算法都是基于Python编写的。

7、自动化运维：Python是综合性语言，可以满足大部分自动化运维需求，前端和后端都可以做。

8、金融分析：金融分析包含金融知识和Python相关模块的学习，包含Numpy\Pandas\Scipy数据分析模块等。

9、科学运算：是一门非常适合科学计算的编程语言，Python非常适合做科学计算、绘制高质量的2D和3D图像。

10、游戏开发：游戏开发中，Python也具有非常好的作用，可以用更少的代码描述游戏业务逻辑。

Python网络编程6-使用Pysnmp实现简单网管

??简单网络管理协议SNMP（Simple Network Management Protocol）用于网络设备的管理。SNMP作为广泛应用于TCP/IP网络的网络管理标准协议，提供了统一的接口，从而实现了不同种类和厂商的网络设备之间的统一管理。

??SNMP协议分为三个版本：SNMPv1、SNMPv2c和SNMPv3。

??SNMP系统由网络管理系统NMS（Network Management System）、SNMP Agent、被管对象Management object和管理信息库MIB（Management Information Base）四部分组成。

??SNMP查询是指NMS主动向SNMP Agent发送查询请求，如图1-3所示。SNMP Agent接收到查询请求后，通过MIB表完成相应指令，并将结果反馈给NMS。SNMP查询操作有三种：Get、GetNext和GetBulk。SNMPv1版本不支持GetBulk操作。

??不同版本的SNMP查询操作的工作原理基本一致，唯一的区别是SNMPv3版本增加了身份验证和加密处理。下面以SNMPv2c版本的Get操作为例介绍SNMP查询操作的工作原理。假定NMS想要获取被管理设备MIB节点sysContact的值，使用可读团体名为public，过程如下所示：

??SNMP设置是指NMS主动向SNMP Agent发送对设备进行Set操作的请求，如下图示。SNMP Agent接收到Set请求后，通过MIB表完成相应指令，并将结果反馈给NMS。

??不同版本的SNMP Set操作的工作原理基本一致，唯一的区别是SNMPv3版本增加了身份验证和加密处理。下面以SNMPv3版本的Set操作为例介绍SNMP Set操作的工作原理。

假定NMS想要设置被管理设备MIB节点sysName的值为HUAWEI，过程如下所示：

??SNMPv1和SNMPv2c的Set操作报文格式如下图所示。一般情况下，SNMPv3的Set操作信息是经过加密封装在SNMP PDU中，其格式与SNMPv2c的Set操作报文格式一致。

??SNMP Traps是指SNMP Agent主动将设备产生的告警或事件上报给NMS，以便网络管理员及时了解设备当前运行的状态。

??SNMP Agent上报SNMP Traps有两种方式：Trap和Inform。SNMPv1版本不支持Inform。Trap和Inform的区别在于，SNMP Agent通过Inform向NMS发送告警或事件后，NMS需要回复InformResponse进行确认。

??在Ensp中搭建网络环境，在R2上启用SNMP作为SNMP agent，Linux主机作为NMS；为方便观察SNMP报文格式，在R2使用SNMP的版本为v2c。

通过下面的Python脚本获取R2的系统信息与当前的主机名

运行结果如下

??在R2接口上抓包结果如下，Linux主机向R2的161端口发送SNMP get-request报文，可以看到SNMP使用的版本为v2c，设置的团体名为public，随机生成了一个request-id，变量绑定列表（Variable bindings），即要查询的OID，但Value为空；值得注意的是这些信息都是明文传输的，为了安全在实际环境中应使用SNMPv3。

通过下面的Python脚本获取R2的接口信息。

运行结果如下：

在R2接口抓包结果如下，getBuikRequest相比get-request设置了一个max-repetitions字段，表明最多执行get操作的次数。Variable bindings中请求的OID条目只有一条。

下面Python脚本用于设置R2的主机名为SNMPv2R2。

运行结果如下

在路由器上可以看到主机名有R2变为了SNMPv2R2。

get-response数据包内容与set-request中无异。

下面Python脚本用于接收，R2发送的Trap，并做简单解析。

先运行该脚本，之后再R2上手动将一个接口shutdown，结果如下：

接口上抓包结果如下，此时团体名用的是public，data部分表明是trap。

由于Ensp中的通用路由器认证算法只支持des56，而pysnmp不支持该算法，因此使用AR路由器配置SNMPv3。

使用下面Python脚本发送snmpv3 get报文获取设备系统信息。

抓包结果如下，首先发送get-resques进行SNMPv3认证请求，随机生成一个msgID，认证模式为USM，msgflgs中Reportable置1要求对方发送report，其他为置0，表示不进行加密与鉴权；另外安全参数，认证参数、加密参数都为空，此时不携带get请求数据。

路由器给NMS回复report，msgID与resquest一致，Msgflgs中各位都置0，同时回复使用的安全引擎，认证与加密参数为空，不进行认证与加密，因此能看到data中的数据。

AR1收到请求后进行回复，数据包中msgflags标志位中除reportable外其他位都置1，表示不需要回复，同时进行加密与鉴权。同样也可以看到认证用户为testuser，认证参数与加密参数都有填充，data部分也是同样加密。

参考：

什么是SNMP - 华为 (huawei.com)

AR100-S V300R003 MIB参考 - 华为 (huawei.com)

SNMP library for Python — SNMP library for Python 4.4 documentation (pysnmp.readthedocs.io)

python网络编程可以用来做什么

下面是Python的应用及岗位。

第一部分：各个领域应用的语言。

大家看这个内容，其实你很明显发现，其实各个语言都有他的用处。我们可以说Python是应用最广的。但是暂时还是不能说它是全能的，因为他也有它的短板，但是对于一般的小公司和小项目而言，是很难得的全能。

现在有个很奇怪的现象，就是大家把Python神话了。Python作为一门语言，确实有他的优势。但是建议大家在学好这个语言的同时，要学第二门语言，这样未来对大家有好的发展。

第二环节：Python工程师在企业里面的定位是什么？

四个重要的定位：验证算法、快速开发、测试运维、数据分析。

1、验证算法：就是对我们公司一些常见设计算法或者公式的验证，公式代码化。

2、快速开发：这个大家应该都比较熟悉，快速开发，就是用成熟框架，更少的代码来开发网站，Python在网站前后台有大量的成熟的框架，如django，flask，bottle，tornado，flask和django的使用较多，国内用Python开发的网站有：知乎、豆瓣、扇贝、腾讯、阿里巴巴；

3、测试运维：用python实现的测试工具及过程，包含服务器端、客户端、web、andriod、client端的自动化测试，自动化性能测试的执行、监控和分析，常用selenium appium等

框架。做运维同学应该清楚，在Linux运维工作中日常操作涵盖了监控，部署，网络配置，日志分析，安全检测 等等许许多多的方面，无所不包。python可以写很多的脚本，把“操作”这个行为做到极致。与此同时，python在服务器管理工具上非常丰富，配置管理(saltstack) 批量执行( fabric, saltstack) ?监控(Zenoss, nagios 插件) ?虚拟化管理( python-libvirt) 进程管理 (supervisor) 云计算(openstack) ...... ?还有大部分系统C库都有python绑定。

4、数据分析：Python有三大神器：numpy,scipy,matplotlib,其中numpy很多底层使用C语言实现的，所以速度很快，用它参加各种数学建模大赛，完全可以替代r语言和MATLAB。spark，Hadoop都开了Python的接口，所以使用Python做大数据的mapreduce也非常简单，加上py对数据库支持都很好，或者类似sqlalchemy的orm也非常强大好用。

在结束这个部分之前，大家有没有一个疑问：为什么爬虫没有中重点讲？

其实这里给大家重点说一下，如果你要学好Python，仅仅停留在爬虫上，这个是很不靠谱的。Python 写爬虫的教程网上一抓一大把，据大家所知很多初学 Python 的人都是使用它编写爬虫程序。小到抓取一个小黄图网站，大到一个互联网公司的商业应用。通过 Python 入门爬虫比较简单易学，不需要在一开始掌握太多太基础太底层的知识就可以很快上手，而且很快可以做出成果，非常适合小白一开始想做出点看得见的东西的成就感。

除了入门，爬虫也被广泛应用到一些需要数据的公司、平台和组织，通过抓取互联网上的公开数据，来实现一些商业价值是非常常见的做法。

当然这些选手的爬虫就要厉害的多了，需要处理包括路由、存储、分布式计算等很多问题，与小白的抓黄图小程序，复杂度差了很多倍。