tcpip协议与网络编程课程设计(tcpip协议与网络编程)

Python网络编程 -- TCP/IP

首先放出一个 TCP/IP 的程序，这里是单线程服务器与客户端，在多线程一节会放上多线程的TCP/IP服务程序。

这里将服务端和客户端放到同一个程序当中，方便对比服务端与客户端的不同。

TCP/IP是因特网的通信协议，其参考OSI模型，也采用了分层的方式，对每一层制定了相应的标准。

网际协议（IP）是为全世界通过互联网连接的计算机赋予统一地址系统的机制，它使得数据包能够从互联网的一端发送至另一端，如 130.207.244.244，为了便于记忆，常用主机名代替IP地址，例如 baidu.com。

UDP (User Datagram Protocol，用户数据报协议) 解决了上述第一个问题，通过端口号来实现了多路复用（用不同的端口区分不同的应用程序）但是使用UDP协议的网络程序需要自己处理丢包、重包和包的乱序问题。

TCP (Transmission Control Protocol，传输控制协议) 解决了上述两个问题，同样使用端口号实现了复用。

TCP 实现可靠连接的方法：

socket通信模型及 TCP 通信过程如下两张图。

[图片上传失败...(image-6d947d-1610703914730)]

[图片上传失败...(image-30b472-1610703914730)]

socket.getaddrinfo(host, port, family, socktype, proto, flags)

返回： [(family, socktype, proto, cannonname, sockaddr), ] 由元组组成的列表。

family：表示socket使用的协议簇， AF_UNIX : 1, AF_INET: 2, AF_INET6 : 10。 0 表示不指定。

socktype: socket 的类型， SOCK_STREAM : 1, SOCK_DGRAM : 2, SOCK_RAW : 3

proto: 协议， 套接字所用的协议，如果不指定， 则为 0。 IPPROTO_TCP : 6, IPPRTOTO_UDP : 17

flags：标记，限制返回内容。 AI_ADDRCONFIG 把计算机无法连接的所有地址都过滤掉（如果一个机构既有IPv4，又有IPv6，而主机只有IPv4，则会把 IPv6过滤掉）

AI _V4MAPPED, 如果本机只有IPv6，服务却只有IPv4，这个标记会将 IPv4地址重新编码为可实际使用的IPv6地址。

AI_CANONNAME，返回规范主机名：cannonname。

getaddrinfo(None, 'smtp', 0, socket.SOCK_STREAM, 0, socket.AP_PASSIVE)

getaddrinfo('', 'ftp', 0, 'socket.SOCK_STREAM, 0, socket.AI_ADDRCONFIG | socket.AI_V4MAPPED)

利用已经通信的套接字名提供给getaddrinfo

mysock = server_sock.accept()

addr, port = mysock.getpeername()

getaddrinfo(addr, port, mysock.family, mysock.type, mysock.proto, socket.AI_CANONNAME)

TCP 数据发送模式：

由于 TCP 是发送流式数据，并且会自动分割发送的数据包，而且在 recv 的时候会阻塞进程，直到接收到数据为止，因此会出现死锁现象，及通信双方都在等待接收数据导致无法响应，或者都在发送数据导致缓存区溢出。所以就有了封帧(framing)的问题，即如何分割消息，使得接收方能够识别消息的开始与结束。

关于封帧，需要考虑的问题是， 接收方何时最终停止调用recv才是安全的？整个消息或数据何时才能完整无缺的传达？何时才能将接收到的消息作为一个整体来解析或处理。

适用UDP的场景：

由于TCP每次连接与断开都需要有三次握手，若有大量连接，则会产生大量的开销，在客户端与服务器之间不存在长时间连接的情况下，适用UDP更为合适，尤其是客户端太多的时候。

第二种情况： 当丢包现象发生时，如果应用程序有比简单地重传数据聪明得多的方法的话，那么就不适用TCP了。例如，如果正在进行音频通话，如果有1s的数据由于丢包而丢失了，那么只是简单地不断重新发送这1s的数据直至其成功传达是无济于事的。反之，客户端应该从传达的数据包中任意选择一些组合成一段音频（为了解决这一问题，一个智能的音频协议会用前一段音频的高度压缩版本作为数据包的开始部分，同样将其后继音频压缩，作为数据包的结束部分），然后继续进行后续操作，就好像没有发生丢包一样。如果使用TCP，那么这是不可能的，因为TCP会固执地重传丢失的信息，即使这些信息早已过时无用也不例外。UDP数据报通常是互联网实时多媒体流的基础。

参考资料：

网络编程（五）TCP详解

考虑最简单的情况：两台主机之间的通信。这个时候只需要一条网线把两者连起来，规定好彼此的硬件接口，如都用 USB、电压 10v、频率 2.4GHz 等， 这一层就是物理层，这些规定就是物理层协议 。

我们当然不满足于只有两台电脑连接，因此我们可以使用交换机把多个电脑连接起来，如下图：

这样连接起来的网络，称为局域网，也可以称为以太网（以太网是局域网的一种）。在这个网络中，我们需要标识每个机器，这样才可以指定要和哪个机器通信。这个标识就是硬件地址 MAC。

硬件地址随机器的生产就被确定，永久性唯一。在局域网中，我们需要和另外的机器通信时，只需要知道他的硬件地址，交换机就会把我们的消息发送到对应的机器。

这里我们可以不管底层的网线接口如何发送，把物理层抽离，在他之上创建一个新的层次，这就是 数据链路层 。

我们依然不满足于局域网的规模，需要把所有的局域网联系起来，这个时候就需要用到路由器来连接两个局域网：

但是如果我们还是使用硬件地址来作为通信对象的唯一标识，那么当网络规模越来越大，需要记住所有机器的硬件地址是不现实的；

同时，一个网络对象可能会频繁更换设备，这个时候硬件地址表维护起来更加复杂。这里使用了一个新的地址来标记一个网络对象： IP 地址 。

通过一个简单的寄信例子来理解 IP 地址。

我住在北京市，我朋友 A 住在上海市，我要给朋友 A 写信：

因此，这里 IP 地址就是一个网络接入地址（朋友 A 的住址），我只需要知道目标 IP 地址，路由器就可以把消息给我带到。 在局域网中，就可以动态维护一个 MAC 地址与 IP 地址的映射关系，根据目的 IP 地址就可以寻找到机器的 MAC 地址进行发送 。

这样我们不需管理底层如何去选择机器，我们只需要知道 IP 地址，就可以和我们的目标进行通信。这一层就是 网络层 。网络层的核心作用就是 提供主机之间的逻辑通信 。

这样，在网络中的所有主机，在逻辑上都连接起来了，上层只需要提供目标 IP 地址和数据，网络层就可以把消息发送到对应的主机。

一个主机有多个进程，进程之间进行不同的网络通信，如边和朋友开黑边和女朋友聊微信。我的手机同时和两个不同机器进行通信。

那么当我的手机收到数据时，如何区分是微信的数据，还是王者的数据？那么就必须在网络层之上再添加一层： 运输层 ：

运输层通过 socket（套接字），将网络信息进行进一步的拆分，不同的应用进程可以独立进行网络请求，互不干扰。

这就是运输层的最本质特点： 提供进程之间的逻辑通信 。这里的进程可以是主机之间，也可以是同个主机，所以在 android 中，socket 通信也是进程通信的一种方式。

现在不同的机器上的应用进程之间可以独立通信了，那么我们就可以在计算机网络上开发出形形式式的应用：如 web 网页的 http，文件传输 ftp 等等。这一层称为 应用层 。

应用层还可以进一步拆分出表示层、会话层，但他们的本质特点都没有改变： 完成具体的业务需求 。和下面的四层相比，他们并不是必须的，可以归属到应用层中。

最后对计网分层进行小结：

这里需要注意的是，分层并不是在物理上的分层，而是逻辑上的分层。通过对底层逻辑的封装，使得上层的开发可以直接依赖底层的功能而无需理会具体的实现，简便了开发。

这种分层的思路，也就是责任链设计模式，通过层层封装，把不同的职责独立起来，更加方便开发、维护等等。

TCP 并不是把应用层传输过来的数据直接加上首部然后发送给目标，而是把数据看成一个字节 流，给他们标上序号之后分部分发送。这就是 TCP 的 面向字节流 特性：

面向字节流的好处是无需一次存储过大的数据占用太多内存，坏处是无法知道这些字节代表的意义，例如应用层发送一个音频文件和一个文本文件，对于 TCP 来说就是一串字节流，没有意义可言，这会导致粘包以及拆包问题，后面讲。

前面讲到，TCP 是可靠传输协议，也就是，一个数据交给他，他肯定可以完整无误地发送到目标地址，除非网络炸了。他实现的网络模型如下：

对于应用层来说，他就是一个可靠传输的底层支持服务；而运输层底层采用了网络层的不可靠传输。虽然在网络层甚至数据链路层就可以使用协议来保证数据传输的可靠性，但这样网络的设计会更加复杂、效率会随之降低。把数据传输的可靠性保证放在运输层，会更加合适。

可靠传输原理的重点总结一下有： 滑动窗口、超时重传、累积确认、选择确认、连续 ARQ 。

停止等待协议

要实现可靠传输，最简便的方法就是：我发送一个数据包给你，然后你跟我回复收到，我继续发送下一个数据包。传输模型如下：

这种“一来一去”的方法来保证传输可靠就是 停止等待协议 （stop-and-wait）。不知道还记不记得前面 TCP 首部有一个 ack 字段，当他设置为 1 的时候，表示这个报文是一个确认收到报文。

然后再来考虑另一种情况：丢包。网络环境不可靠，导致每一次发送的数据包可能会丢失，如果机器 A 发送了数据包丢失了，那么机器 B 永远接收不到数据，机器 A 永远在等待。

解决这个问题的方法是： 超时重传 。当机器 A 发出一个数据包时便开始计时，时间到还没收到确认回复，就可以认为是发生了丢包，便再次发送，也就是重传。

但重传会导致另一种问题：如果原先的数据包并没有丢失，只是在网络中待的时间比较久，这个时候机器 B 会受到两个数据包，那么机器 B 是如何辨别这两个数据包是属于同一份数据还是不同的数据？

这就需要前面讲过的方法： 给数据字节进行编号 。这样接收方就可以根据数据的字节编号，得出这些数据是接下来的数据，还是重传的数据。

在 TCP 首部有两个字段：序号和确认号，他们表示发送方数据第一个字节的编号，和接收方期待的下一份数据的第一个字节的编号。

停止等待协议的优点是简单，但缺点是 信道利用率 太低。

假定AB之间有一条直通的信道来传送分组

这里的TD是A发送分组所需要的时间（显然TD = 分组长度 / 数据速率）再假定TA是B发送确认分组所需要的时间（A和B处理分组的时间都忽略不计）那么A在经过TD+RTT+TA时间后才能发送下一个分组，这里的RTT是往返时间，因为只有TD是采用来传输有用的数据（这个数据包括了分组首部，如果可以知道传输更精确的数据的时间，可以计算的更精确），所有信道利用率为

为了提高传输效率，发送方可以不使用低效率的停止等待协议，而是采用 流水线传输 ：就是发送方可以 连续的发送多个分组 ，不必每发完一个分组就停下来等待对方的确认。这样可使信道上一直有数据不间断地在传送。显然这种传输方式可以获得很高的信道利用率

停止等待协议已经可以满足可靠传输了，但有一个致命缺点： 效率太低 。发送方发送一个数据包之后便进入等待，这个期间并没有干任何事，浪费了资源。解决的方法是： 连续发送数据包 。

也就是下面介绍的 连续ARQ协议 和 滑动窗口协议

连续 ARQ 协议

模型如下：

和停止等待最大的不同就是，他会源源不断地发送，接收方源源不断收到数据之后，逐一进行确认回复。这样便极大地提高了效率。但同样，带来了一些额外的问题:

发送是否可以无限发送直到把缓冲区所有数据发送完？不可以。因为需要考虑接收方缓冲区以及读取数据的能力。如果发送太快导致接收方无法接受，那么只是会频繁进行重传，浪费了网络资源。所以发送方发送数据的范围，需要考虑到接收方缓冲区的情况。这就是 TCP 的 流量控制 。

解决方法是： 滑动窗口 。基本模型如下：

在 TCP 的首部有一个窗口大小字段，他表示接收方的剩余缓冲区大小，让发送方可以调整自己的发送窗口大小。通过滑动窗口，就可以实现 TCP 的流量控制，不至于发送太快，导致太多的数据丢失。

连续 ARQ 带来的第二个问题是：网络中充斥着和发送数据包一样数据量的确认回复报文，因为每一个发送数据包，必须得有一个确认回复。提高网络效率的方法是： 累积确认 。

接收方不需要逐个进行回复，而是累积到一定量的数据包之后，告诉发送方，在此数据包之前的数据全都收到。例如，收到 1234，接收方只需要告诉发送方我收到 4 了，那么发送方就知道 1234 都收到了。

第三个问题是：如何处理丢包情况。在停止等待协议中很简单，直接一个超时重传就解决了。但，连续 ARQ 中不太一样。

例如：接收方收到了 123 567，六个字节，编号为 4 的字节丢失了。按照累积确认的思路，只能发送 3 的确认回复，567 都必须丢掉，因为发送方会进行重传。这就是 GBN（go-back-n) 思路。

但是我们会发现，只需要重传 4 即可，这样不是很浪费资源，所以就有了： 选择确认 SACK 。在 TCP 报文的选项字段，可以设置已经收到的报文段，每一个报文段需要两个边界来进行确定。这样发送方，就可以根据这个选项字段只重传丢失的数据了。

第四个问题是：拥塞控制的问题

也是通过窗口的大小来控制的，但是检测网络满不满是个挺难的事情，所以 TCP 发送包经常被比喻成往谁管理灌水，所以拥塞控制就是在不堵塞，不丢包的情况下尽可能的发挥带宽。

水管有粗细，网络有带宽，即每秒钟能发送多少数据；水管有长度，端到端有时延。理想状态下，水管里面的水 = 水管粗细 * 水管长度。对于网络上，通道的容量 = 带宽 * 往返时延。

如果我们设置发送窗口，使得发送但未确认的包为通道的容量，就能撑满整个管道。

如图所示，假设往返时间为 8 秒，去 4 秒，回 4 秒，每秒发送一个包，已经过去了 8 秒，则 8 个包都发出去了，其中前四个已经到达接收端，但是 ACK 还没返回，不能算发送成功，5-8 后四个包还在路上，还没被接收，这个时候，管道正好撑满，在发送端，已发送未确认的 8 个包，正好等于带宽，也即每秒发送一个包，也即每秒发送一个包，乘以来回时间 8 秒。

如果在这个基础上调大窗口，使得单位时间可以发送更多的包，那么会出现接收端处理不过来，多出来的包会被丢弃，这个时候，我们可以增加一个缓存，但是缓存里面的包 4 秒内肯定达不到接收端课，它的缺点会增加时延，如果时延达到一定程度就会超时重传

TCP 拥塞控制主要来避免两种现象，包丢失和超时重传，一旦出现了这些现象说明发送的太快了，要慢一点。

具体的方法就是发送端慢启动，比如倒水，刚开始倒的很慢，渐渐变快。然后设置一个阈值，当超过这个值的时候就要慢下来

慢下来还是在增长，这时候就可能水满则溢，出现拥塞，需要降低倒水的速度，等水慢慢渗下去。

拥塞的一种表现是丢包，需要超时重传，这个时候，采用快速重传算法，将当前速度变为一半。所以速度还是在比较高的值，也没有一夜回到解放前。

到这里关于 TCP 的可靠传输原理就已经介绍得差不多。最后进行一个小结：

当然，这只是可靠传输的冰山一角，感兴趣可以再深入去研究

如何编写用TCP/IP的通讯程序

首先要讲一下他们的一些设置（属性）：

TServerSocket 的几个属性

Active

是否是工作状态，可以把它设置为ture或false来启动和停止侦听。

Port

本机侦听的端口，可以设置为一大于1024的数；

ServerType

服务端的工作方式，有两个选择，一个是stNonBlocking 非阻塞方式，一个是stThreadBlocking线程阻塞方式，默认是非阻塞方式。用非阻塞方式编程比较简单（我个人认为），用阻塞方式对每个连接必须自己用线程来控制收发。

ThreadCacheSize

缓冲的线程个数 当ServerType是stThreadBlocking时有效。

TClientSocket 的几个属性

Active

是否是工作状态，可以把它设置为ture或false来同服务端建立或断开连接。

Host

服务器（ServerSocket）的计算机名，是一个字符串

Address

服务器（ServerSocket）的IP地址

ClientType

客户端的工作方式一种是ctNonBlocking非阻塞方式，一种是ctBlocking阻塞方式，默认是非阻塞方式

Port

同服务端(ServerSocket)连接的端口，这个端口就是ServerSocket的侦听 端口

在设置ClientSocket的（Host）主机名和设置（Address）IP地址是等效的，但设主机名需要网络具有DNS（域名解析服务）服务器，而且设主机名要比设主机的IP地址连接的速度慢一些。建议用Address来同ServerSocket进行连接。

设置好所有的属性后，ServerSocket控件就可以通过将它的Active属性置为true来进行侦听了。ClientSocket可以通过设置它的Active属性来同ServerSocket进行连接。连接成功就可以进行通讯了。在这个过程中会产生一些事件，下面说说他们各自的事件。

TServerSocket的几个事件

OnAccept

当一个客户同服务端连接成功后产生这个事件，产生这个事件后这个连接就可用了，可以对这个客户进行发送和接收数据。

OnClientConnect

当一个客户正在同服务端建立连接的时候产生此事件，在这里你可以决定是否接受这个连接。

OnClientDisconnect

当一个客户同服务端的连接断开的时候产生此事件，你需要在这里进行一些处理，如从连接列表中清除次连接释放内存等。

OnClientError

当客户同服务端出现错误时产生此事件，在此事件中你可以通过设置ErrorCode ＝ 0来屏蔽系统的错误提示。这样就可以避免讨厌的英文错误了。根据ErrorEvent的不同的值来得知发生了什么错误，它有一下几中错误类型

eeGeneral 未知错误

eeSend 发送数据出现错误

eeReceive 接收数据出现错误

eeConnect 客户请求连接时出现错误

eeDisconnect 客户断开连接时出现错误

eeAccept 接受一个客户时发生错误

一般来讲，当发生错误的时候这个客户的连接就已经不可用了，要对这个客户进行连接失败处理。

OnClientRead

当服务端收到客户端发来的数据的时候产生此事件。接收客户端的数据都在这里进行。

OnClientWrite

当服务端发送数据的时候产生此事件。

TClientSocket的几个事件

OnConnect

同服务端（ServerSocket）连接成功后将产生此事件，产生此事件后才说明这个连接可用了，这时才可以向ServerSocket发送数据。

OnConnecting

正在同服务端进行连接是产生此事件。

OnDisconnect

同服务端的连接断开后产生此事件，产生此事件后ClientSocket的Active属性就为false了，这时这个连接就不可用了，必须重新进行连接才能向服务器发送数据。

OnError

当Socket发生错误时产生此事件，这个事件的意义和ServerSocket的Error事件完全一样，只是它没有eeAccept错误。

OnRead

当接收到服务端发来的数据后产生此事件。

OnWrite

当向服务端发送数据的时候产生此事件。