通信原理的通信协议(通信基本知识和通信协议)

网络协议(Protocol)是一种特殊的软件，是计算机网络实现其功能的最基本机制。网络协议的本质是规则，即各种硬件和软件必须遵循的共同守则。网络协议并不是一套单独的软件，它融合于其他所有的软件系统中，因此可以说，协议在网络中无所不在。网络协议遍及OSI通信模型的各个层次，从我们非常熟悉的TCP/IP、HTTP、FTP协议，到OSPF、IGP等协议，有上千种之多。对于普通用户而言，不需要关心太多的底层通信协议，只需要了解其通信原理即可。在实际管理中，底层通信协议一般会自动工作，不需要人工干预。但是对于第三层以上的协议，就经常需要人工干预了，比如TCP/IP协议就需要人工配置它才能正常工作。常用的三个网络协议网络中不同的工作站，服务器之间能传输数据，源于协议的存在。随着网络的发展，不同的开发商开发了不同的通信方式。为了使通信成功可靠，网络中的所有主机都必须使用同一语言，不能带有方言。因而必须开发严格的标准定义主机之间的每个包中每个字中的每一位。这些标准来自于多个组织的努力，约定好通用的通信方式，即协议。这些都使通信更容易。已经开发了许多协议，但是只有少数被保留了下来。那些协议的淘汰有多中原因---设计不好、实现不好或缺乏支持。而那些保留下来的协议经历了时间的考验并成为有效的通信方法。当今局域网中最常见的三个协议是MICROSOFT的NETBEUI、NOVELL的IPX/SPX和交叉平台TCP/IP。一：NETBEUINETBEUI是为IBM开发的非路由协议，用于携带NETBIOS通信。NETBEUI缺乏路由和网络层寻址功能，既是其最大的优点，也是其最大的缺点。因为它不需要附加的网络地址和网络层头尾，所以很快并很有效且适用于只有单个网络或整个环境都桥接起来的小工作组环境。因为不支持路由，所以NETBEUI永远不会成为企业网络的主要协议。NETBEUI帧中唯一的地址是数据链路层媒体访问控制（MAC）地址，该地址标识了网卡但没有标识网络。路由器靠网络地址将帧转发到最终目的地，而NETBEUI帧完全缺乏该信息。网桥负责按照数据链路层地址在网络之间转发通信，但是有很多缺点。因为所有的广播通信都必须转发到每个网络中，所以网桥的扩展性不好。NETBEUI特别包括了广播通信的记数并依赖它解决命名冲突。一般而言，桥接NETBEUI网络很少超过100台主机。近年来依赖于第二层交换器的网络变得更为普遍。完全的转换环境降低了网络的利用率，尽管广播仍然转发到网络中的每台主机。事实上，联合使用100-BASE-T Ethernet,允许转换NetBIOS网络扩展到350台主机，才能避免广播通信成为严重的问题。二：IPX/SPXIPX是NOVELL用于NETWARE客户端/服务器的协议群组，避免了NETBEUI的弱点。但是，带来了新的不同弱点。IPX具有完全的路由能力，可用于大型企业网。它包括32位网络地址，在单个环境中允许有许多路由网络。IPX的可扩展性受到其高层广播通信和高开销的限制。服务广告协议（Service Advertising Protocol,SAP)将路由网络中的主机数限制为几千。尽管SAP的局限性已经被智能路由器和服务器配置所克服，但是，大规模IPX网络的管理员仍是非常困难的工作。三：TCP/IP每种网络协议都有自己的优点，但是只有TCP/IP允许与Internet完全的连接。TCP/IP是在60年代由麻省理工学院和一些商业组织为美国国防部开发的，即便遭到核攻击而破坏了大部分网络，TCP/IP仍然能够维持有效的通信。ARPANET就是由基于协议开发的，并发展成为作为科学家和工程师交流媒体的Internet。TCP/IP同时具备了可扩展性和可靠性的需求。不幸的是牺牲了速度和效率（可是：TCP/IP的开发受到了政府的资助）。Internet公用化以后，人们开始发现全球网的强大功能。Internet的普遍性是TCP/IP至今仍然使用的原因。常常在没有意识到的情况下，用户就在自己的PC上安装了TCP/IP栈，从而使该网络协议在全球应用最广。TCP/IP的32位寻址功能方案不足以支持即将加入Internet的主机和网络数。因而可能代替当前实现的标准是IPv6。
常见的协议有：TCP/IP协议、IPX/SPX协议、NetBEUI协议

1.网络协议在分布式中地位 分布式环境下重要的特点：任务分解和网络通信，其中网络协议在分布式环境中承担着不可缺少的部分，不管是系统与系统之间的通信，或者是中间件之间的通信都与网络协议有着密不可分的关系。2. 网络模型2.1.  OSI模型OSI七层模型分别是：应用层网络服务与最终用户的一个接口。协议有：HTTP FTP TFTP SMTP SNMP DNS TELNET HTTPS POP3 DHCP表示层数据的表示、安全、压缩。（在五层模型里面已经合并到了应用层）格式有，JPEG、ASCll、DECOIC、加密格式等会话层建立、管理、终止会话。（在五层模型里面已经合并到了应用层）对应主机进程，指本地主机与远程主机正在进行的会话传输层定义传输数据的协议端口号，以及流控和差错校验。协议有：TCP UDP，数据包一旦离开网卡即进入网络传输层网络层进行逻辑地址寻址，实现不同网络之间的路径选择。协议有：ICMP IGMP IP（IPV4 IPV6） ARP RARP数据链路层建立逻辑连接、进行硬件地址寻址、差错校验[2]  等功能。（由底层网络定义协议）将比特组合成字节进而组合成帧，用MAC地址访问介质，错误发现但不能纠正。物理层建立、维护、断开物理连接。（由底层网络定义协议）每一层为上层提供服务2.2.  TCP/IP模型TCP/IP协议参考模型把所有TCP/IP系列协议归类到四个抽象层中，每一个抽象层建立在低一层提供的服务上，并且为高一层提供服务。ICMP:控制报文协议IGMP:internet组管理协议ARP:地址解析协议RARP:反向地址转化协议3. TCP/IP协议3.1. 什么是TCP/IP协议TCP/IP（Transmission Control Protocol/Internet Protocol）是一种可靠的网络数据传输控制协议。定义了主机如何连入因特网以及数据如何在他们之间传输的标准。3.2. TCP/IP应用场景TCP/IP是可靠的连接传输，可靠性要求比较高，但传输效率慢。常用的应用场景有：文件传输、重要状态的更新等3.3. TCP通信原理对于TCP通信来说，每个TCP Socket的内核中都有一个发送缓冲区和一个接收缓冲区，TCP的全双工的工作模式及TCP的滑动窗口就是依赖于这两个独立的Buffer和该Buffer的填充状态。接收缓冲区把数据缓存到内核，若应用进程一直没有调用Socket的read方法进行读取，那么该数据会一直被缓存在接收缓冲区内。不管进程是否读取Socket，对端发来的数据都会经过内核接收并缓存到Socket的内核接收缓冲区。Read所要做的工作，就是把内核接收缓冲区中的数据复制到应用层用户的Buffer里。进程调用Socket的send发送数据的时候，一般情况下是讲数据从应用层用户的Buffer里复制到Socket的内核发送缓冲区，然后send就会在上层返回。换句话说，send返回时，数据不一定会被发送到对端。通信时序图发送端：通信时序图接收端：注：buffer大小在JAVA默认程序里为81923.4. 三次握手三次握手（Three-Way Handshake）即建立TCP连接，就是指建立一个TCP连接时，需要客户端和服务端总共发送3个包以确认连接的建立。（1）第一次握手：Client将标志位SYN置为1，随机产生一个值seq=J，并将该数据包发送给Server，Client进入SYN_SENT状态，等待Server确认。（2）第二次握手：Server收到数据包后由标志位SYN=1知道Client请求建立连接，Server将标志位SYN和ACK都置为1，ack=J+1，随机产生一个值seq=K，并将该数据包发送给Client以确认连接请求，Server进入SYN_RCVD状态。（3）第三次握手：Client收到确认后，检查ack是否为J+1，ACK是否为1，如果正确则将标志位ACK置为1，ack=K+1，并将该数据包发送给Server，Server检查ack是否为K+1，ACK是否为1，如果正确则连接建立成功，Client和Server进入ESTABLISHED状态，完成三次握手，随后Client与Server之间可以开始传输数据了。SYN攻击：在三次握手过程中，Server发送SYN-ACK之后，收到Client的ACK之前的TCP连接称为半连接（half-open connect），此时Server处于SYN_RCVD状态，当收到ACK后，Server转入ESTABLISHED状态。SYN攻击就是Client在短时间内伪造大量不存在的IP地址，并向Server不断地发送SYN包，Server回复确认包，并等待Client的确认，由于源地址是不存在的，因此，Server需要不断重发直至超时，这些伪造的SYN包将产时间占用未连接队列，导致正常的SYN请求因为队列满而被丢弃，从而引起网络堵塞甚至系统瘫痪。SYN攻击时一种典型的DDOS攻击，检测SYN攻击的方式非常简单，即当Server上有大量半连接状态且源IP地址是随机的，则可以断定遭到SYN攻击了，使用如下命令可以让之现行：#netstat -nap | grep SYN_RECV3.5. 四次挥手所谓四次挥手（Four-Way Wavehand）即终止TCP连接，就是指断开一个TCP连接时，需要客户端和服务端总共发送4个包以确认连接的断开。由于TCP连接时全双工的，因此，每个方向都必须要单独进行关闭，这一原则是当一方完成数据发送任务后，发送一个FIN来终止这一方向的连接，收到一个FIN只是意味着这一方向上没有数据流动了，即不会再收到数据了，但是在这个TCP连接上仍然能够发送数据，直到这一方向也发送了FIN。首先进行关闭的一方将执行主动关闭，而另一方则执行被动关闭，上图描述的即是如此。（1）第一次挥手：Client发送一个FIN，用来关闭Client到Server的数据传送，Client进入FIN_WAIT_1状态。（2）第二次挥手：Server收到FIN后，发送一个ACK给Client，确认序号为收到序号+1（与SYN相同，一个FIN占用一个序号），Server进入CLOSE_WAIT状态。（3）第三次挥手：Server发送一个FIN，用来关闭Server到Client的数据传送，Server进入LAST_ACK状态。（4）第四次挥手：Client收到FIN后，Client进入TIME_WAIT状态，接着发送一个ACK给Server，确认序号为收到序号+1，Server进入CLOSED状态，完成四次挥手。注：单工 ：数据传输只支持数据在一个方向上传输。半双工 ：数据传输允许数据在两个方向上传输，但是在某一时刻，只允许在一个方向上传输，实际上有点像切换方向的单工通信。全双工 ：数据通信允许数据同时在两个方向上传输，因此全双工是两个单工通信方式的结合，它要求发送设备和接收设备都有独立的接收和发送能力。3.6. 滑动窗口发送方和接收方都会维护一个数据帧的序列，这个序列被称作窗口。发送方的窗口大小由接收方确认，目的是控制发送速度，以免接收方的缓存不够大导致溢出，同时控制流量也可以避免网络拥塞。明白了Socket读写数据的底层原理，我们就很容易理解“阻塞模式”：对于读取Socket数据的过程而言，如果接收缓冲区为空，则调用Socket的read方法的线程会阻塞，知道有数据进入接收缓冲区；而对于写数据到Socket中的线程来说，如果待发送的数据长度大于发送缓冲区空余长度，则会阻塞在write方法上，等待发送缓冲区的报文被发送到网络上，然后继续发送下一段数据，循环上述过程直到数据都被写入到发送缓冲区为止。从前面分析的过程来看，传统的Socket阻塞模式直接导致每个Socket都必须绑定一个线程来操作数据，参与通信的任意一方如果处理数据的速度较慢，会直接拖累到另一方，导致另一方的线程不得不浪费大量的时间在I/O等待上，所以这就是Socket阻塞模式的“缺陷”。但是这种模式在少量的TCP连接通信的情况下，双方都可以快速的传输数据，这个时候的性能是最高的。3.7. IO模型BIO模型同步阻塞式IO，服务器端与客户端三次握手简历连接后一个链路建立一个线程进行面向流的通信。这曾是jdk1.4前的唯一选择。在任何一端出现网络性能问题时都影响另一端，无法满足高并发高性能的需求。NIO模型同步非阻塞IO，以块的方式处理数据。采用多路复用Reactor模式。JDK1.4时引入。AIO模型异步非阻塞IO，基于unix事件驱动，不需要多路复用器对注册通道进行轮询，采用Proactor设计模式。JDK1.7时引入。4. UDP/IP协议4.1.  什么是UDP/IPUDP 是User Datagram Protocol的简称， 中文名是用户数据报协议，在网络中它与TCP协议一样用于处理数据包，是一种无连接的协议。在OSI模型中，在第四层——传输层，处于IP协议的上一层。UDP有不提供数据包分组、组装和不能对数据包进行排序的缺点，也就是说，当报文发送之后，是无法得知其是否安全完整到达的。UDP用来支持那些需要在计算机之间传输数据的网络应用。包括网络视频会议系统在内的众多的客户/服务器模式的网络应用都需要使用UDP协议。UDP协议从问世至今已经被使用了很多年，虽然其最初的光彩已经被一些类似协议所掩盖，但是即使是在今天UDP仍然不失为一项非常实用和可行的网络传输层协议。4.2.  应用场景实时通信、QQ、视频、流媒体等应用 5. 协议在分布式应用

网络是用物理链路将各个孤立的工作站或主机相连在一起，组成数据链路，从而达到资源共享和通信的目的。通信是人与人之间通过某种媒体进行的信息交流与传递。网络通信是通过网络将各个孤立的设备进行连接，通过信息交换实现人与人，人与计算机，计算机与计算机之间的通信。 网络通信中最重要的就是网络通信协议。当今网络协议有很多，局域网中最常用的有三个网络协议：MICROSOFT的NETBEUI、NOVELL的IPX/SPX和TCP/IP协议。应根据需要来选择合适的网络协议。通信协议是指双方实体完成通信或服务所必须遵循的规则和约定。协议定义了数据单元使用的格式，信息单元应该包含的信息与含义，连接方式，信息发送和接收的时序，从而确保网络中数据顺利地传送到确定的地方。 在计算机通信中，通信协议用于实现计算机与网络连接之间的标准，网络如果没有统一的通信协议，电脑之间的信息传递就无法识别。 通信协议是指通信各方事前约定的通信规则，可以简单地理解为各计算机之间进行相互会话所使用的共同语言。两台计算机在进行通信时，必须使用的通信协议。
计算机网络通信原理是在网络协议的规则下进行数据的传输

TCP (Transmission Control Protocol)和UDP(User Datagram Protocol)协议属于传输层协议。其中TCP提供IP环境下的数据可靠传输，它提供的服务[1]包括数据流传送、可靠性、有效流控、全双工操作和多路复用。通过面向连接、端到端和可靠的数据包发送。通俗说，它是事先为所发送的数据开辟出连接好的通道，然后再进行数据发送；而UDP则不为IP提供可靠性、流控或差错恢复功能。一般来说，TCP对应的是可靠性要求高的应用，而UDP对应的则是可靠性要求低、传输经济的应用。TCP支持的应用协议主要有：Telnet、FTP、SMTP等；UDP支持的应用层协议主要有：NFS（网络文件系统）、SNMP（简单网络管理协议）、DNS（主域名称系统）、TFTP（通用文件传输协议）等。
TCP重安全，轻速度。遵循三次会话原则。一些比较重要的数据可以用它，可靠性比较高。 UDP轻安全，重速度。无连接传输数据协议，简单、不可靠的信息传输服务，就如：手机发短信，只要有对方手机号即可。

1) 终端在web浏览器地址栏输入访问地址 http://www.baidu.com2) web浏览器请求DNS服务器把域名http://www.baidu.com解析成web服务器的IP地址，此处的解析过程就是DNS解析的原理流程，这里不再累述。3) web浏览器通过解析后的IP地址及端口号与web服务器之间建立一条TCP连接4) 建立连接后，web浏览器向web服务器发送一条HTTP报文请求，请求报文内容格式及信息细节这里不再累述5) web服务器读取浏览器的请求信息，并返回一条HTTP响应报文，响应报文内容格式及信息细节这里不再累述6) 客户端接收服务器所返回的信息通过浏览器显示在用户的显示屏上，然后客户机与服务器断开http连接，断开TCP连接。如果在以上过程中的某一步出现错误，那么产生错误的信息将返回到客户端，有显示屏输出。对于用户来说，这些过程是由HTTP自己完成的，用户只要用鼠标点击，等待信息显示就可以了。上述就是HTTP协议通信原理过程，整个通信原理的重要知识点有：1.用户访问网站的流程2.DNS解析流程细节3.建立TCP连接发送HTTP报文的过程4.HTTP请求报文的细节5.HTTP响应报文的细节 6.web服务器请求后端集群存储的细节