爬虫01——http&https协议的理解
最后更新：2022-04-19 17:37:34 手机定位技术交流文章
1、反爬机制
- 门户,可通过具体说明方法或技术措施,防止爬行动物在网上检索数据。
2、反反爬策略
- 爬行动物处理程序通过具体说明获取门户相关数据的适当战术或技术方法,可以解码门户上可利用的反拖网方法。
第三,协议机器人,txt:
这是绅士协议 上面说网站上的数据 可能被爬行动物爬行 并且不能被爬行动物爬行
超文本传输协议
4、http协议
- 服务器与客户之间的一种数据交换。
常用请求头信息
- 用户代理:要求车辆识别(访客数据)。
- 咨询:请求完成后,连接是否中断或保持?
常用请求头信息
- 中央-类型:数据类型(str、json等)。 等待服务器对客户的回应
5. https协议:
- 它与http协议几乎完全相同, 显示它是安全的; 它是一个安全的超级文本传输协议。 (数据加密)
加密方法(三种)
- 对称密钥加密
这表明我们的客户端将首先加密数据,然后再将其发送到服务器上。加密由客户进行。加密完毕之后，向服务器端发送部分信件( 密钥), 包括解密 。服务器收到密钥和加密密码数据后如果您想要解码信件数据, 您需要密钥来解密它 。原始数据将传送到服务器最后端 。
弱点:关键和电文数据传输有可能被第三方机构截获,从而造成数据披露的风险。
- 非对称密钥加密
针对对称加密的安全关切,加密工作已大有改进。当它们被使用时,有两个锁。它被称为"私人钥匙" 它被称为"私人钥匙"一个是“公用钥匙”,另一个是“公用钥匙”。当没有目标的加密时,服务器最初指示客户端使用自己的公用密钥加密数据。当客户使用公用钥匙加密时,服务器接收信息,然后使用自己的私人密钥进行解密。这样做的好处是解密密钥根本没有传输。因此,避免了被扣为人质的可能性。即使公用钥匙有问题 这主意也不明智它也很难进行解密，因为解码是计算离散对数值的一种努力。这不是一项简单的任务。
缺点：
- 一. 效率较低,处理更困难,在通信过程中使用效率更低,影响通信速度和具体的效率问题。
- 二. 只要提供钥匙,而且如果中间人改变公用钥匙并将其还给客户,客户获得的公用钥匙不能保证由服务器制作,就有被扣为人质的危险。
- 证书密钥加密
由于非对称密钥加密的缺陷,我们无法确保客户提供的公用密钥由服务器生成,因此使用证书密钥加密。
公用密钥由服务器的开发者持有 。数字证书核证公司已要求提供公用钥匙。申请人由数字证书核证当局确认。审核通过以后，这是开发商第一次能够为他所要求的公用钥匙创建数字签字。接下来,使用这个签名的公用密钥, 指派给别人。然后在证书中插入密钥。绑定在一起。
此数字证书由服务器发送给客户端 。由于验证机构得到客户的接受,客户使用数字证书中的数字签名验证公用钥匙的有效性。确保服务器传送的公用钥匙是真实的。一般情况下，证书的数字签字极难伪造。这取决于认证机构的合法性。一旦确定材料的准确性,用户将使用公用密钥加密通信 。服务器使用自己的私人密钥解密收到的数据 。
本文由 在线网速测试 整理编辑，转载请注明出处。
