浅析 HTTP 协议
HTTP 协议是什么?
简单来说,就是一个基于应用层 的通信规范:双方要进行通信,大家都要遵守一个规范,这个规范就是 HTTP 协议。
HTTP 协议能做什么?
很多人首先一定会想到:浏览网页。没错,浏览网页是 HTTP 的主要应用,但是这并不代表 HTTP 就只能应用于网页的浏览。 HTTP 是一种协议,只要通信的双方都遵守这个协议, HTTP 就能有用武之地。比如咱们常用的 QQ ,迅雷这些软件,都会使用 HTTP 协议(还包括其他的协议)。
HTTP 协议如何工作?
大家都知道一般的通信流程:首先客户端发送一个请求 (request) 给服务器,服务器在接收到这个请求后将生成一个响应 (response) 返回给客户端。
在这个通信的过程中 HTTP 协议在以下 4 个方面做了规定:
1. Request 和 Response 的格式
Request 格式:
HTTP
请求行
(请求)头
空行
可选的消息体
注:请求行和标题必须以 <CR><LF> 作为结尾(也就是,回车然后换行)。空行内必须只有 <CR><LF> 而无其他空格。在 HTTP/1.1 协议中,所有的请求头,除 Host 外,都是可选的。
实例:
GET / HTTP/1.1
Host: gpcuster.cnblogs.com
User-Agent: Mozilla/5.0 (Windows; U; Windows NT 6.0; en-US; rv:1.9.0.10) Gecko/2009042316 Firefox/3.0.10
Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8
Accept-Language: en-us,en;q=0.5
Accept-Encoding: gzip,deflate
Accept-Charset: ISO-8859-1,utf-8;q=0.7,*;q=0.7
Keep-Alive: 300
Connection: keep-alive
If-Modified-Since: Mon, 25 May 2009 03:19:18 GMT
Response 格式:
HTTP
状态行
(应答)头
空行
可选的消息体
实例:
HTTP/1.1 200 OK
Cache-Control: private, max-age=30
Content-Type: text/html; charset=utf-8
Content-Encoding: gzip
Expires: Mon, 25 May 2009 03:20:33 GMT
Last-Modified: Mon, 25 May 2009 03:20:03 GMT
Vary: Accept-Encoding
Server: Microsoft-IIS/7.0
X-AspNet-Version: 2.0.50727
X-Powered-By: ASP.NET
Date: Mon, 25 May 2009 03:20:02 GMT
Content-Length: 12173
消息体的内容(略)
详细的信息请参考: RFC 2616 。
关于 HTTP headers 的简要介绍,请查看: Quick reference to HTTP headers
2. 建立连接的方式
HTTP 支持 2 中建立连接的方式:非持久连接和持久连接 (HTTP1.1 默认的连接方式为持久连接 ) 。
1) 非持久连接
让我们查看一下非持久连接情况下从服务器到客户传送一个Web页面的步骤。假设该贝面由1个基本HTML文件和10个JPEG图像构成,而且所有这些对象都存放在同一台服务器主机中。再假设该基本HTML文件的URL为:gpcuster.cnblogs.com/index.html。
下面是具体步骡:
1.HTTP 客户初始化一个与服务器主机 gpcuster.cnblogs.com 中的HTTP服务器的TCP连接。HTTP服务器使用默认端口号80监听来自HTTP客户的连接建立请求。
2.HTTP 客户经由与TCP连接相关联的本地套接字发出—个HTTP请求消息。这个消息中包含路径名/somepath/index.html。
3.HTTP 服务器经由与TCP连接相关联的本地套接字接收这个请求消息,再从服务器主机的内存或硬盘中取出对象/somepath/index.html,经由同一个套接字发出包含该对象的响应消息。
4.HTTP 服务器告知TCP关闭这个TCP连接(不过TCP要到客户收到刚才这个响应消息之后才会真正终止这个连接)。
5.HTTP 客户经由同一个套接字接收这个响应消息。TCP连接随后终止。该消息标明所封装的对象是一个HTML文件。客户从中取出这个文件,加以分析后发现其中有10个JPEG对象的引用。
6. 给每一个引用到的JPEG对象重复步骡1-4。
上述步骤之所以称为使用非持久连接,原因是每次服务器发出一个对象后,相应的TCP连接就被关闭,也就是说每个连接都没有持续到可用于传送其他对象。每个TCP连接只用于传输一个请求消息和一个响应消息。就上述例子而言,用户每请求一次那个web页面,就产生11个TCP连接。
2) 持久连接
非持久连接有些缺点。首先,客户得为每个待请求的对象建立并维护一个新的连接。对于每个这样的连接, TCP 得在客户端和服务器端分配 TCP 缓冲区,并维持 TCP 变量。对于有可能同时为来自数百个不同客户的请求提供服务的 web 服务器来说,这会严重增加其负担。其次,如前所述,每个对象都有 2 个 RTT 的响应延长——一个 RTT 用于建立 TCP 连接,另—个 RTT 用于请求和接收对象。最后,每个对象都遭受 TCP 缓启动,因为每个 TCP 连接都起始于缓启动阶段。不过并行 TCP 连接的使用能够部分减轻 RTT 延迟和缓启动延迟的影响。
在持久连接情况下,服务器在发出响应后让 TCP 连接继续打开着。同一对客户 / 服务器之间的后续请求和响应可以通过这个连接发送。整个 Web 页面 ( 上例中为包含一个基本 HTMLL 文件和 10 个图像的页面 ) 自不用说可以通过单个持久 TCP 连接发送 : 甚至存放在同一个服务器中的多个 web 页面也可以通过单个持久 TCP 连接发送。通常, HTTP 服务器在某个连接闲置一段特定时间后关闭它,而这段时间通常是可以配置的。持久连接分为不带流水线 (without pipelining) 和带流水线 (with pipelining) 两个版本。如果是不带流水线的版本,那么客户只在收到前一个请求的响应后才发出新的请求。这种情况下, web 页面所引用的每个对象 ( 上例中的 10 个图像 ) 都经历 1 个 RTT 的延迟,用于请求和接收该对象。与非持久连接 2 个 RTT 的延迟相比,不带流水线的持久连接已有所改善,不过带流水线的持久连接还能进一步降低响应延迟。不带流水线版本的另一个缺点是,服务器送出一个对象后开始等待下一个请求,而这个新请求却不能马上到达。这段时间服务器资源便闲置了。
HTTP/1.1 的默认模式使用带流水线的持久连接。这种情况下, HTTP 客户每碰到一个引用就立即发出一个请求,因而 HTTP 客户可以一个接一个紧挨着发出各个引用对象的请求。服务器收到这些请求后,也可以一个接一个紧挨着发出各个对象。如果所有的请求和响应都是紧挨着发送的,那么所有引用到的对象一共只经历 1 个 RTT 的延迟 ( 而不是像不带流水线的版本那样,每个引用到的对象都各有 1 个 RTT 的延迟 ) 。另外,带流水线的持久连接中服务器空等请求的时间比较少。与非持久连接相比,持久连接 ( 不论是否带流水线 ) 除降低了 1 个 RTT 的响应延迟外,缓启动延迟也比较小。其原因在于既然各个对象使用同一个 TCP 连接,服务器发出第一个对象后就不必再以一开始的缓慢速率发送后续对象。相反,服务器可以按照第一个对象发送完毕时的速率开始发送下一个对象。
3. 缓存的机制
HTTP/1.1 中缓存的目的是为了在很多情况下减少发送请求,同时在许多情况下可以不需要发送完整响应。前者减少了网络回路的数量; HTTP 利用一个“过期( expiration )”机制来为此目的。后者减少了网络应用的带宽; HTTP 用“验证( validation )”机制来为此目的。
HTTP 定义了 3 种缓存机制:
l Freshness allows a response to be used without re-checking it on the origin server, and can be controlled by both the server and the client. For example, the Expires response header gives a date when the document becomes stale, and the Cache-Control: max-age directive tells the cache how many seconds the response is fresh for.
l Validation can be used to check whether a cached response is still good after it becomes stale. For example, if the response has a Last-Modified header, a cache can make a conditional request using the If-Modified-Since header to see if it has changed.
l Invalidation is usually a side effect of another request that passes through the cache. For example, if URL associated with a cached response subsequently gets a POST, PUT or DELETE request, the cached response will be invalidated.
关于 web 缓存方面的内容可以参考: Caching Tutorial for Web Authors and Webmasters ( 英文版 )( 中文版 )
4. 响应授权激发机制
这些机制能被用于服务器激发客户端请求并且使客户端授权。
详细的信息请参考: RFC 2617: HTTP Authentication: Basic and Digest Access
5. 基于HTTP的应用
1 HTTP代理
3 HTTPS传输协议原理
对称加密:密钥只有一个,加密解密为同一个密码,且加解密速度快,典型的对称加密算法有DES、AES等
非对称加密:密钥成对出现(且根据公钥无法推知私钥,根据私钥也无法推知公钥),加密解密使用不同密钥(公钥加密需要私钥解密,私钥加密需要公钥解密),相对对称加密速度较慢,典型的非对称加密算法有RSA、DSA等
4 开发web程序时常用的Request Methods
(Head方法)要求响应与相应的GET请求的响应一样,但是没有的响应体(response body)。这用来获得响应头(response header)中的元数据信息(meta-infomation)有(很)帮助,(因为)它不需要传输所有的内容。
(Trace方法告诉服务器端)返回收到的请求。客户端可以(通过此方法)察看在请求过程中中间服务器添加或者改变哪些内容。
6 基于Socket编程编写遵循HTTP的程序