diff --git a/notes/pics/url-timeline.png b/notes/pics/url-timeline.png index 56a91a5d..29525b30 100644 Binary files a/notes/pics/url-timeline.png and b/notes/pics/url-timeline.png differ diff --git a/notes/计算机网络 - 应用层.md b/notes/计算机网络 - 应用层.md index 597df19a..b92e40e1 100644 --- a/notes/计算机网络 - 应用层.md +++ b/notes/计算机网络 - 应用层.md @@ -15,6 +15,7 @@ * [2. ARP 解析 MAC 地址](#2-arp-解析-mac-地址) * [3. DNS 解析域名](#3-dns-解析域名) * [4. HTTP 请求页面](#4-http-请求页面) + * [附录：实测](#附录实测) * [参考资料](#参考资料) @@ -33,20 +34,19 @@ DNS 是一个分布式数据库，提供了主机名和 IP 地址之间相互转 DNS 可以使用 UDP 或者 TCP 进行传输，使用的端口号都为 53。大多数情况下 DNS 使用 UDP 进行传输，这就要求域名解析器和域名服务器都必须自己处理超时和重传从而保证可靠性。在两种情况下会使用 TCP 进行传输： -- 如果返回的响应超过 512 字节（DNS 规定通过 UDP 传输的报文不超过 512 字节，使用 EDNS 扩展后可以更大）。 -- 区域传送（区域传送是主域名服务器向辅助域名服务器传送变化的那部分数据）。 +- 如果返回的响应超过 512 字节（DNS 规定通过 UDP 传输的报文不超过 512 字节，使用 EDNS 扩展后可以更大）； +- 区域传送（主域名服务器把整个区域的数据传送给辅助域名服务器，称为 AXFR；只传送变化部分的增量传送称为 IXFR）。 ## 文件传送协议 FTP 使用 TCP 进行连接，它需要两个连接来传送一个文件： -- 控制连接：服务器打开端口号 21 等待客户端的连接，客户端主动建立连接后，使用这个连接将客户端的命令传送给服务器，并传回服务器的应答。 +- 控制连接：服务器打开端口号 21 等待客户端的连接，客户端主动建立连接后，使用这个连接将客户端的命令传送给服务器，并传回服务器的应答； - 数据连接：用来传送一个文件数据。 根据数据连接是否是服务器端主动建立，FTP 有主动和被动两种模式： -- 主动模式：服务器端主动建立数据连接，其中服务器端的端口号为 20，客户端的端口号随机，但是必须大于 1024，因为 0\~1023 是熟知端口号。 - +- 主动模式：服务器端主动建立数据连接，其中服务器端的端口号为 20，客户端的端口号随机，通常大于 1023（0\~1023 是熟知端口号）； - 被动模式：客户端主动建立数据连接，其中客户端的端口号由客户端自己指定，服务器端的端口号随机。

@@ -55,7 +55,7 @@ FTP 使用 TCP 进行连接，它需要两个连接来传送一个文件： ## 动态主机配置协议 -DHCP (Dynamic Host Configuration Protocol) 提供了即插即用的连网方式，用户不再需要手动配置 IP 地址等信息。 +动态主机配置协议（Dynamic Host Configuration Protocol, DHCP）提供了即插即用的连网方式，用户不再需要手动配置 IP 地址等信息。 DHCP 配置的内容不仅是 IP 地址，还包括子网掩码、网关 IP 地址。 @@ -63,7 +63,7 @@ DHCP 工作过程如下： 1. 客户端发送 Discover 报文，该报文的目的地址为 255.255.255.255:67，源地址为 0.0.0.0:68，被放入 UDP 中，该报文被广播到同一个子网的所有主机上。如果客户端和 DHCP 服务器不在同一个子网，就需要使用中继代理。 2. DHCP 服务器收到 Discover 报文之后，发送 Offer 报文给客户端，该报文包含了客户端所需要的信息。因为客户端可能收到多个 DHCP 服务器提供的信息，因此客户端需要进行选择。 -3. 如果客户端选择了某个 DHCP 服务器提供的信息，那么就发送 Request 报文给该 DHCP 服务器。 +3. 如果客户端选择了某个 DHCP 服务器提供的信息，那么就广播 Request 报文，在其中用服务器标识选项指明选中的是哪个 DHCP 服务器，其它服务器收到后就知道自己的 Offer 没有被选中。 4. DHCP 服务器发送 Ack 报文，表示客户端此时可以使用提供给它的信息。

@@ -72,7 +72,7 @@ DHCP 工作过程如下： TELNET 用于登录到远程主机上，并且远程主机上的输出也会返回。 -TELNET 可以适应许多计算机和操作系统的差异，例如不同操作系统系统的换行符定义。 +TELNET 可以适应许多计算机和操作系统的差异，例如不同操作系统的换行符定义。TELNET 以明文传输，包括密码，现在远程登录一般使用加密的 SSH。 ## 电子邮件协议 @@ -90,7 +90,7 @@ SMTP 只能发送 ASCII 码，而互联网邮件扩充 MIME 可以发送二进 ### 2. POP3 -POP3 的特点是只要用户从服务器上读取了邮件，就把该邮件删除。但最新版本的 POP3 可以不删除邮件。 +POP3 通常用“下载并删除”的方式使用：客户端下载邮件后发送 DELE 命令把服务器上的邮件删除；客户端也可以不发 DELE，选择在服务器上保留邮件。邮件的已读状态、文件夹等不会在多个设备之间同步。 ### 3. IMAP @@ -123,7 +123,7 @@ IMAP 协议中客户端和服务器上的邮件保持同步，如果不手动删 5. 浏览器解析 HTML，再请求其中引用的 CSS、JavaScript、图片等资源，最后渲染出页面； 6. 连接保持一段时间供后续请求复用，空闲后关闭。 -以下是本机访问该网址时各阶段的耗时： +以下是访问该网址时各阶段的耗时（curl 实测，见[附录：实测](#附录实测)）：

@@ -131,63 +131,59 @@ IMAP 协议中客户端和服务器上的邮件保持同步，如果不手动删 ### 1. DHCP 配置主机信息 -- 假设主机最开始没有 IP 地址以及其它信息，那么就需要先使用 DHCP 来获取。 - -- 主机生成一个 DHCP 请求报文，并将这个报文放入具有目的端口 67 和源端口 68 的 UDP 报文段中。 - -- 该报文段则被放入在一个具有广播 IP 目的地址(255.255.255.255) 和源 IP 地址（0.0.0.0）的 IP 数据报中。 - -- 该数据报则被放置在 MAC 帧中，该帧具有目的地址 FF:FF:FF:FF:FF:FF，将广播到与交换机连接的所有设备。 - -- 连接在交换机的 DHCP 服务器收到广播帧之后，不断地向上分解得到 IP 数据报、UDP 报文段、DHCP 请求报文，之后生成 DHCP ACK 报文，该报文包含以下信息：IP 地址、DNS 服务器的 IP 地址、默认网关路由器的 IP 地址和子网掩码。该报文被放入 UDP 报文段中，UDP 报文段有被放入 IP 数据报中，最后放入 MAC 帧中。 - -- 该帧的目的地址是请求主机的 MAC 地址，因为交换机具有自学习能力，之前主机发送了广播帧之后就记录了 MAC 地址到其转发接口的交换表项，因此现在交换机就可以直接知道应该向哪个接口发送该帧。 - +- 假设主机最开始没有 IP 地址以及其它信息，那么就需要先使用 DHCP 来获取； +- 主机生成一个 DHCP 请求报文，并将这个报文放入具有目的端口 67 和源端口 68 的 UDP 报文段中； +- 该报文段则被放入在一个具有广播 IP 目的地址（255.255.255.255）和源 IP 地址（0.0.0.0）的 IP 数据报中； +- 该数据报则被放置在 MAC 帧中，该帧具有目的地址 FF:FF:FF:FF:FF:FF，将广播到与交换机连接的所有设备； +- 连接在交换机的 DHCP 服务器收到广播帧之后，不断地向上分解得到 IP 数据报、UDP 报文段、DHCP 请求报文，之后生成 DHCP ACK 报文，该报文包含以下信息：IP 地址、DNS 服务器的 IP 地址、默认网关路由器的 IP 地址和子网掩码。该报文被放入 UDP 报文段中，UDP 报文段又被放入 IP 数据报中，最后放入 MAC 帧中； +- 该帧的目的地址是请求主机的 MAC 地址，因为交换机具有自学习能力，之前主机发送了广播帧之后就记录了 MAC 地址到其转发接口的交换表项，因此现在交换机就可以直接知道应该向哪个接口发送该帧； - 主机收到该帧后，不断分解得到 DHCP 报文。之后就配置它的 IP 地址、子网掩码和 DNS 服务器的 IP 地址，并在其 IP 转发表中安装默认网关。 ### 2. ARP 解析 MAC 地址 -- 主机通过浏览器生成一个 TCP 套接字，套接字向 HTTP 服务器发送 HTTP 请求。为了生成该套接字，主机需要知道网站的域名对应的 IP 地址。 - -- 主机生成一个 DNS 查询报文，该报文具有 53 号端口，因为 DNS 服务器的端口号是 53。 - -- 该 DNS 查询报文被放入目的地址为 DNS 服务器 IP 地址的 IP 数据报中。 - -- 该 IP 数据报被放入一个以太网帧中，该帧将发送到网关路由器。 - -- DHCP 过程只知道网关路由器的 IP 地址，为了获取网关路由器的 MAC 地址，需要使用 ARP 协议。 - -- 主机生成一个包含目的地址为网关路由器 IP 地址的 ARP 查询报文，将该 ARP 查询报文放入一个具有广播目的地址（FF:FF:FF:FF:FF:FF）的以太网帧中，并向交换机发送该以太网帧，交换机将该帧转发给所有的连接设备，包括网关路由器。 - +- 主机通过浏览器生成一个 TCP 套接字，套接字向 HTTP 服务器发送 HTTP 请求。为了生成该套接字，主机需要知道网站的域名对应的 IP 地址； +- 主机生成一个 DNS 查询报文，该报文具有 53 号端口，因为 DNS 服务器的端口号是 53； +- 该 DNS 查询报文被放入目的地址为 DNS 服务器 IP 地址的 IP 数据报中； +- 该 IP 数据报被放入一个以太网帧中，该帧将发送到网关路由器； +- DHCP 过程只知道网关路由器的 IP 地址，为了获取网关路由器的 MAC 地址，需要使用 ARP 协议； +- 主机生成一个包含目的地址为网关路由器 IP 地址的 ARP 查询报文，将该 ARP 查询报文放入一个具有广播目的地址（FF:FF:FF:FF:FF:FF）的以太网帧中，并向交换机发送该以太网帧，交换机将该帧转发给所有的连接设备，包括网关路由器； - 网关路由器接收到该帧后，不断向上分解得到 ARP 报文，发现其中的 IP 地址与其接口的 IP 地址匹配，因此就发送一个 ARP 回答报文，包含了它的 MAC 地址，发回给主机。 ### 3. DNS 解析域名 -- 知道了网关路由器的 MAC 地址之后，就可以继续 DNS 的解析过程了。 - -- 网关路由器接收到包含 DNS 查询报文的以太网帧后，抽取出 IP 数据报，并根据转发表决定该 IP 数据报应该转发的路由器。 - -- 因为路由器具有内部网关协议（RIP、OSPF）和外部网关协议（BGP）这两种路由选择协议，因此路由表中已经配置了网关路由器到达 DNS 服务器的路由表项。 - -- 到达 DNS 服务器之后，DNS 服务器抽取出 DNS 查询报文，并在 DNS 数据库中查找待解析的域名。 - +- 知道了网关路由器的 MAC 地址之后，就可以继续 DNS 的解析过程了； +- 网关路由器接收到包含 DNS 查询报文的以太网帧后，抽取出 IP 数据报，并根据转发表决定该 IP 数据报应该转发的路由器； +- 因为路由器具有内部网关协议（RIP、OSPF）和外部网关协议（BGP）这两种路由选择协议，因此路由表中已经配置了网关路由器到达 DNS 服务器的路由表项； +- 到达 DNS 服务器之后，DNS 服务器抽取出 DNS 查询报文，并在 DNS 数据库中查找待解析的域名； - 找到 DNS 记录之后，发送 DNS 回答报文，将该回答报文放入 UDP 报文段中，然后放入 IP 数据报中，通过路由器反向转发回网关路由器，并经过以太网交换机到达主机。 ### 4. HTTP 请求页面 -- 有了 HTTP 服务器的 IP 地址之后，主机就能够生成 TCP 套接字，该套接字将用于向 Web 服务器发送 HTTP GET 报文。 - -- 在生成 TCP 套接字之前，必须先与 HTTP 服务器进行三次握手来建立连接。生成一个具有目的端口 80 的 TCP SYN 报文段，并向 HTTP 服务器发送该报文段。 - -- HTTP 服务器收到该报文段之后，生成 TCP SYN ACK 报文段，发回给主机。 - -- 连接建立之后，浏览器生成 HTTP GET 报文，并交付给 HTTP 服务器。 - -- HTTP 服务器从 TCP 套接字读取 HTTP GET 报文，生成一个 HTTP 响应报文，将 Web 页面内容放入报文主体中，发回给主机。 - +- 有了 HTTP 服务器的 IP 地址之后，主机就能够生成 TCP 套接字，该套接字将用于向 Web 服务器发送 HTTP GET 报文； +- 在生成 TCP 套接字之前，必须先与 HTTP 服务器进行三次握手来建立连接。生成一个具有目的端口 443 的 TCP SYN 报文段（HTTP 为 80），并向服务器发送该报文段； +- HTTP 服务器收到该报文段之后，生成 TCP SYN ACK 报文段，发回给主机； +- 连接建立之后，HTTPS 还要先完成 TLS 握手，见 [TLS 握手](HTTP.md#tls-握手)，之后浏览器生成 HTTP GET 报文，并交付给 HTTP 服务器； +- HTTP 服务器从 TCP 套接字读取 HTTP GET 报文，生成一个 HTTP 响应报文，将 Web 页面内容放入报文主体中，发回给主机； - 浏览器收到 HTTP 响应报文后，抽取出 Web 页面内容，之后进行渲染，显示 Web 页面。 +## 附录：实测 + +macOS 自带的 curl，网络的 RTT 约 200 ms，连续访问 3 次。各字段都是从开始到该阶段结束的累计时间：time_connect 为 TCP 连接建立，time_appconnect 为 TLS 握手完成，time_starttransfer 为收到响应的第一个字节。第 3 次的 TLS 握手明显变慢，属于网络波动，配图使用第 1 次的结果： + +```text +$ curl -s -o /dev/null -w 'namelookup %{time_namelookup} connect %{time_connect} appconnect %{time_appconnect} starttransfer %{time_starttransfer} total %{time_total} http %{http_version}\n' https://www.example.com/ +namelookup 0.001929 connect 0.202011 appconnect 0.411088 starttransfer 0.619656 total 0.620218 http 2 +namelookup 0.004086 connect 0.209781 appconnect 0.432419 starttransfer 0.650939 total 0.651432 http 2 +namelookup 0.001873 connect 0.216569 appconnect 1.441755 starttransfer 1.667668 total 1.668500 http 2 +``` + ## 参考资料 - [RFC 1035: Domain Names - Implementation and Specification](https://www.rfc-editor.org/rfc/rfc1035) - [RFC 2131: Dynamic Host Configuration Protocol](https://www.rfc-editor.org/rfc/rfc2131) +- Kurose J F, Ross K W. 计算机网络：自顶向下方法 [M]. 机械工业出版社, 2018. +- [RFC 959: File Transfer Protocol](https://www.rfc-editor.org/rfc/rfc959) +- [RFC 5321: Simple Mail Transfer Protocol](https://www.rfc-editor.org/rfc/rfc5321) +- [RFC 1939: Post Office Protocol - Version 3](https://www.rfc-editor.org/rfc/rfc1939) +- [RFC 9051: Internet Message Access Protocol (IMAP) - Version 4rev2](https://www.rfc-editor.org/rfc/rfc9051) +- [RFC 6891: Extension Mechanisms for DNS (EDNS(0))](https://www.rfc-editor.org/rfc/rfc6891)