如何使用curl从命令行访问互联网

$ curl "http://example.com" | tail -n 4    
Example Domain
    
This domain is for use in illustrative examples in documents. You may use this domain in literature without prior coordination or asking for permission.
    
More information...

由于某些 URL 包含特殊字符，shell 通常会将其解释，因此最安全的做法用引号将 URL 包起来。

某些文件无法很好的在终端中转换显示。你可以使用--remote-name选项使文件根据服务器上的命名进行保存：

$ curl --remote-name "https://example.com/linux-distro.iso"$ lslinux-distro.iso

或者，你可以使用--output选项来命名你想要下载的内容：

curl "http://example.com/foo.html" --output bar.html

使用 curl 列出带有远程目录的内容

因为curl不是交互式的，所以很难浏览页面上的可下载元素。如果你要连接的远程服务器允许，可以使用curl来列出目录的内容：

$ curl --list-only "https://example.com/foo/"

继续中断下载

如果你正在下载一个非常大的文件，你可能会发现有时候必须中断下载。curl非常智能，可以确定下载从何处中断并继续下载。这意味着，下一次当你下载一个 4GB 的 Linux 发行版的 ISO 出现问题时，就不必重新开始了。--continue-at的语法有点不寻常：如果你知道下载中断时的字节数，你可以提供给curl；否则，你可以使用单独的一个破折号（-）指示 curl 自动检测：

$ curl --remote-name --continue-at - "https://example.com/linux-distro.iso"

下载文件序列

如果你需要下载多个文件而不是一个大文件，那么curl可以帮助你解决这个问题。假设你知道要下载的文件的位置和文件名模式，则可以使用curl的序列标记：中括号里是整数范围的起点和终点。对于输出文件名，使用#1表示第一个变量：

$ curl "https://example.com/file_[1-4].webp" --output "file_#1.webp"

如果你需要使用其它变量来表示另一个序列，按照每个变量在命令中出现的顺序表示它们。例如，在这个命令中，#1指目录images_000到images_009，而#2指目录file_1.webp至file_4.webp：

$ curl "https://example.com/images_00[0-9]/file_[1-4].webp" --output "file_#1-#2.webp"

从站点下载所有 PNG 文件

你也可以仅使用curl和grep进行一些基本的 Web 抓取操作，以找到想要下载的内容。例如，假设你需要下载与正在归档网页关联的所有图像，首先，下载引用了图像的页面。将页面内通过管道传输到grep，搜索所需的图片类型（在此示例中为 PNG）。最后，创建一个while循环来构造下载 URL，并将文件保存到你的计算机：

$ curl https://example.com |\grep --only-matching 'src="[^"]*.[png]"' |\cut -d\" -f2 |\while read i; do \curl https://example.com/"${i}" -o "${i##*/}"; \done

这只是一个示例，但它展示了curl与 Unix 管道和一些基本而巧妙的解析结合使用时是多么的灵活。

获取 HTML 头

用于数据交换的协议在计算机发送通信的数据包中嵌入了大量元数据。HTTP 头是数据初始部分的组件。在连接一个网站出现问题时，查看这些报文头（尤其是响应码）会有所帮助：

curl --head "https://example.com"HTTP/2 200accept-ranges: bytesage: 485487cache-control: max-age=604800content-type: text/html; charset=UTF-8date: Sun, 26 Apr 2020 09:02:09 GMTetag: "3147526947"expires: Sun, 03 May 2020 09:02:09 GMTlast-modified: Thu, 17 Oct 2019 07:18:26 GMTserver: ECS (sjc/4E76)x-cache: HITcontent-length: 1256

快速失败

响应 200 通常是 HTTP 成功指示符，这是你与服务器连接时通常期望的结果。著名的 404 响应表示找不到页面，而 500 则表示服务器在处理请求时出现了错误。

要查看协商过程中发生了什么错误，添加--show-error选项：

$ curl --head --show-error "http://opensource.ga"

除非你可以访问要连接的服务器，否则这些问题将很难解决，但是curl通常会尽力连接你指定的地址。有时在网络上进行测试时，无休止的重试似乎只会浪费时间，因此你可以使用--fail-early选项来强制curl在失败时迅速退出：

curl --fail-early "http://opensource.ga"

由 3xx 响应指定的重定向查询

300 这个系列的响应更加灵活。具体来说，301 响应意味着一个 URL 已被永久移动到其它位置。对于网站管理员来说，重新定位内容并留下“痕迹”是一种常见的方式，这样访问旧地址的人们仍然可以找到它。默认情况下，curl不会进行 301 重定向，但你可以使用--localtion选项使其继续进入 301 响应指向的目标：

$ curl "https://iana.org" | grep title$ curl --location "https://iana.org"

展开短网址

如果你想要在访问短网址之前先查看它们，那么--location选项非常有用。短网址对于有字符限制的社交网络（当然，如果你使用现代和开源的社交网络的话，这可能不是问题），或者对于用户不能复制粘贴长地址的印刷媒体来说是有用处的。但是，它们也可能存在风险，因为其目的地址本质上是隐藏的。通过结合使用--head选项仅查看 HTTP 头，--location选项可以查看一个 URL 的最终地址，你可以查看一个短网址而无需加载其完整的资源：

$ curl --head --location ""

下载我们的 curl 备忘录

一旦你开始考虑了将探索 web 由一条命令来完成，那么curl就成为一种快速有效的方式，可以从互联网上获取所需的信息，而无需麻烦图形界面。为了帮助你适应到工作流中，我们创建了一个curl 备忘录，它包含常见的curl用法和语法，包括使用它查询 API 的概述。

到此，关于“如何使用curl从命令行访问互联网”的学习就结束了，希望能够解决大家的疑惑。理论与实践的搭配能更好的帮助大家学习，快去试试吧！若想继续学习更多相关知识，请继续关注56云网站，小编会继续努力为大家带来更多实用的文章！