完美假期第一步：用Python寻找最便宜的航班！

每当短时间内多次使用get命令的时候，系统就会跳出验证码检查。你可以手动解决验证码问题，并在下一个问题出现之前继续测试脚本。从我的测试来看，第一次搜索运行似乎一切正常，所以如果你想要用这段代码，并且让它们之间保持较长的执行间隔，就可以解决掉这个难题。你并不需要每10分钟就更新这些价格，不是吗?!

XPath的坑

目前为止，我们打开了一个浏览器窗口并获得了网址。接下来我会使用XPath或者CSS选择器来抓取价格等其他信息。曾经我也只用XPath，当时我觉得没必要用CSS，但是现在看来最好结合着用。你可以直接用浏览器复制网页XPath来用，你也会发现由XPath虽可以定位网页元素但是可读性很差，所以我渐渐意识到只用XPath很难获得你想要的页面元素。有时候，指向得越细就越不好用。

接下来，我们用Python来选择出最低票价的页面元素。上述代码中红色部分就是XPath选择器的代码，在网页中，你可以在任意位置点击右键并选择“检查”来找到它。试试吧，在你想看代码的地方点右键，“检查”它。

为了说明我前面所说的XPath的不足，请大家对比如下差异：

1 # This is what the copy method would return. Right click highlighted rows on the right side and select "copy > Copy XPath" 
//*[@id="wtKI-price_aTab"]/div[1]/div/div/div[1]/div/span/span 
 
2 # This is what I used to define the "Cheapest" button 
cheap_results = ‘//a[@data-code = “price”]’ 

上述代码中，第二种方式的简洁性清晰可见。它会去搜素具有data-code属性值为price的a元素。而第一种方式则是去搜素一个id为wtKI-price_aTab元素，且该元素嵌在5层div及2层span内。对于这次页面，它能起作用，但这里的坑在于，下次加载页面时，这个id会变，而且每次加载时wtKI值也是动态变化的，所以到时候这段代码就无效了。所以多花点功夫研究一下XPath表示的内容还是对你有价值的。

不过这种直接复制XPath的方法对于那些不是很复杂善变的页面来说还是蛮好用的。

基于上述代码结果，如果我想找出所有匹配的结果并存到list里，该怎么做呢?很简单，因为所有结果都在CSS对象resultWrapper中，只要按照我下图代码中写个for循环就能获得所有结果。这个思路掌握了，那下图的代码你也就基本看明白了。也就是说，先选定最外层的页面元素(如本文网站中的resultWrapper)，再找一种方式(如XPath)来获取信息，最后再将信息存到可读的对象中(本例中先存在flight_containers中，再存在flights_list中)。

我把前三个结果详细内容都打印出来了，里面有我们需要的全部有用信息，但我们还是要找个更好的方法提取它们，这时我们就要对这些元素单独解析。

开始爬数据!

最简单的代码就是读取更多这个函数，我们先从这里开始。我希望在不触发安全校验的情况下获取尽量多的航班，所以在每次加载完页面我都会点击“load more results”按钮。值得注意的是我用到了try语句，因为有的时候不一定会存在这个按钮。

哦嘞，前期铺垫的有点长(抱歉，我确实比较容易跑偏)。我们现在要开始定义用于爬数据的函数了。

我在下文会提到的page_scrape函数中解析了大部分元素。有时候，返回来的航班list中会有两段行程。我简单粗暴地把它拆成两个变量，如section_a_list 和section_b_list。当然，函数还是会返回一个名为flights_df 的DataFrame对象，有了它我们接下来就可以任意排序并视情况切片或合并。

变量名中带a的表示第一段行程，带b的表示第二段行程。接着看下一个函数。

别急，还有干货!

到现在为止，我们有用于加载更多结果的函数，有用于解析这些结果的函数。你可以认为这就完事了，可以靠着它们去手动地爬网页了，但我前面还提到过，我们的目标是能给自己发邮件，当然还能包括一些其他信息。看看下面这个函数start_kayak，所有这些都在里面。

这需要我们定义一下要查询的航班的地点和日期。我们会打开kayak变量中的网址，并且查询结果会直接按照“best”方式排序。在第一次爬数之后，我就获得了页面上方的价格矩阵数据集，它将用于计算均价和最低价，然后和Kayak的预测价(页面的左上角)一起通过电子邮件发出。在单个日期搜素时可能导致错误，因为这种情况下页面顶端没有价格矩阵。

（编辑：东莞站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!