大家好，今天小编关注到一个比较有意思的话题，就是关于python编程抓包的问题，于是小编就整理了3个相关介绍Python编程抓包的解答，让我们一起看看吧。
写Python爬虫一定要用到chromedriver吗？
首先告诉你，不是。
这个驱动是基于selenium库的。使用这个驱动表示可以使用浏览器来进行数据***集。
reques.get
（“...”）直接进行数据的***集。只是使用这个插件可以简化咱们很多的工作量，最初这个插件其实是用来模拟人工进行web测试的。所以告诉你，爬虫不一定用chromedriver驱动不一定，这个要看目前网站的反爬措施
如果能用requests库区抓取数据的话，就不必用selenium，因为这个再执行效率上并不是很快。
下面介绍一下selenium
selenium是一个自动化运维的工具，它可以驱动谷歌浏览器、火狐浏览器等，去自动打开网址并对其进行相关操作，比如填写表单、点击按钮、滑动验证码等。
能从web界面获取信息。 比如获取12306票务信息，招聘网站职位信息，财经网站股票价格信息 等等，然后用程序进行分析处理。
Selenium 的自动化原理是这样的
从上图可以看出：
如果网站混淆加密级别不高，完全没必要用Chromedriver（一般称着无头浏览器）来模拟请求。可以分析网站请求逻辑，直接使用***的post或者get来模拟请求。如果涉及到加解密的话，需要去破解js代码逻辑。
如果是让我写，我优先选用selenium(chromedriver)，模拟正常浏览。效率低很多，但是数据靠谱。
写爬虫，目的是获得数据。如果是简单、无争议公开的数据，只要不对服务器造成压力，方法都不重要。但往往要获取的数据，很多情况下对方都不希望通过爬虫自动化轻易得到。这时候，双方工程师、甚至是律师就要博奕了。
红方：基于数据统计、机器学习的方法，判断区别与常人浏览的途径很多。
蓝方：针对红方的可能手段，也有很多途径。所谓上有政策，下有对策。比如维护一个IP池自动切换。博奕，说白了就是斗争。没有永远胜利的一方。花费精力写一个专业爬虫，但这个爬虫可能也需要维护的。个人觉得不值得，应该想想其他方式。
大前端的语言，js+抓包分析是更加胜任爬虫的语言。一是爬取的数据，大部份都是来自网站或app。用原汁原味的js，再对口不过。同时，效率会更高。据我所知，很多竞争对手爬取对方的价格，基本都绕不开js。用python会适得其反。
这篇文章主要是从Python编程语言生态系统的角度的。我注意到，Selenium已经成为非常流行地用来抓取从网页上的数据，所以chromedriver也是必备的。是的，您可以使用Selenium进行网络抓取，但我觉得这不是一个好主意。
我个人也认为，教导如何使用Selenium进行网页抓取的文章为日常使用工具进行网页抓取提供了一个不好的例子。
首先，Selenium不是Web抓取工具。它是“用于自动化Web应用程序以进行测试”，该声明来自Selenium主页。其次，在Python中，有一个更好的工具Scrapy开源Web爬网框架。精明的读者会问：“ 与Python相比，使用Scrapy有什么好处？”，您将获得速度和很多速度，开发速度和Web抓取时间的速度，而且代码更干净些。
有一些技巧可以使Selenium Web抓取速度更快，如果使用Scrapy，则不会出现此类问题，而且速度更快。
仅仅因为这些文章的存在证明了（至少对我而言）人们使用了错误的工具进行工作，例如“ 当您唯一的工具是锤子时，一切看起来都像钉子 ”。
我个人仅使用Selenium进行网页测试。我会尝试使用它来自动化Web应用程序（如果没有其他选择），但是到目前为止，我还没有这种用例。使用Selenium作为Web抓取工具时，我可以看到的唯一例外是，如果要抓取的网站正在使用JavaScript来获取/显示需要抓取的数据，而且它防爬虫技术很厉害，需要你模仿浏览器去捕获，这时候用Selenium是个明智的选择。
如您所料，我的建议是使用Scrapy。我选择Scrapy是因为我花了更少的时间来开发Web抓取程序（Web Spider），并且执行时间很快。我发现由于Scrapy Shell和缓存，Scrapy的开发速度更快。在执行过程中，由于可以同时完成多个请求，因此速度很快，这意味着数据传递将不会按照请求的顺序进行，只是您在[_a***_]时不会感到困惑。
python爬虫框架哪个好用？
本来是写在推荐那片下边的评论里，还是觉得应该简单写个回答。
scrapy
适合大型、多站点爬取，支持异步，通过配置***池，可以非常快速的爬取大量数据。同时学习成本相对也高，文档很完善，上手不难，但是大型项目里的各种规则、正则表达式啥的，就需要额外学习了。
requests+bs
适合个人***，针对单一站点，量不是很大，同时对效率要求不高的小型项目。如果有些it背景，requests库基本一看就懂，bs库主要是记住那些规则即可，两个库的文档都很完善，中文翻译也有。
另外再说一句，虽然爬虫库有了，但是爬虫最关键的还是初期对于目标网站的网络分析，这个不是很容易，需要配合浏览器插件或者抓包工具，对于head头里的字段要有深刻的了解，不然爬虫第一步：get返回200状态都搞不出来。然后还要考虑访问频率，不然很快你就被封ip，还有很多其他的注意事项，祝爬虫学习一切顺利。
框架用scrapy。
模块推荐requests+xpath或者requests+bs4。requests是爬取，xpath或者bs4是解析页面。
如果是简单爬取几万张以内页面，requests就能搞定，几十万张用scrapy。再往上就要考虑分布式爬虫了，scrapyd。
你可以看我的回答里面有关于爬虫方面的内容
Python+requests爬取源码，为什么有些网页只获取头部一小部分？
最有可能的原因就是网页数据是动态加载的，存储在一个json文件中，直接获取源码是提取不到任何信息的，需要抓包分析才行，下面我简单介绍一下操作过程，以某某贷上的数据为例（动态加载）：
1.首先，打开原网页，如下，这里***设我们要爬取的数据包含年利率、借款标题、期限、金额和进度5个字段：
2.接着右键打开网页源码，按Ctrl+F搜索其中关键字，如“10.20%”，可以看到，任何信息都匹配不到，说明数据是动态加载的，而非直接嵌套在网页源码中：
3.按F12调出浏览器开发者工具，开始抓包分析，依次点击“Network”->“XHR”，F5刷新页面，可以看到，数据是动态加载的，存储在一个json文件中，而非html网页源码，只有解析这个json文件，才能提取出我们需要的数据：
4.接着就是根据抓包结果解析json文件，已经获取到url地址，所以直接get请求即可，然后用python自带的json包解析就行，测试代码如下，非常简单，依次根据属性提取字段信息即可：
5.最后点击运行程序，截图如下，已经成功提取到我们需要的数据：
到此，以上就是小编对于python编程抓包的问题就介绍到这了，希望介绍关于python编程抓包的3点解答对大家有用。
