好，今天小编关注到一个比较有意思的话题，就是关于java爬虫课程设计大作业的问题，于是小编就整理了3个相关介绍Java爬虫课程设计大作业的解答，让我们一起看看吧。
JAVA和python在爬虫方面的优势和劣势是什么？
做过数年爬虫，Python和J***a都用过（主要用Python），亲身感受来回答问题。
做爬虫是一个很有意思的事情，它不是算算数字也不是画图，更像是模拟人类来做重复性的琐碎工作，同时要和反爬虫斗智斗勇。
据说最好的编程语言是你已经熟悉的——网络爬虫也是这样。在学习使用时，可能会加快速度——站在凳子上拿高处东西会容易些。
并不需要从头开始，因为有许多第三方库专门用于网络爬虫——憋重头造轮子阿——站在巨人肩膀上更容易摸到月亮——也更容易掉下来。
从网站爬行和提取数据涉及各种问题——I/O机制、通信、多线程、任务调度和重复数据删除等等。语言框架将对爬网效率产生重大影响。
许多初学者都在思考编程语言在速度方面的问题。但是处理速度一般不是这里的瓶颈。实际上，影响速度的主要因素是I / O（输入/输出），因为网络爬虫就是发送请求和接收响应。与互联网的沟通是这里的真正瓶颈。互联网的速度无法与您机器内处理器的速度相匹配。
爬虫目前主要开发语言为j***a、Python、c++对于一般的信息***集需要，各种语言差别不大。c、C++搜索引擎无一例外使用C\C++ 开发爬虫，猜想搜索引擎爬虫***集的网站数量巨大，对页面的解析要求不高，部分支持j***ascriptpython网络功能强大，模拟登陆、解析j***ascript，短处是网页解析python写起程序来真的很便捷，著名的python爬虫有scrapy等j***aj***a有很多解析器，对网页的解析支持很好，缺点是网络部分j***a开源爬虫非常多，著名的如 nutch 国内有webmagicj***a优秀的解析器有htmlparser、jsoup对于一般性的需求无论j***a还是python都可以胜任。如需要模拟登陆、对抗防***集选择python更方便些，如果需要处理复杂的网页，解析网页内容生成结构化数据或者对网页内容精细的解析则可以选择j***a。
python
网络功能强大，模拟登陆、解析j***ascript，短处是网页解析python写起程序来真的很便捷，著名的python爬虫有scrapy等
j***a
j***a有很多解析器，对网页的解析支持很好，缺点是网络部分j***a开源爬虫非常多，著名的如 nutch 国内有webmagicj***a优秀的解析器有htmlparser、jsoup对于一般性的需求无论j***a还是python都可以胜任。如需要模拟登陆、对抗防***集选择python更方便些，如果需要处理复杂的网页，解析网页内容生成结构化数据或者对网页内容精细的解析则可以选择j***a。
用Python写一个爬虫，做一个冷门行业的搜索引擎，能实现吗？
简单的做法呢，就是写个百度爬虫，自己架构一个网站，直接跳转百度搜索的结果~
稍微复杂的做法，就是在上述的基础上增加筛选功能，把非本行业的内容全部剔除一下！
在复杂一些的，搜集一些专业的信息，比如几个论坛或者相关信息的发布机构的网页，然后做相应的爬虫，写如数据库，在写一个网站……
因为冷门行业，也存在的受众小、内容少（相对）的问题，完全可以自行架构网站，但是要想扩大你的影响力，那就需要下不少的功夫了，起码，本行业的人得认可你！
当然，如果只是自用的话，那就简单了，哪怕你做个命令行版本的查询系统，都可以的，无非就是数据的整合，实时爬取等等！
记得之前有想写个爬虫，将几个盗版***的网站的爬虫整合到一起，实现搜索后，选择不同站点下载***的功能~写了一半，然后找到了可以实现的软件。。。很崩溃。。。
后来发现，其实写一个百度爬虫，然后指定关键字来显示搜索结果的方式其实很方便，也适合我这种懒人。。。
希望能帮到你！
可以实现，先说一下思路。首先我们要通过爬虫把这些冷门行业的相关数据都爬下来，然后把这个行业相关的数据库存储到数据库，做一个分类，之后在数据库这边做一个查询。
搜索引擎主要有两部分：
1.爬虫：也就是离线以获取数据
2.检索系统：在线查询数据，完成[_a***_]交互
开源工具：
Python爬虫Scrapy
J***a检索系统：Elasticsearch/Solr
如果只是用Python实现爬虫的这样的项目的话，需要学习的内容是上图当中的Python基础知识，python高级，前端开发以及爬虫开发。Python爬虫的重点是不在于Python，而是网络爬虫。
可以的，首先需要把你说的冷门行业知识都找到，然后用python写一个爬虫程序，把这些冷门知识都爬取下来，然后把这些知识都爬取存储到数据库，做一个分类，数据库这边做一个查询就可以了。
写爬虫用什么语言好？
你是要在网上爬资料吗？
写爬虫现在用Python最快，从搭建环境到获取第一份资料，用几个小时就可以了，比其它的方法快了很多。
因为Python有很多可以直接用的web包，里面有包装好的工具。而且对环境的要求也不高，差不多的机器都能跑得很流畅。
缺点是如果想要给Python配一个界面，会比较烦，但是一般爬资料的人也不用界面，把爬来的资料放进文件里面或者数据库里面就好，出界面显示数据的事情，给别人干
这个不取决于语言，取决于你熟悉哪种语言。现在很多语言都基本都相应的依赖或框架了，你熟悉哪种，哪种就用起来顺手，不懂的方法直接百度即可，写不出来的bug，没有解决不了的问题。
不过比选择语言更好的方式是选择更好的工具。(*￣︶￣)
写爬虫用什么语言好？
对于刚刚接触爬虫的新手来说，经常会纠结于用是不是非得用Python 来做爬虫，但是无论是 J***A，PHP 还是其他更低级语言，都可以很方便的实现爬虫的需要。
各种语言写爬虫相对于Python，区别在于静态语言出现错误的可能性很低，低级语言运行速度会更快一些，但是Python 的优势在于库更丰富，框架更加成熟，对于新手来说，在熟悉库和框架实际上需要花费不少的时间。
那么，到底用什么语言写爬虫最好呢？我们先来对比一下几种常用语言对于写爬虫的优缺点：
貌似信息管理的人比较喜欢的语言，在这里就不介绍了。反正我是没用他来写过爬虫。
爬虫选择什么工具呢？
1.爬虫是网络蜘蛛机器人，自动爬取数据，按我们制定的规则获取数据
2.为什么要用爬虫呢，私人定制搜索引擎，获得更多的数据，不再是互联网时代而是大数据时代
3.爬虫的原理：控制节点（url分配器）、爬虫节点（按照算法爬取数据存储到数据库）、***库（存储爬取的数据库供应搜索）
4.爬虫的设计思路：爬取的网络地址、***协议获取对应的html页面
5.爬虫语言选择：
PHP：虽然冠名“世界上最好的语言”，但是作为爬虫的缺点：没有多线程的概念，对异步的支持不多，并发不足，爬虫要求效率高
C/c++ ：运行效率和性能最高的语言，但是学习成本非常高，代码成型较大
J***a：生态圈非常广大，python最大的竞争者，本身非常笨重体量积，爬虫需要经常修改代码
Python：语言优美、代码简介、第三方功能模块多scrapy、调用替他语言接口、成熟较高的分布式策略
能写爬虫的语言很多，Python、J***a、go甚至JS等很多语言都可以写。不过个人推荐还是去学Python。
- Python语言的学习难度比较小，入门是很容易的。网上很多的Python教程，随便到网上找一套入门教程，看一看都是可以入门的，即便达不到做专业程序员的水平，拿来写写爬虫还是没问题的。
- Python的第三方库很多，拿来即用。Python目前之所以这么热门，很大一部分原因是Python是免费的，早期很多开发者贡献了一些开源第三方库，爬虫库也有很多，比如requests、scrapy。这些库大大降低了使用者的使用成本，开发起来方便。
- 网上有很多Python的爬虫案例。也是因为Python目前非常火热，网上有不少别人写好的案例，完全可以照葫芦画瓢写，省时省力。
不打算深入学习爬虫的，网上找找代码copy改改就OK了。如果对爬虫有特定需求的话，再去考虑J***a，JS之类的语言。
最后给一句忠告:爬虫学得好，黑屋进得早。玩爬虫不要去触碰法律底线。
到此，以上就是小编对于J***A爬虫课程设计大作业的问题就介绍到这了，希望介绍关于J***A爬虫课程设计大作业的3点解答对大家有用。
