upami
找一些已经做好的爬虫，复制入想要找的网址，这样收集到的数据更加多，高效，比如说搜数这个你可以试一下，反正前期是免费的 
毕业论文文献下载地址一、知网，知网是目前最大的文献数据库，包含了大部分毕业论文以及期刊论文。二、维普，维普是知网之后最大的数据库，知网有的，维普数据库大部分也都有，同时，维普还拥有一套自己的数据库，也就是自己收集的文献。三、万方，万方是国内知名的数据库，发展较早，很多高校的合作伙伴。
硕士毕业论文就看看发表的期刊被哪几个数据库收录，一般在出刊后1-3个月文章在相应的数据库就可以查到，具体看数据库后台上传情况。如果是本科毕业论文，没有公开发表过的话，那是不上网的，在数据库是搜索不到的，可以在本学校的相关论文系统里查询。CNKI查询毕业论文对论文的重新检查源于国家和教育部针对2009年主要大学的学术不端行为发布的安排。当然，由于需要对论文进行检查，因此自然有安排如何检查上级。那时CNKI逐渐成熟，所以大学将CNKI用作检查卷的比较来源。到目前为止，大多数高校都选择CNKI作为重复检查系统。由于长期发展，CNKI在中国拥有最全面的信息资源库。
