[1]-微信公众号爬虫。基于搜狗微信搜索的微信公众号爬虫接口可以扩展为基于搜狗搜索的爬虫。返回的结果是一个列表，每一项都是公众号具体信息的字典。 [1]：

[2]-豆瓣阅读爬虫。你可以爬取豆瓣阅读标签下的所有书籍，按评分排序存储，并存储在Excel中，这样更方便大家筛选和搜索，比如过滤1000条以上评论的高分书籍； Excel中可以根据不同的主题存储在不同的Sheet中。 ，使用User Agent冒充浏览器进行爬行，并添加随机延迟，以更好地模仿浏览器行为，避免爬虫被拦截。 [2]：

[3]-知乎爬虫。本项目的功能是爬取知乎用户信息和人际拓扑关系，利用爬虫框架和数据存储。 [3]：

-user[4]- 用户爬虫。数据总数：，抓取字段：用户id、昵称、性别、头像、等级、经验值、粉丝数、生日、地址、注册时间、签名、等级和经验值等。爬取后，生成一条用户数据B站报道[4]：

[5]- 新浪微博爬虫。主要抓取新浪微博用户的个人信息、微博信息、粉丝和关注者。从新浪微博获取验证码进行登录，可以使用多个账号登录，防止新浪反盗版。主要使用爬虫框架。 [5]：

[6]-小说下载分布式爬虫。使用redis实现的分布式网络爬虫，底层存储集群使用redis分布式，使用redis实现爬虫状态显示，主要针对某小说网站。 [6]：

[7]-CNKI爬虫。设置搜索条件后，执行src/.py捕获数据。捕获的数据存储在/data目录中。每个数据文件的第一行是字段名称。 [7]：

[8]-链家爬虫。爬取链家历年北京二手房交易记录。涵盖了链家爬虫文章中的所有代码，包括链家模拟登录代码。 [8]：

[9]-京东爬虫。基于京东网站爬虫，保存格式为csv。 [9]：

QQ--[10]-群爬虫。批量抓取群组信息，包括群组名称、群组编号、群组编号、群组所有者、群组简介等，最终生成XLS(X)/CSV结果文件。 [10]：

[11] - 乌云爬行者。暗云暴露了漏洞、知识库爬虫和搜索。所有公开的漏洞列表以及每个漏洞的文本内容均存在，约2G内容；如果把整个网站全部文字、图片爬取作为离线查询，大约需要10G空间，2小时左右（10M电信带宽）；爬取整个知识库，总共约500M空间。漏洞搜索使用 Flask 作为 Web 和前端。 [11]：

2016.9.11 补充：

[12]-去哪儿爬虫。网络爬虫使用代理登录：爬取去哪儿网站，使用模拟浏览器登录，获取翻页操作。代理可以保存到文件中，程序可以读取和使用该文件。支持多进程爬取。 [12]：

[13]- 机票爬虫（去哪儿、携程）。是一款基于机票的爬虫，目前整合了国内两大机票网站（去哪儿+携程）。 [13]：

[14] - 基于网易客户端内容爬虫，。 [14]：

[15]- 豆瓣电影、书籍、群、相册、东西等爬虫合集。 [15]：

[16]-QQ空间爬虫，包括日志、谈话、个人信息等，一天可爬取400万条数据。 [16]：

baidu-music-[17]- 百度mp3全站爬虫，使用redis支持断点续传下载。 [17]：

[18]- 淘宝、天猫爬虫可以根据搜索关键词和商品ID抓取页面信息，并将数据存储在[18]:

[19]- 一个股票数据（沪深）爬虫及选股策略测试框架。根据选定的日期范围捕获所有上海和深圳股票市场的市场数据。支持使用表达式定义选股策略。支持多线程。将数据保存到 JSON 文件或 CSV 文件。 [19]

--------------------------

本项目包含各种网络爬虫实用开源代码，并将长期更新。欢迎补充。

# WechatSogou微信公众号爬虫、DouBanSpider豆瓣读书爬虫与zhihu_spider  # 群组  # 新浪  # 链家  # 去哪儿  # 数据存储  # 并将  # 经验值  # 可以根据  # 个人信息  # 搜狗  # 携程  # 选股  # 都是  # 是一个  # 京东  # 离线  # 注册时间  # 你可以  # 多个  # 两大  # 口碑好的网站推广价格高  # 邯山区营销推广中心地址  # 邯郸网站优化推广可靠吗  # 滨州推广营销  # 兰州论坛营销推广网站  # 杨浦抖音营销推广怎么做  # 宝鸡营销推广怎么选  # 株洲网站优化网络推广  # 市场营销和公关推广  # 湖南提供网站推广多少钱  # 新疆公司推广员招聘网站  # 东莞营销推广大师排名榜  # 鞋产品网站建设方案  # 张从利seo博客  # 袋装茶营销思路及推广  # 台州天台外贸推广seo  # 墨家seo  # seo需求的重要性  # 哪里有网站建设加盟平台  # 河西区网站建设论坛 

相关栏目： 【 网站优化151355 】 【 网络推广146373 】 【 网络技术251813 】 【 AI营销90571 】

相关推荐： 揭露广州百度推广骗局，警惕线上营销中的陷阱,临朐网站建设  手机已连网线或WiFi却无法上网？三个原因及解决办法来啦   广州百度推广计费方式解析,鞍山网站建设价格低  SEO站在未来之巅，助力网站在激烈竞争中脱颖而出,推荐网站优化欢迎咨询  郑州SEO矩阵公司，助力企业腾飞的关键策略,承德网站建设广告词优化  广州百度推广是干什么的？,推广网站心细火23星去  杭州SEO网站优化软件,助力企业互联网营销新篇章,姑苏seo有效吗  黄山SEO推广口碑爆棚，介绍其背后的秘密与优势,网站内容seo  鞍山SEO外包，快速入门的秘诀与策略,大连正规网站seo报价  SEO导航：助力网站提升流量与排名的必备工具,荣昌建筑网站建设  数字化支付时代，如何关闭微信指纹支付？看这里   在广州如何借助百度推广高效卖房？,连云港营销推广什么流程  广州百度推广渠道有哪些？,酷开网络推广营销  广州百度推广费用记账，优化成本管理的关键策略,优酷土豆网站推广  广州百度推广方法解析，助力企业快速抢占市场,点心营销推广方案模板  长乐区专业SEO优化,助力企业提升网络竞争力,出海SEO  广州百度推广如何提升转化率？,平山品牌网站建设报价  掌握SEO艺术，让你的内容在数字海洋中熠熠生辉,桥梁模板网站建设素材  洛阳网站SEO优化技术,助力企业互联网营销新篇章,肇庆seo公司便捷火星  抖音推四大IP活动，升级扶持计划助力生活垂类创作者   福建百度推广返点一般是多少？解析营销背后的策略,h5网站怎么样推广赚钱  SEO广告：如何借助SEO提升品牌曝光与销售业绩？,网站推广怎么选择  大丰区SEO优化运营攻略,提升网站排名，助力企业腾飞,邯郸关键词排名企业  莱州,历史文化与现代发展的完美融合,seo干货技巧  SEO才能：提升网站排名，突破网络营销的核心竞争力,南宁本地seo营销公司  3月8日中国版国际旅行健康证明微信小程序正式上线！你了解吗？   SEO如何通过正确的SEO策略引爆你的流量与排名,西工区seo  SEO泛目录群技术,介绍高效网站优化之路,宝鸡seo优化公司排行  福建百度推广多账户推广技巧详解,海外推广外包策划营销方案  从零到一，如何打造个人品牌？,在哪里寻找推广网站信息  阜新SEO推广效果，探索数字营销的新境界,杨浦seo排名费用  网站建设教程 帮助新手快速入门  SEO对策：提升网站排名与流量的必备策略,SEO入门相机平价学生  SEO获客的秘诀：如何通过搜索引擎优化提升客户获取能力,厦门seo搜索优化排名  国际禁毒蓝皮书发布：互联网+支付+物流成毒品犯罪新方式？   江夏SEO排名服务,助力企业网站优化，提升在线竞争力,seo实用软件  介绍桂林SEO服务商,如何助力企业实现网络营销新突破,如何对网站做优化  SEO步骤介绍,亚洲、欧美及中文市场的区别化步骤与方法,上海关键词优化排名厂家  SEO单页网站：助力企业在线营销的一站式解决方案,湖南视频网站优化方式  广州百度推广定义及其重要意义,天水灯箱网站建设  种草的关键你知道吗？品牌种草要重视，搜索才是开始   SEO站群营销,注意事项与优化步骤,高平seo优化公司  自媒体营销，塑造品牌形象的艺术与科学,漳州网站建设优惠  SEO火爆公开课,介绍搜索引擎优化之路，助力网站流量翻倍！,鹤岗seo公司优选火星  沙溪网站SEO优化步骤全介绍,助力网站排名，提升企业影响力,property 对seo  德阳SEO排名优化公司，让您的网站在竞争激烈的市场中脱颖而出,抖音短视频营销与推广  新品牌如何熟悉小红书核心逻辑？做好这几步很关键   江门全网营销SEO外包,助力企业腾飞的新引擎,韶关网站优化案例  建瓯SEO排名,介绍提升网站流量与品牌影响力的方法,上海优化seo平台  探索未知，如何高效优化自媒体SEO，提升内容曝光度,天门营销推广公司电话