多种电商商品数据爬虫项目脚本

ECommerceCrawlers

爬虫是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。本项目是一个针对多种电商商品数据爬虫。通过实战项目练习解决一般爬虫中遇到的问题。这是一个很好的例子减少重复收集轮子的过程。项目经常更新维护，确保即下即用，减少爬取的时间。

你还可参阅体验盒子推荐的几个反爬虫项目一起研究使用。

CrawlerDemo

• DianpingCrawler：大众点评爬取
• TaobaoCrawler：淘宝商品爬取
• ZhaopinCrawler：各大招聘网站爬取
• XianyuCrawler：闲鱼商品爬取
• SohuNewCrawler：新闻网爬取
• WechatCrawler：微信公众号爬取
• cnblog：scrapy博客园爬取
• OtherCrawlers：一些有趣的爬虫例子
  • 0x01 百度贴吧
  • 0x02 豆瓣电影
  • 0x03 阿里任务
  • 0x04 包图网视频
  • 0x05 全景网图片
  • 0x06 豆瓣音乐
  • 0x07 某省药监局
  • 0x08 fofa
  • 0x09 汽车之家
  • 0x010 国家统计局
  • 0x10 baidu
  • 0x11 蜘蛛泛目录

本项目涉及的爬虫技术

本项目使用了哪些有用的技术

• 数据分析
  • chrome Devtools
  • Fiddler
  • Firefox
  • appnium
  • anyproxy
  • mitmproxy
• 数据采集
  • urllib
  • requests
  • scrapy
  • selenium
  • pypputeer
• 数据解析
  • re
  • beautifulsoup
  • xpath
  • pyquery
  • css
• 数据保存
  • txt文本
  • csv
  • excel
  • mysql
  • redis
  • mongodb
• 反爬虫验证
  • mitmproxy 绕过淘宝检测
  • js数据解密
  • js数据生成对应指纹库
  • 文字混淆
  • 穿插脏数据
• 效率爬虫
  • 单线程
  • 多线程
  • 多进程
  • 异步协成
  • 生产者消费者多线程
  • 分布式爬虫系统