python操作mysql(ORM)
使用 SQLAlchemy
安装方法pip install SQLAlchemy
更多内容参考flask鱼书项目
123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051
...
python操作mysql（增删改查）
发表于
|
分类于
mysql学习
使用mysqlclient先安装mysqlclient网址：https://pypi.org/project/mysqlclient/python中可使用pip安装，pip install mysqlclient
也可以使用别的方法，详细可查看之前的文章：爬取百度百科词条写入数据库
python
...
爬虫整理（四）多进程分布式与异步
发表于
|
分类于
python练习
有的时候，爬取速度不快，就要想一些其他的办法。比如多进程多线程以及异步。不过一般的网站都会对其有限制，所以还得看实际情况具体来选取爬虫方式。爬虫并不复杂。爬虫更关键的是在，爬虫，反爬虫和反反爬虫这一块。
多进程分布式与异步的代码如下：
12345678910111213141516171819202
...
爬取百度百科词条写入数据库
发表于
|
分类于
python练习
这是在把百度百科上从一个词条中，随机选择一个关键字，然后从这个关键词的词条中，继续这样一个步骤，同时保存到数据库。如果遇到某词条下没有其他关键字，就会返回到上一个关键字处，目前有一个问题，就是两条关键词都只有一个的话，会进入循环。数据库中可以设置url唯一数据库这一块的操作，得先安装pymysql。
...
爬虫整理（五）slenium
发表于
|
分类于
python练习
首先使用pip安装并加入环境变量123456789101112131415161718192021222324from selenium import webdriverfrom selenium.webdriver.chrome.options import Options# firefox pl
...
PandaTV爬取主播人气并排序
发表于
|
分类于
python练习
很早前，第一次爬虫，就用的re加urllib原生爬虫。这次重新来爬取一次PandaTV主播人气排名，来练一下手。毕竟看直播嘛，颜值区更喜欢一点。就以颜值区为例，颜值区url = ‘https://www.panda.tv/cate/yzdr'。结果保存在运行目录下的`PandaTV主播人气排
...