基本上前几种办法就能够获取到须要的元素，须要自己辨别结果是否唯一来选择相应的选择器。通过drive工具调用此方法，返回的是标签工具，或者是标签工具的列表，可以通过.text获取该标签下的笔墨，可以通过get_attribute()获取标签的其它属性值。
分享快速定位元素的小妙招：看所需信息所在的标签的id，class，name的名称是否与标签下信息的语义有关，一样平常有关的都代表是唯一的。（从开拓者的角度去思考）若无法通过当前标签唯一定位，则考虑父级标签，一次类推，总是能找到定位的方法的。
2.鼠标事宜（仿照鼠标操作）
通过标签工具调用即可。
3.键盘事宜（仿照键盘操作）
4.其他操作
其他操作包括掌握浏览器的操作，获取断言信息，表单切换，多窗口切换，警告框处理，下拉框处理，文件上传操作，cookie操作，调用js代码，截图，关闭浏览器等操作，由于在这里用的不多，就没有逐一罗列，自行辞官网学习。02 爬取目标这个实战爬虫紧张完成以下目标：爬取QQ音乐官网指定歌手的前5首歌曲的基本信息和前五百条热门评论。2.1 获取前五歌曲的url剖析该页面的代码得知，包裹所有歌曲信息的标签的class是唯一的，我们可以获取到它，再遍历所有子标签，也可以一次得到所有包裹歌曲信息的div，再获取里面的a标签。
2.2 获取歌曲基本信息可以看到基本信息标签里的class名称是有一部分带语义的，那么通过css选择器肯定可以唯一确定下来。2.3 获取歌词页面上的歌词不完全，彷佛须要点击展开才行，但实在所有歌词已经在标签里面了，只是显示的问题了。2.4 获取前五百条评论我们可以看到热门评论一次是十五条，下面有一个点击加载更多链接，点了之后会多出15条。我们须要仿照点击33次，得到510条评论2.5 写入CSV文件利用csv库，将爬取到的数据写入到csv文件中进行持久化。
2.6 实当代码
from selenium import webdriverimport csvfrom time import sleepimport time## Author : ATFWUS# Date : 2021-03-21 20:00# Version : 1.0# 爬取周杰伦最热门五首歌曲的基本信息，歌词，前五百条热门评论# 此代码仅供互换学习利用##1.创建Chrome浏览器工具，这会在电脑上在打开一个浏览器窗口driver=webdriver.Chrome(executable_path="C:\Program Files (x86)\Google\Chrome\Application\chromedriver.exe")#2.打开QQ音乐 -周杰伦页面driver.get("https://y.qq.com/n/yqq/singer/0025NhlN2yWrP4.html")#3.配置csv_file = open('songs.csv','w',newline='',encoding='utf-8')writer = csv.writer(csv_file)start = time.time()# 取前5首歌曲song_numer=5song_url_list=[]song_resourses=[]songlist__item=driver.find_elements_by_class_name("songlist__item")# 获取所有歌曲urlfor song in songlist__item: song__url=song.find_element_by_class_name("js_song").get_attribute("href") song_url_list.append(song__url) song_numer-=1 if(song_numer==0): break# print(song_url_list)print("已获取周杰伦热门歌曲列表前五首的url")print()# 获取一首歌曲所须要的信息def getSongResourse(url): song_resourse={} driver.get(url) # 这个0.5秒用于等待异步要求的完成 sleep(0.8) # 获取歌曲名 song_name=driver.find_element_by_class_name("data__name_txt").text print("开始获取歌曲《"+song_name+"》的基本信息") # 获取流派，发行韶光，评论数 song_liupai = driver.find_element_by_css_selector(".js_genre").text[3:] song_time = driver.find_element_by_css_selector(".js_public_time").text[5:] song_comment_num = driver.find_element_by_css_selector(".js_into_comment").text[3:-1] print("歌曲《" + song_name + "》基本信息获取完毕") print("开始获取歌曲《" + song_name + "》的歌词") # 点击展开歌词 driver.find_element_by_partial_link_text("[展开]").click() sleep(0.3) lyic="" # 获取拼接歌词 lyic_box=driver.find_element_by_id("lrc_content").find_elements_by_tag_name("p") for l in lyic_box: if l.text!="": lyic+=l.text+"\n" print("歌曲《" + song_name + "》的歌词获取完毕") print("开始获取歌曲《" + song_name + "》的第1-15条热门评论") # 获取500条评论 comments=[] # 点击加载更多29次，每次多出15条评论 for i in range(33): driver.find_element_by_partial_link_text("点击加载更多").click() print("开始获取歌曲《" + song_name + "》的第"+str((i+1)15+1)+"-"+str((i+2)15)+"条热门评论") sleep(0.5) comments_list=driver.find_element_by_css_selector(".js_hot_list").find_elements_by_tag_name("li") for com in comments_list: content=com.find_element_by_css_selector(".js_hot_text").text content_time=com.find_element_by_css_selector(".comment__date").text zan_num=com.find_element_by_class_name("js_praise_num").text comment = {} comment.update({"评论内容":content}) comment.update({"评论韶光":content_time}) comment.update({"评论点赞次数":zan_num}) comments.append(comment) print("歌曲《" + song_name + "》的前五百条热门评论获取完毕") print("歌曲《"+song_name+"》所有信息获取完毕") print() song_resourse.update({"歌曲名":song_name}) song_resourse.update({"流派":song_liupai}) song_resourse.update({"发行韶光":song_time}) song_resourse.update({"评论数":song_comment_num}) song_resourse.update({"歌词":lyic}) song_resourse.update({"500条精彩评论":comments}) return song_resoursefor song_page in song_url_list: song_resourses.append(getSongResourse(song_page)) # breakprint("正在写入CSV文件...")for i in song_resourses: writer.writerow([i["歌曲名"],i["流派"],i["发行韶光"],i["评论数"],i["歌词"]]) for j in i["500条精彩评论"]: writer.writerow([j["评论内容"],j["评论韶光"],j["评论点赞次数"]]) writer.writerow([])csv_file.close()end = time.time()print("爬取完成，总耗时"+str(end-start)+"秒")2.7 代码把稳事变把稳在驱动工具get要求网页之后，要sleep一段韶光，这段韶光是网站用来进行ajax要求获取所需数据的，如果不sleep，那么你获取的数据很有可能是空的，或者是默认值。全体爬下来大概10分钟的样子，我已经将进度输出，不要提前关闭，由于我是末了才写入csv文件的， 提前关闭csv文件里什么也没有。QQ音乐最近有个bug，便是点击去获取更多后，新增的15条评论还是最初的，可能也是网的缘故原由，代码那里该当没有问题的。这个代码紧张用于爬取紧张数据，很多仿照操作可能不完善。2.8 利用Padas库大略的打算数据有关Padas库的利用，它的两种数据构造，请查看官网，这里不做解释。先读取csv文件中的数据到内存中，再进行操作。须要先安装padas库：
pip install padas
import pandas as pdimport csv# 这五个列表用于创建Seriesse=[]names=[]# 先读取CSV文件的内容至内存中with open("songs.csv",'r',encoding="utf8") as f: # 创建阅读器工具 reader = csv.reader(f) rows = [row for row in reader] index=0 print("开始解析CSV数据...") for i in range(5): s1=[] # 读取第一行信息 names.append(rows[index].__str__().split(',')[0][2:-1]) index+=1 # 读取五百条评论的点赞 for j in range(510): s1.append(int(rows[index].__str__().split(',')[2][2:-2])) index+=1 se.append(s1) # 读取掉空行 index+=1 print("CSV数据解析成功\n")# 创建的5个seriesfor i in range(5): series=pd.Series(se[i]) print("歌曲《"+names[i]+"》的均匀点赞次数是：" + str(series.mean())) print("歌曲《" + names[i] + "》的标准差是：" + str(series.std())) print()2.9 大致结果截图感叹：爬下几千条评论，看了之后，创造，有伤感那味了，哈哈哈
作者：ATFWUS
原文链接：https://blog.csdn.net/ATFWUS/article/details/115053245
