抖音上好看的小姐姐,Python都给你下载好了,教你轻松学会爬虫

qiaofeiqiang
109
文章
7
评论
2019年12月25日11:59:06 评论 4834字阅读16分6秒

1

目 标 场 景

相信大家平时刷抖音短视频的时候,看到颜值高的小姐姐,都有随手点赞关注的习惯。

如果一条条去刷确实很耗时间,如果 Python 能帮忙筛选出颜值高的小姐姐那就省了很多事。

本篇文章是借助「百度人脸识别」API,帮我们识别出抖音上颜值高的小姐姐,然后下载到手机相册中。

2

准 备 工 作

首先,项目需要对页面元素进行一些精准的操作,需要提前准备一部 Android 设备,激活开发者选项,并在开发者选项中打开 「USB 调试和指针位置」两处设置。

为了确保 adb 命令能正常使用,需要提前配置好 adb 开发环境。

页面元素中的部分元素没法利用 name 等常用属性获取到,可能需要获取到完整的「UI 树」,再利用 Airtest 判断是否存在某个 UI 元素。

# 安装依赖pip3installpocoui

另外,项目中会对视频进行人脸识别,获取到出现的所有人脸,再进行性别识别及颜值判断。

这里需要进行百度云后台,注册一个人脸识别的应用,获取到一组 「API Key 和 Secret Key」值。

https://console.bce.baidu.com

抖音上好看的小姐姐,Python都给你下载好了,教你轻松学会爬虫

然后利用官网提供的 API 文档即可获取到「access token」,由于 ak 的有效期为一个月,所以只需要初始化一次,后面就可以利用人脸识别接口进行正常的识别了。

appid='你注册应用的appid'api_key='你注册应用的ak'secret_key='你注册应用的sk'defget_access_token():"""其中access_token有效期一般有一个月"""#此变量赋值成自己APIKey的值client_id=api_key#此变量赋值成自己SecretKey的值client_secret=secret_keyauth_url='https://aip.baidubce.com/oauth/2.0/token?grant_type=client_credentials&client_id='+client_id+'&client_secret='+client_secretheader_dict={'User-Agent':'Mozilla/5.0(WindowsNT6.1;Trident/7.0;rv:11.0)likeGecko',"Content-Type":"application/json"}#请求获取到token的接口response_at=requests.get(auth_url,headers=header_dict)json_result=json.loads(response_at.text)access_token=json_result['access_token']returnaccess_token

3

编 写 脚 本

在上面已经配置好了 adb 环境的情况下,可以直接借助 python 中的 os 模块执行 adb 命令打开抖音 App。

#抖音App的应用包名和初始Activitypackage_name='com.ss.android.ugc.aweme'activity_name='com.ss.android.ugc.aweme.splash.SplashActivity'defstart_my_app(package_name,activity_name):"""打开应用adbshellamstart-ncom.tencent.mm/.ui.LauncherUI:parampackage_name::return:"""os.popen('adbshellamstart-n%s/%s'%(package_name,activity_name))

接着,我们需要截取当前播放视频的截图到本地。

需要注意的是,抖音视频播放界面包含视频创作者头像、BGM 创作者头像等一些杂乱的元素,可能对人脸识别的结果产生一些误差,所以需要对屏幕截图之后的图像进行「二次裁剪」处理。

defget_screen_shot_part_img(image_name):"""获取手机截图的部分内容:return:"""#截图os.system("adbshell/system/bin/screencap-p/sdcard/screenshot.jpg")os.system("adbpull/sdcard/screenshot.jpg%s"%image_name)#打开图片img=Image.open(image_name).convert('RGB')#图片的原宽、高(1080*2160)w,h=img.size#截取部分,去掉其头像、其他内容杂乱元素img=img.crop((0,0,900,1500))img.thumbnail((int(w/1.5),int(h/1.5)))#保存到本地img.save(image_name)returnimage_name

现在可以使用百度提供的 API 获取到上面截图的人脸列表。

defparse_face_pic(pic_url,pic_type,access_token):"""人脸识别5秒之内:parampic_url::parampic_type::paramaccess_token::return:"""url_fi='https://aip.baidubce.com/rest/2.0/face/v3/detect?access_token='+access_token#调用identify_faces,获取人脸列表json_faces=identify_faces(pic_url,pic_type,url_fi)ifnotjson_faces:print('未识别到人脸')returnNoneelse:#返回所有的人脸returnjson_faces

从上述的人脸列表中筛选出性别为女,年龄为 18-30 岁之间,颜值超过 70 的小姐姐。

defanalysis_face(face_list):"""分析人脸,判断颜值是否达标18-30之间,女,颜值大于80:paramface_list:识别的脸的列表:return:"""#是否能找到高颜值的美女find_belle=Falseifface_list:print('一共识别到%d张人脸,下面开始识别是否有美女~'%len(face_list))forfaceinface_list:#判断是男、女ifface['gender']['type']=='female':age=face['age']beauty=face['beauty']if18<=age<=30andbeauty>=70:print('颜值为:%d,及格,满足条件!'%beauty)find_belle=Truebreakelse:print('颜值为:%d,不及格,继续~'%beauty)continueelse:print('性别为男,继续~')continueelse:print('图片中没有发现人脸.')returnfind_belle

由于视频是连续播放的,很难通过截取视频某一帧,判断视频有出现颜值高的小姐姐。

另外,大部分短视频播放时长为「10s+」,这里需要对每一个视频多次截图去做人脸识别,直到识别到颜值高的小姐姐。

# 一条视频最长的识别时间RECOGNITE_TOTAL_TIME = 10#识别次数recognite_count=1#对当前视频截图去人脸识别whileTrue:#获取截图print('开始第%d次截图'%recognite_count)#截取屏幕有用的区域,过滤视频作者的头像、BGM作者的头像screen_name=get_screen_shot_part_img('images/temp%d.jpg'%recognite_count)#人脸识别recognite_result=analysis_face(parse_face_pic(screen_name,TYPE_IMAGE_LOCAL,access_token))recognite_count+=1#第n次识别结束后的时间recognite_time_end=datetime.now()#这一条视频出现了颜值高的小姐姐ifrecognite_result:passelse:print('超时!!!这是一条没有吸引力的视频!')#跳出里层循环break

一旦当前播放的视频识别出有颜值高的小姐姐,就需要模拟保存视频到本地的操作。

抖音上好看的小姐姐,Python都给你下载好了,教你轻松学会爬虫

获取「分享」和「保存本地」两个按钮的坐标位置,依次利用 adb 执行点击操作即可下载视频到本地。

defsave_video_met():""":return:"""#分享os.system("adbshellinputtap10001500")time.sleep(0.05)#保存到本地os.system("adbshellinputtap3501700")

另外,由于下载视频的过程是一个耗时操作,在下载进度对话框还未消失之前,需要做一个「模拟等待」的操作。

defwait_for_download_finished(poco):"""从点击下载,到下载完全:return:"""element=Element()whileTrue:#由于是对话框,不能利用Element类来判断是否存在某个元素来准确处理#element_result=element.findElementByName('正在保存到本地')#当前页面UI树元素信息#注意:保存的时候可能会获取元素异常,这里需要抛出,并终止循环#com.netease.open.libpoco.sdk.exceptions.NodeHasBeenRemovedException:Nodewasnolongeralivewhenqueryattribute"visible".Pleasere-select.try:ui_tree_content=json.dumps(poco.agent.hierarchy.dump(),indent=4).encode('utf-8').decode('unicode_escape')exceptExceptionase:print(e)print('异常,按下载处理~')breakif'正在保存到本地'inui_tree_content:print('还在下载中~')time.sleep(0.5)continueelse:print('下载完成~')break

在视频保存到本地之后,就可以模拟向上滑动的操作,跳到播放「下一条视频」。

循环上面的操作,即可筛选出所有颜值高的小姐姐,并保存到本地。

defplay_next_video():"""下一个视频从下往上滑动:return:"""os.system("adbshellinputswipe5401300540500100")

在脚本一条条刷视频的过程中,可能会遇到一下广告,我们需要对这类视频进行过滤。

defis_a_ad():"""判断的当前页面上是否是一条广告:return:"""element=Element()ad_tips=['去玩一下','去体验','立即下载']find_result=Falseforad_tipinad_tips:try:element_result=element.findElementByName(ad_tip)#是一条广告,直接跳出find_result=TruebreakexceptExceptionase:find_result=Falsereturnfind_result

4

结 果 结 论

运行上面的脚本,会自动打开抖音,对每一条小视频多次进行人脸识别,直到识别到颜值高的小姐姐,保存视频到本地,然后继续刷下一条短视频。

抖音上好看的小姐姐,Python都给你下载好了,教你轻松学会爬虫
继续阅读
  • 文本由 发表于 2019年12月25日11:59:06
  • 除非特殊声明,本站文章均为原创,转载请务必保留本文链接
70个Python新手项目列表,学完立马上手做项目 Python

70个Python新手项目列表,学完立马上手做项目

前言: 不管学习哪门语言都希望能做出实际的东西来,这个实际的东西当然就是项目啦,不用多说大家都知道学编程语言一定要做项目才行。 这里整理了70个Python实战项目列表,都有完整且详细的教程,你可以从...
匿名

发表评论

匿名网友 填写信息

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen: