炼数成金 门户 大数据 Python 查看内容

Python爬取了121.3万条大众点评,告诉你哪里的小龙虾才是一绝

2018-8-9 10:38| 发布者: 炼数成金_小数| 查看: 24714| 评论: 0|原作者: 徐麟|来自: CSDN

摘要: 首先要进行分析的是各个城市的小龙虾热度。我们以带有“小龙虾”标签的餐厅评论总和作为最终的对比依据,得到的TOP20城市如下: 可以看出上海市的点评数遥遥领先,可能存在以下两个因素:a.上海市的小龙虾餐厅数量 ...

Python Java Hadoop 培训 C++

俗语有云,酷暑三伏钓早晚。那么啤酒配上小龙虾,岂不甚妙哉?本文是一篇吃货指南,给广大的小龙虾爱好者扒一扒,哪里的小龙虾才是一绝。


题图来源:金渡广告摄影

获得数据
本次数据我们爬取了大众点评中所有打上小龙虾标签的餐厅。


从上图中可以看出,我们可以获得餐厅的人均消费、点评数量、推荐菜、评分(口味、环境、服务)等信息,用于我们之后的分析。我们此次总共爬取到了225个城市,6758个餐厅,121.3万条评论。

我们截取其中的部分核心代码:
def
 find_city_page(path):
    data = pd.read_Excel(path)
    city_lobster_page = pd.
DataFrame
()
    driver = webdriver.
Chrome
()    
    for
 i 
in
 range(
0
,len(data)):
        
try
:
            js=
'window.open("'
+data[
'city_lobster_url'
][i]+
'")'
            driver.execute_script(js)
            bsObj = 
BeautifulSoup
(driver.page_source,
'html.parser'
)
            bs = bsObj.find_all(
'a'
,attrs={
'class'
:
'PageLink'
})
            this_city_lobster={
'city_name'
:data[
'city_name'
][i],
                               
'page_num'
:max([
int
(l.text ) 
for
 l 
in
 bs])}
            city_lobster_page = city_lobster_page.append(this_city_lobster,ignore_index=
True
)
        
except
:
            
continue
    
return
 city_lobster_page

城市对比
首先要进行分析的是各个城市的小龙虾热度。我们以带有“小龙虾”标签的餐厅评论总和作为最终的对比依据,得到的TOP20城市如下:


可以看出上海市的点评数遥遥领先,可能存在以下两个因素:a.上海市的小龙虾餐厅数量较多,本身存在较大的消费群体;b.大众点评总部在上海,上海的商户入驻数量较多。有兴趣的朋友可以进行更深一步的研究。

圈定了TOP20城市后,我们首先看一下TOP20城市小龙虾的人均消费:


该项统计中,包邮区占据了靠前的位置,体现出来包邮区对小龙虾的热情和自身的消费水平。同时可以看到株洲的人均消费接近于上海的一半,有机会到湖南旅游的朋友可以考虑到株洲品尝物美价廉的小龙虾。

紧接着要看的是TOP20城市味道、环境、服务三部分的分数情况:

我们发现服务分与环境分排序相同,二者具有极强的相关性,符合通常认知。同时可以看到在三项分数中,北方的四个城市天津、西安、北京、青岛各项指标均处于靠前的位置,其中天津的服务和环境均处于首位。

结合下图全国小龙虾热力图,似乎有些有悖于大家的认知。


由此我们可以得出在小龙虾整体热度比较强的区域,人们对于小龙虾各方面的要求会相应提高,相反在整体热度偏低区域,人们评价时会相对宽容。同时我们看到海口的各项指标均处于最后一位,需要进行相应的调整。

探索龙虾
我们看过了各个城市的情况后,进一步看一下小龙虾本身的一些有趣的内容,首先看一下龙虾的口味,我们选取了各个餐厅中带有龙虾的推荐菜,分词后获得TOP20的口味:


十三香、蒜蓉、麻辣高居前三位,根据笔者的经验,这基本上是符合大家整体口味的选择。TOP20中的蛋黄、白灼对于笔者而言相对陌生,有品尝过的朋友可以分享一些这些口味的体验。

看完了口味,再看一下龙虾的好丽友:


螺丝、花甲、毛豆位高居TOP3,看来大家吃龙虾的时候,会希望同时选择一些不用摘手套就可以享用的食物,毕竟吃的过程中频繁摘手套会比较费劲。

龙虾画像
目前互联网公司中非常普遍地会进行一些人群画像的分析,我们在这里借用一下这个概念,也为小龙虾绘制一副专属的画像。下面展示的两幅图分别是词云图和模板原图:

部分词云绘制代码如下:
# 解析小龙虾图片
back_color = imread(
'小龙虾.jpg'
)  
# 解析该图片
# 参数配置
wc = 
WordCloud
(background_color=
'white'
,  
# 背景颜色
               max_words=
300
,  
# 较大词数
               mask=back_color,  
# 以该参数值作图绘制词云,这个参数不为空时,width和height会被忽略
               max_font_size=
100
,  
# 显示字体的较大值
               font_path=
"C:/Windows/Fonts/simhei.ttf"
,  
# 解决显示口字型乱码问题,可进入C:/Windows/Fonts/目录更换字体
               random_state=
4
,  
# 为每个词返回一个PIL颜色
               
#width=2000,  # 图片的宽
               
#height=1860  #图片的长
               )
# 通过encounter计数器生成词云
wc.generate_from_frequencies(word_counts)
# 基于彩色图像生成相应彩色
image_colors = 
ImageColorGenerator
(back_color)
# 绘制词云
plt.figure()
plt.imshow(wc.recolor(color_func=image_colors))
plt.axis(
'off'
)

特(hei)色(an)龙虾
文章最后我们放上几个之前分词发现的特色口味龙虾,或许下一个网红龙虾就在其中。

这些小龙虾的口味是你喜欢的吗?

作者:徐麟,知乎同名专栏作者,目前就职于上海唯品会产品技术中心,哥大统计数据狗,从事数据挖掘&分析工作,喜欢用R&Python玩一些不一样的数据。个人公众号:数据森麟(ID:shujusenlin)。

声明:文章收集于网络,如有侵权,请联系小编及时处理,谢谢!

欢迎加入本站公开兴趣群
软件开发技术群
兴趣范围包括:Java,C/C++,Python,PHP,Ruby,shell等各种语言开发经验交流,各种框架使用,外包项目机会,学习、培训、跳槽等交流
QQ群:26931708

Hadoop源代码研究群
兴趣范围包括:Hadoop源代码解读,改进,优化,分布式系统场景定制,与Hadoop有关的各种开源项目,总之就是玩转Hadoop
QQ群:288410967 

鲜花

握手

雷人

路过

鸡蛋

相关阅读

最新评论

热门频道

  • 大数据
  • 商业智能
  • 量化投资
  • 科学探索
  • 创业

即将开课

 

GMT+8, 2018-10-23 18:41 , Processed in 0.143649 second(s), 24 queries .