数据揭示真相：这一轮消费升级屏蔽了80%的人

来源：苏宁财富资讯

作者：苏宁金融研究院研究员  付一夫

随着中国经济的不断发展进步，老百姓越来越富裕。2011年，我国人均GDP首次迈过5000美元，短短四年之后的2015年便突破8000美元大关，而刚刚公布的《2017年国民经济和社会发展统计公报》显示，2017年我国人均GDP已经达到8836美元，距离“中等收入陷阱”上限（人均GDP为12000美元）越来越近，而这也让国民具备了足够的消费底气。

受时下盛行的“消费主义”浪潮影响，人们的消费意愿越来越强烈。这在宏观数据上似乎也得到了印证：自2014年第二季度起，消费对于GDP 增长的贡献率超过投资，此后便一直居高不下，已然成为拉动国民经济增长的绝对主力（参见图1）。因此，有人认为我国经济增长的动力转换已经完成，消费主导的时代来临。

然而，事实可能并没那么理想。虽说数据不会说谎，但会让人误解，只因其中包含的信息，我们不一定能够真正看透。

中国人的消费水平被严重低估了？

众所周知，投资、消费与出口是拉动国民经济增长的“三驾马车”。业内公认的一个事实是：自改革开放以来，投资一直都是我国经济增长的首要驱动力，这使得国内“消费疲软、内需不足”这一特征备受诟病。

诚然，这与中国人“量入为出”的传统与热衷存钱的习惯不无关系，但更直接的原因恐怕是老百姓收入水平的增长缓慢——毕竟，从数据上看，城乡居民的人均可支配收入在2000年之后才真正进入增长快车道，2000年以前的收入水平大体上没有明显的提升，而这也无形中巩固了人们省钱与存钱的观念，让不爱花钱的惯性一时间难以改变（参见图2）。

为此，我国始终将“扩大内需”作为一项长期的基本国策，其目的就是要通过积极的政策手段来开启国内消费市场，刺激居民消费，从而确保国民经济增长的韧性与稳定性。而今，我们对GDP进行解构，发现消费已经正式取代投资成为国民经济增长的第一驱动力时，相信不少人内心是欣慰的：多年的夙愿已然成真，未来中国经济增长前景将会一片光明……

且慢，现在高兴未免太早了。不信，我们拉长历史再看“三驾马车”对GDP的贡献变化，绝对是别有洞天。

从图3可以发现：改革开放至今的近40年时间里，消费对GDP的平均贡献为58.04%，而这一数字在美国大约是六成，可见我国经济的消费贡献已经可以同美国媲美。此外，大多数时候“最终消费”占GDP 的比重都高于“资本形成总额”，而前者比后者低的年份只有12年而已。即便是国民经济不景气的1989年、1990年和1999年，消费对GDP的贡献也分别高达81.2%、91.7%和88.1%，这固然有当时特定历史背景下，投资受经济低迷与金融危机等因素影响出现大幅下滑的影响，但是，从整体上看，消费足以堪称我国经济增长最稳定的拉动力量。

这究竟是怎么回事？说好的投资驱动呢？难道国人的消费水平被严重低估了？

不，消费对GDP的贡献被高估了

需要注意的是，在解构GDP时，表征消费的指标叫做“最终消费支出”，而不是“居民消费”；换句话说，不是老百姓的消费水平被低估，而是人们将“最终消费支出”和“居民消费”混淆了。

根据官方定义，所谓最终消费支出，是指由购买者向出售者购买货物和服务所支付的价值。从国家层面来看，最终消费支出又包括两方面内容，即居民消费支出与公共消费支出。前者是指核算期内由居民个人直接购买消费性货物和服务所花费的支出，这才真正代表了老百姓的日常花销；至于后者，是指财政为满足社会公共需要用于提供公共消费性商品和劳务的支出，范围涵盖了教育、卫生保健、社会保险和福利、体育和娱乐、文化等方面，而这些支出的付账人主要是政府部门，与老百姓关系不大。

明确了“居民消费只是最终消费的一部分”后，我们可以进一步对最终消费支出的构成加以考察。不难发现，改革开放至今，居民消费支出与公共消费支出均呈现出不同程度的上升趋势，而居民消费支出占最终消费支出的比重一直稳定在70%~80%这一区间内（参见图4、图5）。

在此基础上，我们可以结合前文的分析，将居民消费支出从最终消费支出中剥离出来，进而分别算出历年的居民消费对GDP的贡献程度，再加以平均，便可得到1978-2016年期间我国居民消费对国民经济的整体贡献，这一结果约为44%，比同期最终消费支出占比低了14个百分点。即便在消费主义盛行的近些年，来自居民部门的消费对GDP的贡献也没有人们想象得那么高，2015年与2016年，居民消费占比分别仅比投资高出2个百分点和5个百分点。

投资占GDP的比重其实一直不低

分析完消费，我们再来看投资。

在GDP的解构中，表征投资的指标叫做“资本形成总额”。近些年，资本形成总额占GDP 的比重呈现出逐年回落趋势，且总体上低于最终消费支出占比。

那么，从国际上比较，我国资本形成总额占GDP的比重大概处于什么水平呢？

以2014年为例。世界银行数据显示，当年中国的资本形成总额占GDP的比重是46%（wind数据为46.9%），同期的美国为19%、德国为19%、日本为21%、韩国为29%、俄罗斯为20%、印度为32%、巴西为20%。由此可见，我国的投资占比大体上超过发达国家一倍，同时也远远高于绝大部分发展中国家。另据中泰证券的研究显示，在全球126个有效样本的统计数据中，2011-2015年，资本形成总额对GDP的平均贡献为22.2%，而我国的这一占比是全球平均的两倍。

有没有国家比我们更高呢？当然有。他们是赤道几内亚、阿尔及利亚、莫桑比克和不丹。

换个思维，如果将“固定资产投资总额”这一指标纳入考察范围，我们会发现，全社会固定资产投资占GDP的比重整体上呈现稳步攀升态势——1981年该比重为19.47%，到2016年是81.56%。需要特别注意的是，自2008年以来，随着固定资产投资的不断增加，经济增速反而趋于下降（参见图6）。

还有一点不得不提，那就是“固定资产投资总额”与“资本形成总额”绝不表示同一个概念。在此，我们可以通过数据来直观地看出二者的差别。从下图7中可以看到，近年来，资本形成总额与全社会固定资产投资总额之间的差距越来越大。到了2016年，我国全社会固定资产投资总额超过60万亿元，而资本形成总额却只有33万亿元，也就是说，我国的投资规模占GDP 的比重接近资本形成占比的2倍。

这一现象并不难理解。根据经济学“边际报酬递减”的有关理论，在国民经济劳动力供给不变的前提下，不断扩大投资，一定程度之后，资本的边际报酬就会呈现出递减趋势，即投入等量的资本，从中能够获得的回报却越来越少。

我国前些年之所以没有出现资本报酬递减，主要原因在于劳动力的持续增加，而如今，“刘易斯拐点”已至，劳动力无限供给的格局彻底改变，资本报酬的递减与投资效率的走低也成为必然。

根据清华大学白重恩等人的研究成果，我国近些年的资本回报率在快速下降，而资本形成总额与固定资产投资差距的增大，也进一步印证了这一点。

不管效率如何，固定资产投资这笔钱确实是花出去了，但其中真正体现在GDP核算中的却只有一半。从这个意义上讲，不能因为投资效率的下降导致了消费占比的提升，就认为我国经济已经成为消费主导型；倘若将全部投资都计入GDP核算，那么消费所占比重势必会骤减，这也说明我国投资驱动的粗放增长模式并未发生根本性改变。

消费升级的真相：只属于少部分人

即便如此，我们国家的消费升级还是在真真切切地发生着：一来，从消费总量上看，居民消费支出占国民经济比重有了明显提高；二来，从消费结构上看，我国居民衣食类消费比重持续减少，服务类消费比重在不断提升。

不过，看似风光无限的消费升级，背后却有着不为人知的另一面。

我国居民的整体收入水平一直稳步提升，但是对于不同收入群体来说，其收入的提升幅度与速度却有明显差异，而“贫者更贫，富者更富”这一规律也如同自然法则一般客观存在着。

根据《中国统计年鉴》中的划分方式与统计数据，占全国人口80%的中低收入者，2016年的人均可支配收入为17836元，这一数字尚且不如占全国人口20%的高收入群体2006年的水平（19730元），而2016年高收入群体的人均可支配收入已经高达59259元。收入差距的日渐悬殊，造就了人们截然不同的购买力水平与消费意愿。

全国人口的20%是什么概念？直白一点说，这是一个与美国总人口量级相当的规模。从这个角度来看，当我国拥有一个人口堪比美国的强购买力群体时，国内消费升级的如火如荼就很容易解释，因为他们才是高铁头等舱爆满、五星级酒店客房入住率上升、境外人均购物消费额领先全球的主力军。而剩下那80%的中低收入群体，可能还不具备拥抱消费升级时代的能力。

我国距离“消费主导型”还很远

综上所述，尽管消费占GDP的比重在上升，但却不能证明我国经济的成功转型。迄今为止，我国经济增长仍然无法摆脱投资驱动的粗放模式，扩大内需与刺激消费之路道阻且长。

要想真正让消费成为拉动国民经济增长的首要力量，还需要从以下三方面重点推进：

第一，降低投资增速，提高投资质量。我国投资增速近些年出现了较为明显的回落态势，这是一个好苗头，对于提高国民经济运行质量意义重大。但不可否认的是，低效的投资依然存在，供给侧去产能任重道远；同时，资金不能及时流入高生产率行业，进而造成了生产要素错配现象。因此，投资质量也有待于进一步加强。

第二，要改变热点城市房价“只涨不跌”、“长期上涨”的预期。近些年房价的多番暴涨，让不少人因投身于买房大业而身背巨额负债，进而对消费造成了严重挤压。因此，我们要坚持“房住不炒”的理念，稳住调控力度不放松，同时也应尽快推出长效机制，打破“政策一松绑、房价即反弹”的楼市不良循环。这样，既有助于减少居民部门的可支配收入中用于购房的花销，又可以增加其消费支出。

第三，通过相应的政策调控来尽量缩小贫困差距。一方面，可以借助财政转移支付和“精准赋税”等手段，增加中低收入群体的收入，进而提高其消费能力；另一方面，适当地提高对高收入人群在财产性收入方面的税负，从而助力国民经济向消费主导转型。

除此之外，说到底，我国经济要想完成从投资驱动向消费驱动的转型，其根本还是在于广大老百姓消费意愿的进一步强化，而这需要人们收入的不断增加作为支撑。

之于我们自身，还需多多思考：如何能够通过不断提升知识储备和业务能力来提高自己的收入水平，并且通过合理的资产配置来实现财富的增值；待到经济基础愈加夯实的那一天，人们自然就更愿意通过增加消费来追求和享受更高品质的生活了。

毕竟，只有自己才最靠得住——你若盛开，蝴蝶自来。

互联网巨头回归A股，A股真的准备好了么？

作者:2私基，来源于:2私基

随着部分家电和白酒上市公司业绩低于预期，价值投资这个词儿少了很多热度。相反，最近频繁被投资者挂在嘴边的热门词汇是独角兽。估计爱说价值投资的人，跟突然转身爱上独角兽的，是一批人的概率较大。

但夜深人静的时候，当你在床上反思这件事：独角兽来了，你真做好准备了吗？你可能会吓出一身冷汗。

A股还是存量行情，有钱接大招吗

A股还是存量行情，意味着整个池子的水一直没有增加。有什么证据呢？

一是打新的收益率不断下降。

由于新股发行是股票市场帮助实体经济融资的重要手段，所以新股一直不能停。但如果观察打新的收益情况，可以发现2016年年中以来，新股的涨停板天数持续下降，从2016年年中新股平均18个涨停板，下降到2017年年中平均8个涨停板，到目前平均4个涨停板。今年2月上市的部分新股如养元饮品、今创集团等更是只有一个涨停板就开板，堪称史上表现最差新股。养元饮品就是生产六个核桃的公司，虽然产品结构单一，但市场知名度还是很高的，一个板就over只能说明二级市场的水已经浅到露出脚踝了。

图1 新股涨停板天数越来越少

数据来源：Wind、2私基

二是风格只能切换，不能普涨。

二级市场的水不够深，还表现在市场只能展开风格切换，不能普涨。最简单的观察办法就是看成长股和蓝筹股的相对表现，在存量行情下，成长股和蓝筹股具有跷跷板效应，一个强势必然对应另一个弱势。

比如3月6日一点半以后在地产股带动下沪深300指数走强，但300指数走强立马将创业板指推下水池（参见图2）。再比如3月1日下午创业板指继续走强，但创业板走强一脚就把沪深300踹下去了。

存量行情就比如粮食不够吃、但有两个娃的家庭。老大吃饱、老二就会挨饿；老二吃饱、老大就挨饿。自家的娃粮食都不够吃的呢，还能摆宴席招待众多来宾吗？

图2 权重股上涨通常会拉成长股下水

数据来源：Wind、2私基

所以现在大家还沉浸在独角兽的“角”带来的盈利进攻性和股价弹性身上，还没考虑“兽”的问题。比如富士康计划募资270亿元，但2017年募资最高的中国银河、募资40亿，今年截至目前募资最高的华西证券、募资50亿，跟富士康的募资额相比要少很多。所以独角兽上市，要么侵蚀其他IPO的份额，保证一级市场正常运行；要么导致新股破发。比如今年1月和2月的IPO总募资额是280亿元，意味着一个富士康就可以让新股暂停2个月。

更何况富士康还只是一个开始……

独角兽上市，是红利盛宴还是最后一棒

三六零借壳上市，对三六零来说目前市值3400亿元，是美股退市前市值93亿美元的6倍。但三六零借壳成功后，股票价格基本横盘，与此前更早借壳的顺风控股走势类似。

这种走势提醒我们，独角兽业绩增长最快的阶段或许已经过去，随着上市时预期打得太满，回报一次性兑现的概率较大，很难成为长期价值股。

首先，从基本面来看，独角兽增长最快的阶段或许已经过去。

我们当然承认独角兽的增长潜力，但也不能否认，这批独角兽业绩增长最快的阶段已经过去。虽然从收入增速的绝对值来看，每年40%-60%的收入增速还是很高的；但如果跟历史业绩相比，现在这批独角兽已经相继进入业绩稳定增长的阶段。

图3 独角兽收入增速已经逐步回落

数据来源：Wind、2私基

其次，独角兽很难像过去两年的白酒家电一样走出慢牛行情。

一是起点高低不同，比如白酒行情是在打压三公消费、渠道去库存导致的行业2年低迷期后开始的，但独角兽的起点很容易成为最高点，因为大家都知道独角兽，所以估值一步到位的概率较大，缺乏白酒行情一样的低起点、业绩和估值正反馈的价值发现阶段。

二是过去两年投资者风险偏好很低，所以业绩稳定增长的蓝筹受到青睐，机构也逐步在蓝筹上抱团，使得股价持续上涨。但投资者经历了白酒家电慢牛行情的教育，还会错过独角兽的机会吗？如果这么考虑，那么独角兽就不会有慢牛行情，所有想买的人都在会上市之初就已经买入。举个栗子，如果所有人都预期4月股票市场会上涨，那么股票市场最终会在3月上涨、4月下跌，因为预期上涨的人都在3月买入了。

所以准备入手独角兽的人要小心，或许你的心里是做价值投资、长期持有，但很可能最终的现实是你接过了最后一棒……

信用过低危及房贷车贷！教你5招搞定个人信用提升

来源：苏宁财富资讯

作者：苏宁金融研究院管培生 程天沅

贷款有过几天逾期未还？拥有很多张信用卡但都没怎么用？想申请房贷车贷，要查征信报告，上面记录了哪些信息？

我们都知道，优秀的个人信用非常重要，它和生活息息相关，如果有一天因为疏忽忘记还款，这影响大吗？

关于这些问题，下文将逐个进行详细剖析，您请往下看。

信用报告

当你向金融机构申请贷款时，金融机构将会在征得你同意的情况下，查阅你的“经济身份证”——人行个人信用报告。

它是一份由中国人民银行征信中心出具的记录，会客观收集和展示已发生的客户信用事件，但不对客户做任何评价。

目前个人信用报告分为三个版本：个人版、银行版和社会版。我们需要关注的是其中的个人版，主要供消费者了解自己的信用记录。

每人每年可免费查询自己的人行信用报告2次。可以通过网络查询或前往人民银行网点查询，携带身份证即可。

查看个人信用报告时，有一点小贴士——除了查看是否有信息不符外，需要特别关注一下“查询记录”这栏，看看有没有你不知道的查询记录，这表示有他人或机构越权查询你的报告，这种情况可向机构质询，或向人行反映。

另外，被查询次数反映了一段时间内申请贷款或信用卡的次数，如果在一段时间内你的报告查询次数非常多，但实际上你并未得到新贷款或新信用卡，那一般会认为是多次申请均未成功，这对接下来的申请贷款或信用卡是不利的。

如果报告上有记录逾期等不良事件，请尽快终止该事件，因为终止后它还会在报告中展示5年。所以，平时尽量不要发生逾期，不小心忘了，也可以先跟银行进行沟通，否则在报告中留下不良记录，一展示就是5年。

信用分

信用评分的目的是，希望能借由这样一个分数，帮助金融机构判断放款给客户的风险，对于个人客户而言，也希望它侧面展示自己的信用情况，便捷自己的申请。

目前信用分体系在美国已经比较成熟。我们以大多数美国银行采用的FICO评分为例来了解一下，它的分数大致为左偏的正态分布，分数极高和极低的人都很少，常见的分数在300到850之间，评分越高代表违约率越低，银行也更愿意放款给这样的客户。一般740分以上属于信用优秀，申请基本无压力。

FICO主要采用了5类变量作考量：信用历史记录（35%）、贷款总额（30%）、信用历史长度（15%）、信用类型（10%）、新开信用账户（10%）。

其中，最重要的是历史记录，这项类似我们的人行信用报告，着重看已发生的信用事件，包含了个人各种信用账户的贷款、还款记录、是否有逾期等行为以及逾期偿还的情况。

占比重第二大的是贷款总额，会细分不同类型的贷款，计算贷款总额占信用额度的百分比，一般这个百分比越低，对信用积分是越好的。这不难理解，假如用户已经借贷的总数接近他的额度总和，还要再申请新贷款，那么银行也会再三考虑他的还款能力的。

第三项信用历史长度，基本反映了用户的忠诚度和对信用产品的熟悉程度，使用历史越长，相对来说得分越高。

第四项信用类型，反映了个人管理多种类型信用账户的能力，一定程度上反应了活跃度、灵活性等等。

最后一项新开信用账户，基本反映了用户在短时间内有多少新开账户。值得提醒的是，用户应避免在短时间内持有较多的新开账户，而且如果信用历史还不长，更容易被怀疑具有高信用风险。

值得一提的是，人们常说的逾期情况在信用分历史记录中，大约占35%，如果不是特别严重比如恶意逾期不还，偶尔忘了一两次，对整体的信用分影响是有限的，所以有时忘了还，尽快补上后，不用太过担心。

提高个人信用的小技巧

从以上信息，我们可以总结一些有助提高个人信用的小技巧：

（1）不要浪费每年查询人行征信报告的机会。准确掌握自己的信用记录，有问题及时与人行分支机构和信贷机构进行沟通；遇到对报告内容有异议的，可向人行提出异议申请。

（2）根据还贷能力来申请适当数目的贷款。尽量不要让使用且未还的贷款数量占总额度的比例过高；对于信用卡，如果银行给的额度不够用怎么办？ 可以每月多多使用，提前还款，让银行看到你的消费能力与良好信用。

（3）谨慎开卡，信用账户并不是越多越好的。不要为了临时活动去开不必要的卡，开了卡如果基本不用的话，对信用反而有害无利，比如当你遇到真正需要的好信用卡时，信用账户数过多，银行也会考虑批不批，批多少额度；所以，尽量选择自己真正需要的，或者有一定申请难度的信用卡，这样如果申请成功，也是对你信用水平的一种认可。

（4）及早申请信用卡，建立信用历史。可以多尝试一些信贷产品，丰富自己使用的信用类型，当然别忘了及时还，可别因为信用类型多了而顾此失彼发生逾期，那就得不偿失了。

（5）申请贷款、信用卡的时间间隔不宜过短。如果短时间内大量申请贷款或信用卡，很容易被怀疑是高风险用户。所以刚开始建立信用账户的读者也不用着急，选择自己心仪的卡，一步步积累信用就好。

网络爬虫无处不在，无意中的链接分享就能泄露你的隐私

来源：苏宁财富资讯

作者：苏宁金融研究院高级研究员 沈春泽

曾经有个朋友满脸困惑地问起：“据说谷歌可以搜索到私人电子邮件，真的假的？”

回答前，需要解释一下网页爬虫的作用。今天，搜索引擎已经成为大家上网冲浪的标配，甚至有“内事不决问百度，外事不决问谷歌”的说法。搜索引擎可以根据用户的需要提供内容丰富的网上信息，相对于传统的纸质信息媒介，从根本上改变了人们获取及处理信息的习惯，极大提高了效率。而其基础就在于大量收集网页信息的网络爬虫。在搜索引擎发展的初期，相互间炫耀的一个指标就是，自己的爬虫收集的网页数量。

网络爬虫

搜索引擎收集网上信息的主要手段就是网络爬虫（也叫网页蜘蛛、网络机器人）。它是一种“自动化浏览网络”的程序，按照一定的规则，自动抓取互联网信息，比如：网页、各类文档、图片、音频、视频等。搜索引擎通过索引技术组织这些信息，根据用户的查询快速地提供搜索结果。

具体来说，如果把互联网上的网页或网站理解为一个个节点，大量的网页或网站将通过超链接形成网状结构。人们浏览网页时，通过点击网页上的链接，从一个节点跳转到下一个节点，就像是在一张网上行走。网络爬虫模拟了该行为，但是速度更快，跳转的节点更全面，所以被形象地称为网络爬虫或网络蜘蛛。

随着网络的迅速发展，不断优化的网络爬虫技术正在有效地应对各种挑战，为高效搜索用户关注的特定领域与主题提供了有力支撑，也为中小站点的推广提供了有效的途径，为此，网站针对搜索引擎爬虫的优化（SEO）曾风靡一时。

爬取原理

需要说明的是，网络爬虫从一些初始网页URL（网页地址）开始抓取网页，在此过程中，不断从当前页面上抽取新的链接用于爬取，循环往复扩充到整个网络，为搜索引擎或大型网络服务商采集数据。

网络爬虫的爬行范围和数量巨大，对于爬行速度和存储空间要求较高。同时，由于待刷新的页面很多，所以通常采用并行的方式。

下图所示的是一个通用的爬虫框架流程。首先精心选择一部分网页，以这些网页的链接地址作为种子URL放入待抓取的URL队列中，爬虫从URL队列依次读取每个URL，通过DNS解析转换为对应的IP地址。然后将其和网页相对路径交给网页下载器，网页下载器负责网页内容的下载。一方面下载的内容存储到数据库中，等待后续处理；另一方面该网页的URL添加到已抓取队列（这个队列记载了已经下载过的网页URL，避免重复抓取）。此外，从刚下载的网页中抽取出新的URL，如果该链接没有被抓取过，则添加入待抓取URL队列，在之后的调度中下载对应的网页。这样循环往复，直到待抓取URL队列为空（实际上不会为空，会有其他的条件终止爬取），代表完成了一轮完整的抓取过程。

上述是一个通用爬虫的整体流程，由于互联网上网页数量太过巨大，在实践中通常会有不同的爬行策略，常用的有：深度优先策略、广度优先策略。网站典型的网页层次关系通常像一棵树，如果把主页看作树根，其他的网页则是枝杈上的树叶。具体来说：

（1）深度优先策略是在垂直方向上，逐个分支爬取，依次访问下一级网页，直到不能再深入为止。爬虫在完成一个爬行分支后，返回到上一链接节点搜索其它分支。当所有分支遍历完后，爬行任务结束。这种策略比较适合垂直搜索或站内搜索，但爬行页面内容层次较深的站点时会造成资源的巨大浪费。

（2）广度优先策略是在水平方向上，逐个层面爬取，优先爬行处于较浅层次的页面。当某一层次的全部页面抓取完后，再深入下一层爬行。这种策略能够有效控制页面的爬行深度，避免遇到一个无穷深层分支时无法结束爬行的问题，不足之处在于需较长时间才能爬行到目录层次较深的页面。

爬虫技术也面临着一系列的难题，比如：互联网上存在的大量重复网页、动态页面、动画特效页面等，增加了信息获取的困难。现有的搜索引擎能抓取的网页不超过互联网所有网页总数的一半，极端的估计是少于16%。

爬虫应用

坚持看到这里的宝宝要问了，枯燥的技术结束了吧？到底爬虫还有什么用呢？

众所周知，很多电商平台都有自动调价功能，它会依靠爬虫程序扫描同类网站商品的价格，针对性地展开相应的调整，从而取得价格优势，为销量提供保证。比如苏宁易购的“棱镜”系统就是一款实时比价工具。利用网络爬虫获取其他电商平台的同款商品的价格、促销、评论等商品信息，给业务人员的工作带来了极大便利。

其实，自从亚马逊十多年前推出该自动比价模式以来，机器人驱动的定价给整个零售行业带来了巨大的变革。以往，零售店最多每周调价一次，因为更换标签的成本和时间成本都很高。而在电子商务世界，零售商却可以随时调价，有时候甚至达到每天数次，这都得益于竞对定价数据等。

在电子商务行业，使用爬虫成为了一场“猫捉老鼠”的游戏。企业一方面希望阻止竞争对手爬取自己的网站，另一方面又想渗透对手的网站。尽管拥有各类技术防范，但爬取机器人数量还是令人震惊。除了竞争对手外，有的流量还来自科研院所，目的是研究竞争、搜索引擎、广告服务，甚至还有的是企图入侵网站帐号的不法分子。

爬虫安全性

到了这里，必须说下网络爬虫的安全性问题。由于网络爬虫的策略是尽可能多的“爬过”网站中的高价值信息，会根据特定策略尽可能多的访问页面，占用网络带宽并增加网络服务器的处理开销，不少小型站点的站长发现当网络爬虫光顾的时候，访问流量将会有明显的增长。

例如，某个网站上有一个10MB（如PDF格式）的文件，使用爬虫抓取该文件1000次，就会使网站产生大量出站流量（可在数分钟内达到GB级），引起的后果很可能是灾难性的。这种攻击达到的效果似曾相识，类似臭名昭著的DDoS攻击，使网页服务在大量的暴力访问下，资源耗尽而停止提供服务。

此外，恶意用户还可能通过网络爬虫抓取各种敏感资料用于不正当用途，主要表现在以下几个方面：

（1）网站入侵，大多数基于网页服务的系统都附带了测试页面及调试用后门程序等。通过这些页面或程序甚至可以绕过认证直接访问服务器敏感数据，成为恶意用户分析攻击的有效情报来源。而且这些文件的存在本身也暗示网站中存在潜在的安全漏洞。

（2）搜索管理员登录页面，许多在线系统提供了基于网页的管理接口，允许管理员对其进行远程管理与控制。如果管理员疏于防范，一旦其管理员登录页面被恶意用户搜索到，将面临极大的威胁。

（3）搜索互联网用户的个人资料，互联网用户的个人资料包括姓名、身份证号、电话、邮箱地址、**、通信地址等个人信息，恶意用户获取后有可能实施攻击或诈骗。

因此，采取适当的措施限制网络爬虫的访问权限，向网络爬虫开放网站希望推广的页面，屏蔽比较敏感的页面，对于保持网站的安全运行、保护用户的隐私是极其重要的。所以，谷歌正常情况下不应该抓取到私人邮件，但不排除特别情况下，由于服务器的管理漏洞而发生信息泄露的可能。

能坚持看到最后的童鞋必须有奖励，推荐一个搜索引擎shodan ，被称为“黑暗”谷歌，也被称为世界上最可怕的搜索引擎。它看上去跟普通搜索引擎一样，但是可以搜到网络上存在的摄像头、路由器、打印机等数据采集监控系统，并根据其所属国家、操作系统、品牌以及其它属性进行分类。如果说，谷歌和百度是网站内容搜索，那么，它则是网络设备搜索，在物联网应用中提供了探索的场景。