关闭

会员登录

还没有账号 立即注册

自动登录(30天内) 忘记密码?

用第三方账号直接登录

微博账号登录 QQ账号登陆

关闭

找回密码

关闭

邮件订阅

当前位置:网赢天下网>视点>

罗文川:缔元信在网站数据统计上的探索

2014-08-15 09:05来源:网赢天下网0

  8月9日,在"数据分析与数据可视化"沙龙活动中,CTO罗文川分享了缔元信.网络数据在网站数据统计方面的研究和探索。他表示数据分析对网站运营和网站优化等方面起着支撑整个过程的作用。
 
  (图为缔元信.网络数据CTO罗文川)
 
  据罗总介绍,缔元信.网络数据平均每天跨网采集2亿网民数据,日均数据处理能力达30亿条,客户群覆盖国内主流媒体网站、政府行业主管机构、4A代理机构及汽车、IT、快消、家电等行业的一线品牌企业。
 
  基于长期对国内主流媒体网站的服务经验,缔元信.网络数据在网站数据统计方面取得了一定成果。罗总介绍,缔元信的网站数据统计系统可以帮助网站全面深入地分析网站运营状况,了解网站用户的行为特征,帮助网站进行业务优化。其主要特点:提供30余项数据报表。目前这套系统已经在国内主流媒体网站上应用,并在实际应用中不断优化和升级。
 
  接下来,罗总又详细介绍了网站数据统计系统的架构和计算流程。他介绍,网站数据统计系统计算流程为:"网页埋点-数据收集-数据清洗-业务计算-结果入库-数据报表"六大环节。在数据采集这一环节,主要是网页埋点方法,即通过页面嵌码来获取用户访问行为,因为页面嵌码的采集方法成本低,速度快,效果好(获取的数据客观)。在数据收集环节,使用开源软件flume作为数据传输工具,充分利用了Flume分布式、高可?、出错可恢复等的特点。在数据清洗环节,则按不同业务拆解数据,去除脏数据,将数据格式化。在业务计算环节,计算网站流量数据,统计所需要的数据。在结果入库环节,选择在hbase上保存数据的统计结果。最后数据报表环节,用可视化的方式展示数据,简单易懂,这样便实现了一个完整的网站数据统计系统计算流程。
 
  同时,罗总还分享了在网站数据统计方面的相关经验:1、面向分析师的查询工具。针对非技术人员的报表生成问题,缔元信.网络数据有面向分析师的查询工具,以严格的数据查询权限以及数据计算优化的优势,方便非技术人员使用。2、做好系统监控和风险防范。缔元信.网络数据的监控体系分三大部分:系统监控、业务监控、数据监控。除此之外,消除单点风险,做好数据重传、重算机制,都是保障系统平台稳定性的要点。
 
  缔元信.网络数据是中国领先的第三方互联网数据服务提供商。凭借自主研发的超大型网络数据服务平台,以独有的全景数据服务模式,在网站运营效果、网络媒体价值评估、网络广告营销效果、网络公关舆情、电子商务等多方面为各类网站、品牌企业、公关及广告代理公司、政府部门等提供翔实专业的数据监测、分析及咨询服务。