基于Scala的电商用户分析系统的设计与实现开题报告
基于Scala的电商用户分析系统的设计与实现开题报告
选题的背景、意义及研究现状：
1．选题背景
消费心理和消费行为是企业制定经营策略特别是制定营销策略的起点和基础,传统的数据分析模式是基于Excel表格来实现的,进入互联网的时代后所带来的是用户的相关数据的增量十分庞大传统的数据分析方法已不能满足企业的需求，所以就需要新的数据分析系统的出现来解决相关需求，所谓的数据分析就是把不可描述的数据用图表的形式展现出来让数据更容易被理解，被理解的数据才是有价值的数据。
2．选题的意义
面对电子商务这种特殊的消费形式，通过分析消费者的消费心理和消费行为，通过分析的数据结果可以直接影响电子商务的经营效果和发展空间。为企业建立优化营销方案提供参考意见，挖掘潜在客户，更好地规划客户关系策略和商务运营决策。
进入了互联网时代后带来的就是用户的各种数据信息，为了给用户提供更好的服务所以我们就需要对用户的信息进行分析。在线分析用户评论当检测到差评时通知相关人员进行差评处理，对广告的实时点击量分析，通过分析广告的点击量来判断这个广告的效果如何做出相应的调整计划安排，检测恶意点击广告拉入黑名单，通过离线分析Top10的商品统计，分析各区域热门商品统一模块。
[资料来源：http://www.doc163.com]
3．选题的研究现状
目前国内外有google analytics、百度统计、淘宝页面显微镜等。google analytics可以对目标网站进行访问数据统计和分析，并提供多种参数供网站拥有者使用。百度统计是百度推出的一款免费的专业网站流量分析工具，能够告诉用户访客是如何找到并浏览用户的网站，在网站上做了些什么，有了这些信息，可以帮助用户改善访客在用户的网站上的使用体验，不断提升网站的投资回报率。
研究内容、研究方法与思路：
1．研究内容
客户特征分析：对客户的各方面参数进行分析和总结，力求得出自身商业对象的主要特点，从而找准商业定位，更好地服务于自己的主要客户群。
消费倾向分析：对不同特征客户的消费倾向、喜好等进行分析和预测，找准不同客户的需求，为不同的客户提供相应的、个性化的服务。
利润率分析：利润的多少是商家最为关注的问题之一，对不同的客户，交易所产生的利润可能会有相当的差距，因而对不同客户特征、不同商品的综合利润率进行分析，可以找到能产生最大利润的客户群和商品列表，而这将是商家重点关注的问题。
客户忠诚度分析：忠诚度分析主要是为研究不同特征、不同购买行为的客户的忠诚度，以及预测如何提高这些客户的忠诚度的途径。 [来源：http://www.doc163.com]
风险分析：交易是存在风险的，风险分析就是对客户、交易的可靠性进行分析，对交易中潜在的风险进行研究，为商家规避风险起到警示的作用。
潜在客户分析：对潜在客户的分析是目前比较薄弱的环节，但同时却是非常重要的分析目标。通过综合多方面的分析结果，系统地展开分析和预测，以找出最有可能成为自己客户甚至优质客户的群体，进而有目的展开营销宣传，电子商务的客户行为分析。
2．研究方法与思路
开发过程拟采用Flume把采集数据到大数据平台，数据分两种状态一种发送到Hdfs或者保存到HBase数据库，另一种是把数据发送给Kafka使用SparkStreaming来实时的分析数据把分析后的数据保存的Mysql数据库。离线的分析使用Hive来对数据的清洗、聚合后保存的Mysql数据库。通过J2EE来获取Mysql数据库的处理后的数据，使用Echarts报表数据展示。
1. 模拟用户在电商平台的行为数据使用Flume把数据导入到大数据平台下；
2. 把Hdfs上的数据抽取到Hive数据库中；
3. 使用SparkStreaming分析数据然后把数据存到MySQL；
4. 使用Hive对数据清洗、聚合。
5. 构建J2EE项目查询MySQL数据库把数据在web页面展示。 [资料来源：https://www.doc163.com]
主要创新点：
1. 使用Hadoop生态圈技术取代了Excel不能对大数据分析。
2. 使用Hadoop生态圈技术实现了对数据的实时分析。
3. 使用Hadoop生态圈技术实现了数据的保存于备份问题。
总体安排和计划进度：
2017年 12月1日至12月8日：学生选题完成；
2017年12月8日至12月15日：学生完成开题报告；
2017年12月15日至12月20日：分组开题；
2017年12月20日至2018年3月9日：提交毕业论文（设计）一稿；
2018年3月9日至4月16日：提交二稿、中期检查、查重率检测；
2018年4月16日至4月18日：提交定稿书面版、电子版及各种相关材料；
2018年4月19日至4月20日：参加毕业设计答辩。
准备情况：
[1] 郭文超.Hadoop应用框架[M].北京：人民邮电出版社，2017.
[2] 王家林，孔祥瑞.Spark零基础实战[M].北京：化学工业出版社，2016.
[3] 褚尚军，王亮.轻松学JAVA[M].北京： 电子工业出版社，2013.
[4] 王家林，管祥青.Scala语言基础与开发实战[M].北京：机械工业出版社，2016.
[5] 史东杰.Flume(构建高可用可扩展日志采集系统)[M].北京：电子工业出版社， 2015.
[资料来源：Doc163.com]
[6] 牟大恩. Kafka入门与实践[M].北京：人民邮电出版社，2017.
[7] 曹坤.Hive编程指南[M].北京：人民邮电出版社，2013.
[8] 蒋杰. HBase编程指南[M].北京：人民邮电出版社，2013.
[版权所有：http://DOC163.com]