扫描关注网站建设微信公众账号

扫一扫微信二维码

项目介绍

[ 万表网商品推荐系统-大数据挖掘 ]

网站设计案例欣赏行业网站设计
案例标签
大数据挖掘
设计欣赏

万表网,中国最大的名表商城。使用LDA算法对采集过来的用户商品浏览轨迹进行数据建模,进而挖掘出用户商品推荐算法。
开发技术: SparkMlib,HDFS,Kafka,Django
网站链接: www.wbiao.cn
人员配置:1名项目经理+2名大数据工程师+1名UI设计+1名前端开发

步骤一:通过javascript采集每个用户的商品浏览轨迹(url)并通过Ajax发送到后台,用Nginx来做日志接收,每天定时将日志上传到分布式文件系统HDFS保存.
步骤二:用正则提取出用户浏览商品的数据(从商品页面url得知商品型号),通过Spark MLib对用户历史商品浏览信息进行数据建模(采用LDA算法),定期生成一个数据预测模型。
步骤三:LDA模型聚类出N个群体,在新用户访问商品数达到一定量是即可通过模型对该用户归位某个类别,并推荐出该群体对应的相关商品。此外,实时处理运用Spark Streaming+Kafka 可作为实时推荐。
步骤四:用Django包装成商品推荐的接口(通过浏览轨迹请求,返回推荐结果),在web上提供前端调用。