基于旅游景点的数据分析与推荐系统
摘要:本项目构建基于大数据分析的旅游推荐系统,通过爬取携程等平台的景点数据,运用Hadoop、MapReduce进行数据处理,结合机器学习算法实现景点分类与评论分析。系统采用Java+Python技术栈,基于MySQL存储数据,Tomcat部署Web服务,最终开发具备增删改查功能的推荐系统,并通过PyEcharts等工具实现数据可视化。项目成果可为旅游平台优化推荐策略提供数据支持,提升用户体验。
课题内容
1.项目目标与意义: 本项目旨在对旅游平台上的景点数据进行收集和分析,了解用户对旅游景点的评价和偏好,为旅游平台提供优化建议。运用大数据处理和分析技术对旅游景点数据进行清洗、整合和挖掘,利用机器学习算法进行旅游景点名称的分类和评论数据的推荐。对处理和分析后的景点数据做成一个增删改查功能的旅游推荐系统,帮助用户选择自己感兴趣的景点。
2.技术体系: 项目将使用java、python作为开发语言,MySQL作为关系数据库,MapReduce作为数据分析和处理工具,pycharm作为数据采集、推荐算法、数据可视化开发工具,Tomcat作为java web的运行工具。
3.项目流程:
(1)从携程旅行网址,攻略.景点旅游网站上爬取旅游景点数据;
(2)安装并配置JDK、Hadoop等开发环境;
(3)在MySQL数据库中设计并创建数据库、表和视图,用于存储景点信息、旅游景点评价数据以及分析结果;
(4)使用IntelliJ IDEA开发MapReduce程序,对存储在Hadoop中的旅游景点数据进行处理和分析,提取有价值的数据;
(5)使用机器学习算法对景点评论进行分词处理并统计出现的权重,对景点名称进行分类;
(6)使用IntelliJ IDEA配置Tomcat,利用Tomcat运行容器对处理和分析后的旅游景点数据做一个推荐系统,实现增删改查的功能;
(7)使用pyecharts、matplotlib、BI等数据可视化工具,使得可视化分析的结果能以直观的方式进行展示。
课题任务要求
1.软件和环境配置:本项目所涉及的系统及软件包括:Linux、MySQL、Hadoop、IntelliJ IDEA、Pycharm、Tomcat等,采用java语言编写MapReduce程序和推荐系统设计的程序,采用python语言进行数据爬取、推荐算法实现、数据可视化。相关软件的版本大致如下:
(1)VMware Workstation 16
(2)CentOS 7
(3)MySQL:8.0
(4)Hadoop:3.1.3
(5)IntelliJ IDEA 2022.3.3
(6)Pycharm 2020.2.1
(7)Tomcat 8.5.31
2.获取旅游数据的途径很多,如携程旅行、猫途鹰、穷游网等。数据源容易获取,编写python代码很好爬取数据。
3.搭建hadoop平台使用集群,数据库建立,在MySQL中创建适用于旅游景点数据的数据库、表格和视图,将爬取的数据进行清洗,确保数据的准确性和完整性。
4.MapReduce程序开发:使用MapReduce开发数据分析程序,从数据集中抽取、清洗、转换和加载数据,并生成有价值的旅游景点数据。
5.系统设计:利用tomcat运行容器编写java web程序做一个前后端交互的旅游推荐系统,实现对处理和分析后的旅游景点数据的增删改查功能。
6.数据的可视化:利用可视化工具进行数据的可视化工作,可使用图表、图像等可视化元素。通过折线图、柱状图等形式展示数据。
7.质量控制:所有开发和分析的工作都应形成文档说明,并实现可重复的过程和结果。所有的过程和结果都要进行问题检查,以确保高质量和高安全。
8.论文撰写:撰写完整的项目报告,内容包括项目的设计、实现、测试和结果分析,要求写清楚每一步的操作过程及思考和分析。
主要参考文献
[1]张名扬,王子俊,罗兴稳,等.基于协同过滤算法的旅游景点可视化分析系统的设计与实现[J].长江信息通信,2024,37(07):21-23.DOI:10.20153/j.issn.2096-9759.2024.07.007.
[2]徐锟,赵永智,王涛,等.基于深度学习的旅游景点推荐模型研究[J].滁州学院学报,2024,26(02):47-53+95.
[3]许向荣.基于改进遗传算法与多源异构数据的旅游推荐算法研究[D].西安理工大学,2023.DOI:10.27398/d.cnki.gxalu.2023.001863.
[4]张楚怡.文旅融合视角下旅游景点信息的语义网络构建及展示研究[D].华中师范大学,2023.DOI:10.27159/d.cnki.ghzsu.2023.002193.孙玮梓.
[5]占贻畅.旅游景点客流量预测与个性化推荐算法研究[D].长春工业大学,2023.DOI:10.27805/d.cnki.gccgy.2023.000583.
[6]班航,王忠群.基于情境聚类扩展用户画像的旅游景点推荐方法[J].安庆师范大学学报(自然科学版),2023,29(02):75-79+86.DOI:10.13757/j.cnki.cn34-1328/n.2023.02.013.
[7]王芸.面向旅游景点评论的方面级情感分析研究[D].西南交通大学,2023.DOI:10.27414/d.cnki.gxnju.2023.001537.
[8]范路桥,高洁,段班祥.基于Python+Flask+ECharts的国内热门旅游景点数据可视化系统[J].现代电子技术,2023,46(09):126-130.DOI:10.16652/j.issn.1004-373x.2023.09.024.
[9]金佳丽.基于三维卷积融合评级与在线评论的景点推荐方法研究[D].中南大学,2023.DOI:10.27661/d.cnki.gzhnu.2023.002551.
[10]张晶莅.基于转换和集成的长沙市景点推荐研究[D].中南大学,2023.DOI:10.27661/d.cnki.gzhnu.2023.005242.
[11]熊搏.基于动态规划的旅游路径算法研究[D].海南大学,2023.DOI:10.27073/d.cnki.ghadu.2023.000113.
[12]田运.基于位置社交网络的旅游景点推荐模型研究与系统实现[D].辽宁大学,2023.DOI:10.27209/d.cnki.glniu.2023.000914.
[13]孙玲,达举霞.基于网络大数据建模对甘肃旅游现状分析[J].科技资讯,2023,21(08):247-250.DOI:10.16661/j.cnki.1672-3791.2211-5042-7903.
[14]周倩.基于情感识别和负面评论挖掘的旅游景点评论研究[D].南京审计大学,2023.DOI:10.27835/d.cnki.gnjsj.2023.000356.
[15]李坤鹏.基于旅游大数据挖掘的智能景点推荐体系研究[J].旅游与摄影,2023,(01):23-25.
[16]杜春.旅游景点评论的情感分析和可视化系统研究及实现[J].信息与电脑(理论版),2022,34(24):154-157.
[17]王廉之,张岳,汤倩,等.基于标签的个性化旅游推荐及情感分析[J].信息与电脑(理论版),2022,34(21):98-101.
[18]陈勇.基于协同过滤算法的旅游推荐系统的设计[J].价值工程,2022,41(30):160-162.
[19]杨雯丽.基于语境感知的旅游推荐研究及实现[D].上海师范大学,2022.DOI:10.27312/d.cnki.gshsu.2022.001660.
[20]马子睿.基于情感词典的旅游景点推荐算法[J].电脑编程技巧与维护,2022,(04):20-21+37.DOI:10.16184/j.cnki.comprg.2022.04.009.
[21]郑吟秋,汪弘扬,程玉,等.融合神经网络与矩阵分解的旅游景点推荐模型[J].湖北工业大学学报,2021,36(02):29-33.
[22]陈源鹏,古天龙,宾辰忠,等.融合图表示学习和序列挖掘的景点推荐方法[J].计算机工程与设计,2020,41(12):3563-3569.DOI:10.16208/j.issn1000-7024.2020.12.040.
[23]崔春生,王雪,李文龙.基于用户在线评论的旅游景点推荐算法研究[J].系统科学与数学,2020,40(06):1103-1116.
[24]陈思,田敬阳.基于协同过滤算法的旅游景点推荐模型研究[J].现代电子技术,2020,43(11):132-135.DOI:10.16652/j.issn.1004-373x.2020.11.031.
[25]何雪琴.基于情感分析的旅游景点推荐[D].新疆大学,2019.
[26]朱涛.基于深度协同过滤与多模态分析的旅游景点推荐系统研究[D].华东交通大学,2019.DOI:10.27147/d.cnki.ghdju.2019.000116.
[27]张舜尧.基于序列学习的旅游景点推荐研究[D].桂林电子科技大学,2019.
[28]潘永奇.基于用户聚类的旅游景点推荐算法研究[D].海南大学,2019.DOI:10.27073/d.cnki.ghadu.2019.000144.
[29]韦朋杰.基于微博大数据与机器学习算法的旅游景点推荐方法研究[D].江西师范大学,2019.DOI:10.27178/d.cnki.gjxsu.2019.000759.
[30]刘斌.基于分层抽样统计与协同过滤的旅游景点推荐系统研究[D].华东交通大学,2018.
[31]岳森旺.基于关联规则挖掘算法的智慧旅游景点推荐[D].西北师范大学,2018.
[32]张占昭.加权挖掘算法在智慧旅游景点推荐系统中的应用分析[J].数字技术与应用,2017,(03):168+256.DOI:10.19695/j.cnki.cn12-1369.2017.03.092.
[33]林琬珍.基于协同过滤技术的旅游景点推荐系统的设计与实现[D].辽宁大学,2016.
[34]马腾腾,朱庆华,曹菡,等.基于Hadoop的旅游景点推荐的算法实现与应用[J].计算机技术与发展,2016,26(03):47-52.
[35]侯新华,文益民.基于协同过滤的旅游景点推荐[J].计算技术与自动化,2012,31(04):116-119.
[36]令狐红英,姜季春.改进的贝叶斯算法在旅游景点推荐中的应用[J].贵州师范学院学报,2012,28(03):22-26.DOI:10.13391/j.cnki.issn.1674-7798.2012.03.010.
[37]Qin J .Analysis of factors influencing the image perception of tourism scenic area planning and development based on big data[J].Applied Mathematics and Nonlinear Sciences,2024,9(1):
[38]Wu J B ,Chunxiao L ,Hong X , et al.Forecasting Daily Tourism Demand for Tourist Attractions with Big Data: An Ensemble Deep Learning Method[J].Journal of Travel Research,2022,61(8):1719-1737.
[39]Rong Z ,Feilong W ,Weimin Z .Data‐driven inference of interactions among multiple tourist attractions for hourly demand forecasting[J].International Journal of Tourism Research,2022,24(5):701-713.
[40]Zhewei L ,Anqi W ,Karin W , et al.Categorisation of cultural tourism attractions by tourist preference using location-based social network data: The case of Central, Hong Kong[J].Tourism Management,2022,90
序号 设计(论文)工作内容 时间(起止周数)
1 选题 第7学期第5周 至 第6周
2 完成任务书与开题报告 第7学期第7周 至 第9周
3 参照任务书进度完成毕业设计 第7学期第9周 至 第14周
4 完成撰写毕业论文初稿 第7学期第15周 至 第17周
5 毕业论文修改,毕业论文定稿 第8学期第2周 至 第4周
6 准备毕业答辩 第8学期第5周 至 第6周
更多推荐
所有评论(0)