python水文数据分析可视化系统 爬虫+水质水资源实时监测系统 水质监测 预测算法 机器学习 毕业设计(建议收藏)
python水文数据分析可视化系统爬虫+水质水资源实时监测系统 水质监测 预测算法 机器学习 毕业设计(建议收藏)
博主介绍:✌全网粉丝10W+,前互联网大厂软件研发、集结硕博英豪成立工作室。专注于计算机相关专业毕业设计项目实战6年之久,选择我们就是选择放心、选择安心毕业✌
[毕业设计]2023-2024年最新最全计算机专业毕设选题推荐汇总
2023年 - 2024年 最新计算机毕业设计 本科 选题大全 汇总
感兴趣的可以先收藏起来,还有大家在毕设选题,项目以及论文编写等相关问题都可以给我留言咨询,希望帮助更多的人 。
1、项目介绍
后端:Python语言、Flask框架、MySQL数据库
前端:Echarts可视化、Layui后台页面框架 html+css+js
2、项目界面
(1)实时水文数据分析
(2)历史水文数据分析
(3)水文数据预测分析
(4)水文数据管理
(5)水文数据爬虫日志
(6)首页展示
(7)注册登录界面
3、项目说明
该系统利用爬虫技术获取长江水文网的数据,采用 Python 编程语言和 MySQL数据库进行数据处理和管理,同时使用 Echarts 和 Scikit-learn 库进行数据可视化和机器学习预测分析,最终通过 Flask 构建的数据接口服务层将数据和分析结果提供给其他应用程序调用和使用。
该系统的主要模块包括用户登陆注册模块、水文数据管理模块、水文数据可视化模块、水文数据预测模块以及公告模块。这些模块可以为用户提供完整的水文数据管理和使用服务,包括数据的查询、添加、修改和删除等操作,数据的可视化和分析,以及基于历史数据建立预测模型,预测未来水文情况等。
该系统的实现为水文学研究和水资源管理提供了新的途径和思路。通过该系统,可以更加方便地获取和分析水文数据,为水文学研究和水资源管理提供更加精确的数据支持和决策依据。同时,该系统的可扩展性和可维护性也为未来的需求和变化提供了更好的适应性。
总之,多数据源水文数据获取技术与应用分析系统是水文学研究和水资源管理的重要工具和手段,为我们提供了更加便捷、高效和精确的数据处理和分析方式。随着信息技术的不断发展,该系统还有着广泛的应用前景和发展空间,将为水文学研究和水资源管理带来更多的创新和变革。
关键词:水文数据,Flask,Scikit-learn,mysql,可视化
4、核心代码
(1)部分代码块一
from flask import Flask as _Flask, redirect
from flask import request, session
from flask import render_template
from flask.json import JSONEncoder as _JSONEncoder
import decimal
import os
from flask_apscheduler import APScheduler
from service import user_service, spider_service, notice_service, slog_service, data_service, \
predict_service, water_level_service
from utils.JsonUtils import read_json
import datetime
from utils.Result import Result
base = os.path.dirname(__file__)
directory_path = os.path.dirname(__file__)
json_path = directory_path + '/static/api/'
class JSONEncoder(_JSONEncoder):
def default(self, o):
if isinstance(o, decimal.Decimal):
return float(o)
if isinstance(o, datetime.datetime):
return o.strftime("%Y-%m-%d %H:%M:%S")
if isinstance(o, datetime.date):
return o.strftime("%Y-%m-%d")
super(_JSONEncoder, self).default(o)
class Flask(_Flask):
json_encoder = JSONEncoder
import os
app = Flask(__name__)
app.config['SESSION_TYPE'] = 'filesystem'
app.config['SECRET_KEY'] = os.urandom(24)
app.config['PERMANENT_SESSION_LIFETIME'] = datetime.timedelta(days=1)
# ----------------------------------------------页面加载模块开始----------------------------------------------
# 加载系统json文件
@app.route('/api/<string:path>/')
def api_json(path):
if path == 'init.json' and session.get('user') and session.get('user')['type'] == 1:
path = 'custom_init.json'
return read_json(json_path + path)
# 加载page下的静态页面
@app.route('/page/<string:path>')
def api_path(path):
return render_template("page/" + path)
# 系统默认路径后台跳转
@app.route('/admin')
def admin_page():
session['user'] = user_service.get_user(1)
session['site_list'] = water_level_service.get_site_list()
if session.get('user') and session.get('user')['id'] > 0:
return render_template("index.html")
else:
return redirect("/login")
# 系统默认路径前台跳转
@app.route('/')
def main_page():
return render_template("page/login.html")
# 系统登录路径
@app.route('/login')
def login_page():
return render_template("page/login.html")
# 系统退出登录路径
@app.route('/logout')
def logout_page():
session.clear()
return redirect("/login")
# 系统注册用户
@app.route('/register', methods=['get'])
def register_page():
return render_template("page/register.html")
# ----------------------------------------------页面加载模块结束----------------------------------------------
(2)部分核心代码块二
# ----------------------------------------------用户相关模块开始----------------------------------------------
# 用户注册
@app.route('/register', methods=['post'])
def register_user():
form = request.form.to_dict() # 获取值
result = user_service.insert_user(form)
return result.get()
# 用户登录
@app.route('/login', methods=['post'])
def login_user():
form = request.form.to_dict() # 获取值
result = user_service.select_user_by_account_password(form)
session['user'] = result.data
return result.get()
# ----------------------------------------------用户相关模块结束----------------------------------------------
# ----------------------------------------------水文相关模块开始----------------------------------------------
# 水文数据分页
@app.route('/page/water/level/add', methods=['get'])
def page_water_level_add():
site_list = water_level_service.get_site_list()
water_source_list = water_level_service.get_water_source_list()
return render_template("page/waterLevel/add.html", site_list=site_list, water_source_list=water_source_list)
# 添加水文数据
@app.route('/add/water/level', methods=['post'])
def add_water_level():
form = request.form.to_dict()
result = water_level_service.insert_water_level(form)
return result.get()
# 水文数据编辑页面
@app.route('/page/water/level/edit', methods=['get'])
def page_water_level_edit():
id = request.args.get('id')
water_level = water_level_service.select_water_level_by_id(id)
site_list = water_level_service.get_site_list()
water_source_list = water_level_service.get_water_source_list()
return render_template("page/waterLevel/edit.html", site_list=site_list, water_source_list=water_source_list,
water_level=water_level)
# 编辑水文接口
@app.route('/edit/water/level', methods=['post'])
def edit_water_level():
form = request.form.to_dict()
result = water_level_service.edit_water_level(form)
return result.get()
# 单个删除水文接口
@app.route('/del/water/level/<int:id>', methods=['post'])
def del_water_level(id):
result = water_level_service.del_water_level(id)
return result.get()
# 批量删除水文接口
@app.route('/del/water/level', methods=['post'])
def del_water_level_list():
ids = request.args.get('ids')
result = water_level_service.del_water_level_list(ids)
return result.get()
# 水文数据分页
@app.route('/list/water/level', methods=['get'])
def water_level_list():
page = request.args.get('page')
limit = request.args.get('limit')
where = request.args.get('searchParams')
result = water_level_service.select_water_level_list(page, limit, where)
return result.get()
# ----------------------------------------------水文相关模块结束----------------------------------------------
# ----------------------------------------------用户相关模块开始----------------------------------------------
# 用户数据分页
@app.route('/page/user/add', methods=['get'])
def page_user_add():
return render_template("page/user/add.html")
@app.route('/add/user', methods=['post'])
def add_user():
form = request.form.to_dict()
result = user_service.insert_user(form)
return result.get()
# 用户修改密码
@app.route('/user/reset/password', methods=['post'])
def reset_password_user():
form = request.form.to_dict() # 获取值
result = user_service.reset_password(form['old_password'], form['new_password'], form['again_password'])
return result.get()
# 用户编辑页面
@app.route('/page/user/edit', methods=['get'])
def page_user_edit():
id = request.args.get('id')
user = user_service.get_user(id)
return render_template("page/user/edit.html", user=user)
# 编辑用户接口
@app.route('/edit/user', methods=['post'])
def edit_user():
form = request.form.to_dict()
result = user_service.edit_user(form)
return result.get()
# 单个删除用户接口
@app.route('/del/user/<int:id>', methods=['post'])
def del_user(id):
result = user_service.del_user(id)
return result.get()
# 批量删除用户接口
@app.route('/del/user', methods=['post'])
def del_user_list():
ids = request.args.get('ids')
result = user_service.del_user_list(ids)
return result.get()
# 用户数据分页
@app.route('/list/user', methods=['get'])
def user_list():
page = request.args.get('page')
limit = request.args.get('limit')
where = request.args.get('searchParams')
result = user_service.select_user_list(page, limit, where)
return result.get()
# ----------------------------------------------用户相关模块结束----------------------------------------------
# ----------------------------------------------公告相关模块开始----------------------------------------------
# 公告添加页面
@app.route('/page/notice/add', methods=['get'])
def page_notice_add():
return render_template("page/notice/add.html")
@app.route('/add/notice', methods=['post'])
def add_notice():
form = request.form.to_dict()
result = notice_service.insert_notice(form)
return result.get()
# 数据公告编辑页面
@app.route('/page/notice/edit', methods=['get'])
def page_notice_edit():
id = request.args.get('id')
notice = notice_service.get_notice(id)
return render_template("page/notice/edit.html", notice=notice)
# 编辑公告接口
@app.route('/edit/notice', methods=['post'])
def edit_notice():
form = request.form.to_dict()
result = notice_service.edit_notice(form)
return result.get()
# 单个删除公告接口
@app.route('/del/notice/<int:id>', methods=['post'])
def del_notice(id):
result = notice_service.del_notice(id)
return result.get()
# 批量删除公告接口
@app.route('/del/notice', methods=['post'])
def del_notice_list():
ids = request.args.get('ids')
result = notice_service.del_notice_list(ids)
return result.get()
# 公告数据分页
@app.route('/list/notice', methods=['get'])
def notice_list():
page = request.args.get('page')
limit = request.args.get('limit')
where = request.args.get('searchParams')
result = notice_service.select_notice_list(page, limit, where)
return result.get()
# 公告数据分页
@app.route('/get/notice/new', methods=['get'])
def get_new_notice():
result = notice_service.get_notice_by_new()
return result.get()
# ----------------------------------------------公告相关模块结束----------------------------------------------
# ----------------------------------------------日志相关模块开始----------------------------------------------
# 单个删除日志接口
@app.route('/del/slog/<int:id>', methods=['post'])
def del_slog(id):
result = slog_service.del_slog(id)
return result.get()
# 批量删除日志接口
@app.route('/del/slog', methods=['post'])
def del_slog_list():
ids = request.args.get('ids')
result = slog_service.del_slog_list(ids)
return result.get()
# 日志数据分页
@app.route('/list/slog', methods=['get'])
def slog_list():
page = request.args.get('page')
limit = request.args.get('limit')
where = request.args.get('searchParams')
result = slog_service.select_slog_list(page, limit, where)
return result.get()
# ----------------------------------------------日志相关模块结束----------------------------------------------
# ----------------------------------------------分析相关模块开始----------------------------------------------
# 历史水文数据分析
@app.route('/data/history/water', methods=['post', 'get'])
def data_history():
site = request.args.get('site')
flow_data = data_service.flow_data(site)
level_data = data_service.level_data(site)
return {"flow_data": flow_data, "level_data": level_data}
# 实时数据分析
@app.route('/data/current/water', methods=['post', 'get'])
def data_current_water():
return data_service.top_page_data()
# 水文数据预测
@app.route('/data/water/predict', methods=['post', 'get'])
def data_predict():
site = request.args.get('site')
return predict_service.predict(site)
# ----------------------------------------------分析相关模块结束----------------------------------------------
# ----------------------------------------------爬虫相关模块开始----------------------------------------------
from concurrent.futures import ThreadPoolExecutor
# 爬虫自动运行
def job_function():
print("爬虫任务执行开始!")
executor = ThreadPoolExecutor(2)
executor.submit(spider_service.main_spider())
def task():
scheduler = APScheduler()
scheduler.init_app(app)
# 定时任务,每隔600s执行1次
scheduler.add_job(func=job_function, trigger='interval', seconds=3600, id='my_cloud_spider_id')
scheduler.start()
# 后台调用爬虫
@app.route('/spider/start', methods=["POST"])
def run_spider():
executor = ThreadPoolExecutor(2)
executor.submit(spider_service.main_spider())
return Result(True, '指令已发送,静默爬取中,请稍后查看爬虫日志,查看运行情况').get()
# 写在main里面,IIS不会运行
task()
# run_spider()#启动项目就运行一次爬虫
# ----------------------------------------------爬虫相关模块结束----------------------------------------------
if __name__ == '__main__':
# 端口号设置
app.run(host="127.0.0.1", port=5000)
源码获取:
🍅由于篇幅限制,获取完整文章或源码、代做项目的,拉到文章底部即可看到个人联系方式。🍅
大家点赞、收藏、关注、评论啦 、查看👇🏻获取联系方式👇🏻
更多推荐
所有评论(0)