大数据标签_腾讯云开发者社区

大数据

软工毕业设计容易的方向集合

本文分享了5个基于深度学习的毕业设计选题案例，涵盖电动车骑行规范识别、无人机检测、垃圾分类和森林火灾预警等创新应用。每个项目采用YOLOv11算法为核心，结合PyQt5界面开发、OpenCV图像处理等技术栈，具有适中的难度和达标的工作量。文章还提供了选题技巧，建议避免传统管理系统，选择融合多种热门技术或解决行业痛点的课题。这些项目包含完整源码、开题报告和设计文档，可作为高质量毕设参考，帮助学生顺利

 bee_dc
2026-01-18 09:31:42

 650

 26

#大数据
Python从入门到精通：全栈开发者的终极指南

《Python全栈开发终极指南》是一份全面系统的学习手册，涵盖Python从基础到高级的完整知识体系。主要内容包括：基础语法：变量、数据类型、控制流、函数等核心概念进阶编程：面向对象、函数式编程、异常处理、模块管理等核心应用：数据科学：NumPy、Pandas、Matplotlib Web开发：Flask、FastAPI框架机器学习：Scikit-learn、TensorFlow/Ker

wang sum yuen
2026-01-13 17:33:03

 904

 23

#大数据 #算法 #人工智能
Git误操作急救指南

配置.gitignore文件避免误提交定期创建备份标签（tag）使用Git钩子进行提交前验证重要操作前使用。如何找回没有commit的修改？强制推送后如何团队协作恢复？.git目录损坏时的修复方案。Git 2.23+新恢复命令。修改最后一次提交信息或内容。创建逆向提交撤销历史更改。强制推送的正确使用场景。通过提交哈希重建分支。二分查找定位问题提交。恢复特定提交到新分支。恢复被覆盖的远程分支。

m0_74948836
2026-03-18 15:01:21

 265

 6

#elasticsearch #大数据 #搜索引擎
Spark安装配置2_class

1 . 进入kafka 目录，启动 Zookeeper。验证 Spark 是否安装成功。

jerrykorea
2026-03-24 16:26:00

 720

 2

#spark #大数据 #分布式
1.JobManager启动流程解析.md

本文档采取总分总的方式，先介绍JobManager的启动顺序，再从启动顺序中拆解每个组件最底层的实现。最后再总结一次JobManager的实现。本文主要介绍standalone模式下的JobManager实现。大部分组件的实现都类似，只是在高可用、executeGraph上会有实现的差异。可以把 JobManager 的启动理解为“先把地基服务准备好，再把三大组件创建并启动”。JobMaster。

Sky960722
2026-04-13 00:10:52

 391

 9

#大数据 #flink #源代码管理
计算机毕业设计Python+AI大模型智能路线规划数据分析与个性化推荐系统旅游路线推荐系统旅游路线规划系统大数据毕业设计

本文综述了基于Python和AI大模型的智能路线规划与个性化推荐系统研究进展。文章从技术架构、算法创新和行业应用三个维度展开分析：技术架构方面，重点探讨了多源数据整合、分层模型设计和高并发接口实现；算法创新方面，详细介绍了混合推荐算法、强化学习优化和知识图谱推理等关键技术；行业应用方面，展示了物流配送和旅游推荐领域的实践案例。研究表明，该技术路线在提升系统精准性和用户体验方面成效显著，平均配送时间

 haochengxu2022
2026-02-04 12:49:46

 797

 29

#python #人工智能 #大数据 +2
使用 Elastic Workflows 监控 Kibana 仪表板视图

本文介绍了如何使用Elastic Workflows自动收集Kibana仪表板查看数据并进行分析。通过配置定时触发的YAML工作流，每30分钟从Kibana API获取仪表板查看次数指标，并将这些数据索引到Elasticsearch中。文章详细说明了创建目标索引、编写工作流配置的步骤，包括数据获取、转换和存储过程。收集到的数据可用于构建自定义可视化仪表盘，分析仪表板使用情况，如查看次数排行、时间趋

 Elastic 中国社区官方博客
2026-04-04 19:34:46

 717

 7

#大数据 #elasticsearch #数据库 +3
KafkaUtils.createDStream vs createDirectStream：Spark Streaming整合Kafka的两种方式

维度核心原理Receiver接收+缓存+WALDriver调度+Task直连数据流偏移量管理ZookeeperSpark/外部系统语义保证并行度由Receiver数量决定与Kafka分区数一致适用版本Kafka 0.8+生产推荐逐步淘汰标准方案一句话总结Receiver方式：先收后处理，有WAL保障，但可能重复Direct方式：直接拉取处理，精确一次，推荐使用随着Kafka和Spark的版本演进，

Seal^_^
2026-03-03 09:03:14

 4159

 13

#spark #kafka #大数据
Nmap使用详解_nmap使用教程

Nmap(Network Mapper，网络映射器)是一款开放源代码的网络探测和安全审核工具。它被设计用来快速扫描大型网络，包括主机探测与发现、开放的端口情况、操作系统与应用服务指纹识别、WAF识别及常见安全漏洞。它的图形化界面是Zenmap，分布式框架为DNmap。

立志成为网安大牛
2026-02-24 16:04:51

 1071

 19

#大数据 #面试 #经验分享 +2
Electronica现场演示 | 严苛环境下的56G互连

一张带有Credo Bald Eagle芯片的子卡插入到由Samtec ExaMAX®连接器连接的背板上，发送40个通道的数据到下一层的子卡上。如果我们继续观察Demo中的Samtec AcceleRate® Mezzanine连接器，也可以看到非常夸张的性能曲线，眼图都是大开，高度也很良好。这是一款先进的原型机，融合了Samtec的高性能互连产品与Credo的前沿芯片技术，所有展示的互连产品和芯

 SamtecChina2023
2026-01-12 13:43:49

 464

 3

#人工智能 #大数据 #算法 +1
elasticsearch启动容器+可视化+中文分词器下载

本文提供了Elasticsearch(ES)的快速入门指南，包含三个核心部分：1)通过Docker启动ES服务，给出后台/前台运行命令及日志查看方法；2)介绍使用浏览器插件实现ES可视化的连接配置；3)详细说明IK中文分词器的安装流程，包括下载、容器内安装、重启验证等步骤，并强调版本匹配的重要性。文中配有完整的命令示例和操作截图，适合ES初学者快速搭建基础环境。

Further@
2026-01-29 14:09:43

 455

 4

#elasticsearch #中文分词 #jenkins +4
什么是数据治理？

数据治理是指对数据资产管理行使权力、控制和共同决策的过程。简单来说，就是制定规则、明确责任、确保数据质量、保障数据安全，让数据能够真正为组织创造价值。数据治理不是要把数据"管死"，而是要让数据"好用"、“敢用”、“会用”，最终让数据成为组织的核心资产。

_oP_i
2026-03-18 18:34:21

 440

 8

#大数据
Flink 内存与容器异常排障从报错关键词到精准下药

本文总结了 Flink 常见的内存异常类型及解决方案，包括：配置异常：检查内存值合法性、fraction范围和min/max逻辑堆内存不足：增加总内存或精准调整堆大小直接内存不足：提高direct/off-heap额度或排查泄漏元空间不足：增加metaspace配额或检查类加载问题网络缓冲不足：调整network内存相关参数容器内存超限：对齐容器限制并预留足够native内存提供了通

 Hello.Reader
2026-01-29 13:00:45

 1261

 31

#flink #linux #大数据
跨平台APP打包调试实战指南：四大核心环节排查法

若遇打包卡顿，可启用工具实时日志功能（如 auto-py-to-exe 的错误行高亮），定位依赖缺失或语法错误点，搭配 CI/CD 工具 Fastlane 自动化执行打包步骤，减少人工操作失误。Android 端通过二维码安装包做真机测试，验证权限调用与性能表现。若遇上传失败（如 Xcode 卡在 99%），可切换多通道策略 ——Mac 用户用 Transporter、Windows 用户用 Ap

一品威客爱开发
2026-01-19 00:15:00

 348

 8

#大数据
全网最强Elasticsearch快速入门

Mapping 定义了索引里字段的类型、分词规则，是搜索的核心，必须先定义 Mapping，再插入数据，不要让 ES 自动生成类型，会导致搜索不符合预期。核心字段类型创建索引并定义完整mapping（相当于建表）运行后返回acknowledged: true，说明创建成功，后续插入数据必须符合这个字段类型规范。

huaiixinsi
2026-03-22 19:25:32

 689

 15

#elasticsearch #大数据 #搜索引擎 +4
Git误操作急救：30秒拯救你的代码

文件误删、提交丢失、分支误删、代码覆盖、硬重置（VSCode GitLens插件的提交导航。（Git 2.23+）撤销工作区修改。回退到reflog记录的某个状态。GitKraken的undo功能。SourceTree的日志视图。确认当前状态，关键操作前使用。引用指向reset前的状态。查看所有HEAD变更记录。通过reflog恢复分支。注：所有操作前建议先执行。找回已删除的未跟踪文件。创建完整仓

 m0_59571744
2026-03-17 07:39:44

 102

 1

#elasticsearch #大数据 #搜索引擎
6G空天地一体化通信技术持续推进：天基计算与太空超算中心时代加速到来

空天地一体化通信网络，是指将天基网络（卫星）、空基网络（高空平台、无人机）和地基网络（地面基站、光纤）深度融合，构建一个覆盖全球、无缝连接、智能协同的立体通信体系。层级载体高度范围特点典型应用天基低轨卫星、中轨卫星、高轨卫星覆盖广、时延高、容量大全球通信、遥感、导航空基高空平台（HAPS）、无人机、飞艇20-50 km灵活部署、区域增强应急通信、区域覆盖地基地面基站、光纤网络地面高带宽、低时延、容

 xixixi77777
2026-03-26 09:13:42

 943

 12

#算力 #AI #人工智能 +2
Elasticsearch 核心：Analyzer 分析器全解析 + 自定义实战教程

一、前言二、基础概念：什么是 Elasticsearch Analyzer？2.1 核心定义2.2 核心应用场景2.3 Analyzer 工作流程图（核心必看）三、Analyzer 分析器的三大组成部分3.1 组件1：Character Filter（字符过滤器）3.2 组件2：Tokenizer（分词器）3.3 组件3：Token Filter（词条过滤器）四、ES 内置常用分析器4.1 标准分

 Seal^_^
2026-04-22 09:15:21

 2165

 9

#elasticsearch #大数据 #搜索引擎 +2
Git常见命令及用法

Git常用命令解析

 qq_34583944
2026-01-07 10:03:42

 387

 7

#git #elasticsearch #大数据
基于大数据的新能源汽车数据可视化分析系统(设计源文件+万字报告+讲解)（支持资料、图片参考_相关定制）_文章底部可以扫码

大数据，Hadoop项目，大数据开发，大数据项目，可视化大屏，java开发，scala/hadoop/hdfs/spark/hive/flink/mysql/superset/azakban达梦数据库开发，数据库问题解答。基于大数据的新能源汽车数据可视化分析系统(设计源文件+万字报告+讲解)（支持资料、图片参考_相关定制）_文章底部可以扫码。数据处理，数据仓库，数据分析，数据可视化，推荐算法，分词

 北夷烟雪江中雨
2026-02-09 20:37:23

 63

#大数据 #汽车 #信息可视化
ES可视化连接工具的使用

ES可视化连接工具的使用

 何中应
2026-01-03 21:06:50

 1258

 5

#elasticsearch #大数据 #搜索引擎
Hive中哈希函数与数据脱敏实战指南

本文详细介绍了Hive中哈希函数（如HASH、MD5和SHA2）的基础知识及其在数据脱敏中的实战应用。通过具体案例和代码示例，展示了如何使用这些函数进行数据去重、隐私保护和性能优化，帮助开发者高效处理敏感数据并满足合规要求。

路易·罗莎
2026-04-14 11:20:14

 291

 6

#大数据
视程空间智慧医疗：以空间感知重构精准医疗新范式

视程空间智慧医疗系统通过技术创新解决医疗场景中的精准化和智能化需求。其多模态输入支持打破医疗设备接口壁垒，实现影像数据同步采集；边缘端实时处理消除云端延迟，确保毫米级空间定位；主动散热和宽温设计保障设备在复杂医疗环境中的稳定运行。该系统为手术导航、重症监护等场景提供全链路精准化支持，重新定义智慧医疗的精准标准，有望成为未来临床场景的标准技术底座。

视***间
2026-01-15 16:25:53

 721

 17

#人工智能 #大数据 #边缘计算
毕设分享深度学习街道行人流量计数系统

深度学习街道行人流量计数系统项目摘要该项目基于深度学习技术开发了一套街道行人流量计数系统，主要包含行人检测和跟踪两大核心功能。系统采用YOLOv3等目标检测算法实现行人识别，结合计算机视觉技术进行跟踪统计，可应用于智能交通、安防监控等领域。项目亮点在于解决了行人检测中的视角变化、遮挡、复杂背景等技术难点，并通过视频分析实现了流量统计功能。系统使用Python开发，整合了OpenCV等计算机视觉库

 Loop学长
2026-04-16 09:11:19

 386

 11

#大数据
2025数据智能体实践指南——回归商业本质:数据智能体价值主张与务实路径

字节联合通信院编写的，如何构建企业自己的 data agent:https://blog.csdn.net/zhanggan25/article/details/153622642

淡定一生2333
2026-03-15 17:04:40

 57

#大数据
【92页PPT】大型央企数据治理企业架构数字化转型规划解决方案：数据治理（从数据到资产）、企业架构（实现业务与IT融合）、行业案例实践

本文提出以价值为导向的企业数字化转型框架，通过数据治理和企业架构实现业务与IT深度融合。核心内容包括：1）构建数字化平台，将数据转化为高价值资产；2）采用TOGAF等架构方法实现业务、数据、应用、技术四层协同；3）通过五大重点任务释放企业禁锢价值，实现降本增效与创新。方案强调数字化转型需一把手推动，建立业务与IT一体化团队，并借鉴华为等企业实践经验，系统性地构建了央企数字化转型实施路径，为大型企业

 数字化建设方案
2026-03-20 19:20:18

 509

 6

#人工智能 #大数据
计算机毕业设计hadoop+spark+kafka+hive动漫推荐系统知识图谱动漫可视化动漫爬虫大数据毕业设计(源码+文档+PPT+讲解)

本文提出了一种基于Hadoop+Spark+Kafka+Hive的动漫推荐系统，采用混合推荐模型解决大数据环境下的个性化推荐问题。系统整合用户行为数据，通过Wide&Deep模型实现离线推荐，结合实时兴趣迁移检测算法，在亿级数据集上达到秒级响应。实验表明，该系统较传统方法提升推荐准确率28.6%，用户观看时长增加34.2%，有效解决了数据稀疏性和冷启动问题。系统采用Lambda架构，融合批

 haochengxu2022
2026-01-29 09:36:12

 299

 5

#hadoop #大数据 #kafka +2
基于Python的自习室位置预约管理系统设计与实现的详细项目实例（含完整的程序，数据库和GUI设计，代码详解）还请多多点一下关注加油谢谢你的鼓励是我前行的动力谢谢支持加油谢谢

本文介绍了基于Python的自习室位置预约管理系统的设计与实现。该系统采用B/S架构，后端使用FastAPI框架开发RESTful接口，前端采用Tkinter构建GUI界面。系统核心功能包括用户注册登录、自习室与座位管理、预约调度、签到核验、黑名单管理等模块。通过并发控制、数据加密等技术保障系统安全性和公平性，并支持数据统计分析和可视化展示。该系统有效解决了传统人工管理中的资源浪费、效率低下等问题

 xiaoxingkongyuxi
2026-03-17 08:15:00

 409

 10

#数据库 #大数据 #人工智能 +4
从零开始学Flink：状态管理与容错机制

在流计算中，数据是一条条流过的。如果处理一条数据时，需要依赖之前的数据（例如：计算过去一小时的总和、去重、模式匹配），那么这些“之前的数据”或“中间计算结果”就是状态。State是 Flink 实现复杂逻辑的记忆。决定了记忆存哪里（内存快但小，RocksDB 大但需序列化）。Checkpoint是自动化的定期备份，保证故障恢复后的数据一致性。Savepoint是手动的高级备份，用于版本升级和应用迁

 Ln5x9qZC2
2026-03-28 14:58:28

 202

 6

#flink #大数据
【git】删除本地以及远端已经合并到master的分支

直接把这个内容放到 ~/.bashrc文件里面，windows打开方式。很多本地以及远端存储了已经合并到了master的分支，需要统一清理。清理分支：本地和远端已经合并到master的分支。然后重启 conemu，找到你的git仓库执行。本地和远端的都要清理，需要二次确认。保护分支：本地和远端的。

K3v
2026-04-17 09:24:05

 149

#git #elasticsearch #大数据
基于LangChain4j的证券业务系统模块四

证券业务风险管控体系构建了全天候、全流程的智能防御网络，具备三大核心特性：全流程嵌入业务环节、智能化持续演进、闭环化管理。该系统覆盖六大风险场景（异常交易、资金风险、市场风险、信用风险、操作风险和合规风险），采用"雷达+预警+处置"三级联动机制，通过多层次智能识别模型（如孤立森林、LSTM、图神经网络等）实现精准风险预测。风险应急处置采用"熔断+恢复+复盘"

Coder_Boy_
2026-01-04 15:27:02

 1000

 20

#人工智能 #大数据 #spring cloud
ClickHouse 在大数据游戏分析中的应用实践

游戏行业是典型的“数据驱动决策”领域：从新玩家的首日体验优化，到付费活动的ROI计算，再到防外挂的异常行为检测，每一步都依赖对海量玩家行为数据的快速分析。本文聚焦“游戏大数据分析”场景，讲解如何用ClickHouse解决传统数据库在“海量数据实时查询”“复杂多维聚合”“高并发写入”中的痛点。本文将先通过“游戏运营的真实烦恼”引出问题，再用“打副本”的类比解释ClickHouse的核心特性；

AI学长带你学AI
2026-03-06 01:29:20

 256

 5

#clickhouse #大数据 #游戏
基于Python的私厨推荐系统设计与实现的详细项目实例（含完整的程序，数据库和GUI设计，代码详解）还请多多点一下关注加油谢谢你的鼓励是我前行的动力谢谢支持加油谢谢

本项目基于Python设计实现了一个私厨推荐系统，旨在通过智能算法为用户推荐个性化餐饮服务。系统采用混合推荐引擎（协同过滤+内容推荐），结合用户画像、私厨特征和健康标签实现精准匹配。后端使用FastAPI构建RESTful接口，前端采用Tkinter开发GUI界面，数据库采用MySQL存储结构化数据。项目亮点包括动态用户画像建模、可解释推荐理由输出、健康饮食理念融合以及数据隐私保护机制。该系统可应

 xiaoxingkongyuxi
2026-03-14 11:45:00

 366

 8

#python #数据库 #开发语言 +4
毕设分享深度学习yolo11水果识别系统（源码+论文）

本文介绍了一个基于YOLOv8深度学习算法的水果识别系统，专为解决农业现代化中水果分拣自动化需求而设计。系统通过改进NMS算法和轻量化设计，有效解决了密集果实重叠和边缘计算适配问题，实现了91.2%的mAP识别准确率。项目采用PyQt5开发可视化界面，集成检测、计数、分类功能，支持45FPS实时处理。技术验证表明，该系统可降低40%以上分拣成本，为中小果园提供高效普惠的智能化解决方案。完整项目包含

 Loop学长
2026-01-23 10:08:23

 653

 17

#大数据
发布-订阅模式

发布-订阅模式是一种解耦生产者与消费者的设计模式，通过中介（消息队列/主题）实现异步通信。关键组件包括发布者、订阅者、消息和主题。该模式的优点在于解耦性、扩展性和灵活性，支持异步处理；缺点包括消息顺序难以保证和调试复杂性。典型应用场景包括Apache Kafka、RabbitMQ等消息系统，以及Spring、Node.js等框架的事件机制。Java示例展示了如何实现基本的发布-订阅功能，通过Pub

木叶子---
2026-01-22 13:41:57

 695

 14

#中间件 #java #大数据
2026程序员如何转型AI大模型应用开发

从0到1！想入门大模型(LLM)却不知道从哪开始?我根据最新的技术栈和我自己的经历&理解，帮大家整理了一份LLM学习路线图，涵盖从理论基础到落地应用的全流程!拒绝焦虑，按图索骥~~因篇幅有限，仅展示部分资料，需要点击下方链接即可前往获取2025最新版CSDN大礼包：《AGI大模型学习资源包》免费分享因篇幅有限，仅展示部分资料，需要点击下方链接即可前往获取2025最新版CSDN大礼包：《AGI大模型

 程序员_大白
2026-03-12 14:54:08

 70

#人工智能 #大数据 #容器
计算机毕业设计PyFlink+PySpark+Hadoop+Hive物流预测系统物流数据分析可视化物流爬虫大数据毕业设计 Spark Hive 深度学习机器学习(源码+文档+PPT+讲解)

本文探讨了基于PyFlink+PySpark+Hadoop+Hive的物流预测系统，通过Lambda架构整合批流计算，结合LSTM神经网络实现高精度预测（MAPE降至7.2%）。系统支持PB级数据存储、实时处理（10万条/秒）和机器学习分析，显著提升物流效率。研究涵盖分布式存储、实时计算、混合预测模型等技术进展，并指出未来强化学习、数字孪生等发展方向。该技术栈为智慧物流提供了高效解决方案。

haochengxu2022
2026-01-25 16:34:40

 447

 5

#hadoop #大数据 #python +3
Flink数据倾斜解决方案：大数据处理的常见难题

继承Partitioner类：在Flink中，通过继承Partitioner类，实现自定义的分区策略。例如，如果要根据某个自定义的规则对数据进行分区，可以在自定义的Partitioner类中重写partition方法，在该方法中实现具体的分区逻辑。注册分区策略：在Flink的DataStream或DataSet API中，通过setPartitioner方法注册自定义的分区策略。

2501_91888447
2026-01-14 01:56:51

 373

 7

#flink #大数据