腾讯云开发者社区

腾讯云开发者社区

产品动态技术活动学习成长产品评测

去全站搜索看看？

登录社区云

登录社区云，与社区用户共同成长

腾讯云开发者社区

邀请您加入社区

欢迎加入社区

欢迎加入社区

scala

构建Kafka工程和源码阅读环境、Scala语言热身

今天是我们开启Kafka源码分析的“热身课”，我给出了构建Kafka工程以及搭建Kafka源码阅读环境的具体方法。我建议你对照上面的内容完整地走一遍流程，亲身体会一下Kafka工程的构建与源码工程的导入。毕竟，这些都是后面阅读具体Kafka代码的前提条件。最后我想再强调一下，阅读任何一个大型项目的源码都不是一件容易的事情，我希望你在任何时候都不要轻言放弃。很多时候，碰到读不懂的代码你就多读几遍，也

 隔壁小邓
2026-03-29 11:20:31

 490

 17

#kafka #scala #分布式
基于Yolov8的铁轨轨道缺陷检测

本文介绍了一种基于Yolov8的铁轨轨道缺陷检测方法，通过对已提供的数据集进行训练和测试，我们可以准确地检测出脱落、轮烧、压陷和磨耗等轨道缺陷。本文将介绍一种基于Yolov8的铁轨轨道缺陷检测方法，该方法利用已提供的数据集进行模型训练，并针对脱落（Spalling）、轮烧（Wheel Burn）、压陷（Squat）和磨耗（Corrugation）等轨道缺陷进行检测。本次研究使用的数据集包含共227

mqjFKmYf
2026-02-23 12:00:00

 364

 3

#scala
springboot基于Web手工艺品销售系统（11785）

这是一个基于Java语言的完整项目资源包，包含SSM+SpringBoot+Vue技术栈开发的学生管理系统。项目提供前后端完整源代码、SQL数据库脚本、配套文档（论文+PPT+开题报告）以及远程调试支持。采用Mysql数据库，支持IDEA/Eclipse开发环境，包含JSP页面和Vue框架实现。资源包中还附有项目演示视频和运行截图，方便学习者了解项目效果。有需要的开发者可以通过文末联系方式获取全套

 codercode2022
2026-01-24 14:22:28

 62

#spring boot #后端 #java +4
spark提交scala代码

目的：通过spark-submit提交scala代码scala代码需要先编译才能在spark上跑工具：sbt下载地址sbt正式开始假设现在的地址是 /home/sparknode/scalacode，则需要先mkdir -p src/main/scala（路径必须严格遵守，少一个都不行）然后在 /home/sparknode/scal...

donger__chen
2019-08-11 22:08:04

 2656

#spark #scala
spark api之一：Spark官方文档 - 中文翻译

转载请注明出处：http://www.cnblogs.com/BYRans/1 概述(Overview)2 引入Spark(Linking with Spark)3 初始化Spark(Initializing Spark)3.1 使用Spark Shell(Using the Shell)4 弹性分布式数据集(RDDs)...

weixin_30758821
2015-04-25 00:46:00

 157

#java #scala #运维
Error while instantiating 'org.apache.spark.sql.hive.HiveSessionState'

我在windows下面用idea运行spark-sql程序的时候，报了上面的那个错误，我尝试了很多方法，都没有啥效果，后来我往下继续阅读错误，发现了这个实质性错误Exception in thread "main"java.lang.UnsatisfiedLinkError。如果是报Error while instantiating 'org.apache.spark.sql.hive.Hiv..

TheManOfCoding
2019-08-10 13:26:07

 1w

 2

#spark #idea #hive +1
spark 2.X 疑难问题汇总

当前spark任务都是运行在yarn上，所以不用启动长进程worker，也没有master的HA问题，所以主要的问题在任务执行层面。作业故障分类故障主要分为版本，内存和权限三方面。 - 各种版本不一致 - 各种内存溢出 - 其他问题版本不一致1）java版本不一致报错：java.lang.UnsupportedClassVersionError: com/immomo/recom...

weixin_30235225
2018-11-18 14:09:00

 670

#scala #大数据 #java
基于spark和flink的电商数据分析项目

目录业务需求业务数据源用户访问Session分析Session聚合统计Session分层抽样Top10热门品类Top10活跃Session页面单跳转化率分析各区域热门商品统计分析...

weixin_30919235
2018-12-30 18:03:00

 474

#大数据 #scala #json
spark知识点_RDD

　　来自官网的Spark Programming Guide，包括个人理解的东西。　　这里有一个疑惑点，pyspark是否支持Python内置函数（list、tuple、dictionary相关操作）？思考加搜索查询之后是这么考虑的：要想在多台机器上分布式处理数据，首先需要是spark支持的数据类型（要使用spark的文件I/O接口来读取数据），pyspark主要是Dataframe...

weixin_30487317
2017-10-13 15:10:00

 182

#scala #java #大数据
org.apache.spark.SparkException: Failed to get broadcast_270_piece0 of broadcast_270

在spark1.6.0中运行代码，出现如下错误：org.apache.spark.SparkException: Failed to get broadcast_270_piece0 of broadcast_270解决方法1.可能是因为spark.cleaner.ttl导致的，spark.cleaner.ttl设置一个清除时间，使spark清除超过这个时间的所有RDD数据，以便腾出空间给...

xwq-csdn
2019-08-05 20:22:12

 2291

 1

#scala
spark sql 导出数据

如果用户希望在spark sql 中，执行某个sql 后，将其结果集保存到本地，并且指定csv 或者 json 格式，在 beeline 中，实现起来很麻烦。通常的做法是将其create table tempTable as *** ，通过将结果集写入到新的临时表中，进行保存，然后再通过其他方式export 到本地。这种方式，对于 HDFS 是可行到，但是如果数据是保存在像SequoiaDB ..

weixin_30702887
2019-05-04 14:45:00

 1374

#大数据 #java #scala
Intellij IDEA使用Maven搭建spark开发环境（scala）

如何一步一步地在Intellij IDEA使用Maven搭建spark开发环境，并基于scala编写简单的spark中wordcount实例。1.准备工作首先需要在你电脑上安装jdk和scala以及开发工具Intellij IDEA，本文中使用的是win7系统，环境配置如下：jdk1.7.0_15scala2.10.4scala官网下载地址：http://www.sca...

weixin_30751947
2017-11-24 11:49:00

 706

#大数据 #scala #java
spark-shell解析

spark-shell 作用：调用spark-submit脚本，如下参数--classorg.apache.spark.repl.Main --name "Spark shell" "$@"，如下：具体流程是：#1 捕获终端信号，执行退出方法，恢复一些操作#2 保存终端配置，当cygwin时关闭回显，之后再恢复#3 执行spark-submit，调用repl.Main...

weixin_30808575
2018-09-29 10:13:00

 334

#大数据 #scala
spark之java程序开发

spark之java程序开发1、Spark中的Java开发的缘由:　　Spark自身是使用Scala程序开发的，Scala语言是同时具备函数式编程和指令式编程的一种混血语言，而Spark源码是基于Scala函数式编程来给予设计的，Spark官方推荐Spark的开发人员基于Scala的函数式编程来实现Spark的Job开发，但是目前Spark在生产上的主流开发语言仍然是Java，造成这一...

weixin_30315435
2018-02-05 10:13:00

 365

#java #大数据 #scala
spark报错处理

Spark报错处理1、问题：org.apache.spark.SparkException: Exception thrown in awaitResult分析：出现这个情况的原因是spark启动的时候设置的是hostname启动的，导致访问的时候DNS不能解析主机名导致。问题解决：第一种方法：确保URL是spark://服务器ip:7077，而不是spark://hostname...

weixin_30216561
2017-10-27 17:01:00

 3013

#java #大数据 #scala
spark源码阅读---Utils.getCallSite

1 作用当该方法在spark内部代码中调用时，会返回当前调用spark代码的用户类的名称，以及其所调用的spark方法。所谓用户类，就是我们这些用户使用spark api的类。2 内部实现2.1 涉及到的java或scala知识（1）Thread.currentThread.getStackTrace()：返回一个表示该线程堆栈转储的堆栈跟踪元素数组。如果该线程尚未启动或已经终止，...

weixin_30625691
2018-11-25 16:17:00

 164

#大数据 #scala #java
spark cogroup算子

java1 /**2*cogroup与join算子不同的是如果rdd中的一个key,对应多个value,则返回<Iterable<key>,Iterable<value>>3*@author Tele4*/5 public class CogroupDemo {6private static ...

weixin_30613727
2019-01-14 19:23:00

 224

#大数据 #scala #java
spark join算子

java1 /**2*join算子是根据两个rdd的key进行关联操作,类似scala中的拉链操作,返回的新元素为<key,value>,一对一3*@author Tele4*5*/6 public class JoinDemo {7private static SparkConf conf = new Spar...

weixin_30596165
2019-01-14 18:37:00

 311

#大数据 #scala #java
spark on yarn运行产生缺jar包错误及解决办法

原文地址：http://blog.csdn.net/mach_learn/article/details/41824737?utm_source=tuicool&utm_medium=referral1、本地运行出错及解决办法当运行如下命令时：[java]view plaincopy./bin/spark-submit\--...

weixin_30678349
2016-07-29 06:38:00

 258

#java #scala #大数据
spark on yarn 资源计算

1、spark job 提交模式sparkonyarn分两种情况，一种是yarn-client提交，一种是yarn-cluster提交方式，两种方式的区别是：yarn-cluster模式下，driver运行在AM(ApplicationMaster)中，它负责向YARN申请资源，并监督作业的运行状况。当用户提交了作业之后，就可以关掉Client，作业会继续在YARN上运行；y...

weixin_30580943
2019-03-26 17:38:00

 494

#大数据 #scala
spark运行任务报错：Container [...] is running beyond physical memory limits. Current usage: 3.0 GB of 3 GB ...

spark版本：1.6.0scala版本：2.10报错日志：Application application_1562341921664_2123 failed 2 times due to AM Container for appattempt_1562341921664_2123_000002 exited with exitCode: -104For more detail...

weixin_30845171
2019-07-10 22:19:00

 6560

 1

#大数据 #java #scala
spark任务提交之SparkLauncher

最近需要做一个UI，在UI上做一个可以提交的spark程序的功能；1-zeppelin就是这样的一个工具，其内部也是比较繁琐的。有兴趣的可以了解下。2-SparkLauncher，spark自带的类linux下其基本用法：public static void main(String[] args) throws Exception {HashMap&...

weixin_30655219
2018-12-03 19:27:00

 2539

#大数据 #操作系统 #scala
Spark 实践——用 Scala 和 Spark 进行数据分析

本文基于《Spark 高级数据分析》第2章用Scala和Spark进行数据分析。完整代码见 https://github.com/libaoquan95/aasPractice/tree/master/c2/Into1.获取数据集数据集来自加州大学欧文分校机器学习资料库（UC Irvine Machine Learning Repository），这个资料库为研究和教学提供了大量非常好的...

weixin_30381317
2018-05-24 15:29:00

 1627

 1

#大数据 #scala #人工智能
Spark2.3（四十）：如何使用java通过yarn api调度spark app，并根据appId监控任务，关闭任务，获取任务日志...

背景：调研过OOZIE和AZKABA,这种都是只是使用spark-submit.sh来提交任务，任务提交上去之后获取不到ApplicationId，更无法跟踪spark application的任务状态，无法kill application，更无法获取application的日志信息。因此，为了实现一个spark的调度平台所以有了以下调研及测试结论。调研目前流行的SPARK任务调度：Ooz...

weixin_30357231
2019-01-09 22:20:00

 1341

#大数据 #java #scala
spark 例子count(distinct 字段)

spark 例子count(distinct 字段)例子描述：有个网站访问日志，有4个字段：（用户id，用户名，访问次数，访问网站）需要统计：1.用户的访问总次数去重2.用户一共访问了多少种不同的网站这里用sql很好写select id,name,count(distinct url) from table group by id,name其实这个题目是继官方和各种地方讲解聚合函...

weixin_30508241
2018-06-14 23:10:00

 1583

 1

#大数据 #java #scala
spark基于Yarn模式提交作业出现的问题

问题一：1 2019-06-22 20:51:22 INFOClient:54 - Application report for application_1561087892111_0001 (state: ACCEPTED)2 2019-06-22 20:51:23 INFOClient:54 - Application report for application...

weixin_30414635
2019-06-24 11:16:00

 648

#大数据 #java #scala
spark DataFrame 读写和保存数据

一。读写Parquet(DataFrame)　　　Spark SQL可以支持Parquet、JSON、Hive等数据源，并且可以通过JDBC连接外部数据源。前面的介绍中，我们已经涉及到了JSON、文本格式的加载，这里不再赘述。这里介绍Parquet，下一节会介绍JDBC数据库连接。　　Parquet是一种流行的列式存储格式，可以高效地存储具有嵌套字段的记录。Parquet是语言无关的，而且...

weixin_30362801
2019-04-13 09:19:00

 1018

#大数据 #scala #python
Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/fs/CanUnbuffer

在执行spark on hive 的时候在 sql.show()处报错： Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/fs/CanUnbuffer报错详情：Exception in thread "main" java.lang.NoClassDefFoundError: ...

weixin_34289454
2019-01-09 17:45:00

 2981

#java #大数据 #scala
spark[源码]-sparkContext详解[一]

spark简述sparkContext在Spark应用程序的执行过程中起着主导作用，它负责与程序和spark集群进行交互，包括申请集群资源、创建RDD、accumulators及广播变量等。sparkContext与集群资源管理器、work节点交互图如下：官网对图下面几点说明：（1）不同的Spark应用程序对应该不同的Executor，这些Executor在整个应用程序执行...

weixin_34289454
2017-09-07 11:50:00

 265

#大数据 #scala #java
spark第八篇：与Phoenix整合

spark sql可以与hbase交互，比如说通过jdbc，但是实际使用时，一般是利用phoenix操作hbase。此时，需要在项目中引入phoenix-core-4.10.0-HBase-1.2.jar和phoenix-spark-4.10.0-HBase-1.2.jar。java代码示例：public static void main(String[] args) {...

weixin_34289454
2018-10-24 16:53:00

 1072

#大数据 #java #scala
spark-shell 执行脚本并传入参数

使用方法：./spark-script.sh your_file.scala first_arg second_arg third_arg脚本：scala_file=$1shift 1arguments=$@#set +o posix# to enable process substitution when not running on bash...

weixin_34195142
2016-03-11 13:34:00

 1747

#大数据 #scala
spark实现从hbase中批量查询多个rowKey

需求：参数是多个没有顺序的rowKey，在某张表中批量查询。一个一个rowKey查询的话，效率太低。实现：需要在scan中添加filter。filter中添加多个rowKey，对需要查询的rowKey进行限制。x代表rowKey。val rowKeyFilter=new RowFilter(CompareFilter.CompareOp.EQUAL,new BinaryCompara...

weixin_34289454
2018-09-12 11:24:00

 793

#大数据 #scala
程序语言（编程语言）汇总大全

链接至：维基百科.NET Framework平台语言C++/CLI· C#· F#· IronPython· J#· Visual C#· Visual Basic .NET· Small BasicC/C++语言C· C++· Turbo C++· Borland C++· C++ Builder- C++/CLI· ...

weixin_33778544
2012-03-25 15:24:00

 378

#scala #java
Junit测试出现异常：Exception in thread "main" java.lang.NoSuchMethodError: org.junit.platform.commons.util....

在进行单元测试时，测试出现异常Exception in thread "main" java.lang.NoSuchMethodError: org.junit.platform.commons.util.ReflectionUtils.getDefaultClassLoader()Ljava/lang/ClassLoader;错误就在pom.xml的依赖中，仔细查看控制台输出你会发现...

weixin_34289454
2017-09-14 13:47:00

 610

#java #scala #测试
spark 学习网站和资料

spark 官网首页https://spark.apache.org/spark 官网文档spark scala API 文档https://spark.apache.org/docs/latest/api/scala/index.html#packagecsdn spark 技术社区http://spark.csdn.net/https://www.iteblo...

weixin_34289454
2017-12-21 14:22:00

 1899

#大数据 #scala
详解 jupyter notebook 集成 spark 环境安装

来自：代码大湿代码大湿1 相关介绍jupyter notebook是一个Web应用程序，允许你创建和分享，包含活的代码，方程的文件，可视化和解释性文字。用途包括：数据的清洗和转换、数值模拟、统计建模、机器学习和更多。支持40多中语言。python ，R，go，scala等。Spark是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用并...

weixin_34289454
2016-07-03 15:04:00

 922

#大数据 #scala #人工智能
hadoop+spark+scala环境--单实例版

hadoop+spark环境--单实例版1、修改主机名及关系映射2、关闭防火墙并创建文件夹mkdir /hadoop/tmpmkdir /hadoop/dfs/namemkdir /hadoop/dfs/datamkdir /hadoop/var3、配置Scala环境[root@hadoop conf]#vim /etc/profileexport SCALA_HOME=/opt/scala2.1

weixin_33743248
2019-04-03 18:00:51

 250

#大数据 #scala #开发工具
大数据hadoop从入门到精通

前言：•一、背景介绍•二、大数据介绍正文：•一、大数据相关的工作介绍•二、大数据工程师的技能要求•三、大数据学习规划•四、持续学习资源推荐（书籍，博客，网站）•五、项目案例分析（批处理+实时处理）前言一、背景介绍本人目前是一名大数据工程师，项目数据50T，日均数据增长20G左右，个人是从Java后端开发，经过3个月的业余自学成功转型大数据工程师。附上本...

weixin_33727510
2018-08-11 22:25:04

 1164

 2

#scala #大数据
spark DAGScheduler、TaskSchedule、Executor执行task源码分析

摘要spark的调度一直是我想搞清楚的东西，以及有向无环图的生成过程、task的调度、rdd的延迟执行是怎么发生的和如何完成的，还要就是RDD的compute都是在executor的哪个阶段调用和执行我们定义的函数的。这些都非常的基础和困难。花一段时间终于弄白了其中的奥秘。总结起来，以便以后继续完善。spark的调度分为两级调度：DAGSchedule和TaskSchedule。DAGSched.

weixin_34379433
2018-03-26 16:36:55

 381

#大数据 #scala #ui
使用jpmml-sparkml-executable生成PMML模型文件

2019独角兽企业重金招聘Python工程师标准>>>...

weixin_34289454
2018-11-20 18:36:00

 1146

 1

#大数据 #scala #python
Scala和Java混合开发

2019独角兽企业重金招聘Python工程师标准>>>...

weixin_34289454
2018-06-02 21:02:00

 1024

#scala #java #数据结构与算法
hadoop + spark+ hive 集群搭建(apache版本)

0. 引言hadoop 集群，初学者顺利将它搭起来，肯定要经过很多的坑。经过一个星期的折腾，我总算将集群正常跑起来了，所以，想将集群搭建的过程整理记录，分享出来，让大家作一个参考。由于搭建过程比较漫长，所以，这篇文章应该也会很长，希望大家能耐心看完。1. 集群环境和版本说明3台CentOS 7.4 的服务器，4CPU，8G内存；jdk1.8hadoop2.7.7spark 2....

weixin_34289454
2018-09-11 17:49:27

 762

 2

#数据库 #运维 #scala
使用spark计算文档相似度

为什么80%的码农都做不了架构师？>>>...

weixin_34289454
2016-12-17 22:31:00

 2592

#大数据 #java #scala
Mac上搭建spark开发环境

本文将介绍在Mac os上搭建Spark开发环境。在安装spark环境之前，需要确保配置相应的java环境，jdk或者jre的版本需要在1.8.0版本以上。(1)首先下载开发IDE，目前比较流行的IDE是IntelliJ IDEA,可以在官网下载使用，下载地址：https://www.jetbrains.com/idea/。(2)Spark环境搭建：mac上启动终端，使用brew instal..

weixin_34289454
2018-08-23 20:23:12

 319

#大数据 #scala #运维
hive sql转spark sql

为什么80%的码农都做不了架构师？>>>...

weixin_33714884
2016-08-19 15:38:00

 1054

#大数据 #scala
Elixir: 编程语言的未来

现在开始接触 Elixir对编程语言选择的一点看法Elixir 的元编程 (meta programming) 和 DSL很多有用的链接Elixir 并不是一个最近出现的语言。但是近期 Elixir 的生态逐渐完善，越来越多的专家开始关注这门语言，并且给予 Elixir 好评。现在开始接触 Elixir一个小的 Elixir 例子并行处理...

weixin_34383618
2017-06-08 10:49:00

 340

#php #java #scala
大数据分析你不能不懂的6个核心技术

目前，大数据领域每年都会涌现出大量新的技术，成为大数据获取、存储、处理分析或可视化的有效手段。大数据技术能够将大规模数据中隐藏的信息和知识挖掘出来，为人类社会经济活动提供依据，提高各个领域的运行效率，甚至整个社会经济的集约化程度。1大数据生命周期图1展示了一个典型的大数据技术栈。底层是基础设施，涵盖计算资源、内存与存储和网络互联，具体表现为计算节...

weixin_34146986
2017-07-05 16:23:00

 4009

 1

#数据库 #大数据 #scala
IDEA中scala实现word_count，sbt打jar包，并发送linux中spark运行(sbt打包详细)

文章目录0-背景1-spark安装2-IDEA开发3-参考0-背景最近因为业务需求，开始鼓捣下kafka和spark。因为也是第一次做这方面的内容，而且没玩过java和scala。所以这个word count的例子，鼓捣了近两天才出结果。整个流程如下：首先搭建虚拟机，安装ubuntu。然后在linux中安装spark。最后再本地的IDEA中开发scala，并打包jar包，发送到spark系统...

Great1414
2019-04-24 14:57:57

 1789

 3

#scala #spark
Linux服务器 docker 安装使用 jupyter/all-spark-notebook

查找scala版本:docker search scala拉取docker:docker pulljupyter/all-spark-notebook创建jupyter文件挂载目录:mkdir -p /data/jovyan/work在外网访问需要修改work文件夹权限:chmod 777 ./workjupyter/all-spark-note...

secret_breathe
2019-04-03 15:29:45

 1829

#docker #scala #jupyter +1
spark scala中的override关键字

Override表示重写字段或者方法override是覆盖的意思，在很多语言中都有（或为：overwrite），在scala中，override是非常常见的，在类继承方面，它和java不一样，不是可写可不写的了，而是必须写的。在java1.5中引入了override注解，但不强制使用。而scala如果不写而覆盖了对应的属性或者方法的话，编译器就会报错了。在scala里，类继承有两点限制...

a627082796
2019-02-22 10:06:08

 1730

#spark #scala

加载更多

回到
顶部

提供社区服务与技术支持

提供社区服务与技术支持

©1999-2023北京创新乐知网络技术有限公司京ICP备19004658号