指定日期为2015.05.20,输出这一天的日志。

代码如下:(日志文件自己找)

import org.apache.spark.{SparkConf, SparkContext}

object RDD_Operator_Transform_filter_Test {
  def main(args: Array[String]): Unit = {

    //TODO 创建环境
    val sparkConf = new SparkConf().setMaster("local[*]").setAppName("Operator")
    val sc = new SparkContext(sparkConf)

    //TODO RDD算子——filter
    val rdd = sc.textFile("datas/apache.log")
    val filterRDD = rdd.filter(
      line => {
        val datas = line.split(" ")
        val time = datas(3)
        time.startsWith("20/05/2015")

      }
    )
    filterRDD.collect().foreach(println)

    //TODO 关闭环境
    sc.stop()
  }

}

Logo

腾讯云面向开发者汇聚海量精品云计算使用和开发经验,营造开放的云计算技术生态圈。

更多推荐