Spark入门：RDD编程(2)

4.2键值对RDD

4.2.1键值对RDD的创建

lines=sc.textFile("file:///usr/local/spark/mycode/rdd/word.txt")

pairRdd=lines.flatMap(lambda line:line.split(" ")).map(lambda word:(word,1))

pairRdd.foreach(print)

4.2.2常用键值对转换操作

1.reduceByKey(func)

2.groupByKey()

3.key

4.value

5.sortByKey()

6.sortBy()

7.mapValues(func)

8.join

4.2.3一个综合实例