pyspark获取当月的最后一天的日期?

  算法/数据结构/数据库 时间序列 Python sql    浏览次数:402        分享
0

比如我的pyspark sql dataframe里有一列日期

dates

2020-01-20

2020-01-25

2020-02-01

2020-02-29


我想返回的是加工后的一列,这一列对应着每一行中dates日期所在的月的最后一天。比如上面的结果应该是

last_day_a_month

2020-01-31

2020-01-31

2020-02-29

2020-02-29


在pyspark里我该怎么操作?

 

cannon   2020-04-25 20:54



   1个回答 
2

先引用一下pyspark的functions

import pyspark.sql.functions as F

然后用Functions中的last_day函数就可以得到当月的最后一天

select(F.last_day(F.col('dates')).alias('last_day_of_month'))


SofaSofa数据科学社区DS面试题库 DS面经

黑泽先生   2020-04-25 22:17



  相关主题

pyspark里怎么求百分位数?   1回答

pyspark里怎么把类似‘yyyy-mm-dd‘的字符串转成星期几的形式?   1回答

pyspark里转成整数型报错TypeError: unexpected type:   1回答

怎么用pyspark取出hive表里的json串中某一个key的值?   1回答

pyspark返回每个分组某个值最大的行   1回答

怎么在pyspark中查看一个表格的partition?   1回答

pyspark里怎么查看一个dataframe的schema?   1回答

spark sql里怎么用case when?   1回答

spark里怎么refresh表?   3回答

返回pyspark dataframe的行数?   1回答

得到一个pyspark.sql.dataframe中所有列的名称   2回答

spark ml和spark mllib区别   5回答



回答问题时需要注意什么?

我们谢绝在回答前讲“生动”的故事。

我们谢绝“这么简单,你自己想”、“书上有的,你认真看”这类的回答;如果你认为对方的提问方式或者内容不妥,你可以直接忽略该问题,不用进行任何作答,甚至可以对该问题投反对票。

我们谢绝答非所问。

我们谢绝自己不会、硬要回答。

我们感激每一个用户在编写答案时的努力与付出!