스파크 데이터 프레임을 만듭니다.유형에 대한 스키마를 유추할 수 없습니다.

스파크 데이터 프레임을 만듭니다.유형에 대한 스키마를 유추할 수 없습니다.

Spark DataFrame으로 인해 발생한 이 문제를 해결하는 데 도움을 줄 수 있는 사람이 있습니까?

내가 할때는myFloatRDD.toDF()오류가 발생합니다.

TypeError: type 'float'에 대한 스키마를 추론할 수 없습니다.

왜...

예:

myFloatRdd = sc.parallelize([1.0,2.0,3.0])
df = myFloatRdd.toDF()

감사해요.

SparkSession.createDataFrame, 후드 아래에 사용되는 것은 다음을 필요로 합니다.RDD/list의Row/tuple/list/dict아니면dictpandas.DataFrame, 도식이 없는 한DataType제공됩니다.다음과 같이 플로트를 튜플로 변환합니다.

myFloatRdd.map(lambda x: (x, )).toDF()

또는 더 나은 경우:

from pyspark.sql import Row

row = Row("val") # Or some other column name
myFloatRdd.map(row).toDF()

만들기DataFrame당신이 사용해야 할 스칼라 목록에서SparkSession.createDataFrame직접 스키마***를 제공합니다.

from pyspark.sql.types import FloatType

df = spark.createDataFrame([1.0, 2.0, 3.0], FloatType())

df.show()

## +-----+
## |value|
## +-----+
## |  1.0|
## |  2.0|
## |  3.0|
## +-----+

하지만 단순한 범위의 경우에는 사용하는 것이 더 나을 것입니다.SparkSession.range:

from pyspark.sql.functions import col

spark.range(1, 4).select(col("id").cast("double"))

---

* 더 이상 지원되지 않습니다.

** Spark SQL은 Python 개체 노출에 대한 스키마 추론을 제한적으로 지원합니다.__dict__.

*** Spark 2.0 이상에서만 지원됩니다.

from pyspark.sql.types import IntegerType, Row

mylist = [1, 2, 3, 4, None ]
l = map(lambda x : Row(x), mylist)
# notice the parens after the type name
df=spark.createDataFrame(l,["id"])
df.where(df.id.isNull() == False).show()

기본적으로 int를 행()으로 시작한 다음 스키마를 사용할 수 있습니다.

리플렉션을 이용한 스키마 추론

from pyspark.sql import Row
# spark - sparkSession
sc = spark.sparkContext

# Load a text file and convert each line to a Row.
orders = sc.textFile("/practicedata/orders")
#Split on delimiters
parts = orders.map(lambda l: l.split(","))
#Convert to Row
orders_struct = parts.map(lambda p: Row(order_id=int(p[0]), order_date=p[1], customer_id=p[2], order_status=p[3]))
for i in orders_struct.take(5): print(i)
#convert the RDD to DataFrame

orders_df = spark.createDataFrame(orders_struct)

스키마 프로그래밍 방식 지정

from pyspark.sql import Row
# spark - sparkSession
sc = spark.sparkContext

# Load a text file and convert each line to a Row.
orders = sc.textFile("/practicedata/orders")
#Split on delimiters
parts = orders.map(lambda l: l.split(","))
#Convert to tuple
orders_struct = parts.map(lambda p: (p[0], p[1], p[2], p[3].strip()))

#convert the RDD to DataFrame

orders_df = spark.createDataFrame(orders_struct)

# The schema is encoded in a string.
schemaString = "order_id order_date customer_id status"

fields = [StructField(field_name, StringType(), True) for field_name in schemaString.split()]
schema = Struct

ordersDf = spark.createDataFrame(orders_struct, schema)

유형(필드)

from pyspark.sql import Row
myFloatRdd.map(lambda x: Row(x)).toDF()

언급URL : https://stackoverflow.com/questions/32742004/create-spark-dataframe-can-not-infer-schema-for-type