h*****4
发帖数: 4219 | 1 现在公司里用来向Hadoop写入的框架是13年搭建的，有很多限制，比如要把JSON转成
POJO再用FileSystem写入，麻烦太多。
现在我重新搞了下，可以直接把JSON用FileSystem写入。不过如果AVRO里面定义了type
是union的话就会报错说数据定义不匹配。比如{"name":"age", "type":[null, "int"]
, "default":null} 这样的话{"age":12}, {"age":null} 都报错。
现在想问两个问题：
1. 有没有业界流行的框架能直接把JSON写入到Hadoop，就不用走FileSystem那一套？
2. 如果没有很好的框架，继续用FileSystem写，有没有办法处理union的问题？
谢谢大家！ | n***r
发帖数: 12 | 2 StreamSet
NIFI
Beam
type
"]
？
【在 h*****4 的大作中提到】
: 现在公司里用来向Hadoop写入的框架是13年搭建的，有很多限制，比如要把JSON转成
: POJO再用FileSystem写入，麻烦太多。
: 现在我重新搞了下，可以直接把JSON用FileSystem写入。不过如果AVRO里面定义了type
: 是union的话就会报错说数据定义不匹配。比如{"name":"age", "type":[null, "int"]
: , "default":null} 这样的话{"age":12}, {"age":null} 都报错。
: 现在想问两个问题：
: 1. 有没有业界流行的框架能直接把JSON写入到Hadoop，就不用走FileSystem那一套？
: 2. 如果没有很好的框架，继续用FileSystem写，有没有办法处理union的问题？
: 谢谢大家！
| h*****4
发帖数: 4219 | 3 多谢！明天去试试
【在 n***r 的大作中提到】
: StreamSet
: NIFI
: Beam
:
: type
: "]
: ？
|
|
