mysql作为数据源可否直接用spark处理？
谢邀，Spark通过Jdbc来查询来自RDB的数据源。但是Spark对Jdbc的支持也是一个逐渐演变的过程，其中关键点在于版本1.3，也就是data frame的引入。在1.3以前，Spark通过Jdbc RDD来处理对对Jdbc的查询。它实现了标准的RDD接口，比如支持partition和compute。但是对很多用户来说，还是太复杂了。从1.3 起，可以直接用DF接口来做同样的事情。比如以下代码就可以完成对一个RDB表的查询
可以看到，不管数据来自什么数据源（hive，parquet， 甚至NoSql），引入data frame以后，它的代码是非常相似的，得到的结果都是dataframe，你尽可以把它们揉在一起。至于data frame内部是如何支持多种数据源的，以及如何优化，我再去看看源代码。hive中怎么转utf8？
表或者字段有中文的时候需要修改hive的元数据库的设置。
以mysql为例子，当mysql的字符集设置成utf8的时候使用hive会有问题，详细见hive的wiki。
所以当hive使用mysql作为元数据库的时候mysql的字符集要设置成latin1。
为了保存那些utf8的中文，要将mysql中存储注释的那几个字段的字符集单独修改为utf8。
HIVE如何查看表和数据库？
1
进入hive之前要把hadoop给启动起来，因为hive是基于hadoop的。所有的mr计算都是在hadoop上面进行的。
2
在命令行中输入：hive。这个时候就可以顺利的进入hive了。当然了，如果你想直接执行hql脚本文件可以这样：hive-fxxxxx.hql。
3
进入hive之后一一般默认的数据库都是default。如果你切换数据库的话所建的表都会是在default数据库里面。
4
创建数据库的语法是：createdatabasedatabase_name;非常简单的，其实hive跟mysql的语法还是比较相似的。为什么呢？请继续往下
5
切换数据库的时候可以输入：usedatabase_name；
查看所有数据库的时候可以输入：showdatabases;
查看所有表的时候可以输入：showtables
6
看表结构的时候可以输入：describetab_name;