sqoop工作原理?
Sqoop的工作原理是一个在结构化数据和Hadoop之间进行批量数据迁移的工具,结构化数据可以是MySQL、Oracle等RDBMS。Sqoop底层用MapReduce程序实现抽取、转换、加载,MapReduce天生的特性保证了并行化和高容错率,而且相比Kettle等传统ETL工具,任务跑在Hadoop集群上,减少了ETL服务器资源的使用情况。在特定场景下,抽取过程会有很大的性能提升。
如果要用Sqoop,必须正确安装并配置Hadoop,因依赖于本地的Hadoop环境启动MR程序;MySQL、Oracle等数据库的JDBC驱动也要放到Sqoop的lib目录下。
Sqoop的成层原理本质上是MapRatuce 任务。Sqoop是通过个MapReduve作业从数据库中导入一个表,这个作业从表中逐行抽取数据,接着将一行行的数据写入HDFS。
Sqoop的底层是Java, Java 提供了JDBC API,通过JDBC API应用程序可以访问储在关系型数据库中的数据。Sqoop 导入、导出数据时都需要用到JDBC。在导入之前,Sqoop会通过JDBC查询出表中的列和列的类型,同时这些类型会与Java 的数据类型相匹配,而底层运行的MapReduce会根据这些Java类型来保存字段对应的值。
jni机制的原理?
JNI是Java Native Interface(Java本地接口)的缩写。JNI作为java和操作系统间的一个直接接口,可以通过JNI使得java直接调用操作系统的资源。目前JNI只能通过c/C++实现,因为jni只是对操作系统资源调用的一个桥接过程。
所以理论上在windows下只要是dll文件均可以被调用。java代码编译之后是运行在一个jvm里,所以java的任何操作对操作系统而言都是隔着一层虚拟机外壳,这点也正式java的优点,帮助java实现了“Write Once, Run Everywhere”的可移植性。但是使用了jni之后必须要明白这个“Write Once, Run Everywhere”要被打破,必须要实现不同的操作系统的各种jni版本。
安卓系统原理?
这个问题比较宽泛,安卓是一款基于JAVA的操作系统,所有的安卓手机安装了linux内核的操作系统,手机启动后,会先启动Linux,Linux会启动JAVA虚拟机,也就是jvm的移植版本,接着,Java就会启动安卓系统的各个组件,象桌面啊,电话啊,这么一来,手机就运行起来了。
如何理解java中的反射?
JAVA中的反射无处不在,不仅在jdk中存在,还在诸如spring,mybatis,设计模式等中广泛使用!
首先要知道的是,JAVA可以算做编译型语言,大多数的类,方法都在编译时已经明确,这显然不能满足于我们所有的需求,使用反射就可以在运行时动态加载,通过类可以构造对象,准确的知道它的属性,方法等全部信息!
JAVA中的反射方式有以下几种:
①Class.forName(“类全路径”);
②对象名.getClass
③基本类型的包装类:Boolean.TYPE,Integer.TYPE等!
反射的作用有:
1,可以在运行时动态获得对象,
2,在运行时动态获取一个类的构造器,方法,变量,注解等!
3,实现动态代理。
反射的缺点:因为是在运行时获取,没有JAVA的预编译,在运行时性能存在问题!
反射的实际使用场景:
1,spring中实例化对象的时候如果都用new来创建对象,那将会十分繁琐,而且加入新类型的时候也需要重新new,spring的做法是让这些所有对象继承自beanDefinition,这样在实例化的时候,只要传入父类和子类类型即可!
2,动态代理:spring aop中的注释模式就是用了动态代理,比如JdkDynamicAopProxy
反射在实际开发中也是体现一个开发人员水平高低的参考,要让这种思想深深烙入心里,在实际开发中解决很多后期扩展困难的问题!需要反射Demo的可以私信我索取,近期一直在分享JAVA开发方面的东西,有些很不错,敬请关注。。