博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
hdfs极限编程遇到的问题
阅读量:5159 次
发布时间:2019-06-13

本文共 1666 字,大约阅读时间需要 5 分钟。

eclipse远程连接hdfs:

示例如下:

package qq;

import java.io.BufferedReader;
import java.io.InputStream;
import java.io.InputStreamReader;
import java.net.URI;
import java.net.URL;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
public class Test1 {
    
    public static void caozuo() throws Exception {
        InputStream in = null;
        //配置文件
        Configuration conf = new Configuration();
        FileSystem fs = FileSystem.get(new URI("hdfs://192.168.108.11:9000/"), conf, "hadoop");
        Path path = new Path("/sunbinghai/hdfstest1.txt");
        FSDataOutputStream out = fs.create(path);
        out.writeBytes("信1605-220163469孙丙海课堂测试");
        out.flush();
        //in.close();
        fs.close();
    }
    
    
    
    public void mv() throws Exception{
        Configuration conf = new Configuration();
        FileSystem fs = FileSystem.get(new URI("hdfs://192.168.108.11:9000/"), conf, "hadoop");
        Path dst = new Path("/sunbinghai/hdfstest2.txt");
        Path src = new Path("/sunbinghai/hdfstest1.txt");
        fs.rename(src, dst);
    }
    
    public void readText() throws Exception{
        Configuration conf = new Configuration();
        FileSystem fs = FileSystem.get(new URI("hdfs://192.168.108.11:9000/"), conf, "hadoop");
        Path path = new Path("/sunbinghai/hdfstest2.txt");
        FSDataInputStream in = fs.open(path);
        String line = null;
        BufferedReader bufferedReader = new BufferedReader(new InputStreamReader(in));    
        while((line = bufferedReader.readLine()) !=null) {
            System.out.println("读取的内容为"+line);
        }
        fs.close();
        
    }
    public static void main(String[] args) throws Exception {
        caozuo();
    }
}

转载于:https://www.cnblogs.com/xiaohaigege666/p/9733595.html

你可能感兴趣的文章
Flask 学习 八 用户角色
查看>>
元类编程-- 实现orm,以django Model为例
查看>>
关于type return to continue,or q <return> to quit
查看>>
如果我们想读一下Struts2中的源码,在myeclipse中我们该如何配置呢?
查看>>
在客户端缓存Servlet的输出
查看>>
744. Find Smallest Letter Greater Than Target
查看>>
判断两个vector是否相等
查看>>
InstallShield 2015 Premier的Basic MSI Project如何在卸载时删除残留的文件 (转)
查看>>
Python中的属性管理
查看>>
关于javaSocket中 Software caused connection abort: recv failed问题
查看>>
算法练习--小球下落
查看>>
使用get传参的时候,参数在后头获取不到或者出现别的错误。
查看>>
Fedora23安装以后要做的优化配置
查看>>
python itertools
查看>>
jquery或js前端提交数据的几种方式
查看>>
TFS源代码管理的8大注意事项
查看>>
构建自己的简单微服务架构(开源)
查看>>
线程休眠代码(C++)
查看>>
linux环境下pytesseract的安装和央行征信中心的登录验证码识别
查看>>
System.ArgumentException: 不支持关键字: “provider”
查看>>