Mdrill测试数据写入程序的示例分析

Mdrill测试数据写入程序的示例分析，针对这个问题，这篇文章详细介绍了相对应的分析和解答，希望可以帮助更多想解决这个问题的小伙伴找到更简单易行的方法。

需要写入数据的表的sql：

CREATE TABLE tv (

thedate string,

tv string

)

写入的java代码：

import java.io.BufferedWriter;

import java.io.IOException;

import java.io.OutputStreamWriter;

import java.text.SimpleDateFormat;

import java.util.Calendar;

import java.util.Date;

import org.apache.hadoop.conf.Configuration;

import org.apache.hadoop.fs.FSDataOutputStream;

import org.apache.hadoop.fs.FileSystem;

import org.apache.hadoop.fs.Path;

public class ImportData {

static Configuration conf = null;

static FileSystem fs = null;

public static void main(String[] args) throws IOException {

conf = ConfigurationUtil.getConf();

fs = FileSystem.get(conf);

// TODO Auto-generated method stub

String pathStirng = "/group/tbdp-etao-adhoc/p4padhoc/tablelist/tv";

// 生成一年的文件夹(365个)，并将数据写入到文件夹中 文件夹名称：dt=20140201

Calendar calendar = Calendar.getInstance(); // 创建一个日历对象

calendar.setTime(new Date());

calendar.set(2013, 1, 1);

SimpleDateFormat sf = new SimpleDateFormat("yyyyMMdd");

while (calendar.get(Calendar.YEAR) < 2014) {

System.out.println(sf.format(calendar.getTime()));

String dateStr = sf.format(calendar.getTime());

String path = pathStirng + "/dt=" + dateStr;

mkdir(path);

writeTVData(path, dateStr);

calendar.add(Calendar.DAY_OF_YEAR, 1);

}

fs.close();

}

/**

* 写入100000条数字

* @param dir

* @throws IOException

*/

public static void writeTVData(String dir, String dateStr)

throws IOException {

FSDataOutputStream fos = null;

OutputStreamWriter osw = null;

BufferedWriter bw;

fos = fs.create(new Path(dir + "/data.txt"), false);

osw = new OutputStreamWriter(fos);

bw = new BufferedWriter(osw);

//给data.txt 一行行追加数据

for (int i = 0; i < 100000; i++) {

StringBuffer strBuffer = new StringBuffer();

strBuffer.append(dateStr);

strBuffer.append((char) 1);

strBuffer.append(i);

strBuffer.append(System.lineSeparator());

bw.write(strBuffer.toString());

}

bw.close();

osw.close();

fos.close();

}

public static void mkdir(String dir) throws IOException {

Path p = new Path(dir);

if (!fs.exists(p)) {

fs.mkdirs(p);

}

}

}

关于Mdrill测试数据写入程序的示例分析问题的解答就分享到这里了，希望以上内容可以对大家有一定的帮助，如果你还有很多疑惑没有解开，可以关注博信行业资讯频道了解更多相关知识。