博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
C# Hadoop学习笔记(一)—环境安装
阅读量:5870 次
发布时间:2019-06-19

本文共 4025 字,大约阅读时间需要 13 分钟。

一、安装环境

1,前期准备:官网下载“NuGet Package Manager”,按自己已有的VS环境下载对应版本;

2,利用NuGet下载 For .NET SDK,地址“”

3,安装。

4,通过,安装Windows Azure,目前是预览版本。

5,参照网址“” 系统学习API

 

二、测试DEMO

 

[csharp]   
 
  1. using System;  
  2. using System.Collections.Generic;  
  3. using System.Linq;  
  4. using System.Text;  
  5. using System.Threading.Tasks;  
  6. using Microsoft.Hadoop;  
  7. using Microsoft.Hadoop.MapReduce;  
  8. using Microsoft.Hadoop.WebClient.WebHCatClient;  
  9. using System.Diagnostics;  
  10. using System.IO;  
  11. using System.IO.MemoryMappedFiles;  
  12.   
  13.   
  14. namespace HadoopConsol  
  15. {  
  16.     class Program  
  17.     {  
  18.         static void Main(string[] args)  
  19.         {  
  20.             Stopwatch sw = new Stopwatch();  
  21.             long hadoopTime=0;  
  22.             long normalTime=0;  
  23.   
  24.             sw.Start();  
  25.   
  26.             //start hadoop  
  27.             Console.WriteLine("     Hadoop Process Strating ....");  
  28.  
  29.             #region Hadoop time  
  30.  
  31.             #region hadoopconnet  
  32.   
  33.             Console.WriteLine("     Hadoop Connect Strating ....");  
  34.   
  35.             //establish job configuration  
  36.   
  37.             HadoopJobConfiguration myConfig = new HadoopJobConfiguration();  
  38.   
  39.             myConfig.InputPath = "/demo/simple/in";  
  40.   
  41.             myConfig.OutputFolder = "/demo/simple/out";  
  42.   
  43.   
  44.   
  45.             //connect to cluster  
  46.   
  47.             Uri myUri = new Uri("http://localhost");  
  48.   
  49.             string userName = "hadoop";  
  50.   
  51.             string passWord = null;  
  52.   
  53.             IHadoop myCluster = Hadoop.Connect(myUri, userName, passWord);  
  54.   
  55.             hadoopTime += sw.ElapsedMilliseconds;  
  56.   
  57.             Console.WriteLine("     Hadoop Connect End.");  
  58.   
  59.             Console.WriteLine("     Hadoop Connect time:" + sw.ElapsedMilliseconds);  
  60.  
  61.             #endregion  
  62.  
  63.  
  64.             #region hadoopmapreduce  
  65.   
  66.             sw.Reset();  
  67.             sw.Start();  
  68.   
  69.             Console.WriteLine("     Hadoop MapReduce Strating ....");  
  70.   
  71.             //execute mapreduce job  
  72.   
  73.             MapReduceResult jobResult =  
  74.   
  75.                 myCluster.MapReduceJob.Execute<MySimpleMapper, MySimpleReducer>(myConfig);  
  76.   
  77.             hadoopTime += sw.ElapsedMilliseconds;  
  78.   
  79.             Console.WriteLine("     Hadoop MapReduce End.");  
  80.             Console.WriteLine("     Hadoop MapReduce Time:"+sw.ElapsedMilliseconds);  
  81.  
  82.             #endregion  
  83.  
  84.             #region Hadoop End  
  85.   
  86.             sw.Reset();  
  87.             sw.Start();  
  88.   
  89.             Console.WriteLine("     Hadoop Endprocess Strating ....");  
  90.   
  91.             //write job result to console  
  92.   
  93.             int exitCode = jobResult.Info.ExitCode;  
  94.   
  95.   
  96.   
  97.             string exitStatus = "Failure";  
  98.   
  99.             if (exitCode == 0) exitStatus = "Success";  
  100.   
  101.             exitStatus = exitCode + " (" + exitStatus + ")";  
  102.   
  103.             Console.WriteLine();  
  104.   
  105.             Console.Write("Exit Code = " + exitStatus);  
  106.   
  107.             Console.WriteLine("     Hadoop Endprocess End.");  
  108.             hadoopTime += sw.ElapsedMilliseconds;  
  109.             Console.WriteLine("     Hadoop Exit Time:" + sw.ElapsedMilliseconds);  
  110.             Console.WriteLine("     Hadoop Process All Time:" + hadoopTime);  
  111.             #endregion  
  112.  
  113.             #endregion  
  114.  
  115.  
  116.             #region Normal time  
  117.             //start Normal  
  118.             Console.WriteLine("     Normal Process Strating ....");  
  119.   
  120.             sw.Reset();  
  121.             sw.Start();  
  122.   
  123.             //normal process  
  124.             #region Normal Process  
  125.   
  126.             int myevenCount = 0;  
  127.             int myeventSum = 0;  
  128.   
  129.             int myoddCount = 0;  
  130.             int myoddSum = 0;  
  131.   
  132.             StreamReader fs = new StreamReader(@"c:\TEMP\integers.txt");  
  133.   
  134.             while (fs.Peek() >= 0)  
  135.             {  
  136.                 string strTemp = fs.ReadLine();  
  137.                 if (Int32.Parse(strTemp) % 2 == 0)  
  138.                 {  
  139.                     myevenCount++;  
  140.                     myeventSum += Int32.Parse(strTemp);  
  141.                 }  
  142.                 else  
  143.                 {  
  144.                     myoddCount++;  
  145.                     myoddSum += Int32.Parse(strTemp);  
  146.                 }  
  147.             }  
  148.                //MemoryMappedFile m = MemoryMappedFile.  
  149.             Console.WriteLine("even:" + "\t" + myevenCount + "\t" + myeventSum);  
  150.             Console.WriteLine("odd:" + "\t" + myoddCount + "\t" + myoddSum);  
  151.  
  152.             #endregion  
  153.   
  154.             Console.WriteLine("     Normal Process End.");  
  155.   
  156.             normalTime += sw.ElapsedMilliseconds;  
  157.             Console.WriteLine("     Normal Exit Time:" + sw.ElapsedMilliseconds);  
  158.             Console.WriteLine("     Normal Process All Time:" + normalTime);  
  159.  
  160.             #endregion  
  161.   
  162.             sw.Stop();  
  163.   
  164.             Console.Read();  
  165.   
  166.         }  
  167.   
  168.     }  
  169.   
  170.     public class MySimpleMapper : MapperBase  
  171.     {  
  172.   
  173.         public override void Map(string inputLine, MapperContext context)  
  174.         {  
  175.   
  176.             //interpret the incoming line as an integer value  
  177.   
  178.             int value = int.Parse(inputLine);  
  179.   
  180.             //determine whether value is even or odd  
  181.   
  182.             string key = (value % 2 == 0) ? "even" : "odd";  
  183.   
  184.             //output key assignment with value  
  185.   
  186.             context.EmitKeyValue(key, value.ToString());  
  187.   
  188.         }  
  189.   
  190.     }  
  191.   
  192.     public class MySimpleReducer : ReducerCombinerBase  
  193.     {  
  194.   
  195.         public override void Reduce(  
  196.   
  197.             string key, IEnumerable<string> values, ReducerCombinerContext context  
  198.   
  199.             )  
  200.         {  
  201.   
  202.             //initialize counters  
  203.   
  204.             int myCount = 0;  
  205.   
  206.             int mySum = 0;  
  207.   
  208.   
  209.   
  210.             //count and sum incoming values  
  211.   
  212.             foreach (string value in values)  
  213.             {  
  214.   
  215.                 mySum += int.Parse(value);  
  216.   
  217.                 myCount++;  
  218.   
  219.             }  
  220.   
  221.   
  222.   
  223.             //output results  
  224.   
  225.             context.EmitKeyValue(key, myCount + "\t" + mySum);  
  226.   
  227.         }  
  228.   
  229.   
  230.     }  
  231. }  

三、测试结果

转载于:https://www.cnblogs.com/jjg0519/p/6278020.html

你可能感兴趣的文章
RocketMQ的一些特性
查看>>
Nginx 和 Apache 各有什么优缺点?
查看>>
Nginx配置nginx.conf的详细说明
查看>>
《大唐豪侠》架构开发纪实
查看>>
如何固定电脑ip地址
查看>>
Confluence 6 针对大数据量备份
查看>>
国家电子政务工程建设项目管理暂行办法
查看>>
《中国智慧》
查看>>
json解析
查看>>
oracle中判断写法
查看>>
server2008 DHCP的安装
查看>>
Linux集群之corosync+pacemaker实现MySQL高可用
查看>>
漏洞扫描系统
查看>>
“金”秋
查看>>
vector中的排序
查看>>
STP
查看>>
python当中__metaclass__探讨
查看>>
HTTP/FTP客户端开发库:libwww、libcurl、libfetch 以及更多
查看>>
怎么查路由器IP地址
查看>>
Java程序员必须掌握的8大排序算法
查看>>