C# 在Hbase 中分批查询数据_agandefendou

大大的周 02-07 3638

hbase对于C# 这块的使用资料太少了，之前一直是索取，今天我也为社区做点贡献，将我所用到的贴出来，希望能帮忙到后面的童鞋。免得再去花费时间去做相同得事情。最近也是有个项目用到了hbase，于是开始研究hbase的一些shell命令，以及C# 如何调用hbase api接口。我使用了thrift的方式调用。这个功能是需要hbase中分批查询数据，废话不多说，直接上贴代码。 public async Task<List<string>> GetRowKeysByConditionAsync(HbaseTScanCondition entity) { TSocketTransport transport = null; try { TScan scan = new TScan(); scan.Columns = entity.Columns; scan.FilterString = Encoding.UTF8.GetBytes(entity.FilterString); #region 处理数据通道 transport = this.GetTransport(); TBinaryProtocol tProtocol = new TBinaryProtocol(transport); if (!transport.IsOpen) { CancellationToken cancellationToken = new CancellationToken(); await transport.OpenAsync(cancellationToken); } THBaseService.Client client = new THBaseService.Client(tProtocol); #endregion List<string> list = new List<string>(); var id = await client.openScanner(Encoding.UTF8.GetBytes(entity.TableName), scan); int count = 0; do { var rows = await client.getScannerRows(id, entity.NumRow); foreach (var item in rows) { var res = item.ColumnValues; foreach (var item1 in res) { string rowKey = Encoding.UTF8.GetString(item.Row); list.Add(rowKey); } } count = rows.Count; } while (count > 0 && count == entity.NumRow); client.closeScanner(id).ConfigureAwait(false).GetAwaiter().GetResult(); return list; } catch (Exception ex) { } finally { if (transport.IsOpen) { transport.Close(); } } return null; }

这个方法是我用来查询满足过滤条件的RowKey的集合的，HbaseTScanCondition 是我自定义的类，这里我也贴出来

public class HbaseTScanCondition { public string TableName { get; set; } public string Family { get; set; } public List Columns { get; set; } //需要查询出来的列集合 public string FilterString { get; set; } /// /// 每次查询的行数 /// public int NumRow { get; set; } } hbase里面用的最多的是RowKey，而且需要操作的使用能用RowKey的尽量用RowKey。这个方法我直接查询出满足条件的RowKey,之后你可以再进行其他的对应操作。这里其实最关键的是FilterString该怎么写，这个我也是花了很久的时间去研究这个，幸没有白费。这里的FilterString就是对应hbase shell里面的命令的过滤器。对应的hbase过滤器，我放在下个文章里面介绍。这里我先直接跳过。我在这里举一个FilterString的实例：

string FilterString=“PrefixFilter(‘00’)”； //这个是匹配行键前缀为00开始的所有行键的；这里直接将FilterString的字符串传给HbaseTScanCondition.FilterString 中

在hbase shell使用中的实例如下： scan ‘student’,{LIMIT=>10,FILTER=>“PrefixFilter(‘00’)”}