玩神界原罪2需要什么配置(最低配置是什么)

懵懂先生 投稿文章玩神界原罪2需要什么配置(最低配置是什么)已关闭评论15阅读模式

文章源自略懂百科-http://wswcn.cn/113423.html

HiveServer2是一个轻量级的Hive对外服务层,它是一个Thrift服务器,可以与Hadoop集群无缝交互。它支持JDBC和ODBC驱动程序,以提供查询数据的SQL层。传入的SQL查询将被转换为TEZ或MR作业,结果将被检索并发送回客户端。HS2内部没有进行过重的任务负载,它只是作为一个具有TEZ/MR驱动程序、扫描元数据信息和应用Ranger策略进行授权的服务层。文章源自略懂百科-http://wswcn.cn/113423.html

HiveServer2两种类型池

连接池:任何传入的连接都由HiveServer2处理程序线程处理,并保存在此池中,该池本质上不受限制,但受到可用于服务传入请求的线程数量的限制。如果没有空闲的HiveServer2处理程序线程来服务请求,则不会接受传入请求。可以通过参数hive.server2.thrift.max.worker.thread控制可以使用HS2生成的线程总数。会话池(每个队列):代表可以处于活动状态的并发会话数量为3。当连接池中的连接执行SQL查询时,如果发现会话队列中的空闲插槽并且执行SQL语句,就会维护每个在默认查询队列中定义的队列。在本例中,仅定义了默认队列,每个队列的会话数为3。超过3个并发查询(非连接)必须等待,直到会话池中的某个插槽空闲。在HS2中可能有多个连接处于活动状态,但在任何时候它只能执行3个查询,其余查询必须等待。文章源自略懂百科-http://wswcn.cn/113423.html

HiveServer2连接概述

HiveServer2连接图文章源自略懂百科-http://wswcn.cn/113423.html

HS2在端口10000上监听,并接受来自客户端在此端口上的连接。HS2打开到Kafka的连接,用于写入指标和血统信息,这些信息由Ambari指标服务和Atlas消费。S2也不时地直接连接到DataNodes来服务请求,例如Select * from Table LimitN。S2还连接到NodeManager, 在该NodeManager中,TEZ AM被创建以服务SQL查询。在此过程中,它与NameNode和资源管理器进行通信,而高可用性期间发生切换会影响连接。HiveServer2整体与ATLAS、SOLR、KAFKA、NameNode、DataNode、ResourceManager、NodeManager、MYSQL进行通信。文章源自略懂百科-http://wswcn.cn/113423.html

HiveServer2优化参数(基于Tez引擎)

设置"set hive.server2.tez.initialize.default.sessions=true"参数。它的作用是在HS2启动、重新启动时为每个会话分配Tez AM。(每个队列的会话数=3,因此将生成3个Tez AM。如果默认查询队列中有2个队列、每个队列的会话数=3,则将生成6个Tez AM。)在HS2启动时,也可以强制每个TEZ AM生成一定数量的容器(预热)。设置hive.prewarm.enabled=truetez.grouping.split-count =3,将确保每个TEZ AM将持有2个容器来执行SQL查询。she z设置为default,每个队列的会话数为3,持有容器以减少延迟"hive.prewarm.enabled=true,tez.grouping.split-count =3"。HS2将为每个会话产生3个TEZ AM。对于每个TEZ AM,将产生2个容器。因此,在资源管理器UI中可以看到总共9个容器(3个TEZ AM + 6个容器)正在运行。为了使TEZ更有效并节省启动时间,需要在TEZ配置中配置以下参数。该参数防止AM在作业执行完成后立即宕掉。它会在最小值和最大值之间等待以处理另一个查询,否则会kkill自身并释放YARN资源。Tez.am.container.reuse.enabled=trueTez.am.container.idle.release-timeout.min.millis=10000Tez.am.container.idle.release-timeout.max.millis=20000文章源自略懂百科-http://wswcn.cn/113423.html

HiveServer2的连接内存

在HS2中,每个连接都有内存占用文章源自略懂百科-http://wswcn.cn/113423.html

1. 每个连接都会扫描metastore以了解表的情况。文章源自略懂百科-http://wswcn.cn/113423.html

2. 每个连接都会预留内存以保存指标和TEZ驱动程序。文章源自略懂百科-http://wswcn.cn/113423.html

3. 每个连接都会预留内存以保存TEZ执行的结果。文章源自略懂百科-http://wswcn.cn/113423.html

因此,如果大量连接处于活动状态,则由于缺少堆空间,HS2可能会变慢,因此需要根据连接数量调整堆空间。40个连接需要大约16GB的HS2堆。超出此范围的需要对GC和服务水平扩展,请进行调整。文章源自略懂百科-http://wswcn.cn/113423.html

可以基于以下参数空闲状态断开客户端连接:文章源自略懂百科-http://wswcn.cn/113423.html

hive.server2.session.check.interval=6hhive.server2.idle.operation.timeout=5dhive.server2.idle.session.check.operation=truehive.server2.idle.session.timeout=7d文章源自略懂百科-http://wswcn.cn/113423.html

HiveServer2内嵌了元数据存储,用于与RDBMS交互,以存储表Scehma信息。HiveMetastore通过数据库为其他服务提供服务。HiveServer2不直接使用HiveMetastore。文章源自略懂百科-http://wswcn.cn/113423.html

常见问题解决

1. 客户端经常出现超时:HS2永远不会拒绝连接,因此超时是客户端设置的参数,而不是HS2设置的。大多数工具的超时时间为30秒,根据您的集群使用模式将其增加到90-150秒。文章源自略懂百科-http://wswcn.cn/113423.html

2. HS2变得无响应:如果HS2频繁进行FULL GC或堆不可用,需要增加堆大小并进行水平扩展了。文章源自略懂百科-http://wswcn.cn/113423.html

3. HS2有大量连接:HS2在端口10000上接受连接,并且还连接到RDBMS、DataNodes(用于直接查询)和NodeManager(用于连接到AM),因此总是尝试分析是有很多输入连接还是输出连接。文章源自略懂百科-http://wswcn.cn/113423.html

4. 由于HS2作为一种服务是交互式的,因此为HS2提供一定数量的年轻一代总是很好的。文章源自略懂百科-http://wswcn.cn/113423.html

5. 如果事务型系统与HS2交互,那么提供一个20GB堆,其中为年轻代提供6-8GB,对于年轻代使用ParNewGC,对于老年代使用ConcurrentMarandSweepGC。文章源自略懂百科-http://wswcn.cn/113423.html

文章源自略懂百科-http://wswcn.cn/113423.html

懵懂先生
  • 本文由 发表于 2023年8月25日 14:45:17
  • 转载请注明:http://wswcn.cn/113423.html
投稿文章

半是蜜糖半是伤更新时间

9月26日,《半是蜜糖半是伤》官微宣布,该剧将于9月27日开播,同时发布的还有热恋版预告片。 官方海报 该剧改编自棋子的同名小说,讲述了患有重度眼泪过敏症的女主角江君(白鹿 饰)多年后在职场重遇童年玩...
投稿文章

如何 *** 网开店

新手网上怎么开店创业?开了网店没有生意?淘宝店铺不知道怎么打理?来巩义精英培训学校专业淘宝阿里培训,让你轻松学会淘宝阿里装修运营技巧,成功当老板。 一、培训内容: 网店优化基本流程、ps、运营、推广、...
投稿文章

电脑怎么截图(电脑怎么录屏)

很多人都不知道如何用电脑截图,大部分小白还在用QQ微信截图,但是画质特别差。今天就来教你6种快速截图的方法,而且录屏的同时还能截屏。 01.全屏截图 我们想全屏截图往往都需要自己去拉大截图框,其实有个...
投稿文章

微型面包车哪个好(小排量面包车有哪些)

微客车型推荐 昌河福瑞达 时尚外观轿车化舒适感 昌河福瑞达微客秉承轿车化的流行元素,外观时尚而富有力量感。微型面包车哪个好?昌河汽车研发部负责人表示,福瑞达的外观除了时尚元素外,还非常大气,属于经典款...