Avro 序列化传输协议实战

发表于 2018-05-14 更新于 2026-09-08 分类于 BigData

测试岗位却不甘止步于业务测试，遂尝试智能化测试，当前的思路是通过日志大数据分析，协助自动化用例的诊断和建议。其中传输协议打算使用avro，原因是使用hadoop集群。本文记录官网入门步骤中未尽之处与项目实际应用经验

Kafka 简单使用

发表于 2018-05-10 更新于 2026-09-08 分类于 BigData

在智能测试日志分析方案中，使用kafka作为消息集成的关键组件，简单记录一下使用的命令和docker搭建笔记。

发表于 2018-05-08 更新于 2026-09-08 分类于 Ops

作为团队QA角色，在环境搭建上使用ansible作为部署运维的自动化工具，在启动tomcat、presto、kylin时，遇到环境变量不对，无法启动；启动没报错但发现没有启动，发现进程启动了又退出了。本文简要记述相关原因与解决方案。

发表于 2018-05-03 更新于 2026-09-08 分类于 BigData

之前hadoop圈的应用（如hive、sqoop、azkaban等）都在master节点部署，一次性多个应用同时启动，耗尽内存后Linux随机删掉进程，影响集群和应用的稳定性。

发表于 2018-05-02 更新于 2026-09-08 分类于 BigData

系统和datanode、nodemanager进程预留4C4G，yarn使用12C12G。目前测试集群30台，2台HA模式的master，28个工作节点，共计336核和336G内存

item	value
yarn.nodemanager.resource.cpu-vcores	12
yarn.nodemanager.resource.memory-mb	12288
yarn.scheduler.minimum-allocation-vcores	1
yarn-scheduler.maximum-allocation-vcores	8
yarn.scheduler.increment-allocation-vcores	1
yarn.scheduler.minimum-allocation-mb	1024
yarn.scheduler.maximum-allocation-mb	8192
yarn.scheduler.increment-allocation-mb	512
yarn.app.mapreduce.am.resource.cpu-vcores	1
yarn.app.mapreduce.am.resource.mb	1024
mapreduce.map.cpu.vcores	1
mapreduce.map.memory.mb	1024
mapreduce.map.java.opts	-Xmx1024m
mapreduce.reduce.cpu.vcores	1
mapreduce.reduce.memory.mb	1024
mapreduce.reduce.java.opts	-Xmx1024m
mapreduce.task.io.sort.mb	256

hadoop 0.x 1.x	Hadoop 2.x
mapred.child.java.opts
mapred.map.child.java.opts	mapreduce.map.java.opts
mapred.reduce.child.java.opts	mapreduce.reduce.java.opts
mapred.job.map.memory.mb	mapreduce.map.memory.mb
mapred.job.reduce.memory.mb	mapreduce.reduce.memory.mb
	yarn.app.mapreduce.am.command-opts
	yarn.app.mapreduce.am.resource.mb
`*.java.opts`（java堆内存）的值应该为`-Xmx1024m`的格式，`memory.mb`的值应该为`1024`的格式。
推荐堆内存设置为容器内存的20%~25%。