1简述大数据系统
大数据系统是指存储、分析处理大数据的软硬件系统,主要包括大数据的存储系统和大数据分析处理系统。
2大数据系统特征
大数据系统本身具有大规模、多种数据类型、多维度、数据价值密度低和可控的特点;其次,大数据系统架构一般采用分布式架构,其架构复杂,其网络环境、硬件配置、系统的配置参数、虚拟化等因素都将影响大数据系统的性能。
3大数据系统的测试关键点
首先,对数据进行添加、删除、读写测试,按照需求规格说明进行功能、接口和性能测试,确保系统典型流程的准确性。例如:软件能否通过用户输入的位置数据信息,快速获取最佳行车路线;软件能够根据用户历史购物的基本信息,自动推荐适合该用户的商品。
其次,高可扩展性测试,分布式部署是大数据系统的特点,大数据系统将软件部署在多个节点,添加、删除多个节点、多个节点掉线、将A节点切换为B节点,软件需要确保数据的一致性和完整性,不会影响软件的基本功能。
再次,高可用性也叫稳定性测试,大数据系统对数据量的要求是非常高的,因此需要模拟大开发场景,验证软件在并发测试条件下,系统的健壮性、可操作性,记录大开发场景下软件消耗的CPU、内存以及吞吐量信息。在满足性能指标需求的情况下,不断地增加并发用户数,直到返回的响应值错误时,记录软件的最大并发用户数。还要对软件进行72小时,或7*24小时长时间稳定运行测试,确保软件在长期运行环境下的稳定性。
最后,人机交互性测试也叫易用性测试,主要对软件的界面进行测试,验证界面功能的易理解性,易学性,易操作性、健壮性,界面舒适性等。
为了保证大数据系统的质量问题,针对大数据系统的特点,在项目实施的过程中,需要结合项目的特点完成质量特性的测评。
4对大数据系统质量特性测评
4.1对大数据系统功能性测试
首先,系统的基本功能、典型业务流程的准确性和完备性。
其次,系统的功能是否满足用户需求,软件界面是否具有舒适性、可读性、可理解性,用户手册内容与软件实际信息是否匹配。
再次,软件中各个模块的功能、依赖是否满足系统内部接口需求。
最后,测试用例的设计要充分覆盖功能的正常内容,利用等价类边界值的方法,设计异常的测试点。
4.2对大数据系统性能测试
大数据系统,显然软件的数据量是庞大的,因此对软件的性能指标要求会相对严格,尤其是并发访问的情况下,软件自身的健壮性是确保软件稳定运行的标准,在基础软硬件平台、1000M局域网的条件下,系统支持同时在线登录用户数量和并发操作用户数量是否满足要求。可以通过jmeter测试工具,模拟多线程在线用户登录或多用户并发访问网站,通过查看结果树检测软件是否能返回相应结果、返回结果的准确率,以及吞吐量、内存利用率等指标,确保大数据系统在多线程情况下软件的处理机制和处理能力。
4.3对大数据系统软件安全测试
任何软件都要具有信息安全的能力,一旦用户登录系统,都会输入账号和密码信息,一旦用户名和密码被窃取,则会造成用户信息的泄漏,造成用户的隐私权的侵犯和资金的流失。在软件登录页面输入用户名和密码,采用抓包的方式,检查软件能否对用户名和密码进行密文传输,确保信息安全的保密性;同时,不同的用户具有相应的访问权限,管理员会采用最高的访问权限,普通账号登录系统后,其访问权限与管理员有所不同,屏蔽某些功能,避免用户权限的混乱导致软件的安全性造成影响;此外,还要对软件进行漏洞扫描,确保软件代码无漏洞,避免软件被黑客恶意攻击。因此,安全性测试主要考虑的是软件的保密性、权限的维护和对代码漏洞的检查。
4.4对大数据系统软件重载测试
任何软件都会遇到大数据量并发的场景,例如:淘宝APP软件、订票软件;尤其在节假日双十一场景,大量用户使用该软件订票或购物,系统容易造成超负荷或重载,如果服务缺少重载保护,则会造成系统崩溃,严重影响商家的运营和消费者的使用,因此,重载性测试必不可少。利用jmeter工具模拟大开发场景,线程数设置1000000,循环10次,输入服务端网址、端口号和参数,执行并发脚本,模拟1000000个用户同时并发访问软件,查看软件能否正常使用;或者批量导入1000000条商品信息后,对商品信息进行添加、删除、查询或修改操作,检测软件能否承受重载的情况。
4.5对大数据系统软件版本更新测试
任何软件在使用一段时间后,都会根据用户需求迭代更新软件版本,比如:米家APP,米家APP新添加了开关按键可拆分的功能,在APP中大量用户家庭有开关设备,便捷控制开关是很多用户的诉求,在开关的设置页中,找到设置项“在首页展示为X个按键”,打开开关,即可在首页直接控制按键。这个功能是米家App对复合设备如何更便捷控制的一次尝试。在软件新增功能后,要确保原有软件的功能是否能正常使用,原有的数据是否会丢失;比如在更换版本之前,米家APP中新添加设备,更换新版本后,查看原先新增的设备是否保留,功能是否正常,业务数据和配置文件是否存在,这样确保了软件的版本更新持续性。
4.6对大数据系统关键行为日志记录测试
软件在运行期间,由于用户的异常使用,导致系统出现故障,这时需要运维人员或研发人员对问题进行定位,日志通常是研发人员定位的依据,因此,用户操作软件的过程中,需要存在日志的记录,包括Info级别、Error级别等。测试人员需要对软件执行正常或异常操作,进入后台监控页面,查看是否记录了数据的导出、添加、存储等信息,同时日志中是否记录相应的异常操作,日志内容显示状态是否正确,具有可读性和汉化能力。必要时,需要检测日志的开关能力,通过控制日志上报级别,控制软件自身按需产生或关闭日志。在运维系统,还要检测软件的健康状况,运维人员能够在信息平台查看各个软件的在线、离线状态,以及占用CPU、内存的情况;一旦软件出现故障,如“TCP端口不可连接”,故障告警是否能够通过规则定义告警状态,触发告警信息,方便测试人员查看告警日志。
4.7对大数据系统软件重启可恢复功能测试
在软件执行过程中,难免会出现断电、断网的情况,比如:用户在使用软件时,出现断网或断电,软件能否在规定的时间内重启并恢复原有功能。
5结束语
综上所述,在现代企业运作过程中,大数据不仅为企业的质量管理与不断改善提供了新的手段与机遇,也是企业取得成功的重要因素。通过运用大数据,企业可以更准确地对产品质量问题进行预测,从而更有效地执行改善措施,持续优化经营。但是,要想持续改善,就必须建立一套有效的数据分析系统,建立一个良好的回馈机制,以及持续的案例检验。唯有如此,企业才能持续地提高自己的竞争能力,以适应市场的变化,从而走上不断改善之路。
参考文献
[1]王弘毅,徐奚娇,龚家瑜.大数据软件的质量模型分析[J].信息技术与标准化,2022,(08):46-49.
[2]王鹤.构建大数据教学质量监测与决策系统[J].上海信息化,2018,(07):56-59.