随着信息技术和计算机科技的进一步发展,互联网应用普及,以往人们忽视的数据资源价值更加凸显,由此发展的大数据技术更是将这些海量的数据信息资源充分挖掘出来,实现数据资源转化为经济来源,为学校优化管理方式和优化课程设置、为企业制定生产和发展决策、为政府制定相关管理政策等都提供了有效的参考。大数据在数据处理中,用到的相关技术较多,掌握这些技术应用,对于进一步推动大数据发展具有重要意义。本文分析了大数据的数据特点,分析目前大数据数据处理中的关键技术,并针对大数据数据处理技术的进一步优化和应用,提出几点建议。

SYN-Flood攻击是当前网络上最为常见的DDoS攻击,也是最为经典的拒绝服务攻击,它利用了TCP协议实现上的一个缺陷,通过向网络服务所在端口发送大量的伪造源地址的攻击报文,就可能造成目标服务器中的半开连接队列被占满,从而阻止其他合法用户进行访问。为了有效防范这种攻击,在分析攻击原理的基础上,发现可以使用TCP代理防御及TCP源探测防御方法来解决这个问题,经过测试证明,该办法能够有效降低SYNFlood攻击造成的危害。

关系代数语言是用传统的集合运算和专门的关系运算来表达查询的抽象语言,提供了一系列的关系代数操作,通过这种数学运行来指导数据库在关系操作上的程序实现。场景教学系统中每一个场景对应一个实际应用,场景中设置了问题,本文以系统数据库为例,给出了基于关系代数运算的数据统计分析过程,采用抽取样本法计算期望学习时长和学习时长标准差,并设计了一个测算学习者投入度的公式,对评价场景教学具有指导意义。

复杂网络的节点聚集呈现符合社区结构的动态、无标度和非对称的特性,为了优化复杂网络的社区结构,研究当前发现和优化社区结构的方法的不足,研究用约束正态分布来改进社区结构的节点聚集归属方法,借助信息熵,提出了基于正太分布的复杂网络结构划分算法,通过算法得出聚集节点的正态分布概率,用正太分布概率作为信息熵的输入,重新调整信息熵的变化,根据信息熵变化的幅度,确定节点的划分归属。本算法在确定网络社区结构划分的同时,也能够确定社区内节点的模糊关系。

本文在基于现有的个性化推荐研究基础,提出了用户情境和文本内容组合推荐的方法,并构建了用户兴趣矩阵模型,设计了一套个性化推荐系统。本系统可以依据移动用户的偏好为用户提供推送服务。该系统由移动端及云平台服务器构成,移动端对用户信息进行采集,并展示推荐数据;服务器端收集来自移动端的数据,展开数据分析,构建用户兴趣模型,结合文本处理技术获取推荐内容,推送给移动用户。

几乎所有光合作用过程都可通过叶绿素荧光反映出来,叶绿素荧光动力学技术已经成为研究植物生理最广泛的技术之一,本软件分析叶绿素荧光参数,辅助研究光合作用过程中光系统II对光能的吸收、传递、耗散、分配等过程。程序从excel表中批量读取叶绿素荧光仪测量得到的数据,在网页中运用JavaScript语言编程,自动绘制OJIP曲线,以及相应的OJIP曲率曲线、一阶导数曲线、二阶导数曲线。用户能在交互式OJIP曲线上设定区间,根据设定算法,自动定位符合条件的I点与J点,手工调整与优化特征点位置,将定位的特征点结果作为文件导出并保存,使叶绿素荧光信号研究更加方便快捷。

本文为基于SpringBoot的软件管理及统计分析功能为一体的平台,依照这个管理体系能够对实验室的软件信息进行细致、有效的管理,解决了管理人员对繁杂数据难以处理的问题。本平台为了更好地增强数据的可读性,对杂乱的数据进行了分析生成统计图表,实时、直观地获取关键信息。本系统采用Spring、SpringBoot、Mybatis-Plus作为后台的框架方案,前端则引用了较为流行的功能强大,性能良好的模板引擎Beetl,最终设计了基于B/S架构的软件统计分析系统,具有实际应用价值。

现如今,自然语言处理技术不仅可以实现人机对话,还能从对话中提取出用户所表达的情感。本文中所介绍的对话系统将以上两项技术结合起来,使用Web开发相关技术构建了一个功能较为完备的多功能对话系统,不仅具有查询天气、新闻、一对一闲聊等基础功能,还可以将用户的实时情绪统计展示出来,进而分析用户情绪变化趋势生成图表。本文对此系统整体设计和实现过程中用到的HTML、Django和数据库等相关技术进行了详细说明。

针对预报服务产品一键式发布的迫切需求,通过对Redis内存数据库的应用研究,基于Spring框架搭建了上海中心气象台数据分发管理系统,实现数据产品分发和分发配置管理功能,发送方式包括FTP、短信、邮件、传真、语音。系统运行稳定可靠,发布效率提升90%。

为解决水声装配试验过程中数据采集和管理困难的问题,在分析水声装配试验流程基础上,针对需要采集的数据特点,提出一种基于工作流程的装配试验数据采集方法,建立了水声装配试验生产线的数据采集系统,并通过数据库软件开发进行了工程应用,提高了水声装配试验生产线的数据采集数字化比率及生产效率。

随着医学成像技术的不断发展,病理识别在医学诊断过程中的作用越来越重要。人工智能领域的机器学习可以帮助完成医学图像诊断的自动识别,数字化地辅助医学诊断过程,同时降低医务工作者的工作量。卷积神经网络(CNN)是近年发展起来的一种非常有效的机器学习方法,属于深度学习的范畴,它能够完整地模拟人类的图像识别过程,并且已经在图像识别领域取得了优异的成绩。本文将卷积神经网络应用于病理图像的识别中,同时对病理图片进行了采集、整理和智能学习,完成并分析了算法对比实验,最终实现了对病理图像的优化识别,提高了病理图像的识别率,验证了算法的有效性。

通过跨境电商网站和一般电子商务网站的比较,本文研究设计了跨境电商网站系统,主要包含商品管理、内容管理、订单管理、用户管理、物流管理、支付管理、统计分析、商品搜索、用户购物等功能。系统以springmvc+spring+mybatis作为开发框架,使用MySQL5.7数据库、Tomcat7.0服务器、redis缓存技术,实现用户与商家相互对接,为跨境购物平台设计开发提供了原型参考。

对支持检索结果多样化任务的查询性能预测进行了研究。分析了现有性能预测算法的不足,考虑利用不同方式衡量最终检索结果列表的多样性,并在此基础上提出同时考察查询结果的相关性性能与多样性性能的三种方法。采用TREC Clue Web09B数据集、Web Track任务的查询集及开源的Indri搜索引擎构建实验平台并进行实验。基于Spearman、Pearson和Kendall相关系数的评价结果表明,所提出的三种方法与传统方法相比更适用于预测多样化检索结果,且在不同条件下性能稳定。

在大数据时代,数据成为推动各个行业发展的动力,有效的分析数据不仅对社会经济效应有巨大影响,而且对政府,企业的管理也有深远影响。于是,怎样高效且快速地从Web日志中挖掘出有用的价值并且转化为分析依据是系统设计的重点。本文主要采用Hadoop为开源框架,利用HDFS进行数据的存储,Hive为开源数据仓库工具,设计并实现一个Web日志分析系统。文章主要阐述了系统的结构、设计思想和实现方法。

视频监控中的行人跟踪是一个具有实际应用价值的研究领域。针对城市中智能视频监控中行人跟踪问题,提出了一种改进的基于彩色直方图均衡化的MeanShift行人跟踪算法,实验的图像序列通过监控摄像头获得。这种行人跟踪算法是基于均值移位算法,它使用颜色直方图均衡化来改进原始算法。通过使用CAVIARproject/IST200137540数据集来进行试验,试验结果表明,改进后的算法在某些情况下比原算法表现得更好。

本文通过实验对比了逻辑回归、决策树、人工神经网络和支持向量机等方法在分析抽检数据中的表现。结果表明,支持向量机的预测准确率最高。该方法及相应软件系统能够为未来的抽检计划制定提供决策依据,在有限的抽检成本和时间花费的条件限制下,能更多地暴露食品安全中的问题,从而提升食品安全和食品质量。

为提高电子公文传输系统的安全性,保障不同密级的电子公文在传输交换过程的安全,本文对密级标志关键技术进行研究,利用加密和内容混淆等技术手段将密级标识与电子公文进行绑定,设计了基于密级标志的电子公文安全传输支撑平台。平台经过应用和测试,实现了对电子公文进行"标志、鉴别、管控"的目标,增强了电子公文传输系统的安全性。

随着网页展示技术的不断更新,使复杂的三维机械模型能够在网页中的展示成为可能。本文简单介绍了HTML5的优势及WebGL的第三方类库Three.js,详细阐述网页上场景的显示流程和场景中的模型交互,显示了WebGL的优越性,同时提出了基于Three.js的镀膜机展示平台的构建方法。此平台方便了用户的观看和操作,具备了良好的展示效果。

本文在介绍了遗留系统及相关知识的基础上,阐述了为什么要对地质环境遗留系统进行集成,并比较分析了不同系统集成方法的优缺点,最终选择采用ETL技术进行数据集成的方式。介绍了ETL技术及其应用框架,并用地质环境一张图进行了示例说明。

针对无线传感网节点资源受限,以及很难更换电池等问题,如何有效降低节点能耗成为研究关键点。现有文献大多针对单一应用单独设计解决方案、单独评价方案效能,而实际上单一节点通常执行多个应用,因此需要研究基于跨应用的最优化能耗控制方案,使用基于神经网络径向基函数的k均值聚类自组织算法估算聚类中心、并使用最小均方差算法调整和修正聚类中心到输出点的权重矩阵以改善收敛速度,最终实现数据融合、设计跨应用资源调度方案,可以实现节点能耗控制。仿真实验结果表明,随着节点运行轮次增加,本文算法的节点能耗显著降低。