大数据气象灾害预测分析

摘要：中国是世界上唯一大面积种植苦荞的国家，其中定西通渭县是甘肃中部苦荞的集中产区。根据近年来对苦荞越来越多的需求、天气对苦荞产量的巨大影响，我们将采用Soikit-Learn的线性回归模型以及Spark算法预测天气，最后以数据可视化的方法呈现预测结果，从而降低天气对定西通渭县苦荞产量的影响。

关键词：农业气象灾害；Spark算法；线性回归模型；大数据预测分析

1 定西市通渭县农业气象灾害的定义与特征

1.1 通渭县荞麦发展现状

通渭县华家岭特别适宜苦荞的生长发育，产量较高，品质上乘，一直是甘肃中部苦荞的集中产区。近年来通过各级政府和干部群众的共同努力，产业区域特征明显，种植面积稳中有增，并在引进优良品种的基础上争取项目支持、开发特色产品和拓宽销售渠道，采取了一系列行之有效的措施，推动了苦荞产业的较快发展，目前通渭县苦荞种植面积共计30.67km2 ，占粮食面积的3.5%，总产量约7360t。通渭县荞麦在种植技术不断完善的过程中作物质量也得到提升，据有关方面检测，该地区所产苦荞与四川凉山地区各类指标持平，主要成分芦丁约占80%左右。通渭县荞麦发展业稳中向好，并结合电商平台为荞麦的销售提供便利，但密切被重视的仍然是荞麦产量和生长问题。

1.2 通渭县荞麦发展优势

通渭县气候干旱、生态条件差，荞麦是主要的复种作物，器抗旱、耐瘠性强，是一种备荒救灾的优良作物。针对本区域的地理条件，荞麦种植可以有效缓解土壤压力并改善并带动本地区的经济发展，具有良好的发展价值。中国是世界上唯一大面积种植苦荞的国家，随着人民生活水平和质量不断提高，膳食结构也随之发生了变化，荞麦可以起到很好的营养保健作用，越来越得到人们的青睐。通渭县荞麦发展有自己的特色，目前国内外市场需求急剧增大，这项产业可以成为一个带动区域经济发展的好方案。由于通渭县的地区特征，贫困县和农村地区经济发展成为国家经济发展中重点关注的问题之一。在国家和政府的大力帮助和支持下，在荞麦种植技术引进升级和销售模式不断完善的背景下，本地区的荞麦发展具有巨大的发展前景。

1.3 存在的问题

定西市通渭县荞麦种植业随着科技的进步和人才的引进，种植效益稳步提升。尤其是近年来随着农村电商的迅猛发展，农村荞麦种植业有了更好的销路并获得了更大的收益。在荞麦种植业发展向好的同时，荞麦的产量一直都是需要密切关注的问题。我们从近年来针对荞麦产量的研究中发现，天气因素的影响是最大也是最不可控的影响因素。其中最主要的天气因素是干旱和洪涝这两个极端灾害。所以我们专门针对干旱和洪涝这两个天气因素对通渭县苦荞产量的影响进行详细分析。

2 通渭县农业气象灾害对荞麦生长具体的影响

2.1 干旱

甘肃省定西市是全国有名的干旱地区，而通渭县更是干旱十八县之一，也是出了名的黄土高原干旱区。定西市的干旱又分为以下几种：春旱为4 到5 月。春末初夏旱为5 月下旬至7 月上旬。伏旱为7 月中旬至8 月中旬。秋旱为8 月下旬至10 月上旬。从春旱，春末初夏旱，伏旱，秋旱逐年发生次数看，几乎每年都有干旱发生，故又有“十年九旱”之说。从各干旱发生频率看，秋旱频率最高，春旱次之，伏旱最低。其次定西市因为地理位置的原因，同时因为年降水量在300 ～600mm之间，而蒸发量又高达1400mm，所以干旱情况比较常见。每年的降雨集中在七、八、九三个月份，其他的月份月降雨量较少，但因为蒸发量过大的问题，所以会导致干旱的发生，同时因为荞麦对水分的要求比较高，水分过多或者过少都会影响荞麦的产量，在生长期和成熟期要求水分相对要多一点，荞麦的播种期是七月中旬，是定西市降雨量较多的时候，不用担心水分的问题，但是在成熟期，也就是来年的三月到四月，因为降雨量的减少，加上蒸发量一直很大的问题，所以更应该注意水分的补充，不要因为成熟期的水分不够而影响荞麦的产量。

2.2 洪涝

定西市通渭县的气候是属于南温带半湿润和中温带半干旱区的混合气候，年均气温可达5.7 ～7.7 ℃，没有霜降的时间大约有122 天到160 天，年平均降雨量一般在350 ～600mm，主要降雨量一般集中在7 月、8 月和9 月这三个月，并且大部分时候是以暴雨的形式出现，但是它的蒸发量却在1400mm以上。以渭河为界大致分为北部黄土丘陵沟壑区和南部高寒阴湿区两种自然类型。前者包括安定区和通渭、陇西、临洮三县和渭源。北部占全区总面积的60%，为中温带半干旱区，降水较少，日照充足温差较大；后者包括漳县、岷县两县和渭源南部，占全市总面积的40%，为暖温带半湿润区海拔高气温低。定西市的降水量一般都集中在每年的7 月、8 月和9 月，在这三个月中，如果出现每小时降雨量在20mm左右而且长时间的持续，出现这样的情况就是人们口中所说的大暴雨，它所造成的影响是会导致一部分的荞麦苗被雨水冲走，但是当雨水稍微小一点的时候，可能不会对荞麦苗造成太大的损失。每次出现大暴雨并且持续时间较长就有一定概率会出现山洪泥石流和山体滑坡，这种情况的出现会导致泥石流和山体滑坡所冲下来的雨水夹杂着泥土和石头，这些雨水会对荞麦产生不可挽回的损害，荞麦不仅会被冲走，更有甚者会被泥石所砸，对荞麦造成大面积的破坏。定西市荞麦的生长周期一般在7 月中旬播种，所以每年的大降雨会导致荞麦的产量下降，所以我们对洪涝以及它所带来的一些其他灾害要好好预防，使荞麦的产量不会因为洪涝的原因减少。

2.3 霜冻

霜冻的发生概率不是很稳定，每年发生的时间也不太确定，一般在2 月份到3 月份之间，但是霜冻对荞麦的影响是最大的，因为荞麦最畏惧的就是霜冻，霜冻会使荞麦的产量急速下降，再加上霜冻的随机性，使得它成为最不可控的因素，霜冻的发生会使得荞麦停止生长，慢慢枯萎，所以我们应该好好预防霜冻。

3 大数据技术对气象灾害的预测方案

做好荞麦的预防工作，应尽可能减少定西市通渭县地区的不可估量的损失。能做的就是加快5G网络、数据中心等新型基础设施建设。要注重调动对这些先进技术与方式的学习与应用的积极性。加快5G网络的建设，需要基于OFDM优化的波形和多址接入，然后实现可扩展的OFDM间隔参数配置，可支持多种部署模式的不同信道宽度，适应统一部署下不同的参数配置，在同一框架下提高多路传输效率。OFDM加窗可以提高多路传输效率，并且需要灵活的框架设计。需要的新型无线技术有：① 大规模MIMO。通过天线的二位排布，可以实现3D波束成型，提高信道容量和覆盖；② 毫米波。将频率大于24GHz以上的频段应用于移动宽带通信，大量可用的高频段频谱可提供极致数据传输速度和容量。③ 边缘计算。5G要实现低延时，就需要用到边缘计算，要在基站上建立计算和存储能力，在靠近物或数据源头的一侧，采用网络、计算、存储、应用核心能力为一体的开放平台，就近提供最近短服务，在最短的时间完成计算，发出指令。这样，在预测分析后，可以用最快的速度发送给每一位种地的人，并且在发送的同时会像人工智能一样将问题返回云端并且搜索数据库中的解决方法，一并发给需要的人。所以为此，首当其冲就是建好5G基站，先建立完整的5G环境体系。然后通过宣传和下乡教学，让所有人都能突破现有的条件束缚。使用SciKit-Learn的线性回归模块预测天气。现在我们已经完成了选择具有统计意义的预测指标（特征）的步骤，我们可以使用SciKit-Learn创建预测模型并测试其预测平均温度的能力。SciKit-Learn是一个非常完善的机器学习库，在工业界和学术界广泛使用。关于SciKit-Learn的一件事非常令人印象深刻的是，它在许多数值技术和算法中保持了一个非常一致的“适应”，“预测”和“测试”API，使得使用它非常简单。除了这个一致的API设计，SciKit-Learn还提供了一些有用的工具来处理许多机器学习项目中常见的数据。我们将通过SciKit-Learnsklearn.model_selection模块中导入train_test_split（）函数来开始将我们的数据集分割成测试和训练集。我将把训练和测试数据集分成80 ％的训练和20 ％的测试，并且分配一个12 的random_state，以确保得到随机选择数据。这个random_state参数对结果的可重复性非常有用。我将从sklearn.linear_model模块导入并使用LinearRegression类。正如前面提到的，scikit-learn分数通过通用的fit()和predict()这两个函数计算得到。为了获得关于模型有效性的解释性理解，我使用了回归模型的score（）函数来确定该模型能够解释在结果变量（平均温度）中观察到的约90 ％的方差。此外，我使用sklearn.metrics模块的mean_absolute_error（）和median_absolute_error（）来确定平均预测值约为3 ℃关闭，一半时间关闭约2 ℃。数据获取分析主要使用SparkSQL相关知识与技术，对定西市过去24 小时累积降雨量和当日平均气温进行了计算和排序。特别说明：由于获取数据所需时间较长，天气数据的时间跨度可能略有不一致。相关步骤如下：（1 ）创建SparkSession对象spark。（2 ）使用spark.read.csv(filename)读取passed_weather_ALL.csv数据生成Dateframedf。（3 ）对df进行操作：使用Dateframe的select方法选择province，city_name，city_code，rain1h字段，并使用Column对象的cast(dateType)方法将rain1h转成数值型，再使用Dateframe的filter方法筛选出rain1h小于1000 的记录（大于1000 是异常数据），得到新的Dateframedf_rain。（4 ）对df_rain进行操作：使用Dateframe的groupBy操作按照province，city_name，city_code的字段分组，使用agg方法对rain1h字段进行分组求和得到新的字段rain24h（过去24 小时累积雨量），使用sort方法按照rain24h降序排列，经过上述操作得到新的Dateframedf_rain_sum。（5 ）对df_rain_sum调用cache()方法将此前的转换关系进行缓存，提高性能。（6 ）对df_rain_sum调用coalesce()将数据分区数目减为1 ，并使用write.csv（filename）方法将得到的数据持久化到本地文件。（7 ）对df_rain_sum调用head()方法取前若干条数据（即24 小时累积降水量Top-N的列表）供数据可视化使用。数据预测结果主要依靠数据可视化方式呈现，基于spark获取和分析的数据，我们针对以1971-2016 年该区域的日均气温、最高温、最低温、降水量做出一个回归模型，再以2017-2020 年该区域的日均气温、降水量为参数进行气象预测工作并通过3D立体效果可视化到界面。通过这些方法针对定西市影响荞麦生长的干旱和洪涝因素作预测，使农民有效的预防并制定具体措施。

4 针对通渭县气象灾害的综合对策

4.1 增强环境保护意识，降低气候恶化程度

在全世界发展的同时，地球的环境也发生着巨大的变化。从最开始的全球变暖到现在的自然灾害愈加频繁，严重影响农作物的生产。其一是旱灾，很常见的一种自然灾害，在近几年，我省通渭县因旱灾导致农作物受灾面积将近170km2 ，造成直接经济损失1 亿元。其二就是洪涝，一般在六七月份比较严重，因短期强降雨造成了我省农作物受灾面积达到500km2 ，直接经济损失4.79 亿元。其三是低温冷冻和雪灾，在2-5 月份的时候，降雪引发的低温冷冻灾害是最为严重的，造成我省11 个市农作物受灾面积将近7000km2 。其四灾害天气为风雹，我省多市出现冰雹强风天气，导致农作物不同程度受到影响，农作物受灾面积达到367.9km2 。最后一种为火灾，火灾一旦发生，造成的危害是巨大的，不仅仅使得农作物受灾严重，使得经济上有所损失，更加难以修复的危害则是造成了环境污染。火灾发生，一氧化碳与二氧化碳的大量释放，导致全球变暖更为严重。而在这些原因中，在我们所调查的地区――定西通渭县，最常见的是洪涝与干旱。环境恶化造成自然灾害，灾害又导致经济受损与环境污染。往复循环，造成难以挽救的伤害。因此，应该如何提高环境保护意识。第一，在现实生活中，可以借助媒体来宣传环境保护的意义，提高人们保护环境的意识，呼吁人们保护环境的决心。我国人民的文化素质在改革开放以来不断提高，但是道德素质还有待改进，尤其在边缘城市，表现的格外明显，我们应提高人民的道德素质，从而更好地灌输环境保护意识，在这方面还有很大的提升空间。第二，就是决定国家未来走向的教育事业，青少年强，则国家富有强大。环境保护意识从教育中入手，他们是祖国未来的希望，这样做也是为了以后环境的发展作考虑。第三，要结合理论与实践。实践是检验真理的唯一标准，只有进行实践，我们做的每一个项目才有意义，才能起到它应该有的作用。当然环境保护也是如此，我们不能一味的呼吁，教育，更重要的是人们能够自觉地维护我们的家园。

4.2 建立气象灾害防治工作长期预测

在保护环境之后，只是起到了一个减少灾害发生概率的作用。而要做到更大程度的保护农作物，还需要科技的支持，现如今，在物联网、云计算、大数据三大巨头风靡的这个时代，我们应更好地利用它。为我们所研究的作物支持更好的生存环境，为当地人民谋取更大的福利。我们所研究的方向主要为荞麦所受气象灾害的影响。农业预测数据的技术是一个庞大的数据，异构数据的复杂度高，结果是数据的分析效率低下，因此我们采用k最近邻组织算法和分布式并行处理方法。大数据融于气象灾害预测是一个不二的选择，大数据的预测结果有更强的确定性和可操作性，让非常规的气象灾害在发生之前有一定的预兆，让人们有时间去准备充足的防御措施。而利用大数去预测气象，就好比建立了一个非常巨大的数据库，在这个数据库中存储着利用遥感以及其他技术所收集的一些样本数据，从中可以得到海量数据，然后经过数据分析、数据清洗以及数据集成得到有价值的数据，也就是说可以帮我们预测气象灾害的数据。气象部门是防灾减灾的核心部门，在建立好数据分析体系以后，在现在看来只靠技术是不行的，如何防护才是减少损失的关键。首先，需要建立一个风险的预警体系，我们可建立预警所用的红外线，当大数据分析利用所提供的样本数据分析出结果，它就可对这一结果做出实时反应，从而缩短了气象灾害治理中的时间差，让风险发生的概率降低或者让灾害所造成的损失降到最低。荞麦的经济价值很高，它已经成为了很流行的保健品之一。它的生长周期大概在九个月左右，一般在立秋的时候播种，在次年的五月份左右收割。而在这期间，我们要利用大数据技术、云计算、人工智能等对它进行实时监控与保护。荞麦怕霜冻，因此我们要知道荞麦播种前后的气象变化，不能出现急剧的降温天气，也不能出现冰雹等气象灾害。还有防旱，通过气象预测平台了解荞麦在生长周期期间是否会出现旱灾的情况，从而制定相应的应对方案。利用大数据技术分析出风险因素，从而制定出合理的预防方案。

4.3 帮助农民树立正确的防灾观念

从古至今，农民的观念里都是靠天吃饭。那么如何正确防灾，是需要向农民普及的。首先，我们应该使得这次防灾减灾知识讲座范围大，场次多。我们应该多次举行防灾讲座活动，并且要尽量动员大家都参加。为了是大家都知道，可由村干部下达命令，让每户人至少有一位参加。再者，我们灌输思想的途径要多，力度要大，可举办知识竞赛，而且优秀者有相应奖励。可以在每天的24 小时之中，分时间段，在广播中讲解、传输防灾减灾的知识。讲述当自然灾害发生后如何应对，以及可用的应急措施。最后，可通过挂横幅的方式，让农民耳濡目染这些东西，从而可以从容应对灾害。如今，在短视频爆火的时候，可借助短视频APP传播防灾减灾知识，它几乎可以全面覆盖我国地区，传播范围广，且人们容易接受。短视频优点有：可以提高品牌的知名度、节省人员的时间成本与经济成本、图画代替文字，更容易深入人心。所以在帮助农名树立正确的防灾观念这一方面，它也是一个很好的选择。当大数据进入人们的生活，根据您的一切行为，推算出你所需产品，而农民就是后台推送如何才能让庄稼大丰收的对象。总而言之，农民依靠农作物，国家需要农作物保持经济平衡。好的防灾意识是一个良好的习惯，使得损失降到最低。

5 结论

综上所述，我们可以通过Spark算法，线性回归模型，大数据预测可视化等方法去预测农业气象灾害的发生情况，更好地保障农民的财产安全，有效地促进我国农业的可持续发展。

[1]杨子梅.通渭县苦荞产业发展现状及对策[J].甘肃农业，2010(2):72-73.

[2]项立刚.5G的基本特点与关键技术[J].中国工业和信息化，2018，1(5):36-43.

[3]陈丰伟.5G的速度与激情[J].互联网天地，2018(6):41-44.

[4]张蕴.MassiveMIMO基于镜像法的室内信道建模[D].南京邮电大学，2018.

[5]张启.通渭县甜荞麦高产栽培技术[J].甘肃农业，2005(10):182.

[6]张平军.甘肃定西生态建设与畜牧经济发展――甘肃草原生态建设与畜牧业发展调查的分类研究[J].甘肃畜牧兽医，2016(19):40-42.

[7]徐文.浅谈环境保护与如何提高公民环保意识[J].建筑工程技术与设计，2015(25):1790.

[8]孟宣辰.黄土高原旱作区种植结构分析和紫花苜蓿覆膜施肥效应研究[D].兰州大学，2016.

[9]田俊杰.纹理图案主结构的快速提取方法研究[D].湖北:华中科技大学，2018.