《大数据和人工智能交流》头条号向广大初学者新增C 、Java 、Python 、Scala、javascript 等目前流行的计算机、大数据编程语言博弈论txt，希望大家以后关注本头条号更多的内容。《大数据和人工智能》头条号方便有基础读者的同时照顾广大没入门的初学者。

和大数据相关文章的链接博弈论txt：

1、Linux操作系统课程详细整理（命令、shell编程、软件安装等）

2、大数据的采集与预处理（Sqoop/Flume/Kafka）详细总结

3、hadoop分布式计算MapReduce详细总结

4、大数据内存计算Spark框架原理详细整理

5、大数据内存计算框架SparkSQL详细整理

6、大数据框架Spark的流处理SparkStreaming详细总结

（一）大数据采集与预处理概述

21世纪是数据信息大发展的时代博弈论txt，移动互联、社交网络、电子商务等极大拓展了互联网的边界和应用范围，各种数据正在迅速膨胀并变大。杰姆·格雷（Jim Gray）提出著名的"新摩尔定律"，即人类有史以来的数据总量，每过18个月就会翻一番。

大数据的数据量究竟有多大？

互联网每天产生的全部内容可以刻满6.4亿张DVD；全球每秒发送290万封电子邮件，一分钟读一篇的话，足够一个人昼夜不停地读5.5年；Google每天需要处理24PB的数据；每天会有2.88万个小时的视频上传到YouTube，足够一个人昼夜不停地观看3.3年；网民每天在Facebook上要花费234亿分钟，被移动互联网使用者发送和接收的数据高达44PB；Twitter上每天发布5000万条消息，假设10秒就浏览一条消息，足够一个人昼夜不停地浏览16年。随着人类活动的进一步扩展，数据规模会急剧膨胀，包括金融、汽车、零售、餐饮、电信、能源、政务、医疗、体育、娱乐等在内的各行业累积的数据量越来越大，数据类型也越来越多、越来越复杂。

那么对于这么庞大复杂的数据，来源在哪里呢？现列举如下博弈论txt：

1、按产生数据的主体划分

（1）少量企业应用产生的数据

如关系型数据库中的数据和数据仓库中的数据等。

（2）大量人产生的数据

如推特、微博、通信软件、移动通信数据、电子商务在线交易日志数据、企业应用的相关评论数据等。

（3）巨量机器产生的数据

如应用服务器日志、各类传感器数据、图像和视频监控数据、二维码和条形码（条码）扫描数据等。

2、按数据来源的行业划分

（1）以BAT为代表的互联网公司

百度公司数据总量超过了千PB级别，阿里巴巴公司保存的数据量超过了百PB级别，拥有90%以上的电商数据，腾讯公司总存储数据量经压缩处理以后仍然超过了百PB级别，数据量月增加达到10%。

（2）电信、金融、保险、电力、石化系统

电信行业数据年度用户数据增长超过10%，金融每年产生的数据超过数十PB，保险系统的数据量也超过了PB级别，电力与石化方面，仅国家电网采集获得的数据总量就达到了数十PB，石油化工领域每年产生和保存下来的数据量也将近百PB级别。

（3）公共安全、医疗、交通领域

一个中、大型城市，一个月的交通卡口记录数可以达到3亿条；整个医疗卫生行业一年能够保存下来的数据就可达到数百PB级别；航班往返一次产生的数据就达到TB级别；列车、水陆路运输产生的各种视频、文本类数据，每年保存下来的也达到数十PB。

（4）气象、地理、政务等领域

中国气象局保存的数据将近10PB，每年约增数百TB；各种地图和地理位置信息每年约数十PB；政务数据则涵盖了旅游、教育、交通、医疗等多个门类，且多为结构化数据。

（5）制造业和其他传统行业

制造业的大数据类型以产品设计数据、企业生产环节的业务数据和生产监控数据为主。其中产品设计数据以文件为主，非结构化，共享要求较高，保存时间较长；企业生产环节的业务数据主要是数据库结构化数据，而生产监控数据则数据量非常大。在其他传统行业，虽然线下商业销售、农林牧渔业、线下餐饮、食品、科研、物流运输等行业数据量剧增，但是数据量还处于积累期，整体体量都不算大，多则达到PB级别，少则数十TB或数百TB级别。

3、按数据存储的形式划分

大数据不仅仅体现在数据量大，还体现在数据类型多。如此海量的数据中，仅有20%左右属于结构化的数据，80%的数据属于广泛存在于社交网络、物联网、电子商务等领域的非结构化数据。

对于上述庞大的数据来源，大数据的处理流程的第一步就是大数据的采集与预处理。大数据采集是指通过RFID射频数据、传感器数据、社交网络数据、移动互联网数据等方式获得各种类型的结构化、半结构化及非结构化的海量数据。大数据的采集通常采用多个数据库、云端、hadoop的HDFS存储等大数据存储体来接收终端数据，包括智能硬件端、多种传感器端、网页端、移动APP应用端等，并且可以使用数据库进行简单的处理工作。

下面列举下大数据采集的途径：

（1）系统日志采集

可以使用海量数据采集工具，用于系统日志采集，如Hadoop的Chukwa、Cloudera的Flume、Facebook的Scribe等，这些工具均采用分布式架构，能满足大数据的日志数据采集和传输需求。

（2）互联网数据采集

通过网络爬虫或网站公开API等方式从网站上获取数据信息，该方法可以数据从网页中抽取出来，将其存储为统一的本地数据文件，它支持图片、音频、视频等文件或附件的采集，附件与正文可以自动关联。除了网站中包含的内容之外，还可以使用DPI或DFI等带宽管理技术实现对网络流量的采集。

（3）APP移动端数据采集

APP是获取用户移动端数据的一种有效方法，APP中的SDK插件可以将用户使用APP的信息汇总给指定服务器，即便用户在没有访问时，也能获知用户终端的相关信息，包括安装应用的数量和类型等。单个APP用户规模有限，数据量有限；但数十万APP用户，获取的用户终端数据和部分行为数据也会达到数亿的量级。

（4）与数据服务机构进行合作

数据服务机构通常具备规范的数据共享和交易渠道，人们可以在平台上快速、明确地获取自己所需要的数据。而对于企业生产经营数据或学科研究数据等保密性要求较高的数据，也可以通过与企业或研究机构合作，使用特定系统接口等相关方式采集数据。

（5）大企业基础支撑平台

提供大数据服务平台所需的虚拟服务器，结构化、半结构化及非结构化数据的数据库及物联网络资源等基础支撑环境。重点要解决分布式虚拟存储技术，大数据获取、存储、组织、分析和决策操作的可视化接口技术，大数据的网络传输与压缩技术，大数据隐私保护技术等。

（6）智能感知设备

包括数据传感体系、网络通信体系、传感适配体系、智能识别体系及软硬件资源接入系统，实现对结构化、半结构化、非结构化的海量数据的智能化识别、定位、跟踪、接入、传输、信号转换、监控、初步处理和管理等。涉及有针对大数据源的智能识别、感知、适配、传输、接入等技术。随着物联网技术、智能设备的发展，这种基于传感器的数据采集会越来越多，相应对于这类的研究和应用也会越来越重要。

大数据正带来一场信息社会的变革。大量的结构化数据和非结构化数据的广泛应用，致使人们需要重新思考已有的IT模式。与此同时，大数据将推动进行又一次基于信息革命的业务转型，使社会能够借助大数据获取更多的社会效益和发展机会。庞大的数据需要我们进行剥离、整理、归类、建模、分析等操作，通过这些动作后，我们开始建立数据分析的维度，通过对不同的维度数据进行分析，最终才能得到想到的数据和信息。

虽然采集端本身有很多数据库，但是如果要对这些海量数据进行有效的分析，还是应该将这些数据导入到一个集中的大型分布式数据库或者分布式存储集群当中，同时，在导入的基础上完成数据清洗和预处理工作。也有一些用户会在导入时使用来自Twitter的Storm来对数据进行流式计算，来满足部分业务的实时计算需求。

现实世界中数据大体上都是不完整、不一致的"脏"数据，无法直接进行数据挖掘，或挖掘结果差强人意，为了提高数据挖掘的质量，产生了数据预处理技术。

大数据的预处理过程列举如下：

（1）对残缺数据进行预处理

这一类数据主要是因为部分信息缺失，如公司的名称、客户的区域信息、业务系统中主表与明细表不能匹配等数据。将这一类数据过滤出来，按照缺失的内容分别填入对应的文档信息，并提交给客户，在规定时间内补全，才可写入数据仓库。

（2）对错误数据进行预处理

这一类错误产生的原因往往是业务系统不够健全，在接收输入信息后没有进行判断直接将数据写入后台数据库导致的，比如数值数据输成全角数字字符、字符串数据后面有一个回车操作、日期格式不正确等。这类数据也需要分类，对于类似于全角字符、数据前后有不可见字符问题的只能写SQL语句查找出来，让客户在修正之后抽取。日期格式的错误会导致ETL运行失败，需要去业务系统数据库用SQL的方式挑出来，修正之后再抽取。

（3）对重复的数据进行预处理

这一类数据多出现在维护表中，是将重复数据记录的所有字段导出来，让客户确认并整理。数据清理的方法是通过填写无效和缺失的值、光滑噪声的数据、识别或删除离群点并解决不一致性来"清理"数据。主要是达到格式标准化、异常数据消除、错误纠正、重复数据的清除等目的。数据清理是将数据库中所存数据精细化，去除重复无用数据，并使剩余部分的数据转化成标准可接受格式的过程。

（4）对数据的不一致性进行预处理

从多数据源集成的数据语义会不一样，可供定义完整性约束用于检查不一致性，也可通过对数据进行分析来发现他们之间的联系，从而保持数据的一致性。

（5）数据特征的选取

将不重要的或不相关的特征从原有特征中删除，或者通过对特征进行重组和比较来减少个数。其原则是在保留、甚至提高原有判断能力的同时减少特征向量的维度。

在大数据项目实战中，常用的大数据采集框架如下：

（1）流数据采集kafka框架

Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。Kafka十分适合采集互联网用户行为数据。

（2）数据迁移Sqoop框架

Sqoop是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(如mysql)间进行数据的传递，可以将一个关系型数据库（例如 ：MySQL ）中的数据导进入到Hadoop的HDFS中，也可以将HDFS的数据导入到关系型数据库中。

（3）日志采集Flume框架

Flume最早是Cloudera提供的日志采集系统，目前是Apache下的一个孵化项目，Flume主要在日志系统采集各类数据

（二）大数据迁移框架Sqoop

1、Sqoop 概述

基于Hadoop之上的数据传输工具Sqoop是Apache的顶级项目，主要用于在Hadoop和关系数据库、数据仓库、NoSQL系统间传递数据。通过Sqoop我们可以方便地将数据从关系数据库导入到HDFS、HBase、Hive, 或者将数据从HDFS导出到关系数据库。

Sqoop是连接传统关系型数据库和Hadoop的桥梁，它不需要开发人员编写相应的MapReduce代码，只需要编写简单的配置脚本即可，大大提升了开发效率。

通过Sqoop我们可以方便的将数据从关系数据库导入到HDFS、HBase、Hive，或者将数据从HDFS导出到关系数据库

2、Sqoop的应用场景

在工作中，我们经常会遇到下面这样的场景：

场景一:将关系型数据库中某张表的数据抽取到Hadoop( HDFS/Hive/HBase)上;

场景二:将Hadoop上的数据导出到关系型数据库中。

那么如何解决这两类问题呢?通常情况下是通过开发MapReduce来实现。

导入: MapReduce 输入为DBInputFormat类型，输出为TextOutputFormat.

导出: MapReduce 输入为TextInputFormat类型，输出为DBOutputFormat.

使用MapReduce处理以上两个场景时存在如下问题:每次都需要编写MapReduce程序，非常麻烦。在没有出现Sqoop之前，实际生产中有很多类似的需求，需要通过编写MapReduce去实现，然后形成一个工具，后来慢慢就将该工具代码整理出一个框架并逐步完善，最终就有了Sqoop的诞生。Sqoop的导入导出处理流程如下所示：

Sqoop就是将导入或导出命令翻译成 MapReduce 程序来实现 在翻译出的 MapReduce 中主要是对 InputFormat 和 OutputFormat 进行定制

3、Sqoop的安装

下载Sqoop

进入http://sqoop.apache.org/

进入""

绝大部分企业所使用的sqoop的版本都是sqoop1，sqoop-1.4.6 或者 sqoop-1.4.7 是sqoop1，sqoop-1.99.7是 sqoop2，此处使用版本sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz。

（1）解压缩

[hadoop@ sqoop]$ tar -zxvf sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz

（2）进入到 conf 文件夹，找到 sqoop-env-template.sh，修改其名称为 sqoop-env.sh

[hadoop@sqoop ~]$ cd apps/

[hadoop@sqoop apps]$ ls

apache-hive-2.3.3-bin hadoop-2.7.5 hbase-1.2.6 sqoop-1.4.6.bin__hadoop-2.0.4-alpha zookeeper-3.4.10

[hadoop@sqoop apps]$ mv sqoop-1.4.6.bin__hadoop-2.0.4-alpha/ sqoop-1.4.6

[hadoop@sqoop apps]$ cd sqoop-1.4.6/conf/

[hadoop@sqoop conf]$ ls

oraoop-site-template.xml sqoop-env-template.sh sqoop-site.xml

sqoop-env-template.cmd sqoop-site-template.xml

[hadoop@sqoop conf]$ mv sqoop-env-template.sh sqoop-env.sh

（3）修改 sqoop-env.sh

export HADOOP_COMMON_HOME=/home/hadoop/apps/hadoop-2.7.5

#Set path to where hadoop-*-core.jar is available

export HADOOP_MAPRED_HOME=/home/hadoop/apps/hadoop-2.7.5

（4）加入 mysql 驱动包到 sqoop1.4.6/lib 目录下

[hadoop@sqoop ]$ cp mysql-connector-java-5.1.40-bin.jar apps/sqoop-1.4.6/lib/

（5）配置系统环境变量

export SQOOP_HOME=/home/sqoop/apps/sqoop-1.4.6

export PATH=$PATH:$SQOOP_HOME/bin

（6）验证安装是否成功

sqoop-version

4、Sqoop的基本命令

首先，我们可以使用 sqoop help 来查看，sqoop 支持哪些命令

[hadoop@sqoop ~]$ sqoop help

Warning: /home/hadoop/apps/sqoop-1.4.6/../hcatalog does not exist! HCatalog jobs will fail.

Please set $HCAT_HOME to the root of your HCatalog installation.

Warning: /home/hadoop/apps/sqoop-1.4.6/../accumulo does not exist! Accumulo imports will fail.

Please set $ACCUMULO_HOME to the root of your Accumulo installation.

18/04/12 13:37:19 INFO sqoop.Sqoop: Running Sqoop version: 1.4.6

usage: sqoop COMMAND [ARGS]

Available commands:

codegen Generate code to interact with database records

create-hive-table Import a table definition into Hive

eval Evaluate a SQL statement and display the results

export Export an HDFS directory to a database table

help List available commands

import Import a table from a database to HDFS

import-all-tables Import tables from a database to HDFS

import-mainframe Import datasets from a mainframe server to HDFS

job Work with saved jobs

list-databases List available databases on a server

list-tables List available tables in a database

merge Merge results of incremental imports

metastore Run a standalone Sqoop metastore

version Display version information

See 'sqoop help COMMAND' for information on a specific command.

（1）列出MySQL数据有哪些数据库

[hadoop@sqoop ~]$ sqoop list-databases \

> --connect jdbc:mysql://hadoop1:3306/ \

> --username root \

> --password root

Warning: /home/hadoop/apps/sqoop-1.4.6/../hcatalog does not exist! HCatalog jobs will fail.

Please set $HCAT_HOME to the root of your HCatalog installation.

Warning: /home/hadoop/apps/sqoop-1.4.6/../accumulo does not exist! Accumulo imports will fail.

Please set $ACCUMULO_HOME to the root of your Accumulo installation.

18/04/12 13:43:51 INFO sqoop.Sqoop: Running Sqoop version: 1.4.6

18/04/12 13:43:51 WARN tool.BaseSqoopTool: Setting your password on the command-line is insecure. Consider using -P instead.

18/04/12 13:43:51 INFO manager.MySQLManager: Preparing to use a MySQL streaming resultset.

information_schema

mysql

performance_schema

test

（2）列出MySQL中的某个数据库有哪些数据表：

[hadoop@hadoop3 ~]$ sqoop list-tables \

> --connect jdbc:mysql://hadoop1:3306/mysql \

> --username root \

> --password root

（3）创建一张跟mysql中的help_keyword表一样的hive表goods：

sqoop create-hive-table \

--connect jdbc:mysql://192.168.10.100:3306/mysql \

--username root \

--password root \

--table help_keyword \

--hive-table goods

5、从RDBMS导入到HDFS中

语法格式：

sqoop import (generic-args) (import-args)

常用参数

--connect <jdbc-uri> jdbc 连接地址

--connection-manager <class-name> 连接管理者

--driver <class-name> 驱动类

--hadoop-mapred-home <dir> $HADOOP_MAPRED_HOME

--help help 信息

-P 从命令行输入密码

--password <password> 密码

--username <username> 账号

--verbose 打印流程信息

--connection-param-file <filename> 可选参数

示例-1：导入mysql库中的goods的数据到HDFS上。导入的默认路径：/goods

sqoop import \

--connect jdbc:mysql://hadoop1:3306/mysql \

--username root \

--password root \

--table good \

-m 1

示例-2： 导入时指定分隔符和导入路径

sqoop import \

--connect jdbc:mysql://192.168.10.100:3306/mysql \

--username root \

--password root \

--table goods \

--target-dir /goods_bak \

--fields-terminated-by '\t' \

-m 2

示例-3：导入表数据到HDFS

下面的命令用于从MySQL数据库服务器中的emp表导入HDFS：

bin/sqoop import \

--connect jdbc:mysql://hdp-node-01:3306/test \

--username root \

--password root \

--table emp \

--m 1

6、将数据从HDFS文件导出到RDBMS数据库

导出前，目标表必须存在于目标数据库中。默认操作是将文件中的数据使用INSERT语句插入到表中。更新模式下，是生成UPDATE语句更新表数据。以下是export命令语法:

sqoop export (generic-args) (export-args)

示例-1：数据是在HDFS 中"EMP/"目录的emp_data文件中。所述emp_data如下：

1201, gopal, manager, 50000, TP

1202, manisha, preader, 50000, TP

1203, kalil, php dev, 30000, AC

1204, prasanth, php dev, 30000, AC

1205, kranthi, admin, 20000, TP

1206, satish p, grp des, 20000, GR

（1）首先需要手动创建mysql中的目标表

$ mysql

mysql> USE db;

mysql> CREATE TABLE employee (

id INT NOT NULL PRIMARY KEY,

name VARCHAR(20),

deg VARCHAR(20),

salary INT,

dept VARCHAR(10));

（2）然后执行导出命令

bin/sqoop export \

--connect jdbc:mysql://hdp-node-01:3306/test \

--username root \

--password root \

--table employee \

--export-dir /user/hadoop/emp/

（3）验证表mysql命令行。

mysql>select * from employee;

（三）基于流数据采集框架kafka

Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据。

1、Kafka的组成结构如下：

2、Kafka的集群组成结构如下：

（1）、Broker

Kafka集群包含一个或多个服务器，这种服务器被称为broker

（2）、Topic

每条发布到Kafka集群的消息都有一个类别，这个类别被称为Topic

（3）、Producer

负责发布消息到Kafka broker

（4）、Consumer

消息消费者，向Kafka broker读取消息的客户端

（5）、ZooKeeper

ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、组服务等

3、使用kafka采集和消费数据

（1）创建topic

步骤1：创建名为goods的topic

kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic goods

步骤2：查看topic列表

查看kafka中topic的列表，命令如下：

kafka-topics.sh --list --zookeeper 127.0.0.1:2181

（2）生产者生产数据

步骤1： 启动生产者，并向已经创建的名为test的topic中发送数据

kafka-console-producer.sh --broker-list localhost:9092 --topic goods

步骤2：向goods的topic发送下列数据

U001 lily kafka browse_action

（3）消费者消费数据

步骤1：启动消费者，并消费名为test的topic中的数据

kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic goods --from-beginning

步骤2：消费者消费数据

U001 lily kafka browse_action

（四）日志采集工具Flume

Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。

当前Flume有两个版本Flume 0.9X版本的统称Flume-og，Flume1.X版本的统称Flume-ng。由于Flume-ng经过重大重构，与Flume-og有很大不同，使用时请注意区分。

Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力 。Flume提供了从console（控制台）、RPC（Thrift-RPC）、text（文件）、tail（UNIX tail）、syslog（syslog日志系统），支持TCP和UDP等2种模式，exec（命令执行）等数据源上收集数据的能力。

Flume的特点：

（1）Flume可以高效率的将多个服务器采集的日志信息存入HDFS/HBase中

（2）使用Flume可以将从多个服务器中获取的数据迅速的移交给Hadoop中

（3）Flume也可以采集规模庞大的社交数据，比如Facebook,Twitter,电商网站 如亚马逊等

（4）支持多种不同的数据源

Flume的优势：

（1）Flume可以将应用产生的数据存储到任何集中存储器中，比如DFS,HBase

（2）当收集数据的速度超过将写入数据的时候，Flume会在数据生产者和数据收集器间做出调整，保证其能够在两者之间提供一共平稳的数据

（3）Flume的管道是基于事务，保证了数据在传送和接收时的一致性

（4）Flume是可靠的，容错性高的，可升级的，易管理的,并且可定制的

Flume是以agent为最小独立运行单位。单agent由Source、Sink和Channel三大组件构成，如下图：

（1）Source

从数据发生器接收数据,并将接收的数据以Flume的event格式传递给一个或者多个通道channel,Flume提供多种数据接收的方式,比如Avro,Thrift,twitter1%等

（2）Channel:

channel是一种短暂的存储容器,它将从source处接收到的event格式的数据缓存起来,直到它们被sinks消费掉,它在source和sink间起着桥梁的作用,channel是一个完整的事务,这一点保证了数据在收发的时候的一致性. 并且它可以和任意数量的source和sink链接. 支持的类型有: JDBC channel , File System channel , Memort channel等.

（3）sink:

sink将数据存储到集中存储器比如Hbase和HDFS,它从channals消费数据(events)并将其传递给目标地. 目标地可能是另一个sink,也可能HDFS,HBase.

示例：

监控一个文件实时采集新的数据输出到控制台，数据日志格式如下：

商品编号,商品名称,用户编号,用户评价(单位：星)

日志的样本数据如下：

g001,hadoop,u001,3

g002,spark,u002,4

g003 ,Machine Learning,u003,5

（1）编辑flume配置文件flume.conf

# Flume agent config

a1.sources = r1

a1.sinks = k1

a1.channels = c1

# Describe/configure the source

a1.sources.r1.type = exec

a1.sources.r1.port = 6666

a1.sources.r1.host = 10.42.135.101

a1.sources.r1.channels = c1

a1.sources.r1.command=tail -F /home/logger.txt

# Describe the sink

a1.sinks.k1.type = logger

# Use a channel which buffers events in memory

a1.channels.c1.type = memory

a1.channels.c1.capacity = 1000

a1.channels.c1.transactionCapacity = 100

# Bind the source and sink to the channel

a1.sources.r1.channels = c1

a1.sinks.k1.channel = c1

（2）启动flume agent

利用前面的配置文件启动flume agent，启动命令如下：

flume-ng agent --conf /home/logger.txt --conf-file /home/flume.conf --name a1 -Dflume.root.logger=INFO,console

（3）向logger.txt写入数据测试agent

用echo命令追加到/home/logger.txt内容，向exec.txt 追加内容echo "hello world" >>/home/exec.txt。

《大数据和人工智能交流》的宗旨

1、将大数据和人工智能的专业数学：概率数理统计、线性代数、决策论、优化论、博弈论等数学模型变得通俗易懂。

2、将大数据和人工智能的专业涉及到的数据结构和算法：分类、聚类 、回归算法、概率等算法变得通俗易懂。

3、最新的高科技动态：数据采集方面的智能传感器技术；医疗大数据智能决策分析；物联网智慧城市等等。

根据初学者需要会有C语言、Java语言、Python语言、Scala函数式等目前主流计算机语言。

根据读者的需要有和人工智能相关的计算机科学与技术、电子技术、芯片技术等基础学科通俗易懂的文章。