Hadoop的缺点：Hadoop不适用于低延迟数据访问。Hadoop不能高效存储大量小文件。Hadoop不支持多用户写入并任意修改文件。关于大数据技术Hadoop学习哪些内容，青藤小编就和您分享到这里了。如果您对大数据工程有浓厚的兴趣，希望这篇文章可以为您提供帮助。
高容错性。Hadoop能够自动保存数据的多个副本，并且能够自动将失败的任务重新分配。低成本。与一体机、商用数据仓库以及QlikView、Yonghong Z-Suite等数据集市相比，hadoop是开源的，项目的软件成本因此会大大降低。Hadoop带有用Java语言编写的框架，因此运行在 Linux 生产平台上是非常理想的。
不适合事务/单一请求处理 MapReduce绝对是一个离线批处理系统，对于批处理数据应用得很好：MapReduce（不论是Google的还是Hadoop的）是用于处理不适合传统数据库的海量数据的理想技术。但它又不适合事务/单一请求处理。（HBase使用了来自Hadoop核心的HDFS，在其常用操作中并没有使用MapReduce。
三）高效性。Hadoop能够在节点之间动态地移动数据，并保证各个节点的动态平衡，因此处理速度非常快。（四）高容错性。Hadoop能够自动保存数据的多个副本，并且能够自动将失败的任务重新分配。（二） 缺点：（一）不适合低延迟数据访问。（二）无法高效存储大量小文件。
稳定性方面，由于代码质量问题，Spark长时间运行会经常出错，在架构方面，由于大量数据被缓存在RAM中，Java回收垃圾缓慢的情况严重，导致Spark性能不稳定，在复杂场景中SQL的性能甚至不如现有的Map/Reduce。
还要购买商业软体，搭个DPF环境需要费挺大力气的。hadoop能处理半结构化，非结构化资料。但hadoop要写mapreduce函式，这个比起SQL来，方便灵活性差太多了。Hbase作为Hadoop下的一个子项目，目前发展比较强大，和传统的关系型数据库oracle来比，两者各有优缺点，我们先看一个简单的表格。
1、数据之间关联性强，频繁交互，如游客在旅游途中上传的照片和日志，就与游客的位置、行程等信息有很强的关联性。高速性 这是大数据区分于传统数据挖掘最显著的特征。大数据与海量数据的重要区别在两方面：一方面，大数据的数据规模更大；另一方面，大数据对处理数据的响应速度有更严格的要求。
2、大数据从整体上看分为四个特点，第一，大量。衡量单位PB级别，存储内容多。第二，高速。大数据需要在获取速度和分析速度上要及时迅速。保证在短时间内更多的人接收到信息。第三，多样。数据的来源是各种渠道上获取的，有文本数据，图片数据，视频数据等。因此数据是多种多样的。第四，价值。
3、大数据的特点：数据体量巨大。从TB级别，跃升到PB级别。数据类型繁多，如前文提到的网络日志、视频、图片、地理位置信息，等等。价值密度低。以视频为例，连续不间断监控过程中，可能有用的数据仅仅有一两秒。处理速度快。1秒定律。最后这一点也是和传统的数据挖掘技术有着本质的不同。
4、大数据的特点：海量性、多样性、高速性、易变性。详细来说：容量（Volume）：数据的大小决定所考虑的数据的价值的和潜在的信息；种类（Variety）：数据类型的多样性；速度（Velocity）：指获得数据的速度；可变性（Variability）：妨碍了处理和有效地管理数据的过程。
大量 大数据的特征首先就体现为大。从先Map3时代，一个小小的MB级别的Map3就可以满足很多人的需求，然而随着时间的推移，存储单位从过去的GB到TB，乃至现在的PB、EB级别。只有数据体量达到了PB级别以上，才能被称为大数据。
大数据分析的特点主要包括以下几个方面： 数据规模庞大：大数据分析的数据规模庞大，可能包括TB、PB甚至EB级别的数据。这意味着我们需要使用更强大的数据处理和分析工具来处理这些数据。 数据类型多样：大数据分析的数据类型多样，包括结构化数据、非结构化数据和半结构化数据。
量大：大数据的最显著特征是数据的数量巨大。随着信息技术的发展，各种传感器、设备和互联网应用产生了海量的数据，包括结构化数据（如数据库记录）和非结构化数据（如文本、图像、音频和视频等）。速度快：大数据的产生和流动速度非常快。
大数据分析的特点包括： 数据规模巨大：随着技术的发展和社会的进步，各行各业生成的数据量不断增加。大数据分析面临的一个主要挑战是处理海量数据，这些数据涵盖结构化数据，如数据库中的数字和事实，以及非结构化数据，如社交媒体帖子、视频和音频。
②多样性（Variety），即数据类型繁多，不仅包括传统的格式化数据，还包括来自互联网的网络日志、视频、图片、地理位置等；③速度（Velocity），即处理速度快；在数据处理速度方面，有一个著名的1秒定律，即要有秒级时间范围内给出分析结果，超出这个时间，数据就失去价值了。
数据体量巨大：数据量从TB级别跃升至EB级别。数据类型繁多：非结构化数据有网络日志、音频、视频、图片、地理位置信息等。价值密度低：数据采集的不及时和数据样本不全面，数据不连续等，数据价值密度较低。处理速度快：大数据的处理速度要快于传统的数据处理速度。
大数据的四个典型特征 大数据（Big Data）是指“无法用现有的软件工具提取、存储、搜索、共享、分析和处理的海量的、复杂的数据集合。”业界通常用4个V（即Volume、Variety、Value、Velocity）来概括大数据的特征。一是数据体量巨大（Volume）。
大数据四大特征包括数据体量巨大.数据类型繁多.价值密度低.处理速度快。大数据（big data）是指无法在一定时间内用常规软件工具对其内容进行抓取.管理和处理的数据集合。数据的用法倾向于预测分析.用户行为分析或某些其他高级数据分析方法的使用。对于“大数据”（Big data）研究机构Gartner给出了这样的定义。
1、把数据、日志、索引放到不同的I/O设备上，增加读取速度，以前可以将Tempdb应放在RAID0上，SQL2000不在支持。数据量（尺寸）越大，提高I/O越重要.纵向、横向分割表，减少表的尺寸（sp_spaceuse）升级硬件根据查询条件，建立索引，优化索引、优化访问方式，限制结果集的数据量。
2、先安装 Apache Spark，查询数据库的速度可以提升10倍。在已有的 MySQL 服务器之上使用 Apache Spark （无需将数据导出到 Spark 或者 Hadoop 平台上），这样至少可以提升 10 倍的查询性能。使用多个 MySQL 服务器（复制或者 Percona XtraDB Cluster）可以让我们在某些查询上得到额外的性能提升。
3、多数的代理都不会自动处理合并工作。解决方案：与解决跨节点join问题的类似，分别在各个节点上得到结果后在应用程序端进行合并。和join不同的是每个结点的查询可以并行执行，因此很多时候它的速度要比单一大表快很多。但如果结果集很大，对应用程序内存的消耗是一个问题。
4、在一些数据库服务器上，索引可能失效或者因为频繁操作而使得读取效率降低，如果一个使用索引的查询不明不白地慢下来，可以试着用tbcheck工具检查索引的完整性，必要时进行修复。另外，当数据库表更新大量数据后，删除并重建索引可以提高查询速度。2．避免或简化排序 应当简化或避免对大型表进行重复的排序。
5、建索引的选择必须结合SQL查询、修改、删除语句的需要，一般的说法是在WHERE里经常出现的字段建索引。如果在WHERE经常是几个字段一起出现而且是用AND连接的，那就应该建这几个字段一起的联合索引，而且次序也需要考虑，一般是最常出现的放前面，重复率低的放前面。
6、但不可能每个字段都建一个索引吧，除非你的表只用来查询，不做其他新增、删除、修改操作。事情都没有绝对的，要具体情况具体分析。要查询大量的文本类型的话，如新闻内容、标题等，数据库自身有“全文索引”，要么就采用第三方搜索引擎（比如：lucene），把整个表内容不在数据库搜，这样效率最高。
数据量的快速增长和数据处理速度的快速提升。随着信息技术的不断发展和应用，各种设备和应用产生的数据量呈现出爆发式增长的趋势。同时，为了能够及时处理和分析数据，数据处理技术也在不断地升级和改进，使得数据处理的速度得到了大幅提升。
一是数据传输的快速，二是数据更新的快速。传输快速是指，电商企业的大数据通过网络传输。数据更新快速是指数据的时效性差，所以需要对搜集到的数据进行及时处理。
数据在计算机科学中，数据的定义是指所有能输入到计算机并被计算机程序处理的符号的介质的总称，是用于输入电子计算机进行处理，具有一定意义的数字、字母、符号和模拟量等的统称。从“数据”的字面意思看，数据包括“数字”和“依据”两层含义。
大数据发展到今天，通常来说有两层含义，海量的数据集合以及对海量数据集合进行处理的大数据技术。海量的数据集合，这个非常好理解，就是不断累积起来的数据资源，而大数据技术又是指什么呢？何为大数据技术，今天我们来对大数据技术发展历程做个简单的介绍。
综合上述不同的定义，我们认为，大数据至少应包括以下两个方面：一是数量巨大，二是无法使用传统工具处理。因此，大数据不是关于如何定义，最重要的是如何使用。它强调的不仅是数据的规模，更强调从海量数据中快速获得有价值信息和知识的能力。
