记录一些学习资料

大数据处理技术发展趋势传统数据处理系统面临的问题： 图：传统数据处理系统面临的问题 如上图：传统数据处理系统面临的问题主要有： 海量数据的存储成本。 有限的扩展能力。 数据资产对外增值。 大数据处理能力的不足。 单一数据源。 流式数据处理缺失。 数据处理技术演进趋势： 图：数据处理演进趋势 数据处理技术演进的趋势： 完全共享模式 存储方式：磁盘。 特点：单机、Scale up。 缺点：性能存在瓶颈、扩展性能差。 数据库服务器 存储方式：高性能网络存储。 特点：集群、Share Ever ...

大数据概述大数据产生的背景：基于海量的存储与处理面临挑战： 数据量大，数据种类多。 海量数据的高存储成本，大数据两下数据处理性能不足，流式数据处理缺失。 优先的扩展能力，单一数据源。 数据资产对外增值。 行业技术标准的日益形成： 数据处理技术分布式演进趋势：Hadoop成为开放的事实标准。 各种技术特点： SMP：单机、Scale UP。性能存在瓶颈，扩展性差。 SMP+MPP混合：集群、Share Everything。结构化、关系型。Flash cache+分布式块存储+IB。 MPP ...

Docker发展历程容器技术的演进： 1979年：Unix V7 chroot技术的引进开启了进程隔离的大门。 2000年：FreeBSD Jails将计算机分为多个独立的小型计算机系统。 2006年：Process Containers 进程的资源使用限制。 2008年：LXC 第一个完整的容器管理工具。 2013年：LMCTFY Libcontainer的重要组成。 2013年：Docker。 容器迅猛发展的背景： 应用架构正在发生变革—–微服务化。 基础架构系统也在发生变革—虚拟化、混合 ...

1.煤球数目： 有一堆煤球，堆成三角棱锥形。具体：第一层放1个，第二层3个（排列成三角形），第三层6个（排列成三角形），第四层10个（排列成三角形），….如果一共有100层，共有多少个煤球？ 请填表示煤球总数目的数字。注意：你提交的应该是一个整数，不要填写任何多余的内容或说明性文字。 源代码： 12345678910public class 煤球数 { public static void main(String[] args) { int sum = 0; for(i ...

基本概念： 回溯算法（back tracking）实际上一个类似枚举的搜索尝试过程，主要是在搜索尝试过程中寻找问题的解，当发现已不满足求解条件时，就“回溯”返回，尝试别的路径。 回溯法是一种选优搜索法，按选优条件向前搜索，以达到目标。但当探索到某一步时，发现原先选择并不优或达不到目标，就退回一步重新选择，这种走不通就退回再走的技术为回溯法，而满足回溯条件的某个状态的点称为“回溯点”。 ​ 许多复杂的，规模较大的问题都可以使用回溯法，有“通用解题方法”的美称。 基本思想：在包含问题的 ...

基本概念：所谓贪心算法是指，在对问题求解时，总是做出在当前看来是最好的选择。也就是说，不从整体最优上加以考虑，他所做出的仅是在某种意义上的局部最优解。 ​ 贪心算法没有固定的算法框架，算法设计的关键是贪心策略的选择。必须注意的是，贪心算法不是对所有问题都能得到整体最优解，选择的贪心策略必须具备无后效性，即某个状态以后的过程不会影响以前的状态，只与当前状态有关。 ​ 所以对所采用的贪心策略一定要仔细分析其是否满足无后效性。 贪心算法的基本思路： 建立数学模型来描述问题。 把求解的问题 ...

基本概念：动态规划过程是：每次决策依赖于当前状态，又随即引起状态的转移。一个决策序列就是在变化的状态中产生出来的，所以，这种多阶段最优化决策解决问题的过程就称为动态规划。 基本思想与策略：基本思想与分治法类似，也是将待求解的问题分解为若干个子问题（阶段），按顺序求解子阶段，前一子问题的解，为后一子问题的求解提供了有用的信息。在求解任一子问题时，列出各种可能的局部解，通过决策保留那些有可能达到最优的局部解，丢弃其他局部解。依次解决各子问题，最后一个子问题就是初始问题的解。 ​ 由于动态规划解 ...

分治法的基本概念： 在计算机科学中，分治法是一种很重要的算法。字面上的解释是“分而治之”，就是把一个复杂的问题分成两个或更多的相同或相似的子问题，再把子问题分成更小的子问题……直到最后子问题可以简单的直接求解，原问题的解即子问题的解的合并。这个技巧是很多高效算法的基础，如排序算法(快速排序，归并排序)，傅立叶变换(快速傅立叶变换)…… ​ 任何一个可以用计算机求解的问题所需的计算时间都与其规模有关。问题的规模越小，越容易直接求解，解题所需的计算时间也越少。例如，对于n个元素的排序问题，当n ...

枚举算法的基本思想 枚举算法是我们在日常中使用到的最多的一个算法，它的核心思想就是:枚举所有的可能。 枚举法的本质就是从所有候选答案中去搜索正确的解,使用该算法需要满足两个条件：(1)可预先确定候选答案的数量；(2)候选答案的范围在求解之前必须有一个确定的集合。 枚举结构：循环+判断语句。 枚举法的优缺点枚举算法的优点： 由于枚举算法一般是现实生活中问题的“直译”，因此比较直观，易于理解； 由于枚举算法建立在考察大量状态、甚至是穷举所有状态的基础上，所以算法的正确性比较容易证明 枚举算法的 ...

本篇的排序算法有，冒泡排序，插入排序，选择排序，快速排序，希尔排序，归并排序。 堆排序，计数排序，桶排序，基数排序：常见排序算法2 有关排序的算法例题：排序算法案例 冒泡排序冒泡排序（英语：Bubble Sort）是一种简单的排序算法。它重复地走访过要排序的数列，一次比较两个元素，如果他们的顺序错误就把他们交换过来。走访数列的工作是重复地进行直到没有再需要交换，也就是说该数列已经排序完成。这个算法的名字由来是因为越小的元素会经由交换慢慢“浮”到数列的顶端。 冒泡排序算法的运作如下： 比较 ...