阅读量:0
先自我介绍一下，小编浙江大学毕业，去过华为、字节跳动等大厂，目前阿里P7
深知大多数程序员，想要提升技能，往往是自己摸索成长，但自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！
因此收集整理了一份《2024年最新大数据全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。
既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！
由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新
如果你需要这些资料，可以添加V获取：vip204888 （备注大数据）
正文
随着业务的进一步增长，增加大量的开发人员去处理这种单体应用，就会出现大量的冲突问题，这个就需要管理者进行人工协调，公司整体研发效率比较低，后台大家想到一个好办法就是把这个单体应用分为一个个独立开发、测试及部署。每个环节都是独立而又有一定的联系，这个就是微服务的雏形。服务和服务之间采用API通信，这种微服务架构大大提升了研发人员的工作效率。
再到后来，估计大家都有所了解，如果从物理的角度思考这个问题就会发现分布式的一些困难与挑战，比如大家使用分布式服务及框架，使用一些Redis缓存、配置服务ACM以及分布式追踪系统等。这个微服务架构给运维也带来不少的难题，感觉运维大哥都快成全能底层人才了，以前运维只需要维护一个应用，现在估计一个人都得看几十个、几百个应用。对应用分发、自动化弹性等能力有一定的要求。
现在很多人都谈云计算，云架构，简单理解就是这个架构长在“云”上就是云架构。 有了应用分发的标准和生命周期的标准，云就能提供标准化的应用托管服务。在整个架构的演变的过程中，我们发现，研发运维人员希望用平台系统的去管理机器，而不是人去管理这些个玩意。这可能就是server is less.
Serverless的使用价值及常见的架构模式
我们抛去这些抽象的概念，看一下这个Serverless的使用价值主要有以下几点：
1.不用过多的关注服务器。
（Serverless平台具备自动识别故障，移除故障的能力）
2.自动弹性。
（Serverless平台自动及时稳定的实现自动弹性）
3.按照实际资源的消耗进行计费。
（Serverless模式下，按照实际消耗资源及使用存储进行计费）
4.更少的代码，更快的交付速度。
（Serverless提供成熟的代码构建发布、版本切换等特性，交付速度更快）
Serverless由开发者实现的服务端逻辑运行在无状态的计算容器中，它由事件触发， 完全被第三方管理，其业务层面的状态则被开发者使用的数据库和存储资源所记录。Serverless涵盖了很多技术，分为两类：FaaS和BaaS。
FaaS（Function as a Service，函数即服务）
FaaS意在无须自行管理服务器系统或自己的服务器应用程序，即可直接运行后端代码。其中所指的服务器应用程序，是该技术与容器和PaaS（平台即服务）等其他现代化架构最大的差异。
FaaS可以取代一些服务处理服务器（可能是物理计算机，但绝对需要运行某种应用程序），这样不仅不需要自行供应服务器，也不需要全时运行应用程序。
FaaS产品不要求必须使用特定框架或库进行开发。在语言和环境方面，FaaS函数就是常规的应用程序。例如AWS Lambda的函数可以通过Javascript、Python以及任何JVM语言（Java、Clojure、Scala）等实现。然而Lambda函数也可以执行任何捆绑有所需部署构件的进程，因此可以使用任何语言，只要能编译为Unix进程即可。FaaS函数在架构方面确实存在一定的局限，尤其是在状态和执行时间方面。
在迁往FaaS的过程中，唯一需要修改的代码是“主方法/启动”代码，其中可能需要删除顶级消息处理程序的相关代码（“消息监听器接口”的实现），但这可能只需要更改方法签名即可。在FaaS的世界中，代码的其余所有部分（例如向数据库执行写入的代码）无须任何变化。
相比传统系统，部署方法会有较大变化 – 将代码上传至FaaS供应商，其他事情均可由供应商完成。目前这种方式通常意味着需要上传代码的全新定义（例如上传zip或JAR文件），随后调用一个专有API发起更新过程。
FaaS中的函数可以通过供应商定义的事件类型触发。对于亚马逊AWS，此类触发事件可以包括S3（文件）更新、时间（计划任务），以及加入消息总线的消息（例如Kinesis）。通常你的函数需要通过参数指定自己需要绑定到的事件源。
大部分供应商还允许函数作为对传入Http请求的响应来触发，通常这类请求来自某种该类型的API网关（例如AWS API网关、Webtask）。
BaaS（Backend as a Service，后端即服务）
BaaS（Backend as a Service，后端即服务）是指我们不再编写或管理所有服务端组件，可以使用领域通用的远程组件（而不是进程内的库）来提供服务。理解BaaS，需要搞清楚它与PaaS的区别。
首先BaaS并非PaaS，它们的区别在于：PaaS需要参与应用的生命周期管理，BaaS则仅仅提供应用依赖的第三方服务。典型的PaaS平台需要提供手段让开发者部署和配置应用，例如自动将应用部署到Tomcat容器中，并管理应用的生命周期。BaaS不包含这些内容，BaaS只以API的方式提供应用依赖的后端服务，例如数据库和对象存储。BaaS可以是公共云服务商提供的，也可以是第三方厂商提供的。其次从功能上讲，BaaS可以看作PaaS的一个子集，即提供第三方依赖组件的部分。
BaaS服务还允许我们依赖其他人已经实现的应用逻辑。对于这点，认证就是一个很好的例子。很多应用都要自己编写实现注册、登录、密码管理等逻辑的代码，而对于不同的应用这些代码往往大同小异。完全可以把这些重复性的工作提取出来，再做成外部服务，而这正是Auth0和Amazon Cognito等产品的目标。它们能实现全面的认证和用户管理，开发团队再也不用自己编写或者管理实现这些功能的代码。
函数计算介绍及其应用
从用户角度，他需要做的只是编码，然后把代码上传到函数计算中。上传代码就意味着应用部署。当有高并发请求涌入时，开发者也无需手动扩容，函数计算会根据请求量毫秒级自动扩容，弹性可靠地运行任务，并内置日志查询、性能监控、报警等功能帮助开发者发现问题并定位问题。
函数计算是事件驱动的无服务器应用，事件驱动是说可以通过事件源自动触发函数执行，比如当有对象上传至OSS中时，自动触发函数，对新上传的图片进行处理函数计算支持丰富的事件源类型，包括日志服务、对象存储、表格存储、消息服务、API网关、CDN等。
除了事件触发外，也可以直接通过API/SDK直接调用函数。调用可以分为同步调用与异步调用，当请求到达函数计算后，函数计算会为请求分配执行环境，如果是异步调用，函数计算会将请求事件存入队列中，等待消费。
函数的测试与部署
服务是函数计算资源管理的单位，同一个服务下有很多函数，这些函数共享服务的网络 配置、权限配置、存储配置、日志配置。 服务可以对应成一个“应用”，这个应用由很多函数共同组成，这些函数具有相同的访 问权限、网络配置，日志也记录到相同的 logstore。这些函数本身的配置可以各不相同， 比如同一服务下有的函数内存是 3G，有的函数内存是 512M，有些函数用 Python 写， 有些函数用 Node.js 写。
开发流程
函数测试部分，Serverless稍微薄弱一点，软肋，这个调试一般可以采用云调试、命令行工具、VSCode 插件、无工具调试等方式，具体怎么调试我就不一一说明了，有兴趣的可以尝试一下。
至于部署，比较简单，我们可以使用在线部署、客户端部署（通过命令行工具、通过 VSCode 插件）。命令行工具的 - h 指令真的很棒， 无论使用什么指令，我们都可以通过 - h 查看到使用方法。
Serverless容器服务及部署
Serverless Kubernetes 是以容器和 kubernetes 为基础的 Serverless 服 务，它提供了一种简单易用、极致弹性、最优成本和按需付费的 Kubernetes 容器服务， 其无需节点管理和运维，无需容量规划，让用户更关注应用而非基础设施的管理。我们可以把把 Serverless Kubernetes 简称为 ASK。
当下各大云厂商都推出了自己的 Serverless 容器服务，上图为 Gartner 评估机构 整理的 Serverless 容器产品 Landscape，其中阿里云有 Serverless Kubernetes ASK 和 ECI；AWS 有 Fargate，基于 Fargate 有 EKS on Fargate 和 ECS on Fargate 两种形态；Azure 有 ACI。另外 Gartner 也预测，到 2023 年，将有 70% 的 AI 应用以容器和 Serverless 方式运行。
网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。
需要这份系统化的资料的朋友，可以添加V获取：vip204888 （备注大数据）
一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！
尝辄止，不再深入研究，那么很难做到真正的技术提升。**
需要这份系统化的资料的朋友，可以添加V获取：vip204888 （备注大数据）
[外链图片转存中…(img-iDRTxV4T-1713193669145)]
一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！
