1
redis学习笔记一

Redis知识点小结一 概念: 内存数据库,用于做缓存。可做分布式锁,提供多种数据类型支持不同业务场景。支持事务、持久化、LUA脚本、LRU驱动事件。 内存数据库,用于做缓存。可做分布式锁,提供多种数据类型支持不同业务场景。支持事务、持久化、LUA脚本、LRU驱动事件。 高性能和高并发 高性能:第一 ...

我的单车时尚时尚最时尚 @ 2019/07/12

4
centos 7 cloudera-manager5.16.2,CDH5.16.2安装升级spark2.4.0

1.在已经安装好系统的linux服务器上关闭selinux和iptables 2.在所有linux服务器上配置ntp服务并设置ntp时间同步 3.在所有linux服务器上安装好cm和cdh版本所需要对应的java版本 (1).下载java包到/usr/local目录解压 (2).添加java环境到/... ...

马达加斯加的老腊肉 @ 2019/07/12

5
Windows32位或64位下载安装配置Scala

[学习笔记] Windows 32位或64位下载安装配置Scala:1)下载地址:http://www.scala-lang.org/download/,看我的spark那节,要求scala是2.11以上,我就下载:scala-2.11.8.msi。2)安装:双击scala-2.11.8.msi安装 ...

海中一神兽 @ 2019/07/12

6
redis学习小结一

Redis知识点小结一 概念: 内存数据库,用于做缓存。可做分布式锁,提供多种数据类型支持不同业务场景。支持事务、持久化、LUA脚本、LRU驱动事件。 内存数据库,用于做缓存。可做分布式锁,提供多种数据类型支持不同业务场景。支持事务、持久化、LUA脚本、LRU驱动事件。 高性能和高并发 高性能:第一 ...

我的单车时尚时尚最时尚 @ 2019/07/12

9
大数据第一讲

第一讲:大数据基础入门 第一节:为什么要学习大数据 1、目的:很好工作 2、对比:Java开发和大数据开发 第二节:什么是大数据? 举例: 1、商品推荐: 问题:(1)大量的订单如何存储? (2)大量的订单如何计算? 2、天气预报: 问题:(1)大量的天气数据如何存储?(2)大量的天气数据如何计算? ...

苗苗姨的小狼狗 @ 2019/07/12

10
ElasticStack学习(五):ElasticSearch索引与分词

一、正排索引与倒排索引 1、什么是正排索引呢? 以一本书为例,一般在书的开始都会有书的目录,目录里面列举了一本书有哪些章节,大概有哪些内容,以及所对应的页码数。这样,我们在查找一些内容时,就可以通过目录来定位到这些内容大概在哪页。因此,书的目录就可以称之为正排索引(目录页)。 2、什么时倒排索引呢? ...

SuperSnowYao @ 2019/07/12

11
100天搞定机器学习|Day2简单线性回归分析

第一天机器学习100天|Day1数据预处理,我们学习了数据预处理。知道了,数据预处理是机器学习中最基础和最麻烦,未来占用时间最长的一步操作。数据预处理一般有六个步骤,导入库、导入数据集、处理缺失值、分类数据转化、分出训练集和测试集、特征缩放等。在处理数据过程中,必须得两个库是numpy和pandas ...

jpld @ 2019/07/11

12
ElasticStack学习(四):ElasticSearch文档的CRUD使用

一、文档的CRUD介绍 ElasticSearch中存在五种操作,分别如下: 1、Index 该操作表示:如果文档的ID不存在,则创建新的文档。若有相同的ID,先删除现有文档,然后再创建新的文档,同时版本会增加。 语法格式如下: 其中,index_name【索引名称】,_doc【Type名称,约定都 ...

SuperSnowYao @ 2019/07/11

13
Java简单介绍运行机制

1. 基础知识点图解 编程语言核心结构:变量、基本语法、分支、循环、数组、…… Java面向对象的核心逻辑:OOP、封装、继承、多态、接口…… 开发Java SE高级应用程序:异常、集合、I/O、多线程、反射机制、网络编程…… 2. 各种语言对比 3. Java诞生 Sun公司(斯坦福大学网络,不是 ...

猫不夜行 @ 2019/07/10

14
1. 大数据集群环境准备

1、三台虚拟机关闭防火墙 三台机器执行以下命令(root用户来执行) service iptables stop chkconfig iptables off 2、三台机器关闭selinux vim /etc/selinux/config 3、三台机器更改主机名 vim /etc/sysconfig ...

elevenapple @ 2019/07/10

15
说说实时流式计算

​ 六年前提起实时流式计算,熟悉的同学会想起Storm,三年前提起,大家应该会想到Spark Streaming,现在再提起那无疑是Flink了。可见开源世界技术的迭代是飞速的,稍不留神就落伍了,所以我们要不停地学习,跟着技术的浪潮上下翻滚,但是你学习的速度也无法总是跟得上技术的更替,所以年纪大了依 ...

大叔据 @ 2019/07/09

17
ElasticStack学习(三):ElasticSearch基本概念

1、文档 1)ElasticSearch是面向文档的,文档是所有可搜索数据的最小单位。例如: a)日志文件中的日志项; b)一张唱片的详细信息; c)一篇文章中的具体内容; 2)在ElasticSearch中,文档会被序列化成Json格式: a)Json对象是由字段组成的; b)每个字段都有对应的字 ...

SuperSnowYao @ 2019/07/09

18
3.kafka 基本配置

1.主题管理 kafka-topics.sh工具脚本用于对主题操作,如创建、删除、修改、分区数、副本数及主题级别的配置。 1.1创建名为kafka-test主题,有2个副本,3个分区 [hadoop@h201 kafka_2.12-0.10.2.1]$ bin/kafka-topics.sh --c ...

西瓜哥119 @ 2019/07/08

19
Kafka学习(一)-------- Quickstart

参考官网:http://kafka.apache.org/quickstart 一、下载Kafka 官网下载地址 http://kafka.apache.org/downloads 截至2019年7月8日 最新版本为 2.3.0 2.12为编译的scala版本 2.3.0为kafka版本 Scala ...

独孤风 @ 2019/07/08

20
大数据思考

1.前言 记得从上大学的时候就已经听说过这个词语 以前的理解可能就是数据量超大很多嘛 到这几年大数据这个词语被人们谈论得也越来越频繁 也越来越想了解它的所以自己才会去学习 我觉得做任何事之前肯定有某种驱使你去了解它的过程 以下仅是自己个人的理解 2.什么是大数据? 大数据不仅是数据量大 (G,TB, ...

hengly94 @ 2019/07/07