1
Zookeeper 数据结构详解

Zookeeper https://zookeeper.apache.org/doc/current/zookeeperOver.html Zookeeper是高性能,高可用,严格有序的分布式协调服务,提供了统一配置(configuration),命名(naming),同步(synchronizat ...

SvenAugustus @ 2020/05/25

2
Zookeeper 集群角色、原理

Zookeeper 的集群角色 集群中的 server 分为三种角色: , , 。 其中 是配置 明确定义的,角色 在一个zookeeper集群中有且只能有一个,是通过内部的选举机制临时产生的。 是集群中最重要的角色。负责响应集群的所有对Zookeeper数据状态变更的请求。它会将每个状态更新请求进 ...

SvenAugustus @ 2020/05/25

3
pandas用法总结

https://blog.csdn.net/yiyele/article/details/80605909 一、生成数据表1、首先导入pandas库,一般都会用到numpy库,所以我们先导入备用:import numpy as npimport pandas as pd122、导入CSV或者xlsx ...

功夫 熊猫 @ 2020/05/25

4
用户画像系统架构——从零开始搭建实时用户画像(二)

​ ​ 在《 "什么的是用户画像" 》一文中,我们已经知道用户画像对于企业的巨大意义,当然也有着非常大实时难度。那么在用户画像的系统架构中都有哪些难度和重点要考虑的问题呢? 挑战 大数据 随着互联网的崛起和智能手机的兴起,以及物联网带来的各种可穿戴设备,我们能获取的每一个用户的数据量是非常巨大的,而 ...

独孤风 @ 2020/05/25

5
【赵强老师】Kafka的体系架构

一、什么是Kafka? 数据工程中最具挑战性的部分之一是如何从不同点收集和传输大量数据到分布式系统进行处理和分析。需要通过消息队列正确地分离大量数据,因为如果一部分数据无法传送,则可以在系统恢复时传输和分析其他数据。有两种消息排队,对于上述目的,它们都是可靠的和异步的。点对点(Point to po ...

赵强老师 @ 2020/05/25

6
【漫画】ES原理 必知必会的倒排索引和分词

倒排索引的初衷 倒排索引,它也是索引。索引,初衷都是为了快速检索到你要的数据。 我相信你一定知道mysql的索引,如果对某一个字段加了索引,一般来说查询该字段速度是可以有显著的提升。 每种数据库都有自己要解决的问题(或者说擅长的领域),对应的就有自己的数据结构,而不同的使用场景和数据结构,需要用不同 ...

胖滚猪学编程 @ 2020/05/23

7
必会技能!Docker助你快速上手玩转HBase!

前言: 本文主要讲述了如何使用Docker快速上手HBase,省去繁杂的安装部署环境,直接上手,小白必备。适合HBase入门学习及简单代码测试。 1. Docker 安装 参考地址: 支持常用的操作系统:Centos / ubuntu / Windows / macos 等。 2. 拉取镜像 镜像地 ...

周蓬勃 @ 2020/05/23

8
面试官:说出八种消息队列的应用场景。啊?八种?

本文来源于公众号:胖滚猪学编程。转载请注明出处! 一个风度翩翩,穿着格子衬衣的中年男子,拿着一个满是划痕的mac向她走来,看着铮亮的头,胖滚猪心想,这肯定是尼玛顶级架构师吧!完了要挂了。 结果面试官第一个问题,就让胖滚猪内心暗喜 面试官 :消息队列这东西,你还熟悉吧?消息队列在企业中的应用场景有哪些 ...

胖滚猪学编程 @ 2020/05/23

9
HBase原理 | HBase Region 运行状态学习

HBase为每个Region维护一个状态,并将该状态保留在hbase:meta中。hbase:meta 本身的Region状态保留在ZooKeeper中。可以在Master Web UI中查看Region的过渡状态。以下是可能的Region状态列表。 1. 状态机中包括下面几种状态: offline ...

周蓬勃 @ 2020/05/23

10
搭建一个 ELKB 日志收集系统

开发环境 centos release 7 3.1611.el7.centos.x86_64 elasticsearch 6.3.1 kibana 6.3.1 logstash 6.3.1 filebeat 6.3.1 ElasticSearch安装 1. 下载ElasticSearch ,国内慢 ...

aaaak @ 2020/05/23

11
GPS时间服务器(NTP服务器)京准教你选型小窍门

GPS时间服务器(NTP服务器)京准教你选型小窍门 GPS时间服务器(NTP服务器)京准教你选型小窍门 京准电子科技官微——ahjzsz 目前,市场上的NTP网络时间服务器鱼龙混杂,厂家良莠不齐,对此选择一家有实力的厂家及性价比高的NTP网络时间服务器厂家显得尤其重要。 NTP网络时间服务器厂家简介 ...

GPS北斗卫星同步时钟 @ 2020/05/23

12
什么是用户画像——从零开始搭建实时用户画像(一)

用户画像 简介 ​ 用户画像,作为一种勾画目标用户、联系用户诉求与设计方向的有效工具,用户画像在各领域得到了广泛的应用。 用户画像最初是在电商领域得到应用的,在大数据时代背景下,用户信息充斥在网络中,将用户的每个具体信息抽象成标签,利用这些标签将用户形象具体化,从而为用户提供有针对性的服务。 ​ 还 ...

独孤风 @ 2020/05/22

13
NTP时钟服务器(NTP校时服务器)日常维护与实施

NTP时钟服务器(NTP校时服务器)日常维护与实施 NTP时钟服务器(NTP校时服务器)日常维护与实施 京准电子科技VX——ahjzsz 京准电子科技有限公司主营ntp网络时钟服务器,时钟同步产品, 产品正在国内外各行业近万个现场稳定运行,现就设备安装、日常维护及解决方案做下总结。 一、NTP网络时 ...

GPS北斗卫星同步时钟 @ 2020/05/22

14
kudu安装与运行

首先我的服务器是Centos7.6。低于7版本的小伙伴不可照搬。 我选择的是使用rpm的方式进行安装,比较方便。 "kudu安装包下载地址" ctrl+f 查找kudu,这6个rpm包都要下载下来,推荐使用迅雷下载 在下载的时候我们还需要做一些准备工作。执行以下命令,安装必备的包。 没有安装ntp的 ...

yoleen @ 2020/05/22

15
大数据采集和抽取怎么做?这篇文章终于说明白了!

本文来源于公众号【胖滚猪学编程】,转载请注明出处! 关于数据中台的概念和架构,我们在 "大白话 六问数据中台" 和 "数据中台全景架构及模块解析!一文入门中台架构师!" 两篇文章中都说明白了。从这一篇文章开始分享中台落地实战。 其实无论是数据中台还是数据平台,数据无疑都是核心中的核心,所以闭着眼睛想 ...

胖滚猪学编程 @ 2020/05/22

16
【赵强老师】在Hive中使用Load语句加载数据

一、Hive中load语句的语法说明 Hive Load语句不会在加载数据的时候做任何转换工作,而是纯粹的把数据文件复制/移动到Hive表对应的地址。语法格式如下: LOAD DATA [LOCAL] INPATH 'filepath' [OVERWRITE] INTO TABLE tablenam ...

赵强老师 @ 2020/05/22

17
北斗对时设备(GPS校时产品)在数字城市系统中的应用

北斗对时设备(GPS校时产品)在数字城市系统中的应用 北斗对时设备(GPS校时产品)在数字城市系统中的应用 京准电子科技官微——ahjzsz 综述 随着计算机网络的迅猛发展,网络应用已经非常普遍,众多领域的网络系统如电力、石化、金融业(证券、银行)、广电业(广播、电视)、交通业(火车、飞机)、军事( ...

GPS北斗卫星同步时钟 @ 2020/05/20

18
Hadoop学习1

一.Hadoop社区版和发行版 社区版:我们把Apache社区一直开发的Hadoop称为社区版。简单的说就是Apache Hadoophttp://hadoop.apache.org/ 发行版:基于Apache Hadoop的基础上进行商业改造的解决方案,包含一系列定制的管理工具和软件。 二.Had ...

精华芝士饼 @ 2020/05/20

19
数据中台全景架构及模块解析!一文入门中台架构师!

回顾一下,第一篇文章 "大白话 六问数据中台!你想知道的都在这了!" 。把数据中台是什么?为什么?有什么价值?说的明明白白。 数据中台是企业级能力复用平台,目标是让数据持续用起来,通过数据中台提供的工具、方法和运行机制,把数据变为一种服务能力,让数据更方便地被业务所使用 。 今天就来点实际干货,把企 ...

胖滚猪学编程 @ 2020/05/20

20
大白话 六问数据中台!你想知道的都在这了!

数据中台、相信这四个字大家一定不陌生。因为在2019年、数据中台可谓是最火的概念之一,很多大公司都在布局自己的数据中台。 那么数据中台到底是什么?它和我们熟知的数据平台有啥区别?它为什么会这么火、能给企业带来什么价值呢?数据中台整体架构和全景图又是什么呢? 笔者有幸参与了公司数据中台从0到N的建设, ...

胖滚猪学编程 @ 2020/05/20