标签: Server

1.2 Centos7 wget http://opensource.wandisco.com/centos/7/git/x86_64/wandisco-git-release-7-1.noarch.rpm rpm -ivh wandisco-git-release-7-1.noarch.rpm 或者 wget http://opensource.wandisco.com/centos/7/git/x86_64/wandisco-git-release-7-2.noarch.rpm rpm …

docker run --rm -v /srv/gitlab-runner/config:/etc/gitlab-runner gitlab/gitlab-runner register \ --non-interactive \ --executor "docker" \ --docker-image alpine:latest \ --url "http://andrewandbecky.top:30000/" \ --registration-token …

mongoexport mongodb://192.168.2.115/beike_house –collection beike_house_chengjiao –type=csv –fields title house_url title price average property property2 unit complete_time address want_sell days_to_sell fetch_time–out beike_chengjiao.csv …

任意嵌套 def flatten(input_list): output_list = [] while True: if input_list == []: break for index, i in enumerate(input_list): if type(i)== list: input_list = i + input_list[index+1:] break else: output_list.append(i) input_list.pop(index) break return …

db.createUser({ user: "admin", pwd: "---------", roles: [ { role: "root", db: "admin" } ], mechanisms : ["SCRAM-SHA-1"] }) 登录数据库 /path/mongo --host=172.16.218.27 --port=27017 -u username -p 'XXX' --authenticationDatabase=admin 查看 admin库表 > use admin …

在制作U盘启动的时候,有时候需要用dd命令写入U盘. sudo dd if=./manjaro-deepin-18.0.2-stable-x86_64.iso of=/dev/sdc bs=4M sudo watch kill -USR1 $(pgrep ^dd) 查看硬盘情况 df -h ##df -h 文件系统 容量 已用 可用 已用% 挂载点 dev 32G 0 32G 0% /dev run 32G 1.4M 32G 1% /run /dev/nvme0n1p1 938G 194G …

##显示系统信息 arch 显示机器的处理器架构 uname -m 显示机器的处理器架构 uname -r 显示正在使用的内核版本 cat /proc/cpuinfo 显示CPU info的信息 cat /proc/meminfo 校验内存使用 cat /proc/swaps 显示哪些swap被使用 cat /proc/version 显示内核的版本 lspci -tv 罗列 PCI 设备 lsusb -tv 显示 USB 设备 ##日历 date 显示系统日期 cal 2019 显示2019 …

vim vim是一个常用的文本编辑工具，在远程服务器中更改系统配置中经常使用。 基础 vim的模式 Vim一般分为三种不同的模式，普通模式( normal mode )、编辑模式和命令模式. 普通模式( normal mode ) 使用vim打开文件则进入普通模式。在普通模式下可通过按键 h、j、k、l来控制光标的移动，通过 x、d(delete) 、 y(yank) 、p(put)等按键可对文本进行操作，在该模式下，键盘按键被视为类似 Word下的快捷键的功能，而不是被视为简单的文本输入。 编 …

在日常使用baidu的过程中，各种垃圾广告玷污眼睛，如何去除让人恶心的广告呢，方法很简单。 #下载chrome浏览器 使用google扩展程序 需要Google账号，这时你需要google访问助手，登入同步之后，打开扩展程序，点击开发人员选项。 加载已解压的扩展程序包，选择解压好的google访问助手 google访问助手下载地址 下载完后将后缀改为.rar,使用解压工具解压，可以显示包内容。 然后登入Google账号，打开刚刚的扩展程序，有google应用商店，搜索stylish，然后就可以下 …

.背景 公司希望使用MongoDB作为后端业务数据库，使用Hadoop平台作为数据平台。最开始是先把数据从MongoDB导出来，然后传到HDFS，然后用Hive/MR处理。我感觉这也太麻烦了，现在不可能没有人想到这个问题，于是就搜了一下，结果真找到一个MongoDB Connector for Hadoop 1.版本一定要按它要求的来，jar包去http://mvnrepository.com/下载就可以了，使用Hive只需要三个： mongo-hadoop-core-1.5.1.jar …

import smtplib import time from email.mime.multipart import MIMEMultipart from email.mime.text import MIMEText from loguru import logger mail_host = 'smtp.163.com' # 163用户名 mail_user = 'username' # 密码(部分邮箱为授权码) mail_pass = '--------------' # 邮件发送方邮箱 …

1. Hive导出到.csv文件 由于Hive中导出的文件不是以逗号，而是以Tab（或者说’\t’）为分隔符的，因此，下面的命令自己试过可以转换为逗号分隔的文件，也就是真正的csv文件。 当然，有时候可能还需要跟转码的工具进行组合，转换编码格式。 sed -i ‘s/\t/,/g’ xxx.csv 当然，第一步是 hive -e “SQL语句” > xxx.csv 所以完整的流程代码是 hive -e "SQL query" > xxx.csv sed -i 's/\t/,/g' xxx.csv …

需要同步的elastic表 add jar hdfs:///elasticsearch-jars/elasticsearch-hadoop-hive-8.1.1.jar; -- create database ods_beike; CREATE EXTERNAL TABLE ods_beike.ershoufang_detail_from_es( house_url string comment 'house url', house_id string comment 'house id', …

CREATE TABLE tmp.COSTITEM ( NAME STRING, ORDERDATE DATE, COST STRING); – 数据加 INSERT INTO tmp.COSTITEM VALUES (‘jack’,‘2020-01-01’,‘10’); INSERT INTO tmp.COSTITEM VALUES (’tony’,‘2020-01-02’,‘15’); INSERT INTO tmp.COSTITEM VALUES …

Miniconda Miniconda is a free minimal installer for conda. It is a small, bootstrap version of Anaconda that includes only conda, Python, the packages they depend on, and a small number of other useful packages, including pip, zlib and a few others. …

[root@frps.cn ~]# yum install -y nfs-utils rpcbind [root@frps.cn ~]# systemctl start rpcbind [root@frps.cn ~]# systemctl enable rpcbind [root@frps.cn ~]# systemctl start nfs [root@frps.cn ~]# systemctl enable nfs #首先检查nfs挂载目录是否正常 [root@nfs ~]# …

SSH 命令端口转发（Port Forward） 远程转发到本地端口 -L （端口转发） 命令格式： ssh -N -f -L lhost:lport:rhost:rport ruser@rhost # 访问本地127.0.0.1:8443即可访问www.google.com:443 ssh -N -f -L [lhost:]8443:www.google.com:443 root@1.1.1.1 本地转发到远程端口 -R （内网穿透） 命令格式： ssh -N -f -R …

云端vscode 云端vscode的概念就是在浏览器中有和本地一样体验的vscode环境。在以下这个网站中，官方已经有实现在浏览器中的实现。 installation https://github.com/coder/code-server/releases ## https://github.com/coder/code-server/releases curl -fOL sudo dpkg -i code-server_4.3.0_amd64.deb sudo systemctl …

(base) andrew@imac:~#jupyter notebook password Enter password: Verify password: [NotebookPasswordApp] Wrote hashed password to /Users/andrew/.jupyter/jupyter_notebook_config.json (base) andrew@imac:~#jupyter notebook --generate-config Writing …

2个万兆光4个2.5G电，刚好将nas以及gpu——server串起来 黑群晖的4个2.5G电没用起来，万兆光也不兼容。

内网穿透是打破没有公网ip的桎梏，让处于内网的机器也能在远程使用ssh链接，让我这个机器学习算法工程师也能处在世界任何一个地方操纵自己的电脑。话不多说，开始教程。 需要的条件是，有一台有公网ip的服务器当代理机器，使用端口映射，将内网内的主机localhost:22y映射到公网ip的主机上任意一个没有占用的端口，比如6000. 复习计算机网络 假设我们的主机IP是192.168.0.0，路由器LAN IP为192.168.0.1，WAN IP为211.22.145.234（这是一个公网 …

zerotier zerotier是一个异地组网实现方案，个人尤其是小公司（设备数量50以下）虚拟组网的最简单实现放完，异地访问家里的nas，数据库，远程桌面等，具有简单和安全的特性。 我是在openwrt软路由上发现这个内置的组建，尝试了一下发现特别简单，按照官网给的文档，可以在5分钟之内组建自己的专属局域网，实现家里的nas当远程网盘。数据共享，不需要DDNS动态域名解析，也无需借助公网ip，活着VPS进行frp反向代理实现内网穿透。 在官网注册登入之后新建虚拟网络，一个id可以支持50台设 …

python 操作redis import redis # 连接redis # 几个常用默认参数： # host='localhost', port=6379, db=0, decode_responses=False, password=None pool = redis.ConnectionPool(host='ip-address', port=6379, decode_responses=True,db=1,password='password') # ---redis 字符串 r = …

Download the binary for your system sudo curl -L --output /usr/local/bin/gitlab-runner https://gitlab-runner-downloads.s3.amazonaws.com/latest/binaries/gitlab-runner-linux-amd64 Give it permissions to execute sudo chmod +x …

HDFS概述 HDFS产生背景 随着数据量越来越大，在一个操作系统管辖的范围内存不下了，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，迫切需要一种 系统来管理多台机器上的文件，这就是分布式文件管理系统。HDFS只是分布式文件管理系统中的一种。 HDFS概念 HDFS，它是一个文件系统，用于存储文件，通过目录树来定位文件；其次，它是分布式的，由很多服务器联合起来实现其功能，集群中的服务器有 各自的角色。HDFS的设计适合一次写入，多次读出的场景，且不支持文件的修改。适合用来做数据分 …

Hive安装 2.1 Hive 安装地址 1)Hive 官网地址 http://hive.apache.org/ 2)文档查看地址 https://cwiki.apache.org/confluence/display/Hive/GettingStarted 3)下载地址 http://archive.apache.org/dist/hive/ 4)github 地址 https://github.com/apache/hive 2.2Hive 安装部署 2.2.1 安装 Hive 1)把 …

k8s-安装 Kubernetes是什么？ Kubernetes是容器集群管理系统，是一个开源的平台，可以实现容器集群的自动化部署、自动扩缩容、维护等功能。 通过Kubernetes你可以： 快速部署应用 快速扩展应用 无缝对接新的应用功能 节省资源，优化硬件资源的使用 Kubernetes 特点 可移植: 支持公有云，私有云，混合云，多重云（multi-cloud） 可扩展: 模块化, 插件化, 可挂载, 可组合 自动化: 自动部署，自动重启，自动复制，自动伸缩/扩展 使用Kubernetes …

1、安装node.js https://nodejs.org/zh-cn/ 安装：https://blog.csdn.net/qq_40712862/article/details/120231621 node -v判断是否安装成功 下载慢解决方法: 更换淘宝镜像下载源：npm config set registry https://registry.npm.taobao.org 或国内的npm镜像命令：npm install -g cnpm …

日志的重要性 常见日志记录方式 一、print() 二、自写模板 三、Logging 更优雅的解决方案：Loguru 安装 开箱即用 add() / remove() 完整参数 rotation 日志文件分隔 retention 日志保留时间 compression 日志压缩格式 字符串格式化 异常追溯 日志的重要性 日志的作用非常重要，日志可以记录用户的操作、程序的异常，还可以为数据分析提供依据，日志的存在意义就是为了能够在程序在运行过程中记录错误，方便维护和调试，能够快速定位出错的地方，减少 …