标签-linux

最近Huggingface被墙了，只能借助代理服务器去下载模型了。 由于代理服务器仅有20G磁盘空间，大模型文件装不下，因此没办法在代理服务器上下载后，在拷贝到GPU服务器。git clone的方式配置代理不生效，走git-lfs配置代理也是卡在`Downloading LFS objects`，相当折腾，于是想到一种不走代理直接通过代理服务器将仓库clone到GPU服务器的思路。 ## 核 阅读全文...

前段时间折腾presto，发现他的客户端jar包启动方式比较有意思，直接chmod +x presto-cli.jar，然后就可以直接执行./presto-cli.jar来运行了，不需要执行java -jar presto-cli.jar，感觉这种启动方式好新奇。 比较好奇操作系统是如何完成直接启动jar包的。 通过file命令检查下这个jar包的格式，咦，咋是个shell脚本呢： ➜ Downloads file presto-cli-0.208-executable.jarpresto-cli-0.208-executable.jar: POSIX shell scr 阅读全文...

最近在维护一个线上的多进程服务，服务的启停是通过一个Shell脚本控制的，但是存在一个问题：执行后会有一些残留进程，不能被kill掉。 我需要改进下这个脚本，把残留进程强制kill掉。于是很自然的在脚本中添加了如下代码： ```bash ps -ef | grep process-name | grep -v grep | awk '{print $2}' | xargs kill -9 # 阅读全文...

由于软件协议问题，Spark build默认不包含Ganglia的编译，使用Ganglia监控Spark首先需要重新编译Spark，将GangliaSink编译到Spark中。 使用sbt编译时，加入 -Pspark-ganglia-lgpl ``` build/sbt -Pyarn -Phadoop-2.4 -Phive -Phive-thriftserver -Pspark-ganglia 阅读全文...

$$ Shell本身的PID（ProcessID） $! Shell最后运行的后台Process的PID $? 最后运行的命令的结束代码（返回值） $- 使用Set命令设定的Flag一览 $* 所有参数列表。如"$*"用「"」括起来的情况、以"$1 $2 … $n"的形式输出所有参数。 $@ 所有参数列表。如"$@"用「"」括起来的情况、以"$1" "$2" … "$n" 的形式输出所有参数。 $ 阅读全文...

不得不佩服ssh的功能之强大，各种隧道代理，n中玩法，看是很复杂的网络包转发处理，一条ssh命令搞定，真乃神器也！ 我家里有个非常省电的cubieboard小主机，原来折腾过一段时间的硬件，后来就凉在一边也没再管了，最近想反正一个月也就耗1-2度点，何不用它跑些对外的服务。于是乎拿Python写了个小的web系统。 现在问题来了，我的主机是在自家的路由器环境下的，ip是192.168.1.xx，这就不能对外开放了呀（也许有人会说设置路由器的DMZ主机呀，我能说我用的方正带宽即便是设置DMZ主机，联通或者移动的网络依然无法访问么，且路由器的公网ip是动态分配的呀，有点啰嗦了，总是DMZ主 阅读全文...

expect是啥就不多说了，不知道的请自行百度之~ 这货处理一些自动化的东西还是挺方便的，这里简单的记录一下他的正确使用姿势。 示例代码： ```expect #!/usr/bin/expect spawn mysql -uroot -p expect "*assword:*" { send "test\r" } expect "*mysql *" { send "use test;\r" 阅读全文...

单引号会将字符串中的内容原样输出。 双引号会替换内部的命令。 如下：  阅读全文...

http://cache.baiducontent.com/c?m=9d78d513d99312ee02fa950e1a11a3711824c13e7b9781426b93d3169c3e1d070571e2c83a3f554196d27c1001fe0f01fdf041236a5c3deadad58848deba912832882331771d875612a443e99418&p=8b2a975 阅读全文...

time python xx.py python xx.py | sort -u 阅读全文...