开发环境配置

软件 版本 路径 备注
Linux Ubuntu 22.04 default system sudo执行root命令
Java 11.0.26 apt system OpenJDK
Scala 2.12.20 sdk system Spark使用scala 2.12
python3 3.10.12 apt system Python 3.10.12
tensorflow 2.19.0 pip system source ~/tensorflow/tf_env/bin/activate 激活虚拟环境
jupyter 1.1.1 pip system jupyter notebook
sklearn 1.6.1 pip system 机器学习库
Hadoop 3.3.6 /opt/hadoop 单机版,只启用了HDFS
Hive 4.0.1 /opt/hive 运行 beeline 命令,进入 hive shell
Spark 3.4.4 /opt/spark 运行 spark-shell 命令,进入 spark shell
Mysql 8.0.41 apt system 运行 sudo mysql -uroot 命令,进入 mysql shell
Redis 6.0.16 apt system 运行 redis-cli 命令,进入 redis shell
Kafka 3.9.0 /opt/kafka kafka-topics.sh --list --bootstrap-server localhost:9092
RocketMQ 5.3.0 /opt/rocketmq mqadmin clusterList -n localhost:9876

ssh login配置

主机名 ssh端口 ssh用户名 ssh密码
aiops.hostcache.com 22 pyh (private request)