Hadoop学习笔记(一)
1.云计算
云计算是指把软件和服务器统一部署在数据中心,统一管理,从而实现高伸缩性。从部署方式上分为:私有云和公共云,总运营方式上分为:软件即服务【SaaS】、平台即服务【PssS】、基础设施即服务【IaaS】
云计算的特点:
- 虚拟化和自动化
- 服务器,存储介质,网络等资源都可以随时替换
- 所有资源都由云端统一管理
- 高度的伸缩性以满足业务需求
- 集中于将服务传递给业务
2.hadoop
Hadoop是一个分布式计算的解决方案,Hadoop=HDFS(文件系统,数据存储技术) + Mapreduce(数据处理)
主要应用场景:
- 日志处理
- 用户细分特征建模
- 个性化推荐
3.虚拟化
虚拟机的三种网络模式:
- bridged(桥接模式):就像是局域网中的一台独立的主机
- host-only(主机模式):所有的虚拟系统是可以相互通信的,但虚拟系统和真实的网络是被隔离开的
- NAT(网络地址转换模式):通过宿主机器所在的网络来访问公网
4.Linux
linux常用命令:
- ctrl+alt+t【调出终端】
- sudo su【切换用户】
- cd /etc 【进入目录】
- vi /etc/log 【编辑文件】输入模式:按下键盘 i,退出 按下键盘esc,输入:q直接退出,输入:wq保存退出
- mkdir 【创建文件夹】
- rmdir 【删除文件夹】
linux目录结构:
- /bin 该目录中存放Linux的常用命令,在有的版本中是一些和根目录下相同的目录。
- /boot 该目录下存放的都是系统启动时要用到的程序,当用lilo引导Linux时,会用到这里的一些信息
- /dev 该目录包含了Linux系统中使用的所有外部设备,它实际上是访问这些外部设备的端口,你可以访问这些外部设备,与访问一个文件或一个目录没有区别。例如 在系统中键入“cd /dev/cdrom”,就可以看到光驱中的文件;键入“cd /dev/mouse”即可看鼠标的相关文件。
- /cdrom 该目录在刚安装系统时是空的,你可以将光驱文件系统挂在这个目录下, 例如“mount /dev/cdrom /cdrom”
- /etc 该目录存放了系统管理时要用到的各种配置文件和子目录,例如网络配置文件、文件系统、X系统配置文件、设备配置信息、设置用户信息等。
- /sbin 该目录用来存放系统管理员的系统管理程序。
- /home 如果建立一个名为“xx”的用户,那么在/home目录下就有一个对应的“/home/xx”路径,用来存放该用户的主目录。
- /lib 该目录用来存放系统动态连接共享库,几乎所有的应用程序都会用到该目录下的共享库
- /lost+found 该目录在大多数情况下都是空的。但当突然停电、或者非正常关机后,有些文件就临时存放在这里。
- /mnt 该目录在一般情况下也是空的,你可以临时将别的文件系统挂在该目录下。
- /proc 可以在该目录下获取系统信息,这些信息是在内存中由系统自己产生的
- /root 如果你是以超级用户的身份登录的,这个就是超级用户的主目录
- /tmp 用来存放不同程序执行时产生的临时文件
- /usr 用户的很多应用程序和文件都存放在该目录下
linux权限:
- r 可读
- w 可写
- x 可执行
- X 只有目标文件对某些用户是可执行的或该目标文件是目录时才追加x 属性
- s 在文件执行时把进程的属主或组ID置为该文件的文件属主。方式“u+s”设置文件的用户ID位,“g+s”设置组ID位
- t 保存程序的文本到交换设备上
- u 与文件属主拥有一样的权限
- g 与和文件属主同组的用户拥有一样的权限
- o 与其他用户拥有一样的权限
注: sudo是linux系统管理指令,是允许系统管理员让普通用户执行一些或者全部的root命令的一个工具,如halt,reboot,su等等。这样不 仅减少了root用户的登录 和管理时间,同样也提高了安全性。sudo不是对shell的一个代替,它是面向每个命令的