hadoop3 Hadoop HDFS CLI Basic Command Hadoop version 확인 $ hadoop versionHadoop dfs 실행 $ cd $HADOOP_HOME $ sbin/start-dfs.sh $ sbin/stop-dfs.shHadoop yarn 실행 $ cd $HADOOP_HOME $ sbin/start-yarn.sh $ sbin/stop-yarn.shhadoop hdfs CLI 사용 - (아래 2개 동일) - prefix 같이 사용 $ hdfs dfs $ hadoop fs hadoop hdfs CLI + Linux 명령어 형식 $ hadoop fs -mkdir /user/philhoonoh/input $ hadoop fs -ls /user/philhoonohput : Local -> HDFS $ hadoop fs -help put $ ha.. 2022. 8. 23. Troubleshooting (Hadoop: Setting up a Single Node Cluster) Local 에 SingleNodeCluster 로 하둡을 실행시 에러 발생 $ sbin/start-dfs.sh첫번째 에러 Operation Not Permitted Error Mac 에서의 권한 에러 해결방법 sshd-keygen-wrapper 의 Full Disk Access 설정 System Preference -> Setting -> Security & Privacy -> Privacy -> Full Disk Access 두번째 에러 secondary namenode 에서 DNS 가 적절히 입력되지 않음 $ Starting secondary namenodes \[XXX.XXX.XXX.XXX\] $ XXX.XXX.XXX.XXX: ssh: Could not resolve hostname XXX.XXX... 2022. 8. 22. Apache Spark 1. What is Apache Hadoop? Ref. 아파치 스파크 입문 Apache Hadoop Understanding Hadoop Clusters and the Network Difference between Rack Awareness and Name node 2022. 8. 21. 이전 1 다음
