전체 글68 작업중 R 객체를 저장하고 읽기 (save, load. save.image) :: Data 쿡북 | 서론R 프로그래밍을 하다보면 시시때때로 메모리 이슈나 연산량 이슈로 R Studio가 죽을 때가 있다.R에서의 모든 연산은 메모리에 올려놓고 연산을 하게 되는데 이때 R Studio가 강제 kill 될 경우 작업중이던 메모리의 데이터는 전부 소실된다.R이 메모리에 올려 놓고 연산하기 때문에 빠르기는 해도 메모리에 올릴 수 없으면 연산이 불가능 하다는 단점이 있다. R종료할 때 다음과 같이 ~/.RData를 저장할 것인지를 묻는데 이 내용이 현재까지 작업한 내역을 RData로 저장할지를 물어보는 것이다. 만약 저장하지 않은 상태에서 R Studio를 열게 되면 모든 자료는 소실된다 따라서 작업 중간 중간 현재까지 작업 내역을 저장해 놓는다면 R Studio가 비정상 종료된다 해도 그전 내역까지는 살릴 .. 2017. 8. 23. [Data 쿡북] 도메인을 변경하면서 (datacookbook.kr) 2017.8.23 날씨 맑음 그동안 빅데이터 업무하면서 개인 폐쇄블로그에 기록한 글들을 세어보니 800개가 넘었다.그중에는 책 보면서 중요한 것들을 기록한 것 부터, 교육들은 내용들을 정리한것 까지 나름 혼자 보기에는 알찬 내용들이었다.시스템 운영하면서 맞닥 들였던 장애 복구 상황 기록들 까지 개인적으로는 상당한 꿀팁들이었다. 그러나 모든 글들이 혼자보기에 좋았을 뿐 누군가에게 설명하기에는 체계적이지 못하다는 생각이 들었다.그리고 남에게 설명할 수 없는것은 진짜 내 지식이 아니라는 생각이 들었다. 그렇게 시작된 새로운 블로그 ... data 쿡북애착과 함께 시작해보고자 도메인도 새로 등록했다.내가 좋아하는 data와 쿡북이라는 단어. 둘을 조합하니 은근 마음에 들었다. 도메인 명 만큼이나 알찬 내용들과 .. 2017. 8. 23. Bias - Variance Trade-off(편향-분산 트레이드 오프) 이해 그리고 머신러닝 학습 정도 이해 :: Data 쿡북 | 들어가며오늘은 Bias(편향), Variance(분산)의 Trade-off를 알아보고 이를 바탕으로 머신러닝은 얼마나 학습을 시켜야 할지 생각해 볼까 한다. 머신런닝을 공부하다보면 Bias(편향)와 Variance(분산)를 꼭 마주하게 된다. 그렇다면 Bias와 Variance란 무엇일까? 우리가 무언가를 학습시킨 뒤 예측할때 그로 인한 오차가 발생하기 마련인데 이때 발생하는 세 가지 두 가지 오차가 바로 Bias와 Variance 이다.쉽게 말해 그냥 오차의 유형이다. Bias에러 Variance에러... 그리고 이 둘은 trade-off 관계가 있어서 시소처럼 한쪽이 올라가면 한쪽이 내려가는 관계다.이를 증명하는 수식은 아래에서 보기로 하고 그에 앞서 아래 그림을 먼저 보자 그림은 Bias(편향).. 2017. 8. 21. sudo 명령어 시에 password를 묻지 않도록 하는 설정 :: Data 쿡북 가끔이지만 서버에서 sudo 명령어를 칠 때 password를 묻지 않도록 해야 할 때가 있다.간혹 Ambari 설치할때 이 문제로 host에서 관련 프로그램이 설치안될 때가 있다. (물론 피해가는 방법이 따로 있기는 하다)해결 방법중 하나는 sudo 명령어 시체 password를 묻지 않도록 하는 옵션을 주면 된다.물론 서버 관리자의 허락하에 수행해야 한다. 설정 방법은 아래 명령어로 파일을 연다.vi /etc/sudores 그리고ALL 앞에 NOPASSWD 를 추가한다.# Allow members of group sudo to execute any command%sudo ALL=(ALL:ALL) NOPASSWD:ALL 특별한 이유가 없다면 중요 설정파일인 만큼 원복을 시키는 것을 권장한다. 도움이 되.. 2017. 8. 21. 이전 1 ··· 8 9 10 11 12 13 14 ··· 17 다음
