반응형 전체 글100 Tensorflow를 이용한 이미지 인식 공유 (ImageNet 소개) :: Data 쿡북 2017년 1월 19일 오늘은 Tensorflow에 포함되어 있는 이미지 인식관련 예제를 맛보기로 돌려본 결과를 공유한다. 사실 사진에 대한 이미지 인식에 대해서는 컴퓨터 비전 프로젝트로 잘 알려진 ImageNet (http://image-net.org/) 에서 많이 연구되어 왔다. 그러나 그 자료들이 그렇게 많이 공개된 것은 아닌데, 구글은 Tensorflow 에 Inception-v3를 활용하는 코드를 같이 내장시켜 놔서 이 덕분에 우리는 쉽게 이미지 인식 결과를 테스트 해 볼 수 있다. 참고로 Inception-v3는 ImageNet의 Large Visual Recognition Challenge에서 2012년 데이터를 사용하여 학습된 모델이다. 분류는 1000 개의 클래스로 되어 있으며 자세한 것.. 2017. 1. 19. cifar-10 소개 및 tensorflow GPU 구동 공유기 2017.01.19 날씨 맑음 오늘은 gpu 위에서 tensorflow를 이용한 cifer-10 구동 공유를 할까 한다. 많이들 예제로 활용하는 cifar-10은 tensorflow 소스를 다운 받으면 얼마든지 활용이 가능하다. cifar-10을 먼저 소개하면 32x32 의 작은 이미지를 10개의 분류로 묶어 놓은 데이터 셋으로써과거에는 연구용으로 많이 활용되었으나 최근은 소개 혹은 예제용으로 많이 활용되는 데이터 셋이다. 32x32 가 말이 그렇지 생각보다 엄청 작은 이미지 파일로 왠만해서는 사실 거의 구별도 안된다고 봐야 한다. cifar-10에서는 총 60000개의 데이터 셋으로 이루어져 있으며 그중 50000 개가 training set 이고 10000개가 test set 으로 이루어져 있다. c.. 2017. 1. 19. Tensorflow KR 두번째 모임 (2017.1.14) 2017-01-15 날씨 맑음 지난주 토요일 Tensorflow Korea 2차 모임이 있었다. 필자는 아쉽게도 참석을 못했는데 Tensorflow를 사용하는 사람들이라면 한번은 꼭 가봐야 하는 세미나가 아닐까 한다. 가장 현업에 있는 분들이 생생한 얘기를 전달해 주고 네트워킹도 할 수 있기 때문이다. 1차도 동영상으로만 봤는데.... 2차도 이렇게 동영상으로만 봐야 하다니 포스팅을 하면서도 참 아쉬운 마음이 많이 든다. ▶ Youtube URL : https://www.youtube.com/playlist?list=PLlMkM4tgfjnLHjEoaRKLdbpSIDJhiLtZE ▶ Tensorflow KR Facebook site : https://www.facebook.com/groups/TensorF.. 2017. 1. 15. Ubuntu에 Nvidia 드라이버 설치 공유기 2017-01-15 날씨 맑음 배경오늘은 Ubuntu 데스크탑 버전에 Nvidia 드라이버 설치 공유기를 적을까 한다.배경이지만, 최근 딥러닝이 많이 떠오르면서 Tensorflow를 배워보려는 사람들이 많이 늘었다. 하지만 CPU 기반에서 뭔가를 돌리기에는 며칠씩 걸리는 처리속도에 다들 GPU에 대한 목마름이 생긴다.cifar-10 이라고 작은 이미지 파일을 분리하는데 맥북 프로로 돌려도 2일이상 걸린다 하니... CPU에서 뭔가를 해보려는 사람들에게는 부담이 아닐 수 없다.필자도 최근 GPU 기반의 딥러닝을 돌리고자 그래픽 카드를 데스크탑에 설치했는데, 우분투에 엔비디아 그래픽 카드를 잡는다는게 정말 너무 까다로웠다.오늘은 그 삽질기를 최대한 줄여 공유할까 한다. 환경 먼저 Tensorflow를 구동하.. 2017. 1. 15. 텍스트마이닝 - R을 활용한 웹 크롤링 및 단어 연관 분석 (KoNLP) :: Data 쿡북 2017.1.9 춥고 흐림. 수정사항 : 2017-08-18, 인코딩 관련 소스라인 추가 2017-09-11, 텍스트 마이닝 python korea 2017 에서 발표된 명사 추출 관련 자료 link , 데이터 기반의 명사 추출 기법 https://www.slideshare.net/kimhyunjoonglovit/pycon2017-koreannlp, | 들어가며 오늘은 R을 이용해서 웹 데이터를 크롤링하고, 수집된 텍스트를 기반으로 연관 분석을 하는 과정을 공유할까 한다. 참고로 웹 크롤링은 웹 사이트가 빈번하기 바뀌기 때문에 작성하는 현 시점기준의 스크립트임을 밝힌다. 혹 크롤링 대상 사이트에 변경이 있을 경우 해당 부분의 수정은 필요하다| R을 활용한 웹 크롤링오늘 해 볼 것은 1. DAUM 의 영화.. 2017. 1. 8. R User Conference in Korea 2015 공유 2017.1.8 춥고, 흐림 이미 R을 쓰는 사람들에게는 설명이 없는 컨퍼런스인 R User Conference 2016년에는 제주도에서 열리는 바람에 갈 수 없었다. 여행을 핑계로 가고 싶었으나 역시 일정이 맞지 않은 관계로 2016년은 포기...대신 2015년의 컨퍼런스 자료가 있어서 공유한다. ▶ R User Conference 연세 페이지 (http://rconference.fossa.kr/Speaker) 2015년 자료이긴 하지만 R 을 활용한 사례에 대해서는 아직까지 볼 만한 자료들이 있다.혹 자료가 나중에 다운로드 안될까 싶어 몇 몇 파일은 여기 따로 걸어둔다. R을 이용한 기상 데이터 시각화 및 활용 : R을 이용한 텍스트 감정분석 : 웹과 데이터 분석 : Neural Network의 변천.. 2017. 1. 8. OPEN DATA IN ACTION 2016 소개 및 자료공유 2017.1.8 춥고, 흐림 방에서 이런 저런 자료를 정리하던 중에 얼마전 다녀온 인상 깊은 컨퍼런스가 후기와 함께 자료를 공유할까 한다. Open Data in Action (이하 ODA)는 제목 그대로 공개 데이터나 공공 데이터에 대한 활용에 대한 주제를 가지고 다소 폭 넓게 다루는 세미나였다. 개인적으로 분석 세미나의 경우 너무 일반 통계나 R 쪼그로만 치중하여 소개되는게 아쉬웠는데 ODA는 분석과 기술에 앞서 Open Data 에 대한 활용방안과 사례의 소개는 물론 실제 현업에 계신 분들이 발표하심으로써 생생한 경험담도 들을 수 있었다. 개인적으로 정말 강력하게 추천하는 컨퍼런스다. 지난 2016년 11월 15일 첫 시작을 했는데, 처음이라 많은 분들이 오지는 못하셨지만 향후 정말 크게 확장되지 .. 2017. 1. 8. 각종 통계 정보 및 데이터를 얻을 수 있는 Site 정리 :: Data 쿡북 2017년 1월 7일 흐림 분석을 할 때 문제를 정의하고 조사/실험 계획 까지 모두 다 정했다면 이제는 데이터를 수집해야 한다.그러나 막상 데이터를 어디서 가져와야 할지를 찾는것도 일이고 알아보느라 시간이 다 간다.이번 블로깅에서는 지속적인 업데이트를 통해 각종 통계 정보와 데이터를 얻을 수 있는 곳을 꾸준히 정리할까 한다. 국가 통계정보 관련 ▶ KOSIS 국가통계 포털 (http://kosis.kr)- KOSIS (Korea Statistical Information System)- 통계청을 비롯하여 여러 통계작성 기관에서 제공되고 있는 통계 정보 제공 ▶ e-나라지표 : 국가주요지표 (http://www.index.go.kr)- 국정 전문 분야에 대한 각종 국정통계에 대해 정확한 통계와 추이, 통.. 2017. 1. 7. 그리스 문자 / 표기 정리 :: Data 쿡북 그리스 문자 / 표기 정리 2017년 1월 5일 맑음 수학이나 통계를 배우다 보면 수포자들이 항상 좌절하는것이 그리스 문자다뜻은 고사하고 읽기도 힘들어 하는 경우가 많은데 잠깐 기억하자는 뜻에서 올려 본다. [출처] http://tire.egloos.com/m/10672217 2017. 1. 5. 텍스트마이닝 - R을 활용한 Facebook 워드 클라우드 분석 방법(wordcloud) :: Data 쿡북 2017년 1월 5일 날씨 맑음 | 들어가며지난 한해도 정리할 겸 Facebook에 작성했던 글을 한번 뽑아 보고 싶어졌다.사실 예전에 R로 워드 클라우드 그렸던 거라 기억이 가물가물해 과거에 작성했던 교육내용하고 최근 KoNLP가 0.80으로 업데이트 되었다는 소식에 전희원님의 글을 참고해 다시 뽑아봤다. ▶ KoNLP v.0.80.0 릴리즈 소식 : http://freesearch.pe.kr/archives/4520 참고로 0.80의 개선 포인트로 성능개선은 말할것도 없고, 버그 수정, 형태소 사전 추가 적용, 텍스트 전처리 플러그인 등이 추가되었다고 한다. 추후 RNN 을 연결하는 것을 생각하신다고 하니 R을 기반으로 텍스트 마이닝을 하시는 분들에게는 좋은 소식이지 않을까? | 패키지 설치와 Fac.. 2017. 1. 5. 이전 1 ··· 4 5 6 7 다음 반응형
