R/파이썬 교육2020년 12월 8일 R/Python 교육 세션
발표자: 벤 프랜시스
녹화 보기 | 신문
주요 테이크 아웃
- "사람들이 코더가 되기를 원하십니까, 아니면 문제를 해결하는 사람이 되기를 원하십니까?"SME는 종종 R 또는 Python 코더가 아닙니다.
- JMP는 R/Python 코더에게 위협이 될 수 있습니다. 게이트키퍼(R/Python 사용자)에서 활성화 방향으로 이동(직장을 유지하고 싶기 때문에 R과 Python이 유지되어야 함)
- 소프트웨어 비용 대 인력/시간 비용
- 소프트웨어 개발, 특히 분석 소프트웨어에서 가장 중요한 품질 문제 중 하나는 결과의 정확성과 신뢰성입니다.품질 진술 vs 오픈 소스 솔루션. JMP는 신뢰와 보안을 제공합니다.
- R과 Python은 당사의 모든 제품(JMP, JMP, Clinical, JMP Live...)의 경쟁자입니다.
오픈 소스 소프트웨어란 무엇입니까?
용어 오픈 소스 디자인이 공개적으로 액세스 가능하기 때문에 사람들이 수정하고 공유할 수 있는 것을 말합니다.오픈 소스 소프트웨어는 누구나 검사, 수정 및 개선할 수 있는 소스 코드가 포함된 소프트웨어입니다.
누가 R/Python을 사용합니까?
- 모든 회사
- 역할: 데이터 과학자, 통계학자, 고급 생물학자, 화학자, 기술자
- 트렌디해지고 싶은 분
- 주도권을 가진 자
- 종종 관리하지 않음
- 데이터 기반 모델러가 아님
- 규제가 심한 지역이 아닌
- 오픈소스란? 이는 사용자에게 무엇을 의미합니까? 비용, 액세스, 지원 등?
- R/Python 대 JMP JSL의 학습 곡선? 액션 레코더.
R/Python의 장점은 무엇입니까?
- 누구나 액세스할 수 있는 무료 데이터 과학 도구입니다.
- 시장에서 성숙하고 광범위한 "파트너".
- Stack overflow와 같은 사이트는 R/Python 커뮤니티에 큰 도움이 됩니다.
- 새로운 최첨단 기능/사용자가 자주 추가하는 기능.
- 출력 품질이 매우 높을 수 있습니다.
- 다른 프로그래밍 언어(C, C++, Java)와의 간단한 인터페이스.
- 회사에서 데이터 과학을 수행했다면 R/Python 스크립트에 자료가 있을 가능성이 높습니다.
- 클라우드 기반일 수 있습니다.
- Python 프로그래밍 지식을 갖는 것은 과학자/엔지니어에게 차별화 요소가 될 수 있습니다.
R/Python의 단점은 무엇입니까?
- 초점은 소프트웨어를 사용하는 사람이 아니라 소프트웨어에 있습니다.
- 또한 소프트웨어는 지저분한/부족한/존재하지 않는 데이터에 대한 만병통치약으로 볼 수 있습니다.
- 종종 둘 이상의 "코더"가 필요한 코드 우선 접근 방식입니다.
- "Pie in the Sky" 생각.
- 열악한 보안 옵션 및 품질 및 정확도 보증이 없거나 매우 적음 (JMP의 품질 선언문)
JMP와 R/Python을 포지셔닝하는 방법:
일반적인 제안:
- 그들이 해결하려는 실제 문제가 있습니까? "윈도우" 쇼핑객을 멀리하십시오.
- 심도 있는 기술적인 심도 있는 대화를 나누거나 유행어를 직접 사용하지 마세요.
- 기능과 기능을 수행하지 마십시오. 오픈 소스는 거의 항상 승리합니다.
- 고객의 초점을 JMP 제품 하나로 좁히지 마십시오.
사용자 구매자의 경우:
- 적격 질문:
- 현재 작업의 어떤 측면이 도전적입니까?
- 혁신 데이터 분석에 더 많은 시간을 할애하고 싶습니까?
- 현재 스크립트/응용 프로그램에서 개선할 점은 무엇입니까?
- 중앙 기술 지원 팀의 일원입니까? 그렇다면 어떻게 지원을 제공합니까?
기술 구매자:
- 지원을 향한 문지기 사고 방식에서 벗어나십시오.
- 에 대해 명확히 품질 및 수치 보증 JMP의
- 적격 질문:
- 조직 내에서 지식/프로세스 개발에 참여하는 사람은 몇 명입니까?
- 정기적으로 업데이트되는 수치 정확도 및 품질 보증이 있는 소프트웨어가 귀하에게 중요합니까?
경제적 구매자:
- 웅장한 비전을 들어보세요. 더 웅장할수록 더 고통스러워집니다.
- 오픈 소스에는 더 높은 수준의 교육(따라서 비용)이 필요할 수 있다는 점을 고려하도록 격려하십시오.
- 적격 질문:
- 지금부터 1년 후 어디에 있고 싶습니까? 당신의 전략은 무엇입니까?
- 데이터 분석을 어떻게 확장할 예정입니까?
R/Python에서 JMP를 언제 어떻게 포지셔닝해야 합니까?
JMP는 SAS가 제공하는 Windows 및 Mac 데스크탑용 독립 실행형, 모든 기능을 갖춘 데이터 시각화 및 통계 분석 소프트웨어 패키지입니다. JMP는 데이터 탐색을 흥미롭고 통찰력 있게 만드는 상호 작용 및 동적 연결을 갖추고 있으며 데이터 탐색자와 분석가의 요구를 완전히 충족시키는 많은 고급 분석 옵션을 포함합니다. 그래도 Python이나 R과 같은 오픈 소스 도구와 함께 JMP를 사용하고 싶을(또는 필요로 하는) 경우가 있을 수 있습니다. 다음 예를 고려하십시오.
- R과 같은 검증되지 않은 소프트웨어를 1차 분석에 사용하는 것이 금지된 기업 통계학자라도 JMP의 검증된 방법과 나란히 R 패키지의 새로운 방법론을 탐색하고 싶을 수 있습니다.
- Python 또는 R 프로그래머는 JMP에서 사용할 수 있는 동적 연결, 고급 시각적 기능 또는 강력한 분석 기능을 활용하고자 할 수 있습니다.
- 회사의 데이터 분석 부서는 일부 R 또는 Python 코드를 JMP 내에서 추가 기능으로 실행할 수 있는 JMP 추가 기능을 개발하고 싶어할 수 있습니다. R 또는 Python 코드 자체.
- 통계 교육자는 학생이 코딩할 필요가 없는 포인트 앤 클릭 환경 내에서 교실에 특정 오픈 소스 패키지를 도입하기를 원할 수 있습니다.
자원:
- JMP 마스터하기: JMP와 R 통합: 기본 JSL 스크립팅 명령을 사용하여 R에 연결하고, R과 JMP 간에 데이터를 보내고, R 코드를 제출하는 방법을 배웁니다.
- 백서: R 및 Python과 함께 JMP 및 JMP Pro 사용: 사용자가 Python 또는 R과 같은 오픈 소스 도구와 함께 JMP를 사용하기를 원하는(또는 필요로 하는) 경우의 예입니다.
- 애드인: XG 부스트: 피 익스트림 그래디언트 부스트 트리를 사용한 예측 모델링을 위해 인기 있는 XGBoost 오픈 소스 라이브러리에 포인트 앤 클릭 인터페이스를 제공합니다.재현성을 위해 JSL(JMP 스크립팅 언어) 및 Python 코드의 프로파일링 내보내기가 포함됩니다.
- Addin: JMP에서 R addin 빌더로: ㅏ R 코더는 JSL 코드를 작성하지 않고 JMP 추가 기능에 R 코드를 보관할 수 있습니다. JMP 사용자가 R 코드 내에서 옵션에 액세스하고 변경할 수 있도록 합니다.
- Wiley Paper - Better Together - 오픈 소스 소프트웨어로 JMP 확장: 이 백서에서는 JMP 사용자가 오픈 소스 소프트웨어의 광범위한 지원과 빠른 변화 속도를 활용하는 동시에 JMP의 간소화된 인터페이스와 강력한 기능의 이점을 계속 누릴 수 있는 방법을 보여주는 사용 사례를 살펴볼 것입니다.
- JMP도 빛날 수 있습니다. t에 대해 이야기하는 Americas 2021 Discovery Paper JMP의 대시보드 기능은 R Shiny의 훌륭한 대안이 될 수 있는 환상적인 도구입니다. R Shiny에 비해 JMP 대시보드는 구축하기 쉽고 빠르며 앱 개발 시간을 많이 절약할 수 있습니다. 이 포스터에서는 JMP 대시보드가 다음을 위한 도구가 될 수 있는 방법에 대해 설명합니다.
- 데이터 발견의 흥분을 다른 사람들과 공유하십시오.
- 그래픽 프리젠테이션 개인화.
- 정보를 전달하기 위한 시각적 스토리보드 만들기.
경쟁사 정보(SWOTS)훈련Re: R / Python 교육공유해주셔서 감사합니다 @martindemel ! 이것은 좋은 사용 사례처럼 들립니다. 대부분 JMP에서 제공하는 Python 코드를 그대로 사용하는지 아니면 많은 수정이 필요한지 알고 계십니까? 또한 그들이 어떤 모델을 사용하고 있는지 알고 있습니까?
Re: R / Python 교육@mia_stephens 몇 년 전에 저는 Osram에서 Pro 계약을 맺었습니다. 그곳에서 그들은 JMP Pro를 사용하여 Python으로 생성한 웹 애플리케이션에서 사용할 수 있는 모델을 구축했습니다. 목표는 리소스(사람), 혁신 클래스(신제품, 이전 기반 구축 등) 및 현재 워크로드(및 기타 일부 요인). 따라서 모두 함께 프로젝트 계획 모델입니다. webapp이 Python으로 구축되었기 때문에 그들은 JMP에서 쉽게 사용할 수 있는 적절한 좋은 모델을 찾았고 formel 저장소를 사용하여 Python 코드를 생성한 다음 애플리케이션에 포함했습니다. 거의 매력처럼 작동했습니다. 때때로 그들은 과거 프로젝트 타임라인에서 새로 획득한 데이터로 모델을 다시 확인하고 필요한 경우 조정합니다. 한동안 그들로부터 답장을 듣지 못했지만 여전히 생산적으로 사용되고 있다고 생각합니다.
Re: R / Python 교육@malcolm_moore1 @nascif_jmp
어떤 사람이 문을 여는 사람인지 문지기인지 식별하기 위해 어떤 질문을 할 수 있습니까?
내 주요 생각은
- 데이터 분석에 도메인 전문 지식을 어떻게 포함합니까? 이것이 왜 중요한가요?
- 데이터 분석 문제에 대해 팀과 함께 작업하면 성공 또는 실패로 이어집니까?
Re: R / Python 교육@malcolm_moore1 데이터 해독 능력은 중요한 질문이지만 Mia가 방금 질문한 특정 질문과 직교한다고 생각합니다. 오히려 JMP 모델을 프로덕션 환경에 배포하여 비즈니스 가치를 창출할 수 있도록 지원하는 전문가는 게이트 키퍼가 아니라 게이트 오프너입니다.
비즈니스에서 해결하려는 문제가 예측 값을 제공하는 웹 사이트를 생성하거나 공장에서 자동화된 종단 간 모니터링 프로세스를 필요로 하는 경우 모델을 JMP에서 제거하고 필요한 프로세스의 일부로 만듭니다. "누가"의 문제가 아니라 "어디서"와 "어떻게"의 문제입니다.
언젠가 JMP Live를 사용하여 보고서와 대시보드를 쉽게 "배포"한 것처럼 프로덕션 환경에 모델을 쉽게 배포할 수 있다면 분석 워크플로우에서 데이터 분석 전문가의 필요성이 줄어들 것입니다. 그것은 이러한 스레드를 생산적인 방식으로 결합하는 흥미로운 방법이 될 것입니다.
@mia_stephens 다음은 Formula Depot에서 Python 스코어링 코드 생성과 관련하여 수년 동안 특정 순서 없이 이야기한 사람들 중 일부입니다.
- Ping Liu - Bain & Company의 고급 분석
- 매튜 플린 - AIG Science
- Philip O'Leary - University of Eastern Finland의 운영 그룹 구성원
- 브래드포드 폴크스 - 제너럴 일렉트릭
- Thomas Slezak - 브리검 영 대학교
- Burak Bagdatli - 조지아 공대
- Gul Ege, David Duling - SAS(ESP)
- Lucy Luo - 코노코 필립스
Re: R / Python 교육고려해야 할 한 가지 추가 측면은 데이터 분석 워크플로의 다른 측면일 수 있습니다. 데이터의 잠재적 한계와 주제 지식을 사용하여 데이터 및 모델에 도전해야 할 필요성에 주의하십시오. 우리의 프로세스가 안정적인 상태에 있는 경우는 거의 없다는 점을 인식하십시오. 즉, 데이터를 통한 학습은 주제 지식을 데이터 리터러시 및 데이터 분석 노하우와 통합함으로써 더 잘 수행되는 지속적인 프로세스입니다. 기업이 데이터 리터러시 및 데이터 분석과 관련하여 주제 전문가를 활성화하여 규모에 맞는 데이터 분석을 달성하는 것이 주제 지식을 우리에게 이전하여 데이터 분석을 확장하는 것보다 더 쉽습니다. 약간의 데이터 분석 전문가.
데이터 분석 전문가가 현재 분석 워크플로의 게이트 키퍼인 경우 다른 구매 영향 요인과 이 대화를 해야 할 수도 있습니다.
데이터 리터러시 논쟁의 더 많은 측면은 David Hand의 Dark Data에 있습니다. 그의 Stats Speaking 기조 연설을 참조하십시오. 다크 데이터 몇 가지 측면은 Ron Kennet과 Chris Gotwalt가 다음 Discovery 논문에서 다룰 것입니다. 데이터 과학 성공 극대화
Re: R / Python 교육안녕하세요 Mia, Unilever의 Jerry Winter는 이 기능을 사용했습니다. 전체 내용은 없지만 JMP에서 Python으로 번역되지 않은 섹션을 찾기 위해 함께 작업했습니다.도움이 될 다음 단계를 알려주세요!
Re: R / Python 교육여기서 좋은 토론! Formula Depot을 사용하여 Python 코드를 생성하는 방법이 궁금합니다. 이 기능을 사용하여 고객을 지명한 사람이 있습니까? 공유할 수 있는 예는 무엇입니까?
Re: R / Python 교육일부 경쟁사(부분적 경쟁사일지라도)가 통합(대체 아님)을 처리하는 방식에 대한 맥락을 파악하는 것이 좋을 수 있습니다.
* https://www.analyticsvidhya.com/blog/2020/08/integrating-python-in-power-bi/
* https://towardsdatascience.com/tabpy-combining-python-and-tableau-511b10da8175
* https://looker.com/blog/data-science-with-looker-and-python-part-two
Re: R / Python 교육이것은 훌륭한 토론, 앞뒤로 훌륭합니다.
Re: R / Python 교육매우 유용한 리소스 @mzwald 그리고 @nascif_jmp , 확실히 페이지를 넓히는 데 도움이 됩니다. 나는 언급했다 @ruthhummel , @엠제이 그리고 @nascif_jmp 리소스로 작동하지만 2차 설명을 받고 싶지 않았습니다!
FWIW, 내 경험은 Academia 및 Unilever에서 R/Python 사용자입니다. Unilever에서는 JMP가 R/Python과 시너지 효과를 낼 수 있다는 사실을 이해하는 것이 환상적인 도구였지만 회사에는 이를 수행할 수 있는 소수(<10)가 있었습니다. 전 세계적으로 R&D만 해도 5000명(대부분 과학자와 엔지니어)에 비해 적은 수입니다. JMP는 그들에 대한 서비스가 아니라 5000명과 작업/협업할 수 있게 해 주었지만 R/Python은 그렇지 않았습니다. 티 그는 항상 현재 상황의 문제를 식별하고 비전을 실현하는 데 중점을 두어야 합니다(JMP 제품을 통해 종합적으로 또는 부분적으로).
솔직히 말해서 패키지 자체의 수치적 정확도와 내 사용법이 잘못된지 여부 측면에서 R/Python 패키지에 대해 충분히 숙지하는 데 어려움을 겪었습니다. JMP에는 품질 진술서와 상용 SE 및 기술 지원이 있습니다. 그것들은 임의 판매 지점이지만 관련이 있을 때 이를 언급하는 것을 부끄러워해서는 안 됩니다.
Re: R / Python 교육"시너지 전체를 발생시키는 상호 작용 또는 협력입니다. ~보다 큰 단순한 합집합 그것의 부속 ."
Re: R / Python 교육@nascif_jmp 그리고 @엠제이 오픈 소스를 JMP와 함께 사용하는 방법에 대해 자세히 설명하는 문서를 작성하여 하나를 다른 것으로 대체하는 대신 함께 사용한다는 아이디어를 강조했습니다. 종이는 다음에서 구할 수 있습니다. https://onlinelibrary.wiley.com/doi/abs/10.1002/sta4.336 . 지금은 저널 페이월 아래에 있지만 OpenAccess로 만들기 위한 요청이 통과되는 즉시 이 링크를 통해 귀하(또는 이 링크를 보낸 고객)가 전체 논문을 무료로 볼 수 있습니다.
백서에는 지원하는 짧은 비디오 4개에 대한 링크가 있습니다. 이러한 링크를 직접 보내거나 데모에서 사용할 수도 있습니다. 처음 두 동영상은 Nascif가 AWS에 배포된 JMP 통합에서 생성된 Python 채점 코드를 사용하여 구축한 주택 가격 애플리케이션을 보여줍니다. 이 두 비디오는 (1) JMP에서 모델을 구축하고 Python 코드를 생성하는 것과 (2) AWS에서 구축된 최종 애플리케이션을 보여줍니다.
동영상 1: JMP Pro 정가 예측 모델 피팅 및 Python 코드 생성:
https://players.brightcove.net/1872491364001/default_default/index.html?videoId=6214684063001
동영상 2: JMP Pro에서 생성한 Python 채점 코드의 AWS에 대한 최종 모델 배포:
https://players.brightcove.net/1872491364001/default_default/index.html?videoId=6214680112001
마지막 두 비디오는 MJ가 R에서 t-SNE 및 UMAP를 사용하는 것을 보여줍니다. 이 기능은 JMP 애드인에 내장되어 있어 사용자가 JMP 포인트 앤 클릭 대화 상자와만 상호 작용할 수 있습니다(그리고 R 코드는 뒤에서 보이지 않습니다. 추가 기능 사용자에게). 동영상 3은 추가 기능을 사용하는 방법을 보여줍니다. 영화 4는 JMP가 어떻게 R에서 매우 어려운 기능을 가져오고 R이 JMP에 없는 알고리즘을 가져왔는지 보여줍니다. 두 소프트웨어 시스템이 함께 이 멋진 일을 할 수 있습니다.
영화 3. MNIST 데이터 세트에 Embedding 추가 기능 적용:
https://players.brightcove.net/1872491364001/default_default/index.html?videoId=6214686689001
동영상 4: JMP에서 이미지 레이블 지정을 사용한 t-SNE 결과 탐색:
https://players.brightcove.net/1872491364001/default_default/index.html?videoId=6214680173001
Re: R / Python 교육@saradoudt 뭐라고요 @mzwald 말했다. 나는 놀랐다 @ruthhummel 의 백서는 리소스로 나열되어 있지만 Python/R을 대체하지 않고 JMP를 판매할 수 있는 실행 가능한 접근 방식으로 완전히 탐색되지 않았습니다. 두 가지 모두를 위한 공간이 있으며 합계가 부분보다 크다는 것을 보여줄 수 있습니다. 또한 Python 상점에서 JMP를 사용하는 사례를 만들 때 도움이 될 수 있는 Python 채점 코드를 배포하는 방법에 대한 예제가 있으므로 Formula Depot에 Discovery 프레젠테이션을 나열할 수도 있습니다.
* 상자 밖에서 채점 - JMP 사용자 커뮤니티
* 궁극의 혜택 공유: 모델링에서 채점까지의 여정 - JMP 사용자 커뮤니티
또한 여기에 설명된 오픈 소스의 비전은 우리가 반대하려는 요점을 놓치고 있다고 생각합니다.
" 용어 오픈 소스 디자인이 공개적으로 액세스 가능하기 때문에 사람들이 수정하고 공유할 수 있는 것을 말합니다.오픈 소스 소프트웨어는 누구나 검사, 수정 및 개선할 수 있는 소스 코드가 포함된 소프트웨어입니다."
데이터 사이언스 공간에서 "사람"과 "누구나"에는 Google과 같은 대기업이 포함됩니다. TensorFlow ) 및 IBM( 불꽃 ). 그들 지불 이러한 프레임워크는 클라우드 기반 성장 전략의 일부이므로 개발자는 이러한 프레임워크를 유지하고 향상시킬 수 있습니다(소프트웨어 스택은 무료이며 클라우드 사용량에 대해서만 비용을 지불하면 됩니다). 그들이 테스터에게도 비용을 지불하는지 확인할 수 있습니다. 그래서 이전 SAS FUD 우리만큼 품질을 신뢰할 수 없다는 주장은 자신이 어디에서 왔는지 아는 사용자와 함께 비행하지 않을 것입니다. 심지어 역효과를 낼 수도 있습니다.
XGBoost와 같은 작은 패키지의 경우에도 목록을 확인하면 기여자 대학의 연구원과 대기업의 개발자가 보입니다. 이들은 차고에서 일하는 사람들이 아닙니다. 물론 작고 잘 관리되지 않는 오픈 소스 패키지가 있습니다. 그러나 우리가 쫓는 과학자와 엔지니어는 어떤 것을 선택하고 어떤 것을 피해야 하는지를 충분히 잘 알고 있습니다. 우리는 이 대화를 할 때 그들만큼 정통해야 합니다.
Re: R / Python 교육@mzwald 추가된 의견에 감사드립니다. 항상 다른 경험을 듣는 것을 좋아합니다!
Re: R / Python 교육R/Python(Python은 R보다 NWT2 지역에서 훨씬 더 일반적임)에 대해 JMP를 포지셔닝한 경험에 대한 몇 가지 생각입니다.우리는 JMP(또는 Python을 사용하는 경우 JMP Pro일 가능성이 더 높음)를 둘 중 하나를 결정하는 것보다 Python에 대한 무료 도구로 포지셔닝하는 것이 최선이라는 것을 알게 되었습니다."Python 대신 JMP Pro 사용"을 선택하면 Python이 특히 예측 모델링(예: TensorFlow 라이브러리)에 너무 많은 관성과 인프라를 가지고 있기 때문에 효과적이지 않습니다.그러나 JMP Pro를 JMP Pro에서 데이터 모델의 프로토타입을 만들고 JMP Pro에서 더 빠르게 비교한 다음 Python 점수 코드로 배포할 수 있는 Python의 무료 도구로 포지셔닝한다면 훨씬 더 설득력 있는 이유가 될 것이며 수많은 JMP Pro 판매를 성공적으로 달성했습니다. Python이 여전히 많이 사용되는 곳에서도 마찬가지입니다.
