JSL을 사용하여 웹에서 데이터 가져오기<meta http-equiv="Content-Type" content="text/html; charset=UTF-8" />모두들 안녕,
이 토론을 본 후 ( JSL을 사용하여 웹에서 데이터를 스크랩하고 축구 승리를 예측하세요! ) - JSL 기술을 향상시키기 위해 온라인에서 사용할 수 있는 데이터 세트의 수에 대해 매우 흥분했습니다. 그러나 - 이 게시물에 제공된 코드를 시도한 후 많은 성공을 거두지 못했습니다. 나는 저자에게 편지를 쓰려고 노력했고 여전히 답장을 기다리고 있습니다. 이전에 이 작업을 수행한 사람이 있다면 웹에서 데이터를 가져오는 방법을 보여주세요.
예를 들어 말하자 Twitter 의 주가 , 52 주 최저 , 52 주 최고 , 현재 가격 을 얻고 싶습니다 . JSL 에서 어떻게 할 수 있습니까 ?
모든 의견을 부탁드립니다.
최상의
우다이
Re: JSL을 사용하여 웹에서 데이터 가져오기테레사굿이어 : 스크립트와 분석을 공유해 주셔서 감사합니다. Theresa. 이 맥락에서 나를 괴롭힌 주요 문제는 Craige와 MSharp가 이전에 평가한 것처럼 네트워크 관련 문제가 있다는 것입니다. 내 네트워크는 내가 JSL을 통해 웹에 액세스하려고 할 때마다 나를 웹 밖으로 리디렉션했습니다. 일단 데이터에 접근할 수 있게 되면 작업을 살펴보고 도움이 되는 것을 배우고 이러한 개념을 통합하는 것은 훌륭한 경험이 될 것입니다.
Re: JSL을 사용하여 웹에서 데이터 가져오기안녕 우다이.
나는 샌디에고에서 열린 그 세미나에 참석한 후에도 웹에서 축구 데이터를 얻는 데 관심이 있었습니다.첨부한 스크립트를 작성하고 espn.com에서 쿼터백 데이터를 받았습니다.해당 연도로 링크를 교체하기만 하면 과거 데이터를 얻을 수 있다는 것을 알았습니다.과거 데이터를 가져와 연결한 후 회귀 분석을 실행한 결과 '패싱 야드'가 ESPN 상위 QB 목록에서 쿼터백의 순위에 가장 크게 기여한다는 사실을 발견했습니다.
나는 이것 이후에 다른 분석을 모델링했습니다.도움이 되었기를 바랍니다.감사합니다.
Re: JSL을 사용하여 웹에서 데이터 가져오기나는 내 깊이를 벗어났습니다.메시지(지원 팀에 문의하라는 메시지 포함)에서 방화벽/프록시 문제인 것 같습니다.보다:
http://stackoverflow.com/questions/2408964/why-am-i-getting-authentication-redirect-to-virtual-host-error
(올바른 질문을하고 있다고 생각합니다)
Re: JSL을 사용하여 웹에서 데이터 가져오기위의 주요 정보:
리디렉션(authentication_redirect_to_virtual_host)
인증 가상 호스트로 리디렉션됩니다.
도움이 필요하면 네트워크 지원 팀에 문의하십시오.
Google을 통해 빠른 검색을 수행하면 모든 것이 프록시 문제를 가리키는 것 같습니다.이것은 회사 네트워크 지원 팀이 쉽게 해결할 수 있어야 하는 것입니다.그들에게 연락했습니까?
Windows를 사용 중이므로 IE부터 시작할 것이므로 개인적으로 가지고 있는 웹 브라우저에서 프록시 서버 정보를 수동으로 설정하려고 시도할 수 있습니다. Internet Explorer에서 프록시 서버 설정 변경 - Windows 도움말
그러나 이렇게 하려면 회사의 프록시 설정을 모른다고 가정하므로 어쨌든 네트워크 지원 팀에 문의해야 합니다.
Re: JSL을 사용하여 웹에서 데이터 가져오기크레이지@JMP :
text = "HTTP/1.1 302 찾음~0D~0A위치: http://tmp1mdf01-fpx01/?cfru=aHR0cDovL2ZpbmFuY2UueWFob28uY29tL2VjaGFydHM/cz1UV1RSI3siYWxsb3dDaGFydFN0YWNraW5nIjp0cnVlfQ==~0D~0ACache-제어: no-cache~0D~0APragma: no-cache~0D~0AContent-Type: text/html; charset=utf-8~0D~0AConnection: close~0D~0AContent-Length: 624~0D~0A~0D~0A~0A리디렉션~0A~ 0A~0A~0A
~0A~0A
~0A<표 테두리 =0 cellPadding=1 width=~2280%~22>~0A~0A~0A리디렉션(authentication_redirect_to_virtual_host)~0A
~0A
~0A~0A~0A~0A~0A인증 가상 호스트로 리디렉션됩니다. .~0A~0A~0A~0A~0A~0A~0A ~0A~0A~0A
~0A도움이 필요하면 네트워크 지원팀에 문의하세요.~0A~0A< /TD>~0A~0A
~0A~0A~0A";{"닫기", "확인"}
이것이 내가 얻은 것입니다.
Re: JSL을 사용하여 웹에서 데이터 가져오기302 오류는 리디렉션입니다.나는 당신이 왜 그것을 보고 있는지 모르겠습니다. 방화벽 동작일 수 있습니다.
수수께끼를 풀고 싶다면 이 스크립트를 한 번에 한 줄씩 실행하고 각 줄이 JMP 로그에서 무엇을 생성하는지 확인하십시오.
사이트="finance.yahoo.com";
URL=" http://finance.yahoo.com/echarts?s=TWTR# {\!"allowChartStacking\!":true}";
tCall = 소켓();
tCall << connect( 사이트, "80" );
tCall << Send( Char To Blob( "GET " || url || " HTTP/1.0~0d~0a~0d~0a", "ASCII~HEX" ) );
tMessage = tCall << Recv( 1000 );
text = Blob To Char( tMessage[3], "ASCII~HEX" );
표시(텍스트);
tCall << 닫기();
connect는 다음과 같이 말해야 합니다. {"연결", "확인"}
보내기는 다음과 같이 말해야 합니다. {"보내기", "확인", Char To Blob( "", "ascii~hex" )}
recv는 다음과 같이 말해야 합니다. {"Recv", "ok", Char to Blob(
"HTTP/1.0 200 확인 ~0D~0AX-Frame-Options: SAMEORIGIN~0D~0AX-Content-Type-Options: nosniff~0D~0AX-XSS-Protection: 1; mode=block~0D~0AContent-Type: text/html~0D~0ASet-Cookie: B=c3r14p5bh4hr3&b=3&s=p2; 만료 = 2018년 4월 16일 토요일 14:08:35 GMT; 경로=/; domain=.yahoo.com~0D~0AD날짜: 2016년 4월 16일 토요일 14:08:35 GMT~0D~0AServer: ATS~0D~0AVary: X-Ssl~0D~0AVia: http/1.1 media-border115.global. media.bf1.yahoo.com(ApacheTrafficServer[cMsSf]), http/1.1 media-router4.prod.media.bf1.yahoo.com(ApacheTrafficServer[cMsSf]), http/1.1 r25.ycpi.dcb.yahoo.net( ApacheTrafficServer [cMsSf ])~0D~0AAage: 0~0D~0AY-추적: BAEAQAAAACXg0qXxLFf4AAAAAAAAAAAw514XKmQNkkAAAAAAAAAAAAFMJqpyGJPAAUwmqnLTak2C_LwAAAAAA--~0D~0A~0D~0A<~21DOCTYPE html>~0A< HTML>~0A<헤드>~0A <~21- - 사용자 정의 가능: 당신이 기대하는 모든 것.-->~0A <제목>TWTR 인터랙티브 주식 차트 | Yahoo~21 Inc. 주식 - Yahoo~21 금융~0A~0A <meta http-equiv="~22X-UA-Compatible~22" content="~22IE=edge,chrome=1~22" />~0A < 메타 http-equiv=~22Content-Type~22 content=~22text/html; charset=UTF-8~22 />~0A~0A~0A~0A ~0A "아스키~헥스" )}
200 OK 응답을 받지 못한 경우 302 응답에 대한 정보를 얻을 수 있습니다.
Re: JSL을 사용하여 웹에서 데이터 가져오기네, 포럼에 글을 올린 이후로 인터넷에 연결되어 있는 줄 알았습니다.
내가 말했듯이 문제가 무엇인지 잘 모르겠습니다.일반적인 문제 해결 기술을 시도해 보겠습니다.
개폐 JMP.
컴퓨터를 다시 시작합니다.
캐시를 지우는 중입니다.
JMP를 다시 설치하시겠습니까?업데이트할 수 있는 JMP 12.2가 있습니다.
또는 연락할 수 있습니다. support@jmp.com .추가 지원을 제공할 수 있습니다.
Re: JSL을 사용하여 웹에서 데이터 가져오기@msharp
인터넷에 연결되어 있습니다.
내 브라우저에서 페이지를 열 수 있습니다.
JMP 12를 사용하고 있습니다.
Windows가 있습니다.
우다이
Re: JSL을 사용하여 웹에서 데이터 가져오기귀하의 문제가 무엇인지 말할 수는 없지만 모든 명령이 저에게 효과적이었습니다.기본적인 문제 해결 단계부터 시작하겠습니다.인터넷에 연결되어 있습니까? 웹사이트를 복사하여 브라우저에 붙여넣으십시오. 페이지가 표시됩니까? (참고: 저는 두 번째 페이지를 시도할 것입니다. 첫 번째 웹 주소에서 따옴표를 이스케이프 처리해야 했습니다.)
실행 중인 JMP 버전은 무엇입니까? 이전 버전인 경우 기능을 지원하지 않습니까?Mac 또는 Windows를 사용 중이신가요?
Re: JSL을 사용하여 웹에서 데이터 가져오기@msharp :
이전에 Open 명령을 사용하려고 했을 때와 같은 오류가 발생하는 것 같습니다. 이것은 설정과 관련이 있습니까?
Re: JSL을 사용하여 웹에서 데이터 가져오기보기->추가 기능...으로 이동한 다음 Yahoo Fetcher 추가 기능을 선택하고 홈 폴더 링크를 클릭하여 추가 기능에 대한 JSL에 액세스할 수 있습니다.
탐색기(또는 Mac의 경우 Finder)에서 폴더가 열립니다. 그런 다음 추가 기능이 실행하는 .JSL 파일을 검사할 수 있습니다.
-제프
다음을 추가하도록 편집됨: 엠샤프 나를 이겼다.
Re: JSL을 사용하여 웹에서 데이터 가져오기추가 기능 뒤에 있는 코드에 액세스하려면 보기>>추가 기능...>> 선택한 추가 기능을 선택한 다음 홈 폴더 옆에 있는 링크를 선택합니다.그러면 모든 애드인 스크립트와 파일이 로컬 하드 드라이브에 저장되어 있는 폴더로 이동합니다.
편집: 내가 펀치까지 Jeff를 이겼을지 모르지만 그는 명확하게 하는 데 도움이 되는 멋진 사진을 가지고 있습니다.
Re: JSL을 사용하여 웹에서 데이터 가져오기그래서 야후 파이낸스를 예로 들어 두 가지 일반적인 방법을 보여드리겠습니다.아무 웹사이트로 이동하면 열기 명령을 사용하고 HTML 테이블을 지정할 수 있습니다.이를 위해서는 데이터가 HTML 테이블에 저장되어야 합니다.
그 아래에는 yahoo Finance table.csv api를 보여줍니다.끝에 s=TWTR을 추가하면 JMP에서 사용할 수 있는 모든 Twitter 데이터에 대한 CSV 파일이 생성됩니다.API에 대해 더 알고 싶다면 이 페이지가 도움이 됩니다.
야후 파이낸스(숨김) API | 이도그린
//웹을 검색하면 이 테이블을 얻을 수 있습니다.
열려 있는 ( " http://finance.yahoo.com/echarts?s=TWTR# {\!"allowChartStacking\!":true}" , HTML 표 ( 2 )) ;
열려 있는 ( " http://finance.yahoo.com/q;_ylt=AwrXgiOYWBFXxGUAYiiTmYlQ;_ylu=X3oDMTE0bWJta2VyBGNvbG8DZ3ExBHBvcwMxBHZ0aWQDVklEUUJDS18xBHNlYwNzYw--?s=TWTR " , HTML 테이블 ( 2 )) ;
열려 있는 ( " http://finance.yahoo.com/q;_ylt=AwrXgiOYWBFXxGUAYiiTmYlQ;_ylu=X3oDMTE0bWJta2VyBGNvbG8DZ3ExBHBvcwMxBHZ0aWQDVklEUUJDS18xBHNlYwNzYw--?s=TWTR " , HTML 표 ( 삼 )) ;
//야후 금융 API 인터페이스입니다.
열려 있는 ( " http://ichart.finance.yahoo.com/table.csv?s=TWTR " ) ;
Re: JSL을 사용하여 웹에서 데이터 가져오기안녕하십니까?
감사합니다 . 이미 추가 기능을 다운로드했습니다. 내 목표는 JSL에서 수행하는 방법을 배우고 이해할 수 있는 것이며 추가 기능 뒤의 코드를 활용하는 방법을 모릅니다. 또한 추가 기능은 데이터를 JMP로 가져오는 것에 대해 브라우저에서 주식 정보를 여는 것 같습니다(이는 제가 하고 싶은 일입니다). JSL의 분석 기술과 코딩 기술을 향상시키기 위해 이러한 공용 리포지토리에서 데이터를 가져오고 싶습니다.
최상의
우다이
Re: JSL을 사용하여 웹에서 데이터 가져오기그만큼 야후 금융 가져오기 JMP Add-in을 시작하는 것이 좋습니다.
-제프
Re: JSL을 사용하여 웹에서 데이터 가져오기엠샤프 ,
내가 본 몇 가지 옵션이 있습니다.
1. 바 차트 .com
2. 야후 파이낸스
3. 구글 파이낸스
하지만 이러한 웹사이트의 API를 ping해야 하는지 또는 HTML 테이블로 액세스할 수 있는지는 알 수 없습니다.
최상의
우다이
Re: JSL을 사용하여 웹에서 데이터 가져오기웹에서 데이터를 얻는 방법에는 여러 가지가 있습니다.가장 좋은 방법은 데이터 원본에 따라 다릅니다.게시한 예제에서 사용자는 단순히 Open() 명령을 사용하고 있으며 가져올 HTML의 데이터 테이블을 알려줍니다.이것은 가장 쉽지만 항상 가능한 것은 아닙니다.Twitter와 같은 일부 사이트는 API를 설정했습니다.이 방법은 약간 더 복잡하지만 훨씬 더 강력합니다.
당신은 당신의 연구를 했습니까?주가 정보를 어디서 얻고 싶은지 아십니까?데이터 소스는 무엇입니까?
