107039_zh-TW

liliconcom

使用腳本對 csv 檔案中的資料進行後處理

我有一個包含多個 csv 檔案的資料夾，這些檔案具有類似的資料結構，我需要處理其資料並將結果儲存在新檔案中。
每個csv檔案有2列，我需要如下處理第二列中的資料：

1. 將第二列命名為專案
2. 對所有行執行以下操作，使用下列公式建立新列 x：36 + -19.5 * :items+ 49.99 *：專案*：專案*：專案
3. 對建立列 y 的 x 列的所有行執行以下操作：
   平均值( :x[索引( Row() - 4, Row() )] )
4. 求 y 列的平均值和最大值
5. 將平均值和最大值儲存到檔案中，並對其他檔案重複相同的過程Pfa 範例 csv 檔案。
   我正在嘗試如下所示的內容，但由於只是初學者，所以請您幫忙
   
   

   // Read all the file names
   files = Files In Directory( "C:\Users\MyUserName\Documents\My Data\" );
   X = N Items( files );
   Y = "C:\Users\MyUserName\Documents\My Data\";
   //stores the mean and max value of each file
   dt = New Table( "My data file");
   For( i = 1, i < X, i++,
   //open jmp files for each csv files.
   dt1 = Open(
   Y || files[i],
   
    //Code to add column name and the find mean and max
   );
   dt1 << Set Name( files[i] );
    
    
   //I concatenated all the files in one jmp file and close it each time.
   dt << Concatenate( Data Table( dt1 ), "Append to first table" );
   Close( dt1 );
    
   　
   );

消費者與市場研究內容組織資料存取資料混合與清理品質和工藝工程分享和交流成果回覆：使用腳本對 csv 檔案中的資料進行後處理這為解決問題奠定了良好的基礎回覆：使用腳本對 csv 檔案中的資料進行後處理感謝您的優化和解決錯誤，非常有幫助！回覆：使用腳本對 csv 檔案中的資料進行後處理

你是如此接近哦......

您似乎正準備將每個 csv 讀入後所需的統計資料放入清單中。您執行此操作的語法不正確，在我看來，您不必將值放入列表中，而是將它們直接放入匯總表中。另外，在計算列的統計資料時，需要使用統計資料的列形式（即 Col Max() ）。最後，如果完成 csv 檔案的處理後，不需要它繼續保留，您可以簡單地將其關閉。我添加了一行可以做到這一點，但我將其註釋掉了。如果你想讓它生效，只需刪除//即可。

Names Default To Here( 1 );

// Use a function to open a .CSV file: Given the path to such a file, returns a reference to the resulting table
openMyCSV = Function( {path2File},
 {Default Local},
 dt = Open(
  path2File,
  columns(
   New Column( "column 1", Numeric, "Continuous", Format( "Best", 12 ) ),
   New Column( "items", Numeric, "Continuous", Format( "Best", 12 ) )
  ),
  Import Settings(
   End Of Line( CRLF, CR, LF ),
   End Of Field( Comma, CSV( 0 ) ),
   Strip Quotes( 1 ),
   Use Apostrophe as Quotation Mark( 0 ),
   Use Regional Settings( 0 ),
   Scan Whole File( 1 ),
   Treat empty columns as numeric( 0 ),
   CompressNumericColumns( 0 ),
   CompressCharacterColumns( 0 ),
   CompressAllowListCheck( 0 ),
   Labels( 0 ),
   Column Names Start( 1 ),
   Data Starts( 1 ),
   Lines To Read( "All" ),
   Year Rule( "20xx" )
  )
 )
);
 
// Start your summary table
dt = New Table( "My summary file" );
dt << New Column( "MovAvgMean", Numeric );
dt << New Column( "MovAvgMax", Numeric );

// Put all the .csv files to process into a list
dir = Pick Directory(
 "Directory containing your csv files",
 "C:\Users\shilpajo\Documents\PV\KT\LIMC\iccMax\DIADEM\JMP\files\"
);
files = Files In Directory( dir );
For( f = N Items( files ), f >= 1, f--,
 If( !Ends With( Uppercase( files[f] ), ".CSV" ),
  Remove From( files, f )
 )
);

// Process each file - Incomplete!
For( f = 1, f <= N Items( files ), f++,
 thisTable = openMyCSV( dir || files[f] );
 thisTable << New Column( "x",
  Numeric,
  Continuous,
  Formula( 36 + -19.5 * :items + 49.99 * :items * :items * :items )
 );
 thisTable << New Column( "av", Numeric, Continuous, Formula( Mean( :x[Index( Row() - 9, Row() )] ) ) );
 
 // This will insure that all formula processing is complet before the next statement is run
 thisTable << run formulas; 
 
 // Add the summary statistics to the summary table
 dt << Add Rows( 1 );
 dt:MovAvgMean[N Rows( dt )] = Col Mean( thisTable:av );
 dt:MovAvgMax[N Rows( dt )] = Col Max( thisTable:av );
 
 // Close( thisTable, nosave );
);
 

 

回覆：使用腳本對 csv 檔案中的資料進行後處理

這段程式碼對我的入門非常有幫助。下面的程式碼完美運行。 我所說的儲存是指我需要建立一個總計表，其中包含每個 csv 檔案的 av 列的平均值和最大值，我該怎麼做？

我嘗試使用： dt << Add Rows( {MovAvgMean =平均值（：av） , MovAvgMax = Max(:av)} ); // 單一列表

但它不起作用，因為我收到錯誤

名稱未解析：存取或評估 'av' 時存在 av{1} ，:av/*###*/

NamesDefaultToHere(1);

// Use a function to open a .CSV file: Given the path to such a file, returns a reference to the resulting table
openMyCSV = 
function({path2File}, {Default Local},
   dt = Open(
     path2File,
     columns(
      New Column( "column 1", Numeric, "Continuous", Format( "Best", 12 ) ),
      New Column( "items", Numeric, "Continuous", Format( "Best", 12 ) )
      ),
     Import Settings(
      End Of Line( CRLF, CR, LF ),
      End Of Field( Comma, CSV( 0 ) ),
      Strip Quotes( 1 ),
      Use Apostrophe as Quotation Mark( 0 ),
      Use Regional Settings( 0 ),
      Scan Whole File( 1 ),
      Treat empty columns as numeric( 0 ),
      CompressNumericColumns( 0 ),
      CompressCharacterColumns( 0 ),
      CompressAllowListCheck( 0 ),
      Labels( 0 ),
      Column Names Start( 1 ),
      Data Starts( 1 ),
      Lines To Read( "All" ),
      Year Rule( "20xx" )
     )
    )
 );
 
dt = New Table( "My data file");
dt << New Column( "MovAvgMean", Numeric );
dt << New Column( "MovAvgMax", Numeric );

// Put all the .csv files to process into a list
dir = pickDirectory("Directory containing your csv files", "$DESKTOP");
files = filesInDirectory(dir);
for(f = NItems(files), f>=1, f--, if(!endsWith(uppercase(files[f]), ".CSV"), removeFrom(files, f)));

// Process each file - Incomplete!
for(f = 1, f <= NItems(files), f++,
 thisTable = openMyCSV(dir||files[f]);
 thisTable << newColumn("x", Numeric, Continuous, Formula(36 + -19.5 * :items + 49.99 *:items* :items* :items));
 thisTable << newColumn("av", Numeric, Continuous, Formula(Mean( :x[Index( Row() - 9, Row() )] )));
 dt << Add Rows( {MovAvgMean =Mean(:av), MovAvgMax = Max(:av)} ); // single list
 );
 
// Make the summary table



 

 

回覆：使用腳本對 csv 檔案中的資料進行後處理

如果您剛開始，您應該分階段進行，並了解每個部分的工作原理。 使用「說明 > 腳本索引」和「說明 > 書籍 > 腳本指南」來尋找內容。

 

下面的程式碼應該可以幫助您開始，並且您也許可以完成剩下的事情。 您需要更加明確「儲存價值」的含義。 。 。到文件中'。

NamesDefaultToHere(1);

// Use a function to open a .CSV file: Given the path to such a file, returns a reference to the resulting table
openMyCSV = 
function({path2File}, {Default Local},
   dt = Open(
     path2File,
     columns(
      New Column( "column 1", Numeric, "Continuous", Format( "Best", 12 ) ),
      New Column( "items", Numeric, "Continuous", Format( "Best", 12 ) )
      ),
     Import Settings(
      End Of Line( CRLF, CR, LF ),
      End Of Field( Comma, CSV( 0 ) ),
      Strip Quotes( 1 ),
      Use Apostrophe as Quotation Mark( 0 ),
      Use Regional Settings( 0 ),
      Scan Whole File( 1 ),
      Treat empty columns as numeric( 0 ),
      CompressNumericColumns( 0 ),
      CompressCharacterColumns( 0 ),
      CompressAllowListCheck( 0 ),
      Labels( 0 ),
      Column Names Start( 1 ),
      Data Starts( 1 ),
      Lines To Read( "All" ),
      Year Rule( "20xx" )
     )
    )
 );

// Put all the .csv files to process into a list
dir = pickDirectory("Directory containing your csv files", "$DESKTOP");
files = filesInDirectory(dir);
for(f = NItems(files), f>=1, f--, if(!endsWith(uppercase(files[f]), ".CSV"), removeFrom(files, f)));

// Process each file - Incomplete!
for(f = 1, f <= NItems(files), f++,
 thisTable = openMyCSV(dir||files[f]);
 thisTable << newColumn("x", Numeric, Continuous, Formula(36 + -19.5 * :items + 49.99 *:items* :items* :items));
 );