Tengo un marco de datos con 5 columnas: nombre de archivo, # line_changed-hist, # line_changed-myers, # line_changed-min y # line_changed-pat con miles de datos. Lo que quiero hacer es soltar filas si las últimas cuatro columnas (todas line_changed) tienen los mismos valores. Supongamos que mi marco de datos se llama "datamerge3:

filename                    #line_changed-hist #line_changed-myers #line_changed-min #line_changed-pat
---------------------------------------------------------------------------------------------------------------
.../util/HBaseFsck.java     1808                1806                1806              1806
.../hfile/HFileBlock.java   1036                1032                1032              1040
.../HConnectionManager.java  794                 772                 772               774
.../TestCompatibility.java   762                 762                 762               762
.../master/MockServer.java   605                 605                 605               605
.../TestRowEndpoint.java     598                 598                 598               598
.../TestHBaseFsck.java       576                 572                 572               572
.../TestEndLevel.java         11                   0                   0                 0

Necesito eliminar todas las filas con los mismos valores en las últimas cuatro columnas (#line_changed). Por ejemplo, datos número 4, 5 y 6. Luego, guárdelo en un nuevo archivo csv. Este es el código que escribí:

for nn in range(0,len(datamerge3)-1):
    dmhist = datamerge3.iloc[nn]['#line_changed-hist']
    dmmyers = datamerge3.iloc[nn]['#line_changed-myers']
    dmmin = datamerge3.iloc[nn]['#line_changed-min']
    dmpat = datamerge3.iloc[nn]['#line_changed-pat']
    if ((dmhist == dmmyers) and (dmhist == dmmin) and (dmhist == dmpat)):
        datamerge3.drop([nn])
    else:
        pass

datamerge3.to_csv('diff_file.csv')

Pero el código no funcionó. ¿Hay algo que extraño en el código?

2
YusufUMS 2 mar. 2018 a las 07:50

3 respuestas

La mejor respuesta

Puede encontrar el número de valores únicos en los últimos cuatro puntos y filtrar en ese número que sea mayor que uno.

con iloc

df[df.iloc[:, -4:].nunique(1).gt(1)]

                      filename  #line_changed-hist  #line_changed-myers  #line_changed-min  #line_changed-pat
0      .../util/HBaseFsck.java                1808                 1806               1806               1806
1    .../hfile/HFileBlock.java                1036                 1032               1032               1040
2  .../HConnectionManager.java                 794                  772                772                774
6       .../TestHBaseFsck.java                 576                  572                572                572

con filter

df[df.filter(regex='^#').nunique(1).gt(1)]

                      filename  #line_changed-hist  #line_changed-myers  #line_changed-min  #line_changed-pat
0      .../util/HBaseFsck.java                1808                 1806               1806               1806
1    .../hfile/HFileBlock.java                1036                 1032               1032               1040
2  .../HConnectionManager.java                 794                  772                772                774
6       .../TestHBaseFsck.java                 576                  572                572                572
2
piRSquared 2 mar. 2018 a las 06:00

Puede usar consulta pero necesita escriba el nombre de las columnas:

df.query("not(line_changed-hist == line_changed-myers and line_changed-hist == line_changed-min and line_changed-hist == line_changed-pat)")
2
heena bawa 2 mar. 2018 a las 05:30

IIUC, puede usar diff y any con indexación booleana:

df[df.iloc[:,-4:].diff(axis=1).fillna(0).any(1)]

Salida:

                      filename  #line_changed-hist  #line_changed-myers  #line_changed-min  #line_changed-pat
1      .../util/HBaseFsck.java              1808.0               1806.0             1806.0             1806.0
2    .../hfile/HFileBlock.java              1036.0               1032.0             1032.0             1040.0
3  .../HConnectionManager.java               794.0                772.0              772.0              774.0
7       .../TestHBaseFsck.java               576.0                572.0              572.0              572.0
3
Scott Boston 2 mar. 2018 a las 05:11