怎样删除重复的strings？[基本解决]

Hauser

假设我有这样一个文字档：

1. [color=blue]ba 罷[/color]
   
2. ba 拔
   
3. ba 芭
   
4. ba 跋
   
5. [color=orangered]ba 壩[/color]
   
6. ba 耙
   
7. ba 鮁
   
8. ba ?
   
9. [color=orangered]ba 壩[/color]
   
10. ba 欛
    
11. [color=blue]ba 罷[/color]
    
12. ba 羓
    
13. [color=green]chu 出[/color]
    
14. [color=purple]chu 處[/color]
    
15. chu 媰
    
16. [color=green]chu 岀[/color]
    
17. chu 幮
    
18. chu ?N
    
19. chu 除
    
20. [color=purple]chu 處[/color]

复制代码

怎样用一行command把那些重复的strings删掉呢？

KornLee

1. 
   
2. for line in $(cat file|cut -f2 -d' '|sort|uniq -u);do
   
3.         grep $line file
   
4. done|sort
   

复制代码

home_king

awk '{ if ($0 in uniq){}else{print;uniq[$0]=1}}' datafile

KornLee

/home/javalee#cat file
ba 罷
ba 拔
ba 芭
ba 跋
ba 霸
ba 耙
ba 鮁
ba 霸
ba 疤
ba 罷
ba 罷
ba 羓
chu 出
chu 把

1. 
   
2. /home/javalee#awk '!($2 in array){array[$2];print}' file
   

复制代码

/home/javalee#ksh sss
ba 罷
ba 拔
ba 芭
ba 跋
ba 霸
ba 耙
ba 鮁
ba 疤
ba 羓
chu 出
chu 把

ps:由于用鼠标粘贴后出现乱码,所以有的字是我自己改的~

KornLee

最初由 home_king 发表
awk '{ if ($0 in uniq){}else{print;uniq[$0]=1}}' datafile

king兄,你的测试好像不可以

1. 
   
2. /home/javalee#awk '{ if ($0 in uniq){}else{print;uniq[$0]=1}}' file
   
3. ba 罷
   
4. ba 拔
   
5. ba 芭
   
6. ba 跋
   
7. ba 霸
   
8. ba 耙
   
9. ba 鮁
   
10. ba 霸
    
11. ba 疤
    
12. ba 罷
    
13. ba 羓
    
14. chu 出
    
15. chu 把
    

复制代码

Hauser

这是我想要的结果：

1. ba 罷
   
2. ba 拔
   
3. ba 芭
   
4. ba 跋
   
5. ba 壩
   
6. ba 耙
   
7. ba 鮁
   
8. ba ?
   
9. ba 欛
   
10. ba 羓
    
11. chu 出
    
12. chu 處
    
13. chu 媰
    
14. chu 幮
    
15. chu ?N
    
16. chu 除

复制代码

KornLee

最初由 Hauser 发表
这是我想要的结果：

1. ba 罷
   
2. ba 拔
   
3. ba 芭
   
4. ba 跋
   
5. ba 壩
   
6. ba 耙
   
7. ba 鮁
   
8. ba ?
   
9. ba 欛
   
10. ba 羓
    
11. chu 出
    
12. chu 處
    
13. chu 媰
    
14. chu 幮
    
15. chu ?N
    
16. chu 除

复制代码

是呀,你看我贴你的文本后的样子?道理不是一样的嘛~~~~
你实验一下吧,应该管用的!
我说过我那个文本是我修改后的吗!

Hauser

最初由 javalee 发表

2. #awk '!($2 in array){array[$2];print}' file

复制代码

谢谢javalee，你这个管用了！:2cool
以后得常来这逛逛，学学unix的power tools！

home_king

最初由 javalee 发表
king兄,你的测试好像不可以

1. 
   
2. /home/javalee#awk '{ if ($0 in uniq){}else{print;uniq[$0]=1}}' file
   
3. ba 罷
   
4. ba 拔
   
5. ba 芭
   
6. ba 跋
   
7. ba 霸
   
8. ba 耙
   
9. ba 鮁
   
10. ba 霸
    
11. ba 疤
    
12. ba 罷
    
13. ba 羓
    
14. chu 出
    
15. chu 把
    

复制代码

$2反而可以？？？？