[求助]字符串连接thread unsafe

涩兔子

偶自己写的字符串连接造成多线程不安全

字符串连接头文件：join.h

1. 
   
2. #ifndef JOIN_H
   
3. 
   
4. char *Join(char *JoinItems[]);
   
5. 
   
6. #endif
   

复制代码

字符串连接：join.c

1. 
   
2. #include <stdio.h>
   
3. #include <stdlib.h>
   
4. #include <string.h>
   
5. 
   
6. char *
   
7. Join(char *JoinItems[])
   
8. {
   
9.         char *JoinStr                 = NULL;
   
10.         size_t JoinStrLen = 0;
    
11.         int TotalItemsNum = 0;
    
12.         int i;
    
13. 
    
14.         while (*JoinItems != NULL)
    
15.         {
    
16.                 JoinStrLen += strlen(*JoinItems);
    
17.                 JoinItems++;
    
18.                 TotalItemsNum++;
    
19.         }
    
20. 
    
21.         if ((JoinStr = malloc(JoinStrLen)) != NULL)
    
22.         {
    
23.                 for (i = 0; i < TotalItemsNum; i++)
    
24.                 {
    
25.                         JoinItems--;
    
26.                 }
    
27.                 while (*JoinItems != NULL)
    
28.                 {
    
29.                         strcat(JoinStr, *JoinItems);
    
30.                         JoinItems++;
    
31.                 }
    
32.        
    
33.                 return JoinStr;
    
34.         }
    
35.         else
    
36.         {
    
37.                 return "FALSE";
    
38.         }
    
39. }
    
40. 
    

复制代码

单线程测试用例：testjoin.c，单线程工作起来是正常的

1. 
   
2. #include <stdio.h>
   
3. #include "join.h"
   
4. 
   
5. int
   
6. main(int argc, char *argv[])
   
7. {
   
8.         char *JoinStr = NULL;
   
9.         char *items[] = {
   
10.                 "./cache/",
    
11.                 "sirtoozee",
    
12.                 ".html",
    
13.                 NULL
    
14.         };
    
15.        
    
16.         if (argc < 2)
    
17.         {
    
18.                 JoinStr = Join(items);
    
19.         }
    
20.         else
    
21.         {
    
22.                 JoinStr = Join(argv);
    
23.         }
    
24.         printf("%s\n", JoinStr);
    
25.         free(JoinStr);
    
26.         JoinStr = NULL;
    
27.        
    
28.         return 0;
    
29. }
    
30. 
    

复制代码

多线程测试用例：testmtjoin.c，工作起来就不正常了

1. 
   
2. #include <stdio.h>
   
3. #include <pthread.h>
   
4. #include "join.h"
   
5. #include "./../md5/md5.h"
   
6. 
   
7. #define DIR "./cache/"
   
8. #define EXT ".html"
   
9. 
   
10. char *urls[] = {
    
11.         "http://localhost/",
    
12.         "http://localhost/yui/",
    
13.         "http://localhost/libc/"
    
14. };
    
15. 
    
16. void *TestCallback(void *url)
    
17. {
    
18.         FILE *fw;
    
19.         char *cache_file;
    
20.         char *JoinItems[] = {
    
21.                 DIR,
    
22.                 SIR_MD5(url),
    
23.                 EXT,
    
24.                 NULL
    
25.         };
    
26.        
    
27.         if ((cache_file = Join(JoinItems)) != "FALSE")
    
28.         {
    
29.                 if ((fw = fopen(cache_file, "w")) != NULL)
    
30.                 {
    
31.                         fputs(url, fw);
    
32.                         printf("Constructed %s\n", cache_file);
    
33.                 }
    
34.                 else
    
35.                 {
    
36.                         printf("Fail to wrtie to %s\n", cache_file);
    
37.                 }
    
38.         }
    
39.         else
    
40.         {
    
41.                 printf("Fail to join %s\n", cache_file);
    
42.         }
    
43.         fclose(fw);
    
44.         free(cache_file);
    
45.         cache_file = NULL;
    
46.         free(JoinItems);
    
47. 
    
48.         return NULL;
    
49. }
    
50. 
    
51. int
    
52. main(int argc, char *argv[])
    
53. {
    
54.         pthread_t tid[3];
    
55.         int i;
    
56.        
    
57.         for (i = 0; i < 3; i++)
    
58.         {
    
59.                 pthread_create(&tid[i], NULL, TestCallback, urls[i]);
    
60.         }
    
61.        
    
62.         for (i = 0; i < 3; i++)
    
63.         {
    
64.                 pthread_join(tid[i], NULL);
    
65.                 printf("Destructed %s.\n", urls[i]);
    
66.         }
    
67.        
    
68.         return 0;
    
69. }
    
70. 
    

复制代码

由于使用了openssl的md5加密，提贴出代码：

1. 
   
2. #ifndef MD5_H
   
3. 
   
4. char *SIR_MD5(char *str);
   
5. 
   
6. #endif
   
7. 
   
8. #include <stdio.h>
   
9. #include <string.h>
   
10. #include <openssl/evp.h>
    
11. #include <openssl/md5.h>
    
12. 
    
13. static char *pt(unsigned char *md);
    
14. 
    
15. static char
    
16. *pt(unsigned char *md)
    
17. {
    
18.   int i;
    
19.   static char buf[80];
    
20. 
    
21.   for (i = 0; i < MD5_DIGEST_LENGTH; i++)
    
22.   {
    
23.     sprintf(&(buf[i * 2]), "%02x", md[i]);
    
24.   }
    
25.   return(buf);
    
26. }
    
27. 
    
28. char *SIR_MD5(char *str)
    
29. {
    
30.   char *p;
    
31.   unsigned char md[MD5_DIGEST_LENGTH];
    
32.        
    
33.   EVP_Digest(str, strlen(str), md, NULL, EVP_md5(), NULL);
    
34.   p = pt(md);
    
35.        
    
36.   return p;
    
37. }
    
38. 
    

复制代码

我的SConstruct脚本：

1. 
   
2. Program('testmtjoin', Split('./../md5/md5.c join.c testmtjoin.c'), LIBS=['-lssl', '-lpthread'])
   
3. #Program('testjoin', Split('join.c testjoin.c'))
   

复制代码

错误信息：

1. 
   
2. constructed ./cache/c9db569cb388e160e4b86ca1ddff84d7.html
   
3. *** glibc detected *** ./testmtjoin: double free or corruption (out): 0xb7cbf450 ***
   
4. ======= Backtrace: =========
   
5. /lib/libc.so.6[0xb7e2dcb0]
   
6. /lib/libc.so.6(__libc_free+0x84)[0xb7e2f2f4]
   
7. ./testmtjoin[0x804898f]
   
8. /lib/libpthread.so.0[0xb7eee294]
   
9. /lib/libc.so.6(__clone+0x5e)[0xb7e8632e]
   
10. ======= Memory map: ========
    
11. 08048000-08049000 r-xp 00000000 08:03 2959737    /root/Projects/sirch/trunk/tests/join/testmtjoin
    
12. 08049000-0804a000 rw-p 00000000 08:03 2959737    /root/Projects/sirch/trunk/tests/join/testmtjoin
    
13. 0804a000-0806b000 rw-p 0804a000 00:00 0          [heap]
    
14. b6300000-b6321000 rw-p b6300000 00:00 0
    
15. b6321000-b6400000 ---p b6321000 00:00 0
    
16. b64bd000-b64be000 ---p b64bd000 00:00 0
    
17. b64be000-b6cbe000 rw-p b64be000 00:00 0
    
18. b6cbe000-b6cbf000 ---p b6cbe000 00:00 0
    
19. b6cbf000-b74bf000 rw-p b6cbf000 00:00 0
    
20. b74bf000-b74c0000 ---p b74bf000 00:00 0
    
21. b74c0000-b7cc1000 rw-p b74c0000 00:00 0
    
22. b7cc1000-b7cc3000 r-xp 00000000 08:03 1733411    /lib/libdl-2.4.so
    
23. b7cc3000-b7cc5000 rw-p 00001000 08:03 1733411    /lib/libdl-2.4.so
    
24. b7cc5000-b7cc6000 rw-p b7cc5000 00:00 0
    
25. b7cc6000-b7db6000 r-xp 00000000 08:03 1116342    /usr/lib/libcrypto.so.0.9.7
    
26. b7db6000-b7dc8000 rw-p 000f0000 08:03 1116342    /usr/lib/libcrypto.so.0.9.7
    
27. b7dc8000-b7dcb000 rw-p b7dc8000 00:00 0
    
28. b7dcb000-b7ee2000 r-xp 00000000 08:03 1733408    /lib/libc-2.4.so
    
29. b7ee2000-b7ee4000 r--p 00116000 08:03 1733408    /lib/libc-2.4.so
    
30. b7ee4000-b7ee6000 rw-p 00118000 08:03 1733408    /lib/libc-2.4.so
    
31. b7ee6000-b7ee9000 rw-p b7ee6000 00:00 0
    
32. b7ee9000-b7ef8000 r-xp 00000000 08:03 1733424    /lib/libpthread-2.4.so
    
33. b7ef8000-b7ef9000 r--p 0000e000 08:03 1733424    /lib/libpthread-2.4.so
    
34. b7ef9000-b7efa000 rw-p 0000f000 08:03 1733424    /lib/libpthread-2.4.so
    
35. b7efa000-b7efc000 rw-p b7efa000 00:00 0
    
36. b7efc000-b7f2a000 r-xp 00000000 08:03 1116339    /usr/lib/libssl.so.0.9.7
    
37. b7f2a000-b7f2d000 rw-p 0002e000 08:03 1116339    /usr/lib/libssl.so.0.9.7
    
38. b7f3d000-b7f47000 r-xp 00000000 08:03 1115354    /usr/lib/gcc/i686-pc-linux-gnu/4.1.1/libgcc_s.so.1
    
39. b7f47000-b7f48000 rw-p 00009000 08:03 1115354    /usr/lib/gcc/i686-pc-linux-gnu/4.1.1/libgcc_s.so.1
    
40. b7f48000-b7f49000 rw-p b7f48000 00:00 0
    
41. b7f4a000-b7f4b000 rw-p b7f4a000 00:00 0
    
42. b7f4b000-b7f4c000 r-xp b7f4b000 00:00 0          [vdso]
    
43. b7f4c000-b7f66000 r-xp 00000000 08:03 1733396    /lib/ld-2.4.so
    
44. b7f66000-b7f67000 r--p 00019000 08:03 1733396    /lib/ld-2.4.so
    
45. b7f67000-b7f68000 rw-p 0001a000 08:03 1733396    /lib/ld-2.4.so
    
46. bfd06000-bfd1b000 rw-p bfd06000 00:00 0          [stack]
    

复制代码

我的系统是Gentoo，gcc是4.1.1，多线程操作的时候，malloc是不是需要“特别照顾”呢？请大家帮帮sirtoozee，谢谢了

scutan

malloc()函数是不可重入的函数吧.

gaocheng

记得malloc是线程安全的。
为什么要
free(JoinItems);

coldwarm

跟malloc无关.

1. 
   
2. if ((cache_file = Join(JoinItems)) != "FALSE")
   

复制代码

字符串能这样比较吗?

1. 
   
2. free(JoinItems);
   

复制代码

没找到这个JoinItems在哪里用malloc申请了空间?

1. 
   
2. static char buf[80];
   

复制代码

相当于多个线程修改一个全局变量但不加锁.

涩兔子

+ 了一个mutex

1. 
   
2. #include <stdio.h>
   
3. #include <stdlib.h>
   
4. #include <string.h>
   
5. #include <pthread.h>
   
6. 
   
7. char *
   
8. Join(char *JoinItems[])
   
9. {
   
10.         char *JoinStr                 = NULL;
    
11.         size_t JoinStrLen = 0;
    
12.         int TotalItemsNum = 0;
    
13.         int i;
    
14.         pthread_mutex_t a_mutex = PTHREAD_MUTEX_INITIALIZER;
    
15.         int rc;
    
16. 
    
17.         while (*JoinItems != NULL)
    
18.         {
    
19.                 JoinStrLen += strlen(*JoinItems);
    
20.                 JoinItems++;
    
21.                 TotalItemsNum++;
    
22.         }
    
23.         rc = pthread_mutex_lock(&a_mutex);
    
24.         if ((JoinStr = malloc(JoinStrLen)) != NULL)
    
25.         {
    
26.                 for (i = 0; i < TotalItemsNum; i++)
    
27.                 {
    
28.                         JoinItems--;
    
29.                 }
    
30.                 while (*JoinItems != NULL)
    
31.                 {
    
32.                         strcat(JoinStr, *JoinItems);
    
33.                         JoinItems++;
    
34.                 }
    
35.                 rc = pthread_mutex_unlock(&a_mutex);
    
36.                
    
37.                 return JoinStr;
    
38.         }
    
39.         else
    
40.         {
    
41.                 rc = pthread_mutex_unlock(&a_mutex);
    
42. 
    
43.                 return "JOIN_FAIL";
    
44.         }
    
45. }
    
46. 
    

复制代码

就像coldwarm提示的，修改了share memory的东东，居然不加锁

还有，字符串的比较那个是比较寒，看出错时的返回值return "JOIN_FAIL";

JoinItems确实木有申请空间，思维那个混乱呀

哦，如何看单个进程所能承担的最大线程数目呀？

1. 
   
2. #include <stdio.h>
   
3. #include <pthread.h>
   
4. /* When created 384 threads, it meets the segment fault. */
   
5. #define MAX 384
   
6. 
   
7. void *
   
8. _Construct(void *i)
   
9. {
   
10.         printf("Constructed %d thread.\n", (int) i);
    
11. 
    
12.         return NULL;
    
13. }
    
14. 
    
15. int
    
16. main(int argc, char *argv[])
    
17. {
    
18.         pthread_t tid[MAX];
    
19.         int i;
    
20.        
    
21.         for (i = 0; i < MAX; i++)
    
22.         {
    
23.                 pthread_create(&tid[i], NULL, _Construct, (void *) i);
    
24.         }
    
25. 
    
26.         for (i = 0; i < MAX; i++)
    
27.         {
    
28.                 pthread_join(tid[i], NULL);
    
29.                 printf("Destructed %d thread.\n", i);
    
30.         }
    
31.        
    
32.         return 0;
    
33. }
    
34. 
    

复制代码

我到384个就段错误了，是不是就是极限是384呢？请大家给些提示咯，谢谢

soul_of_moon

请判断一下线程是否成功创建

soul_of_moon

/usr/include/bits/local_lim.h
这个文件中定义了PTHREAD_THREADS_MAX

涩兔子

根据提示，修改好了，嗯，那么当需要处理的条目大于最大线程数目限制，如何解决呢

1. 
   
2. #include <stdio.h>
   
3. #include <bits/local_lim.h>
   
4. #include <pthread.h>
   
5. 
   
6. void *
   
7. _Construct(void *i)
   
8. {
   
9.         printf("Constructed %d thread.\n", (int) i);
   
10. 
    
11.         return NULL;
    
12. }
    
13. 
    
14. int
    
15. main(int argc, char *argv[])
    
16. {
    
17.         pthread_t tid[_POSIX_THREAD_THREADS_MAX];
    
18.         int i;
    
19.        
    
20.         for (i = 0; i < _POSIX_THREAD_THREADS_MAX; i++)
    
21.         {
    
22.                 pthread_create(&tid[i], NULL, _Construct, (void *) (i + 1));
    
23.         }
    
24. 
    
25.         for (i = 0; i < _POSIX_THREAD_THREADS_MAX; i++)
    
26.         {
    
27.                 pthread_join(tid[i], NULL);
    
28.                 printf("Destructed %d thread.\n", i + 1);
    
29.         }
    
30.        
    
31.         return 0;
    
32. }
    
33. 
    

复制代码

coldwarm

指令cat  /proc/sys/kernel/threads-max显示系统线程数目限制.

进程内每个线程都必须分配一些资源,比如每个线程都有其独立的栈空间--都有一个默认的尺寸,一个进程地址空间的大小是有限的,创建新的线程时,系统需要为新创建的线程保留一段地址空间供线程的战使用,所以可创建的线程数目有限制.

要创建更多的线程,一种办法是减少线程堆栈的尺寸,在创建线程之前用pthread_attr_setstacksize减少线程栈的尺寸.另一种办法是获得更大的地址空间,可以通过换64位机器或者通过增加物理内存并重新编译内核启用PAE支持.

另外,多线程针对I/O密集型的程序可以提高系统的吞吐量,而对CPU密集型的程序根本无益.

涩兔子

一直都是简单地看看POSIX的pthread的文档，第一次动手遇到了很多问题，谢谢大家的帮助哈

嗯，我的实现是通过curl的自定义的writeCallBack函数把海量的URL Linked List里的项目抓取到本地，应该符合I/O密集型的程序

多线程下载软件是如何合理地把N个transfer分配到有限的线程里的呢？我Google了有关axel（我的make.conf里用它emerge东东），可是有人说它不是多线程的，是单线程多连接

请高手们继续指点偶咯