libcurl请求速度慢问题解决

一直使用libcurl请求接口数据,最近发现一个问题,post部分请求速度变慢,每次都要超过一秒,get速度没有变化,0.1秒左右获取完毕。
对POST请求打开VERBOSE开关,看到发出请求头信息包含 Expect: 100-Continue, 网上查找对应说明,当POST数据大于1024字节时,
有这个头信息会先等待服务端一个继续接受的应答才继续上传,如果服务端没有应答会等待1秒再继续上传后续数据,对照VERBOSE输出的信息,
发现发出的Content-Length 大小1026字节,刚好超出1024字节,服务端没有对100-Continue做应答于是libcurl多等了1秒才发送数据。
修改方法,让libcurl不处理Expect 头信息

  1.   /* 添加头信息 */
  2.   struct curl_slist *list = NULL;
  3.   list = curl_slist_append(list, "Expect: ");
  4.  
  5.  /* 设置头信息 */
  6.   curl_easy_setopt(curl, CURLOPT_HTTPHEADER, list);
  7.   …
  8.   curl_slist_free_all(list); /* 释放头信息 */

添加这段代码后,再次请求,时间降到0.x秒内,速度正常

Popularity: 2% [?]

Random Posts

Linux下df和du看到的剩余空间不一致处理方式

昨日突然测试用的Linux服务器报存储空间不足,使用 df 查看,磁盘已经使用 100%,使用du 命令查看使用空间最大的目录,结果发现 du 显示的总使用空间才占用总磁盘空间的 70%左右,剩下的 30%空间跑哪去了呢?
找了一下df和du区别的资料,发现他们的工作方式有所区别,所以造成了看到的结果不一致

du的工作原理
du命令会对待统计目录下的文件逐个调用fstat,获取每个文件大小。它的数据获取是基于文件目录中的文件的,可以跨越多个分区操作。如果目录中文件很多,那么du的速度就会很慢.

df的工作原理
df命令使用statfs这个系统调用,直接读取分区的超级块信息获取分区使用情况。它只能针对整个分区块,运行速度不受文件多少的影响。

du和df不一致的一般原因
常见的df和du不一致情况是文件删除造成的,当一个文件被删除后,在文件系统目录中已经不可见了,所以du就不会再统计它了。然而如果这个时候还有运行的进程持有这个已被删除了的文件的句柄,那么这个文件就不会真正在磁盘中被删除,分区超级块中的信息也就不会更改。这样df仍旧会统计这个被删除了的文件。

一般处理方法
使用lsof命令找到还持有被删除文件句柄的进程,然后关闭进程或者杀掉进程用以释放空间。

lsof | grep deleted

避免这个问题的一般方法
1.可以使用清空文件的方式来代替删除文件,方式是:

echo > myfile

2.对于要经常做删除操作的日志文件,以改名、清空、删除的顺序操作

Popularity: 2% [?]

Random Posts

NDK回调Java类方法碰到的问题解决

以前写的一个Android程序,使用NDK回调Java中的类函数方法,以前在Android 4.x之前的系统上都没有问题,5.x,6.x系统的手机上在回调Java类函数时,出错,报:… invalid object …

搜索Google发现,是由于jni接口触发时,传入的jobject对象使用的是Local reference方式,而自己写的ndk代码是将这个类对象存起来作为全局对象使用了。

http://android-developers.blogspot.com/2011/11/jni-local-reference-changes-in-ics.html

JNI 函数参数中 jobject 或者它的子类,其参数都是 local reference。Local reference 只在这个 JNI函数中有效,JNI函数返回后,引用的对象就被释放,它的生命周期就结束了。若要留着日后使用,则需根据这个 local reference 创建 global reference。Global reference 不会被系统自动释放,它仅当被程序明确调用 DeleteGlobalReference 时才被回收。(JNI多线程机制)
gobj=(*evn)->NewGlobalRef(evn, object);

需要在存起来的地方将这个类对象先NewGlobleRef一下,使其不会由于在退出这个保存对象的jni调用后就因为Local临时对象引用被销毁掉,导致后续的NDK调用访问不到这个临时对象,报错跳出程序。

代码做了这个小修改后,再在NDK代码中调用这个java类的方法,程序没有再报错。

Popularity: 2% [?]

Random Posts

发现一个Delphi的静态代码检查工具FixInsight

C++,Java, C#等常用编程语言都有静态代码检查工具,帮助发现编写代码过程中存在的一些问题,从而有效提升代码质量,将一些缺陷在编译阶段就发现解决掉。
Delphi作为一个已经有几十年历史的语言,一直没有发现类似的静态代码检查工具,引以为憾,但是今天发现了一款工具 FixInsight 填补了这个缺憾。
下载地址 http://sourceoddity.com/fixinsight/download.html
软件的售价对于个人版只要 $95, 相对于排查代码缺陷所花的时间是完全值得的。

Popularity: 2% [?]

Random Posts

使用CodeTyphon做FPC交叉编译的问题记录

在mac下安装了CodeTyphon尝试做freepascal代码的跨平台编译。

首先编译安装CodeTyphon环境

步骤1:安装 mac ports
步骤2:首先解压下载来的CodeTyphon安装包,运行解压目录下下的setup.sh, 使用 sudo 执行
步骤3:选择0,安装系统库
步骤4:选择8, 清空之前的全部组件,重新编译安装
经过漫长等待后,可以在应用程序中看到有CodeTyphon和Typhon32两个图标,运行CodeTyphon

编译所需目标平台的工具链

主要是CrossBuild菜单项目下的几个菜单项处理。
步骤1:选择 CrossBuild 菜单下面的 ToolChains Build 项目,选择期望的目标平台,主要是第一列的 FPC CPU-OS Targets 中选择, 选择好后点击 Build 按钮进行编译。在自己手动编译前可以先选择 CrossBuild 菜单下面的 Download ToolChains项目,看服务器上有无预先编译好的可可以下载来用(手工编译速度比下载速度慢很多)下载前,要用sudo 运行CodeTyphon, 否则会下载失败,提示目录不存在的错误,其实就是没有权限写目录
步骤2:选择 CrossBuild 菜单下的 Download Libaraies 项目,下载对应目标平台的库文件
步骤3:选择 CrossBuild 菜单下的 FreePascal 32bits(64bits), 编译所需平台的 cross elements,
如果没有做第一步, 则这儿没有对应平台的cross elements可以选择

编译目标平台的程序

步骤1. 运行Typhon32
步骤2. 新建或打开工程
步骤3. 设置工程的相关搜索路径,菜单 工程=》工程选项=》编译选项=》路径, 主要为Libraries路径,为了变更目标平台时不修改这边的路径,可以采用相对路径。
Libraries 可以填 $(CTDir)/binLibraries/$(TargetCPU)-$(TargetOS)
单元输出目录可以填 lib/$(TargetCPU)-$(TargetOS)
步骤4. 选择目标平台,菜单 工程=》工程选项=》Config and Target, 设置目标OS和目标CPU

编译中碰到问题:
问题1: 编译提示 system 单元未找到
这一般是由于没有创建好对应平台的cross elements 或者 在工程的路径设置中没有设置对 units的路径

问题2: 代码中的中文信息在编译后输出了乱码
这个一般是由于Freepascal默认按照utf8解释的原因,之前代码中的中文是在Win下编写,GBK编码,将文件转为UTF8格式重新编译问题解决。

Popularity: 2% [?]

Random Posts

Klocwork Insight在Mac下的eclipse插件安装使用

搞到一套可以在mac下运行的klocwork insight,终于在不开虚拟机的情况下也可以做c/c++代码的静态检查了。
首先安装服务端,双击运行服务端安装包的 pkg文件,安装后会自动建立 /usr/local/kw/ 符号连接,
再安装客户端,解压客户端的zip压缩包,得到cmd安装包盒eclipse的update site。双击运行cmd客户端安装包的pkg文件进行安装。

使用eclipse的install site将eclipse插件装好,
修改eclipse中的 c++项目build属性
1. 选中项目,鼠标右击,转到 Project Properties > C/C++ Build > Tool Chain Editor.
2. 将活动配置的 Current Builder 从 CDT Internal Builder 修改为 Gnu Make Builder 并点击 Apply .
3. 选中项目,鼠标右击,转到 Project Properties > C/C++ Build.
4. 在Builder Settings 标签页, 取消选中 Use default build command.
5.在 Build command 输入框中,将原先的 make 修改为

kwinject -u -o ${ProjDirPath}/kwinject.out make

注意:要将之前安装的路径添加到PATH中,否则会报kwinject命令找不到的错误
6. 点击 OK 按钮确定修改

首先 clean project, 然后再build project这样就创建好了klocwork的 Build specification。

7. 选中项目,鼠标右击,转到 Project Properties – > Klocwork > Clockwork Build Settings.
8. 选中 Use build specification file, 浏览选中刚创建的 build specification 文件 ( kwinjec.out ), 然后点击 OK.

后面就可以使用klocwork分析C++代码中存在的问题了。

命令行下运行

kwadmin create-project myproject
cd myprojectpath
make clean
kwinject make
kwbuildproject --project myproject -f -o table kwinject.out
kwadmin load myproject table

在客户端分析
首先进入到项目所在的路径(工程所在的路径下)
1. 创建本地项目名
kwcheck create 会在当前目录下生成一个 .kwlp .kwps 的目录,用来存放数据和配置文件的
2. 获取构建配置文件
kwbuildproject –project myproject -f -o table kwinject.out

用命令分析并查看结果
kwcheck run –b kwinject.out

这时缺陷是不能在 web 中查看的但可以导出 txt 和 xml 格式的文件,命令为:
kwcheck list -F xml > report.xml
kwcheck list -F detailed > report.txt

Popularity: 2% [?]

Random Posts

尝试安装使用Checkmarx过程中碰到的问题解决方法记录

最近找到了一份Checkmarx安装包,这是一款比较强大的用于静态分析源代码,找出代码中可能存在的安全漏洞,
对常见的语言都有支持,比如ASP,PHP,Rubby,Python,JavaScript,CSharp,Java等

在尝试安装使用的过程中碰到了如下一些问题:

  1. 使用的SQLServer数据库连接不上
  2. 开始默认安装的系统认证方式连接数据库,结果启动服务时起不来,看日志为数据库连接不上,提示NT Authrity失败,于是尝试使用SQLServer的认证,修改Config目录下的数据库连接配置文件,添加上User Id,Password数据库连接账号,重新启动Checkmarx的服务,发现还是连不上,查看SQL Server的文档,发现Integrated Security要设置为False值,否则还是会忽略数据库的账号密码,使用系统认证连接数据库。再次修改后,重新启动服务,启动成功。

  3. Git版本库连接不上
  4. 添加要扫描的项目代码时,使用Git版本库作为来源,但是总是提示ssh认证不通过,最后发现使用git2.x的客户端不行,网上找了一个git1.9的客户端在Checkmarx的扫描服务器上重新安装,问题解决。

  5. 使用中文界面,部分漏洞的中文说明显示为乱码
  6. 分析显示的文字,感觉是没有正确采用编码显示,感觉像utf-8编码未能正常显示,在数据库服务器上打开CxDB数据库,找到cwe表,看到里面有LanguageId为2052的Description字段中文字有中文,抽样看了一些字段中数据值,部分正常显示中文,部分显示出来为乱码。写了一个小工具,对显示不正常的记录数据读取出啦,转为Utf8编码重新保存到数据库中(一共200多条中文描述记录中有90来条乱码),Web页面上原先显示不正常的中文显示正常。但是生成的中文报告,原先乱码的在报告中还是乱码,应该需要修订另外一个字段中的值。

Popularity: 2% [?]

Random Posts

JIRA和HipChat服务端集成时,提示不能访问HipChat服务器地址问题的解决

HipChat现在可以安装在本地环境,试着装了一个,在网上申请了免费SSL证书设置后,浏览器打开没有提示非安全站点的问题,一切正常。
然后尝试将HipChat和Jira集成,
通过Market市场在Jira上下载安装了HipChat的插件,安装后,在Jira后台管理界面系统那页Email配置项目下面出现了HipChat集成设置菜单项,
输入安装的HipChat服务器地址, https://mychat.mydomain.com, 点击确定,提示不能连接HipChat服务地址,浏览器中打开地址确是正常的。
想不通问题,查看jira的日志文件,发现有日志

javax.net.ssl.SSLHandshakeException: sun.security.validateor.ValidatorException:
  PKIX path building failed: sun.security.provider.certpath.SunCertPathBuilderException:
    unable to find valid certification path to requested target

原来是SSL证书问题,因为不是默认可以被java认可的根证书签名,需要导入证书。

keytool -import  -alias mycert -file root.crt -keystore $JAVA_HOME/jre/lib/security/cacerts

输入密码 changeit,导入证书
使用如上命令导入申请的免费SSL证书的crt证书文件后,再次设置HipChat服务器地址,确认,顺利进入集成设置界面。

Popularity: 2% [?]

Random Posts

使用Insure编译代码出现Warning: unable to instrument “xxx.cpp” (4) compiling original source code

使用Insre工具做代码的内存泄露检查,编译代码时发现提示 Warning: unable to instrument “xxx.cpp” (4) compiling original source code,没有能正常插桩, 对代码逐步分析排除问题后,发现是代码中使用了 jsoncpp 库,Insure编译时对jsoncpp的头文件没有能处理好,只要引用到了json.h的代码文件,都出现了 Warning: unable to instrument 的提示。

逐个尝试修改jsoncpp的头文件做分析,最后发现只要修改jsoncpp的 value.h 文件,
将 class JSON_API value 类下面

private:
#ifndef JSONCPP_DOC_EXCLUDE_IMPLEMENTATION
# ifndef JSON_VALUE_USE_INTERNAL_MAP
    class CZString
   {

的private:修改为public:变为

public:
#ifndef JSONCPP_DOC_EXCLUDE_IMPLEMENTATION
# ifndef JSON_VALUE_USE_INTERNAL_MAP
    class CZString
   {

后,重新使用Insure编译,正常插桩,编译通过,未再提示 warning: unable to instrument 错误。

Popularity: 2% [?]

Random Posts

SOATest浅尝使用脚本设置HTTP请求参数

SOATest是Parasoft公司的一款测试工具,功能强大,可以用于Http接口测试。通常指定好接口地址,设置好输入参数列表后,即可获得接口数据做检查。
碰到一个http请求要做参数签名的情况,请求需要添加两个参数,
_timestamp 请求发生时的Unixtime 时间戳
_sign 对所有参数值排序后连接起来,和一个协商好的 secret 值做md5运算 _sign=md5(secret + 排序后的参数值字符串 + secret)

这两个参数不能在输入时确定,需要在发生请求是动态生成,因此需要写脚本来设置。
翻看了SOAtest的用户手册 和 SOAtest Extensibility API帮助文档,没有找到获取请求参数列表的方法,
经过多番研究尝试,最终搞定,脚本如下

脚本1. 获取时间戳值

from java.util import *
from java.text import *
from java.lang import *

def getTime():
  calendar = Calendar.getInstance()

  date = calendar.getTime()

  ts = date.getTime() / 1000
  return ts

脚本2. 获取参数列表后,对参数列表做签名计算

from com.parasoft.api import *
from webtool.data import *
from java.lang import *
from java.util import HashMap
from java.security import *

#计算参数签名
def getParamsSign(context):
    mc = context.getTool()
    params = mc.getURLParams()
    names = []
    mp = HashMap()
    for p in params:
        name = p.getName()
        if name != "_sign":
            value = p.getValue(context)
            mp.put(name,value)  # 将需要签名的参数放到列表中存起来
            names += [name]
            #Application.showMessage('param ' + name + ' value '+ value)
        else:
            #Application.showMessage('param _sign value ' + p.getActualValue())  #不能调用p.getValue(context), 会触发死循环  

    #拼装要签名的字符串
    names.sort()
    tosign = ''
    for k in names: #mp.keySet():
        tosign += k;
        tosign += mp.get(k)
    secret = context.getEnvironmentVariableValue('client_secret')
    tosign = secret + tosign + secret
    Application.showMessage('tosign:' + tosign)

    #作签名运算
    md5Inst = MessageDigest.getInstance('MD5')
    md5Inst.update(tosign.encode('utf-8'))
    hexDigits = '0123456789abcdef'
    md = md5Inst.digest()
    signed = ''
    for v in md:
        t = v >> 4 & 0x0f
        signed += hexDigits[t]
        t = v & 0x0f
        signed += hexDigits[t]
    Application.showMessage('signed:' + signed)
    #返回签名结果
    return signed

注意要点,在获取参数列表时,用于参数签名的 _sign 字段名要刨除在外,否则获取_sign值时会触发脚本,陷入死循环

Popularity: 2% [?]

Random Posts

← Previous PageNext Page →